Model; Türkçe odaklı tasarımı, düşük donanım gereksinimi ve kurum-içi (on-premise) kullanım hedefiyle öne çıkıyor. Peki Kumru tam olarak nedir; nasıl çalışır, kime hitap eder, neleri iyi yapar, nerelerde zorlanır?
KUMRU NEDİR, NASIL ÇALIŞIR?
Temel mimari: Meta’nın LLaMA-3 ailesini referans alan bir tasarım.
Parametre boyutu: 7,4 milyar (7.4B).
Donanım gereksinimi: 16 GB VRAM’li tüketici sınıfı GPU’larda dahi çalışacak şekilde optimize edildi.
Kullanım hedefi: B2C değil. Öncelik, veri gizliliği ve regülasyon sebepleriyle bulut LLM’leri kullanamayan kurum-içi senaryolar.
NEDEN BÖYLE BİR MODELE İHTİYAÇ VAR?
Türkiye’de özellikle finans gibi regüle sektörlerde kurumlar, dış bulut tabanlı LLM’leri (ör. ChatGPT) kullanmakta zorlanıyor.
Büyük açık modellerin donanım maliyeti, küçük modellerin ise Türkçe kabiliyeti sınırlı kalabiliyor.
Kumru, bu boşluğu Türkçe anadil odağı ve düşük donanım eşiğiyle doldurmayı amaçlıyor.
“CHATGPT’YE RAKİP Mİ?”
VNGRS’e göre hedef, doğrudan son kullanıcı rekabeti değil; kurumsal, on-prem kullanımda kontrollü, uygun maliyetli bir alternatif sunmak.
EĞİTİM VERİSİ VE TOKENIZER
Veri kümesi: Mart 2024’e kadar üretilmiş Türkçe web derlemleri, Vikipedi, haber metinleri; yaklaşık %5 oranında İngilizce web ve kod.
Tokenizer: Türkçe ihtiyaçlarına göre sıfırdan tasarlanmış modern bir Türkçe LLM tokenizer’ı. Bu tercih, Türkçe metinlerde daha verimli tokenizasyon sağlayarak maliyet ve hız avantajı hedefliyor.
“MİSTRAL MI, LLAMA MI?” KARMAŞASI
“Model mimarisi” tartışmalarında adı geçse de Kumru’nun referansı LLaMA-3. “Mimarinin” katman türleri/sıralarını tarif eden teknik bir kavram olduğunu not edin.
GÜÇLÜ VE ZAYIF OLDUĞU ALANLAR
Güçlü yönler
Türkçe anlama/üretmede doğal akış.
Kurumsal entegrasyon ve yerinde (on-prem) kurulum için uygun mimari.
Düşük donanım maliyetiyle PoC ve iç kullanım senaryolarında erişilebilirlik.
Zorlandığı noktalar, Matematiksel akıl yürütme ve kesin hesap gerektiren görevler.
Halüsinasyon (hatalı/uydurma bilgi) riski, özellikle doğrulama yapılmadan kullanıldığında.
“NEDEN BAZEN HATALI BİLGİ VERİYOR?”
Henüz insan geribildirimiyle pekiştirmeli öğrenme (RLHF) aşamasından geçmediği için halüsinasyonlar görülebiliyor. Erken dönem dil modellerinde de benzer tablo yaşanmıştı; RLHF/işe özel ince ayarlarla bu risk azaltılabiliyor.
2 MİLYAR VS 7,4 MİLYAR PARAMETRE
Eğitim verisi, bağlam uzunluğu ve tokenizer aynıyken tek fark model boyutu. Genel olarak daha büyük model = daha geniş kapasite ve daha iyi performans beklentisi (donanım ve kullanıma bağlı olarak).
“NIÇIN SIFIRDAN EĞİTİM, DEVAM EĞİTİMİ (CONTINUAL) DEĞİL?”
Mevcut büyük bir modeli Türkçe’ye devam eğitimi ile uyarlamak mümkün; ancak orijinal tokenizer’a bağlı kalındığında Türkçe’de daha çok token tüketimi ve dolayısıyla maliyet/süre artışı doğabiliyor.
VNGRS, bu nedenle Türkçe odaklı tokenizer ile baştan tasarımı tercih etti; bu da eğitim ve kullanım verimliliğini hedefliyor.
AÇIK KAYNAK PLANI
VNGRS, daha büyük ve çok-modlu (multimodal) sürümler geldikçe, 7B sınıfından başlayarak eski modelleri açık kaynak yayımlamayı planladığını belirtiyor.
KİMLER İÇİN UYGUN?
Bankacılık/finans, kamu, telekom, sağlık gibi veri egemenliği ve gizlilik gerektiren sektörlerde kurum-içi LLM ihtiyacı olan ekipler.
16 GB VRAM seviyesinde PoC yapmak, kurum içi bot/asistan, metin sınıflandırma/özetleme gibi operasyonel kullanım arayanlar.
DİKKAT EDİLMESİ GEREKENLER
Fakt-checking zorunlu: Kritik süreçlerde insan denetimi ve kaynak doğrulaması şart.
İş-özel ince ayar (fine-tuning) ve/veya retrieval-augmented yaklaşımlar ile çıktı kalitesi artırılmalı.
Güncelleme politikası ve güvenlik denetimleri (loglama/erişim kontrolü) kurumsal devreye alımda planlanmalı.