Lokal LLM nedir?
Lokal LLM, büyük dil modelinin kurumun kendi sunucularında ya da kendi kontrolündeki özel bulut ortamında çalıştırılmasıdır. Kullanıcıların soruları, yüklenen belgeler ve modelin ürettiği yanıtlar kurumun ağı içinde işlenir. Bu yaklaşım "on-premise LLM", "kurum içi LLM" ya da "özel yapay zeka" olarak da anılır.
Lokal kurulumda genellikle açık ağırlıklı modeller kullanılır: DeepSeek, Llama, Mistral ve Qwen aileleri bunların en bilinenleri. Bu modeller ücretsiz indirilebilir, kurumun donanımında çalıştırılabilir ve gerekirse kurumun verisiyle ince ayar yapılabilir.
Ne zaman lokal, ne zaman bulut?
Lokal ve bulut seçenekleri birbirinin rakibi değil, birbirini tamamlıyor. Çoğu kurumda en verimli yapı, hassas veriyi lokal modellere, genel işleri kurumsal bulut araçlarına yönlendiren hibrit bir mimari oluyor. Karar verirken şu tabloyu kullanabilirsiniz:
| Kriter | Lokal LLM | Kurumsal bulut (Copilot, ChatGPT, Claude, Gemini) |
|---|---|---|
| Veri konumu | Kurumun ağı içinde kalır | Sağlayıcının veri merkezinde işlenir |
| KVKK ve yurt dışı aktarım | Aktarım gerekmez | Veri türüne göre değerlendirme gerekir |
| Kurulum süresi | 4 ila 10 hafta | Günler içinde |
| Maliyet yapısı | Başta donanım yatırımı, sonra sabit | Kullanıcı ya da kullanım başına aylık |
| Model kalitesi | Belge, arama ve özetleme işlerinde yüksek | En geniş genel yetenek |
| Özelleştirme | Tam kontrol, ince ayar mümkün | Sağlayıcının sunduğu sınırlar içinde |
Lokal LLM özellikle şu durumlarda öne çıkıyor: müşteri ve hasta verisi gibi özel nitelikli kişisel veriler, bankacılık ve sigorta gibi düzenlemeye tabi sektörler, üretim reçeteleri ve ticari sırlar, internet bağlantısı kısıtlı ortamlar ve kullanım hacmi yüksek olduğu için bulut maliyetinin öngörülemez hale geldiği senaryolar.
Lokal LLM mimarisinin parçaları
Çalışan bir kurumsal sistem yalnızca bir modelden ibaret değil. Tipik bir mimari beş katmandan oluşuyor:
- 1Model katmanı: DeepSeek, Llama, Mistral ya da Qwen gibi açık ağırlıklı bir dil modeli ve gerekirse belge arama için bir embedding modeli.
- 2Sunum katmanı: Modeli yüksek verimle çalıştıran ve OpenAI uyumlu bir API sunan çıkarım sunucusu. Kurumsal ölçekte en yaygın tercih vLLM.
- 3Bilgi katmanı: Kurumun belgelerini parçalara ayırıp bir vektör veritabanında saklayan ve soruya en uygun parçaları modele ileten RAG (retrieval-augmented generation) altyapısı.
- 4Uygulama katmanı: Kullanıcıların sohbet ettiği arayüz (örneğin Open WebUI) ve iş süreçlerine bağlanan özel uygulamalar.
- 5Yönetişim katmanı: Tek oturum açma (SSO), rol bazlı yetki, kayıt, izleme ve kullanım raporları.
Doğru modeli seçmek
Model seçiminde en büyük model her zaman en doğru seçim olmuyor. İşin türü, Türkçe performansı, beklenen hız ve donanım bütçesi birlikte değerlendirilmeli. Genel bir çerçeve:
- 7 ila 14 milyar parametre: Sınıflandırma, alan çıkarma, kısa özetleme ve yönlendirme gibi odaklı işler. Tek bir orta seviye GPU ile çalışır.
- 30 ila 35 milyar parametre: Kurum içi asistan, belge üzerinden soru cevap ve rapor taslakları için iyi bir denge noktası.
- 70 milyar parametre ve üzeri: Karmaşık akıl yürütme, uzun belge analizi ve yüksek kalite beklenen yazım işleri.
Quantization ile modelin bellek ihtiyacı kalitede küçük bir kayıpla yarıya ya da dörtte birine indirilebiliyor. Bu sayede 70 milyar parametrelik bir model, tam hassasiyette gereken donanımın çok daha azıyla çalıştırılabiliyor. Seçimi her zaman kurumun kendi belgeleri ve soruları üzerinde yapılan karşılaştırmalı testlerle netleştiriyoruz.
Donanım ihtiyacı
Donanımı belirleyen üç ana etken var: modelin boyutu, aynı anda hizmet verilecek kullanıcı sayısı ve beklenen yanıt hızı. Aşağıdaki tablo başlangıç için yaklaşık bir fikir veriyor:
| Senaryo | Örnek model boyutu | Yaklaşık GPU belleği |
|---|---|---|
| Pilot, küçük ekip | 8B, 4-bit | 16 ila 24 GB (tek GPU) |
| Departman asistanı | 30B, 4-bit | 48 GB (bir ya da iki GPU) |
| Kurum geneli asistan | 70B, 4-bit | 80 ila 160 GB (iki ila dört GPU) |
| Yüksek kalite, yoğun kullanım | 70B ve üzeri, 8-bit ya da tam hassasiyet | 160 GB ve üzeri (çoklu GPU sunucu) |
Eş zamanlı kullanıcı sayısı arttıkça modelin kendisine ek olarak bağlam belleği için de pay ayırmak gerekiyor. Bu yüzden donanım kararını kâğıt üzerinde değil, gerçek kullanım senaryosuyla yapılan yük testleriyle veriyoruz.
Adım adım kurulum
- 1Kullanım senaryolarını ve başarı ölçütlerini belirleyin: Hangi ekip, hangi belgelerle, hangi soruları soracak? Başarıyı nasıl ölçeceksiniz?
- 2Veriyi sınıflandırın: Hangi belgeler sisteme girecek, kim neye erişebilecek? Yetki modelini baştan tasarlayın.
- 3Model adaylarını kendi verinizle test edin: İki ya da üç modeli aynı soru setiyle karşılaştırın, Türkçe kalitesine özellikle bakın.
- 4Donanımı boyutlandırın: Seçilen model ve beklenen kullanıcı sayısıyla yük testi yapın.
- 5Altyapıyı kurun: vLLM ile modeli sunun, vektör veritabanını ve RAG hattını kurun, arayüzü kimlik sisteminize bağlayın.
- 6Güvenlik testlerinden geçirin: Erişim yetkileri, kayıt yapısı ve dış ağ bağlantıları bilgi güvenliği ekibinizle birlikte gözden geçirilmeli.
- 7Pilot ekiple başlayın: 20 ila 50 kişilik bir ekiple iki ila dört hafta kullanın, geri bildirimle iyileştirin.
- 8Ölçün ve yaygınlaştırın: Kullanım, doğruluk ve zaman tasarrufu verisiyle diğer birimlere açın.
Güvenlik ve KVKK
Lokal kurulum, verinin kurum dışına çıkmasını en baştan engellediği için KVKK açısından güçlü bir zemin sunuyor. Yine de güvenlik kendiliğinden gelmiyor; şu başlıkların tasarımda yer alması gerekiyor:
- Belge düzeyinde yetki: Kullanıcı, asistana sorduğunda yalnızca erişim yetkisi olan belgelerden yanıt almalı.
- Kayıt ve izlenebilirlik: Hangi kullanıcının hangi soruyu sorduğu ve hangi belgelere erişildiği kayıt altında tutulmalı.
- Saklama süreleri: Sohbet geçmişi ve yüklenen belgeler için kurum politikasına uygun süreler tanımlanmalı.
- Ağ izolasyonu: Model sunucusunun dış internete erişimi gerekli olanla sınırlandırılmalı.
- Kullanım politikası: Çalışanlar için açık bir yapay zeka kullanım politikası ve kısa bir eğitim.
Maliyet nasıl hesaplanır?
Lokal LLM'in maliyeti üç kalemden oluşuyor: donanım (ya da özel bulutta GPU kiralama), kurulum ve entegrasyon işçiliği ve işletme. Bulut araçlarında ise maliyet kullanıcı sayısı ve kullanım hacmiyle birlikte büyüyor.
Kullanıcı sayısı ve kullanım yoğunluğu arttıkça lokal kurulumun toplam maliyeti genellikle avantajlı hale geliyor. Karşılaştırmayı kurumunuzun kullanıcı sayısı ve senaryolarıyla üç yıllık toplam sahip olma maliyeti üzerinden yapıyor, kararı rakamlarla veriyoruz.
Başarılı bir kurulum için beş ipucu
- 1Tek ve net bir senaryoyla başlayın; ilk ay tüm kurumu kapsamaya çalışmak yerine bir ekibin gerçek bir işini çözün.
- 2Belge kalitesine yatırım yapın; asistanın kalitesi, beslendiği belgelerin güncelliği ve düzeniyle doğrudan ilişkili.
- 3Türkçe testini kendi metinlerinizle yapın; genel sıralamalar sizin belgelerinizdeki performansı tam yansıtmayabilir.
- 4Kaynak göstermeyi zorunlu tutun; kullanıcıların yanıta güvenmesinin en hızlı yolu bu.
- 5Ölçümü baştan planlayın; zaman tasarrufu ve kullanım verisi, yaygınlaştırma kararının temelidir.
Lokal ve Özel Yapay Zeka Sistemleri
Lokal Yapay Zeka Kurulumu ile başlayalım
Kendi sunucularınızda çalışan, verinin içeride kaldığı ilk yapay zeka sistemi ve kurum içi asistan.
Sık sorulan sorular
Lokal LLM kurulumu ne kadar sürer?
Pilot kapsamında çalışan bir kurum içi asistan genellikle dört ila altı haftada hazır oluyor. Kurum geneline yayılan, birden fazla sisteme entegre bir kurulum ise sekiz ila on hafta sürebiliyor.
Lokal modeller Türkçe'de yeterince iyi mi?
Güncel açık modellerin Türkçe performansı son iki yılda belirgin şekilde arttı. Özellikle belge üzerinden soru cevap ve özetleme işlerinde yüksek sonuç alıyoruz. Yine de seçimi her zaman kurumun kendi Türkçe belgeleriyle test ederek yapıyoruz.
Lokal LLM için mutlaka kendi sunucumuzu almamız gerekir mi?
Gerekmiyor. Kurumun kendi veri merkezinin yanı sıra, kontrolü tamamen kurumda olan özel bulut ya da Türkiye'deki veri merkezlerinden kiralanan GPU sunucular da kullanılabiliyor.
Lokal ve bulut araçları birlikte kullanılabilir mi?
Evet, çoğu kurum için önerdiğimiz yapı da bu. Hassas veri lokal modellere, genel işler kurumsal bulut araçlarına yönlendirilir; kullanıcı tek bir arayüz görür.
İlgili çözümler