Kendi yapay zekânızı çalıştırın: Ollama ve CPU gerçeği

Ollama, açık yapay zekâ modellerini kendi sunucunuzda çalıştıran bir araçtır. Seturack sunucularında ekran kartı (GPU) yoktur, yani modeller işlemcide çalışır. Bu yüzden küçük modeller (1-4 milyar parametre) sohbet ve kısa görevler için kullanılabilir, 7-8 milyar parametrelik modeller çalışır ama yavaştır, daha büyükleri pratik değildir. Bir modelin dosya boyutu, ona ayıracağınız RAM'in alt sınırıdır.

Bu yazıdaki hız yorumları genel deneyime dayanır, Seturack sunucularında ölçülmüş rakam değildir. Model boyutları Ollama'nın kendi kütüphanesinden alındı.

Model RAM'e sığmalı

Dosya boyutu, modelin belleğe yüklenen kısmına yakındır. Üstüne konuşma uzunluğuna bağlı bağlam belleği, Ollama'nın kendi payı ve işletim sistemi eklenir. Bu yüzden dosya boyutu kadar RAM yetmez, üzerine pay bırakın. Kesin bir çarpan yoktur ama ölçmek kolaydır: model yüklendikten sonra free -h çalıştırın. Kütüphane sürekli güncellenir, güncel liste için Ollama'nın model kütüphanesine bakın.

Hangi boyutta sunucu?

Bu tablo yukarıdaki dosya boyutlarına pay eklenerek çıkarılmış genel bir kuraldır, resmi öneri değildir. RAM yetmezse sistem diski bellek gibi kullanmaya (swap) başlar ve hız ciddi biçimde düşer, ya da işlem sonlandırılır. Büyük bir modeli denemeden önce sunucuyu büyütmek daha sağlıklıdır.

CPU'da ne beklemeli?

• Metin üretimi büyük ölçüde bellek bant genişliğiyle sınırlıdır. Model büyüdükçe cevap yavaş akar.
• Ekran kartıyla karşılaştırınca işlemci belirgin biçimde yavaştır. Cevap, okuma hızınızın altında akabilir.
• Uzun bir metni işlemek ilk cevaba kadar geçen süreyi uzatır. İlk istekte model diskten belleğe yüklendiği için daha da geç gelir.
• Aynı anda birden çok kullanıcı hızı böler.

İyi giden işler: kısa özet, sınıflandırma, e-posta taslağı, kişisel asistan, deneme ve geliştirme, küçük otomasyonlar. Zorlanan işler: çok kullanıcılı canlı servis, büyük modeller, gerçek zamanlı yanıt, ağır kod üretimi.

Kurulum (Ubuntu)

1. Resmi tek komut betiğini çalıştırın: curl -fsSL https://ollama.com/install.sh | sh Betiği önce indirip okumak iyi bir alışkanlıktır.
2. Küçük bir modelle başlayın: ollama run llama3.2:3b
3. Modelin nerede çalıştığına bakın: ollama ps Processor sütununda yalnız CPU yazıyorsa model tamamen sistem belleğindedir.
4. Disk alanını izleyin. Linux'ta modeller /usr/share/ollama/.ollama/models altında durur ve her biri gigabaytlarca yer tutar. Listelemek için ollama list, silmek için ollama rm kullanın.

Docker tercih ederseniz resmi komut docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama biçimindedir. Biz portu yalnız yerel adrese bağlamanızı öneririz: -p 127.0.0.1:11434:11434.

Hangi modeli seçmeli?

3 milyar parametreli bir modelle başlayın ve kendi işinizle deneyin. Küçük modellerin Türkçe kalitesi genellikle İngilizceden düşüktür, bu yüzden kendi metinlerinizle sınayın. Cevaplar yetersizse bir üst boyuta çıkın ve RAM'in yettiğini free -h ile kontrol edin.

Tablodaki boyutlar kütüphanenin varsayılan etiketlerine aittir. Modeller genellikle 4 bit civarında sıkıştırılmış (nicemlenmiş) gelir. 16 bit hassasiyette 8 milyar parametre yaklaşık 16 GB tutar, sıkıştırma bunu tablodaki gibi 5 GB civarına indirir. Karşılığında kaliteden küçük bir miktar feda edilir.

Uygulamalardan nasıl kullanılır?

Ollama yerel bir API sunar. Sunucunun içinden şöyle deneyebilirsiniz:

curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.2:3b","prompt":"Merhaba, kendini tanıt.","stream":false}'

Cevap JSON olarak döner. Otomasyon araçları ve kendi yazdığınız uygulamalar aynı API'ye bağlanabilir.

Belleği yönetmek

• Ollama bir modeli son istekten sonra varsayılan olarak 5 dakika bellekte tutar. O sürede RAM dolu görünmesi normaldir. ollama stop MODEL_ADI modeli hemen boşaltır.
• OLLAMA_MAX_LOADED_MODELS aynı anda yüklü kalabilecek model sayısını sınırlar. CPU'da varsayılan 3'tür. RAM'iniz azsa 1 yapın, yoksa farklı modelleri art arda çağırdığınızda hepsi bellekte kalır.
• OLLAMA_NUM_PARALLEL bir model için paralel istek sayısıdır ve varsayılanı 1'dir. Artırdıkça gereken RAM de artar.

Güvenlik

• Ollama varsayılan olarak yalnız 127.0.0.1 adresindeki 11434 portunu dinler. OLLAMA_HOST ile dışarı açarsanız adresi bilen herkes modelinizi kullanabilir, çünkü API'de varsayılan bir kimlik doğrulama adımı yoktur. Dışarı açmayın.
• Uzaktan kullanmak için SSH tüneli yeterlidir: ssh -L 11434:127.0.0.1:11434 kullanici@SUNUCU_IP
• Docker, yayınladığınız portlarda ufw kurallarını atlar. Bu yüzden portu yukarıdaki gibi yalnız yerel adrese bağlayın.
• Tarayıcıdan sohbet etmek için Open WebUI gibi bir arayüz kurabilirsiniz. Onu HTTPS arkasında çalıştırın ve kullanıcı hesabıyla koruyun.

Veri ve lisans

Modeli kendi sunucunuzda çalıştırdığınızda konuşmalarınız sunucunuzda kalır. Ollama bulutta çalışan modeller de sunar. Onlar sizin sunucunuzda çalışmaz ve bu yazının konusu değildir. Her modelin kendi lisansı vardır, ticari kullanımdan önce model sayfasındaki lisansı okuyun.

Sunucuyu büyütmek

Model değiştirdikçe RAM ihtiyacı da değişir. 3 milyar parametrelik bir modelle başlayıp 8 milyarlığa geçeceğiniz zaman sunucuyu panelden büyütürsünüz. Büyütme sunucuyu silmez, IP adresiniz ve verileriniz aynı kalır. Küçültmede disk küçülmez, modeller diski doldurabileceği için diski de hesaba katın.

Fiyatınızı fiyatlar sayfasında hesaplayabilirsiniz.

Seturack'ta kurulu gelir: Ollama, AnythingLLM, Qdrant.