Bu sayfada
Hangi modeli kullanmalıyım?
Bu öneriler genel tavsiyeler değil, doğrudan Off Grid AI’daki modellerle ilgili ve uygulamanın model kataloğundan geliyor. Varsayılan nicemleme her yerde Q4_K_M.
RAM’e göre hızlı seçim
| Cihazının RAM’i | En iyi metin modeli | En iyi görsel model |
|---|---|---|
| 3GB | Qwen 3.5 0.8B | SmolVLM2 500M |
| 4GB | Qwen 3.5 2B | Gemma 4 E2B |
| 6GB | Gemma 4 E4B veya Phi-4 Mini | Gemma 4 E4B |
| 8GB+ | Qwen 3.5 9B | Qwen 3.5 9B |
Model kataloğunun tamamı
Metin modelleri
| Model | Parametre | En az RAM | Bağlam | En uygun |
|---|---|---|---|---|
| SmolLM2 360M | 0.36B | 3GB | 8K | Çok hafif, yalnızca düşük RAM’li cihazlar için |
| Qwen 3.5 0.8B | 0.8B | 3GB | 262K | Uygun fiyatlı cihazlarda hızlı yanıt ve uzun bağlam |
| Qwen 3.5 2B | 2B | 4GB | 262K | 4 GB’lık cihazlar için en iyi genel amaçlı model |
| SmolLM3 3B | 3B | 6GB | 128K | Kısıtlı cihazlar için tasarlandı |
| Phi-4 Mini | 3.8B | 6GB | 128K | Akıl yürütme, matematik, yapılandırılmış işler |
| Mistral 7B | 7B | 6GB | 32K | Her iş için hızlı ve güvenilir |
| Qwen 3.5 9B | 9B | 8GB | 262K | Cihazda genel olarak en iyi kalite |
Görsel modeller (görselleri görebilir)
| Model | Parametre | En az RAM | En uygun |
|---|---|---|---|
| SmolVLM2 500M | 0.5B | 3GB | Düşük RAM’li cihazlar için minik görsel model |
| SmolVLM 2B | 2B | 4GB | Orta segment telefonlarda genel görsel işler |
| SmolVLM2 2.2B | 2.2B | 4GB | Görsel ve video anlama |
| Gemma 4 E2B | 2B (MoE) | 4GB | 4 GB’lık cihazlar için en iyi görsel kalite, düşünme modu |
| Gemma 4 E4B | 4B (MoE) | 6GB | En güçlü akıl yürütme ve görsel, düşünme modu |
Gemma 4, Mixture-of-Experts (MoE) mimarisi kullanır. Etkin parametre sayısı göründüğünden düşüktür; bu yüzden beklediğinden az RAM’e sığar ve yine de sınıfının üstünde kalite verir.
Düşünme modu nedir?
Qwen 3.5 ve Gemma 4 modellerinde düşünme modu var: model son yanıtını vermeden önce sorunu adım adım çözer. Düşünce zinciri istemine benzer, ama modelin içine yerleşiktir.
Karmaşık akıl yürütme, matematik ve çok adımlı problemlerde kullan. Hızlı sorularda, özetlerde ve sohbette kapalı tut, çünkü daha yavaştır.
Q4_K_M ne demek
Off Grid AI tüm modellerde varsayılan olarak Q4_K_M nicemlemesi kullanır. Yani:
- ağırlık başına yaklaşık 4,5 bit
- tam hassasiyetli orijinale göre yaklaşık %5 ila %8 kalite kaybı
- float16 sürümünden yaklaşık %50 ila %60 daha küçük
- llama.cpp topluluğunun mobil için önerdiği en iyi denge
Depolaman çok kısıtlı değilse Q4_K_S’nin altına inme. Q2 ve Q3 modellerinde kalite belirgin şekilde düşer.
RAM güvenlik eşikleri
Off Grid AI, yüklemeden önce bir modelin güvenle sığıp sığmadığını kendiliğinden kontrol eder:
- 4 GB RAM’li cihazlar: model bütçesi = toplam RAM’in %40’ı
- 6 GB ve üstü RAM’li cihazlar: model bütçesi = toplam RAM’in %60’ı
- Metin modelleri RAM’de dosya boyutlarının yaklaşık 1,5 katına ihtiyaç duyar (KV önbelleği ve aktivasyonlar)
- Görsel modeller iOS’ta (CoreML) yaklaşık 1,5 kat, Android’de (Vulkan) 1,8 kat ister
Bir model cihazınla uyumsuz görünüyorsa sebebi bu.
Sık sorulan sorular
4 GB RAM’li bir telefon için en iyi model hangisi? Qwen 3.5 2B (Q4_K_M). Görsel işler için Gemma 4 E2B.
Off Grid AI varsayılan olarak hangi nicemlemeyi kullanır? Varsayılan olarak Q4_K_M; mobilde kalite ile boyut arasındaki en iyi denge.
Cihazda akıl yürütme için en iyi model hangisi? Gemma 4 E4B (6 GB RAM) ya da Qwen 3.5 9B (8 GB RAM). İkisinde de düşünme modu var.
Diğer rehberler
- 2026’da Android telefonunda LLM’leri yerel olarak çalıştırma
- 2026’da iPhone’da LLM’leri yerel olarak çalıştırma
- Görsel yapay zekâ: görselleri ve belgeleri analiz et