RehberModeller ve performansTelefon2 dk okuma

Bu sayfada
  1. RAM’e göre hızlı seçim
  2. Model kataloğunun tamamı
  3. Düşünme modu nedir?
  4. Q4_K_M ne demek
  5. RAM güvenlik eşikleri
  6. Sık sorulan sorular
  7. Diğer rehberler
  8. Off Grid AI karşılaştırmaları

Hangi modeli kullanmalıyım?

Bu öneriler genel tavsiyeler değil, doğrudan Off Grid AI’daki modellerle ilgili ve uygulamanın model kataloğundan geliyor. Varsayılan nicemleme her yerde Q4_K_M.


RAM’e göre hızlı seçim

Cihazının RAM’i En iyi metin modeli En iyi görsel model
3GB Qwen 3.5 0.8B SmolVLM2 500M
4GB Qwen 3.5 2B Gemma 4 E2B
6GB Gemma 4 E4B veya Phi-4 Mini Gemma 4 E4B
8GB+ Qwen 3.5 9B Qwen 3.5 9B

Model kataloğunun tamamı

Metin modelleri

Model Parametre En az RAM Bağlam En uygun
SmolLM2 360M 0.36B 3GB 8K Çok hafif, yalnızca düşük RAM’li cihazlar için
Qwen 3.5 0.8B 0.8B 3GB 262K Uygun fiyatlı cihazlarda hızlı yanıt ve uzun bağlam
Qwen 3.5 2B 2B 4GB 262K 4 GB’lık cihazlar için en iyi genel amaçlı model
SmolLM3 3B 3B 6GB 128K Kısıtlı cihazlar için tasarlandı
Phi-4 Mini 3.8B 6GB 128K Akıl yürütme, matematik, yapılandırılmış işler
Mistral 7B 7B 6GB 32K Her iş için hızlı ve güvenilir
Qwen 3.5 9B 9B 8GB 262K Cihazda genel olarak en iyi kalite

Görsel modeller (görselleri görebilir)

Model Parametre En az RAM En uygun
SmolVLM2 500M 0.5B 3GB Düşük RAM’li cihazlar için minik görsel model
SmolVLM 2B 2B 4GB Orta segment telefonlarda genel görsel işler
SmolVLM2 2.2B 2.2B 4GB Görsel ve video anlama
Gemma 4 E2B 2B (MoE) 4GB 4 GB’lık cihazlar için en iyi görsel kalite, düşünme modu
Gemma 4 E4B 4B (MoE) 6GB En güçlü akıl yürütme ve görsel, düşünme modu

Gemma 4, Mixture-of-Experts (MoE) mimarisi kullanır. Etkin parametre sayısı göründüğünden düşüktür; bu yüzden beklediğinden az RAM’e sığar ve yine de sınıfının üstünde kalite verir.


Düşünme modu nedir?

Qwen 3.5 ve Gemma 4 modellerinde düşünme modu var: model son yanıtını vermeden önce sorunu adım adım çözer. Düşünce zinciri istemine benzer, ama modelin içine yerleşiktir.

Karmaşık akıl yürütme, matematik ve çok adımlı problemlerde kullan. Hızlı sorularda, özetlerde ve sohbette kapalı tut, çünkü daha yavaştır.


Q4_K_M ne demek

Off Grid AI tüm modellerde varsayılan olarak Q4_K_M nicemlemesi kullanır. Yani:

  • ağırlık başına yaklaşık 4,5 bit
  • tam hassasiyetli orijinale göre yaklaşık %5 ila %8 kalite kaybı
  • float16 sürümünden yaklaşık %50 ila %60 daha küçük
  • llama.cpp topluluğunun mobil için önerdiği en iyi denge

Depolaman çok kısıtlı değilse Q4_K_S’nin altına inme. Q2 ve Q3 modellerinde kalite belirgin şekilde düşer.


RAM güvenlik eşikleri

Off Grid AI, yüklemeden önce bir modelin güvenle sığıp sığmadığını kendiliğinden kontrol eder:

  • 4 GB RAM’li cihazlar: model bütçesi = toplam RAM’in %40’ı
  • 6 GB ve üstü RAM’li cihazlar: model bütçesi = toplam RAM’in %60’ı
  • Metin modelleri RAM’de dosya boyutlarının yaklaşık 1,5 katına ihtiyaç duyar (KV önbelleği ve aktivasyonlar)
  • Görsel modeller iOS’ta (CoreML) yaklaşık 1,5 kat, Android’de (Vulkan) 1,8 kat ister

Bir model cihazınla uyumsuz görünüyorsa sebebi bu.


Sık sorulan sorular

4 GB RAM’li bir telefon için en iyi model hangisi? Qwen 3.5 2B (Q4_K_M). Görsel işler için Gemma 4 E2B.

Off Grid AI varsayılan olarak hangi nicemlemeyi kullanır? Varsayılan olarak Q4_K_M; mobilde kalite ile boyut arasındaki en iyi denge.

Cihazda akıl yürütme için en iyi model hangisi? Gemma 4 E4B (6 GB RAM) ya da Qwen 3.5 9B (8 GB RAM). İkisinde de düşünme modu var.


Diğer rehberler

Off Grid AI karşılaştırmaları

İŞİNE YARADI MI?
GELİŞTİRİCİDEN HABERLER