RehberModeller ve performansAndroid2 dk okuma

Bu sayfada
  1. Gerekenler
  2. Adım 1: Off Grid AI’ı indir
  3. Adım 2: Bir model seç
  4. Adım 3: İndir ve yükle
  5. Adım 4: Çevrimdışı ol
  6. Cihaza göre performans
  7. LLM’leri neden bulut yerine yerelde çalıştırmalı?
  8. Diğer rehberler
  9. Off Grid AI karşılaştırmaları

2026’da Android telefonunda LLM’leri yerel olarak çalıştırma (bulut yok, hesap yok)

ChatGPT’ye sorduğun her soru bir sunucuya kaydedilir: sorun, yanıt, saat, hesabın. Süresiz saklanır. Bu veriler modelleri geliştirmek, reklam hedeflemek ve resmî makamların taleplerini karşılamak için kullanılır.

Off Grid AI bu katmanın tamamını kaldırır. Model, ARM64 üzerinde llama.cpp ile telefonunun RAM’inde çalışır. İsteklerin hiçbir yere gönderilmez.

Kurulum şöyle.


Gerekenler

  • En az 4 GB RAM’li Android telefon (Android 10 veya daha yenisi)
  • Seçtiğin modele göre 2 ila 5 GB boş alan
  • İlk indirme için bir kez internet, sonra bir daha asla

Adım 1: Off Grid AI’ı indir

Off Grid AI’ı Google Play’den indir


Adım 2: Bir model seç

Tüm modeller varsayılan olarak Q4_K_M nicemlemesi kullanır; telefonda kalite ile boyut arasındaki en iyi dengedir.

Model En az RAM Boyut En uygun
Qwen 3.5 0.8B 3GB ~0.8GB Çok hızlı, 262K bağlam, uygun fiyatlı cihazlar
Qwen 3.5 2B 4GB ~1.7GB 4 ila 6 GB RAM’li cihazlar için en iyisi, 262K bağlam
Gemma 4 E2B 4GB ~1.5GB Görsel ve düşünme modu, MoE mimarisi
Mistral 7B 6GB ~4.1GB Her iş için hızlı ve güvenilir
Gemma 4 E4B 6GB ~2.5GB Güçlü akıl yürütme ve görsel, düşünme modu
Qwen 3.5 9B 8GB ~5.5GB Cihazda genel olarak en iyi kalite

4 ila 6 GB’lık bir cihazda Qwen 3.5 2B ile başla. 8 GB RAM veya daha fazlası varsa Qwen 3.5 9B ile başla.


Adım 3: İndir ve yükle

  1. Off Grid AI’ı aç → Models’a dokun
  2. Modelini seç → Download’a dokun
  3. İndirme bitince Load’a dokun
  4. Chat’i aç ve başla

Bu noktadan sonra model tamamen cihazında çalışır. Ağ isteği yok.


Adım 4: Çevrimdışı ol

Uçak modunu aç. Bir sohbet aç. Hâlâ çalışıyor.

Bütün mesele bu. Artık bağlantı olmadan, her ağda, her ülkede, aylık fatura olmadan çalışan yetenekli bir yapay zekâ asistanın var.


Cihaza göre performans

Off Grid AI, ARM64 üzerinde NEON, i8mm ve dotprod SIMD komutlarıyla llama.cpp kullanır. Qualcomm Adreno GPU’larda isteğe bağlı OpenCL ile GPU’ya aktarma da var.

Cihaz RAM Önerilen model Yaklaşık token/sn
Pixel 9 Pro 16GB Qwen 3.5 9B 15–25
Samsung Galaxy S25 12GB Qwen 3.5 9B 15–25
Pixel 8 Pro 12GB Qwen 3.5 9B 12–20
Samsung S24 8GB Qwen 3.5 9B veya Gemma 4 E4B 10–18
Pixel 7 8GB Qwen 3.5 9B 8–15
OnePlus 12 12GB Qwen 3.5 9B 12–20
Samsung A55 8GB Qwen 3.5 2B 15–25
Uygun fiyatlı 4 GB cihaz 4GB Qwen 3.5 0.8B 20–35

LLM’leri neden bulut yerine yerelde çalıştırmalı?

Gizlilik. Soruların cihazından hiç çıkmaz.

Ücretsiz. API ücreti yok, abonelik yok. Model ücretsiz indirilir ve sonsuza kadar çalışır.

Çevrimdışı. Uçakta, zayıf çekimde ve bulut yapay zekâ hizmetlerinin kısıtlı olduğu ülkelerde çalışır.

Hız. Kısa sorularda, modern ARM çiplerde yerel hesaplama şaşırtıcı derecede hızlıdır; yavaş bir bağlantıda buluttan yanıt beklemekten çoğu zaman daha hızlıdır.


Diğer rehberler

Off Grid AI karşılaştırmaları

İŞİNE YARADI MI?
GELİŞTİRİCİDEN HABERLER