MakaleBaşlarkenAndroid5 dk okuma

2026'da Android Telefonunda Yerel Yapay Zekâ Nasıl Çalıştırılır (Bulut Yok, Hesap Yok)

Android telefonunun GPU'su 2018'deki çoğu dizüstü bilgisayardan daha güçlü. Yapay zekâyı abonelik olmadan ve verilerin cihazdan çıkmadan telefonunda nasıl çalıştıracağını anlatıyoruz.

Bu sayfada
  1. Neye ihtiyacın var
  2. Off Grid neler yapabilir
  3. Hangi modelleri seçmelisin
  4. Yerel yapay zekâ telefonunda nasıl çalışır
  5. Donanım hızlandırma
  6. Hızını üçe katlayan KV önbellek numarası
  7. Bellek, asıl sınır
  8. Neden bulut yerine yerel
  9. Başlarken
  10. Sırada ne var

Android telefonunun GPU’su 2018’deki çoğu dizüstü bilgisayardan daha güçlü. Yeni Snapdragon çiplerinde yapay zekâya özel hızlandırıcılar var ve sen başkasının sunucusunda yapay zekâ kullanmak için ayda 20 $ öderken bu hızlandırıcılar boş duruyor. Bu değişiyor.

Off Grid, yapay zekâ modellerini Android telefonunda yerel olarak çalıştıran ücretsiz ve açık kaynaklı bir uygulama. Modeli ilk kez indirdikten sonra internete gerek kalmıyor. Hesap yok. Hiçbir veri cihazından çıkmıyor. Bu rehberde kurulumu, hangi modelleri seçeceğini ve kendi donanımında ne performans bekleyebileceğini anlatıyoruz.

Play Store GitHub

Neye ihtiyacın var

En az: 6 GB RAM ve ARM64 işlemci (son dört beş yılın herhangi bir telefonu). 80 MB kadar küçük modellerle başlayabilirsin.

Önerilen: 8 GB veya daha fazla RAM, Snapdragon 8 Gen 2 veya daha yenisi. Böylece gerçekten işe yarar yanıtlar veren 3 ila 7 milyar parametreli modelleri çalıştırabilirsin.

Bulut yapay zekâdan farkı: ChatGPT ve Claude gibi hizmetler, veri merkezlerindeki GPU’larda yüz milyarlarca parametreli modeller çalıştırır. Telefonunda daha küçük modeller çalışır (1 ila 7 milyar parametre). Karmaşık akıl yürütmede daha zayıflar ama hızlı sorular, özetler, taslaklar ve belge analizi gibi günlük işlerde şaşırtıcı derecede iyiler.

Off Grid neler yapabilir

Off Grid yalnızca bir metin sohbet botu değil. Altı yapay zekâ özelliğini tek bir uygulamada, tamamen cihazında sunar:

iPhone'da OGAM, örnek proje Acme için bir yanıt taslağı gösteriyor Örnek sohbet (iPhone) iPhone'da OGAM bir istemi görsele çeviriyor: geliştirilmiş istem ve bitmiş deniz feneri resmi Görsel üretimi (iPhone'da) iPhone'da OGAM model kataloğu, kullanılabilir ve indirilmiş metin modelleri Kullanılabilir modeller (iPhone)
iPhone'da OGAM bir proje belgesinden yanıt veriyor ve dosya adını belirtiyor Proje belgeleri (iPhone)

Metin üretimi. Qwen 3, Llama 3.2, Gemma 3, Phi-4 ya da herhangi bir GGUF modeli. Yanıtlar kelime kelime, markdown desteğiyle gelir. Amiral gemisi telefonlarda saniyede 15 ila 30 token, orta segmentte 5 ila 15.

Görsel üretimi. Yerel Stable Diffusion, canlı önizlemeyle. Snapdragon’da NPU ile hızlandırılır (görsel başına 5 ila 10 saniye). Absolute Reality, DreamShaper ve Anything V5 dahil 20’den fazla model.

Görsel anlama. Kamerayı bir şeye doğrult ya da bir görsel ekle ve soru sor. SmolVLM ve Qwen3-VL amiral gemisi telefonlarda yaklaşık 7 saniyede yanıt verir.

Sesten yazıya. Whisper sesini yerel olarak yazıya çevirir. Kayıt için basılı tut, sen konuşurken yazı belirir. Ses hiçbir zaman telefonundan çıkmaz.

Araçlar. Fonksiyon çağırmayı destekleyen modeller yerleşik araçları kullanır: web araması, hesap makinesi, tarih ve saat, cihaz bilgisi. Model bunları kendisi zincirler ve sonsuz döngüye girmesini engelleyen bir koruma vardır.

Belge analizi. Sohbetlerine PDF, kod dosyası, CSV ve daha fazlasını ekle.

Hangi modelleri seçmelisin

Off Grid’in model kataloğu, cihazının RAM’ine göre filtreleme yapar; böylece telefonunun kaldıramayacağı bir modeli asla indirmezsin. Gerçek donanımda şunlar çalışıyor:

6 GB RAM’li telefonlar: 1 ila 2 milyar parametreli modellerle devam et. Qwen 3 0.6B veya SmolLM3 iyi bir başlangıç. Saniyede 5 ila 10 token bekle; kısa yanıtlar ve basit işler için yeterli.

8 GB RAM’li telefonlar: en iyi denge. Qwen 3 1.5B veya Phi-4 Mini belirgin şekilde daha iyi yanıtlar verir. Yeni Snapdragon çiplerinde saniyede 10 ila 20 token.

12 GB ve üzeri RAM’li telefonlar: Llama 3.2 7B veya Qwen 3 4B gibi 7B modelleri çalıştırabilirsin. Birçok işte ilk ChatGPT’ye yaklaşırlar. Snapdragon 8 Gen 3’te saniyede 15 ila 30 token.

Kuantizasyon önemli. Q4_K_M kuantizasyonlu bir model, tam sürümün yaklaşık yarısı kadar bellek kullanır ve kalite kaybı çok azdır. Telefonda her zaman Q4 veya Q5 seç.

Daha önce indirdiğin modeller varsa kendi .gguf dosyalarını cihaz depolamasından içe aktarabilirsin.

Yerel yapay zekâ telefonunda nasıl çalışır

Yapay zekâyı yerel çalıştırdığında model ağırlıkları telefonunun RAM’ine yüklenir ve hesaplama senin işlemcinde yapılır. Hiçbir sunucu devreye girmez. Modeli Hugging Face’ten indirdikten sonra tüm hesaplamalar cihazında gerçekleşir.

Off Grid arka planda llama.cpp kullanır; bilgisayarlardaki yerel yapay zekânın çoğunu çalıştıran motorun aynısı. ARM64 için derlenmiştir ve telefonunun sunduğu hızlandırmayı kullanır: QNN üzerinden Qualcomm NPU, OpenCL üzerinden Adreno GPU ya da ARM NEON komutlarıyla CPU.

Yani sohbetlerin, belgelerin ve görsellerin hiçbir zaman ağa dokunmaz. Uçak modunu açarak kendin dene: her şey çalışmaya devam eder.

Donanım hızlandırma

Off Grid donanımını otomatik algılar ve en hızlı yolu seçer:

QNN ile Snapdragon 8 Gen 1 ve sonrası: Ayrı NPU, CPU veya GPU’dan çok daha hızlı ve daha az enerji harcar. Snapdragon 8 Gen 2 veya Gen 3’te en hızlı yol budur. Off Grid, QNN mevcutsa onu otomatik kullanır.

OpenCL ile Adreno GPU: Çoğu Snapdragon telefonda bulunur. Yalnızca CPU’dan daha hızlıdır, eski Snapdragon cihazlar için iyi bir seçenektir.

Yalnızca CPU: Her telefonda çalışır. Daha yavaştır ama küçük modeller için kullanılabilir.

Hızını üçe katlayan KV önbellek numarası

Çoğu kişinin kaçırdığı en büyük hız kazancı bu. KV önbellek, sohbetinin bağlamını saklar. Varsayılan olarak f16 (16 bit kayan nokta) kullanır. Off Grid ayarlarından q4_0’a (4 bit kuantizasyon) geçebilirsin.

f16’dan q4_0’a geçmek hızı kabaca üçe katlar; çoğu modelde kaliteye etkisi çok azdır. Uygulama ilk yanıttan sonra bunu sana önerir.

Bellek, asıl sınır

Telefonunda 8 GB RAM var ama sistem bunun 3 ila 4 GB’ını kullanıyor. Yapay zekâ için yaklaşık 4 GB kalıyor.

Kaba bir formül: model dosyası boyutu × 1,5 = çalışırken gereken RAM (fazlası KV önbellek ve ara hesaplamalar için). Yani 4 GB’lık bir model yaklaşık 6 GB boş RAM ister.

Off Grid her model yüklemesinden önce boş RAM’i kontrol eder ve model sığmayacaksa seni uyarır. Böylece sistem çok bellek kullanan uygulamayı kapattığında yaşanan sessiz çökme olmaz. Aniden kapanan bir uygulama yerine anlaşılır bir uyarı görürsün.

Neden bulut yerine yerel

Telefonda yerel yapay zekâ seni aynı anda üç bağımlılıktan kurtarır.

Abonelik yok. Bulut yapay zekâ ayda 20 $’dan başlar. Yerel yapay zekâ, modeli bir kez indirdikten sonra ücretsizdir.

İnternet yok. Yerel modeller uçakta, bodrumda, interneti kısıtlı ülkelerde de çalışır. Bağlantı yoksa kesinti de yok.

Veri sızıntısı yok. Bulut yapay zekâya yazdığın her şey senin kontrol etmediğin bir sunucuda saklanır. Yerelde sağlık soruların, hukuki belgelerin, kişisel günlüğün ve gizli iş notların cihazından hiç çıkmaz. Off Grid açık kaynaklıdır; kimsenin gizlilik vaadine körü körüne güvenmen gerekmez. Kodu kendin oku.

Başlarken

  1. Off Grid’i Play Store’dan yükle
  2. Model kataloğunu aç ve cihazının RAM’i için önerilen bir model seç
  3. Modeli Wi-Fi ile indir (80 MB’tan 4 GB’ın üzerine kadar)
  4. Her şeyin yerelde çalıştığını görmek için uçak modunu aç
  5. Sohbete başla

İlk yanıt, model belleğe yüklendiği için daha yavaş gelir. Sonrakiler daha hızlıdır. En iyi hız için ayarlardan KV önbelleği q4_0’a çevir.

Sırada ne var

Qualcomm’un yeni nesil Snapdragon’unun yerel yapay zekâda saniyede 200 token’a ulaşması bekleniyor. Samsung Galaxy S26, cihaz üzerinde yerleşik yapay zekâyla geliyor. Optimizasyon teknikleri de giderek küçülen modellerden giderek daha fazla kalite çıkarıyor.

Off Grid aktif olarak geliştiriliyor ve her hafta yeni özellikler geliyor. Sesli mod, araçlar, ayarlanabilir KV önbellek ve görsel anlama geçen ay eklendi. En yeni sürümler GitHub’da.

Bir yıl sonra telefonda yerel yapay zekâ çalıştırmak uzmanlara özel bir numara olmayacak. Varsayılan olacak.

İŞİNE YARADI MI?
GELİŞTİRİCİDEN HABERLER