AnleitungModelle und LeistungAndroid2 Min. Lesezeit

Auf dieser Seite
  1. Was du brauchst
  2. Schritt 1: Off Grid AI herunterladen
  3. Schritt 2: Modell wählen
  4. Schritt 3: Herunterladen und laden
  5. Schritt 4: Offline gehen
  6. Leistung nach Gerät
  7. Warum LLMs lokal statt in der Cloud?
  8. Weitere Anleitungen
  9. Off Grid AI im Vergleich

LLMs 2026 lokal auf dem Android-Smartphone ausführen (ohne Cloud, ohne Konto)

Jede Frage an ChatGPT wird auf einem Server gespeichert: deine Frage, die Antwort, die Uhrzeit, dein Konto. Auf unbestimmte Zeit. Diese Daten trainieren Modelle, steuern Werbung und gehen an Behörden, wenn die danach fragen.

Off Grid AI lässt diese ganze Ebene weg. Das Modell läuft über llama.cpp auf ARM64 im Arbeitsspeicher deines Smartphones. Deine Eingaben werden nirgendwohin geschickt.

So richtest du es ein.


Was du brauchst

  • Android-Smartphone mit mindestens 4 GB RAM (Android 10 oder neuer)
  • 2 bis 5 GB freier Speicher, je nach Modell
  • Internet einmal für den ersten Download, danach nie wieder

Schritt 1: Off Grid AI herunterladen

Off Grid AI bei Google Play laden


Schritt 2: Modell wählen

Alle Modelle nutzen standardmäßig die Quantisierung Q4_K_M, den besten Mix aus Qualität und Größe fürs Smartphone.

Modell Min. RAM Größe Ideal für
Qwen 3.5 0.8B 3GB ~0.8GB Extrem schnell, 262K Kontext, günstige Geräte
Qwen 3.5 2B 4GB ~1.7GB Am besten für Geräte mit 4 bis 6 GB RAM, 262K Kontext
Gemma 4 E2B 4GB ~1.5GB Bilderkennung plus Denkmodus, MoE-Architektur
Mistral 7B 6GB ~4.1GB Schnell und zuverlässig für alles
Gemma 4 E4B 6GB ~2.5GB Starkes Denken plus Bilderkennung, Denkmodus
Qwen 3.5 9B 8GB ~5.5GB Insgesamt die beste Qualität auf dem Gerät

Mit 4 bis 6 GB: Fang mit Qwen 3.5 2B an. Mit 8 GB RAM oder mehr: Fang mit Qwen 3.5 9B an.


Schritt 3: Herunterladen und laden

  1. Öffne Off Grid AI → tipp auf Models
  2. Wähl dein Modell → tipp auf Download
  3. Nach dem Download tipp auf Load
  4. Öffne Chat und leg los

Ab jetzt läuft das Modell komplett auf deinem Gerät. Keine Netzwerkanfragen.


Schritt 4: Offline gehen

Schalt den Flugmodus ein. Öffne einen Chat. Es funktioniert weiter.

Genau darum geht es. Du hast jetzt einen fähigen KI-Assistenten, der ohne Verbindung läuft, in jedem Netz, in jedem Land, ohne Monatsrechnung.


Leistung nach Gerät

Off Grid AI nutzt llama.cpp auf ARM64 mit den SIMD-Befehlen NEON, i8mm und dotprod. Auf Qualcomm-Adreno-GPUs gibt es optional OpenCL-Auslagerung auf die GPU.

Gerät RAM Empfohlenes Modell Etwa Tokens/s
Pixel 9 Pro 16GB Qwen 3.5 9B 15–25
Samsung Galaxy S25 12GB Qwen 3.5 9B 15–25
Pixel 8 Pro 12GB Qwen 3.5 9B 12–20
Samsung S24 8GB Qwen 3.5 9B oder Gemma 4 E4B 10–18
Pixel 7 8GB Qwen 3.5 9B 8–15
OnePlus 12 12GB Qwen 3.5 9B 12–20
Samsung A55 8GB Qwen 3.5 2B 15–25
Günstiges 4-GB-Gerät 4GB Qwen 3.5 0.8B 20–35

Warum LLMs lokal statt in der Cloud?

Privatsphäre. Deine Fragen verlassen nie dein Gerät.

Keine Kosten. Keine API-Gebühren, kein Abo. Das Modell lädst du kostenlos und nutzt es für immer.

Offline. Funktioniert im Flugzeug, bei schlechtem Empfang und in Ländern, in denen Cloud-KI eingeschränkt ist.

Tempo. Bei kurzen Fragen ist lokale Berechnung auf aktuellen ARM-Chips erstaunlich schnell, oft schneller als das Warten auf eine Cloud-Antwort über eine langsame Verbindung.


Weitere Anleitungen

Off Grid AI im Vergleich

HAT DAS GEHOLFEN?
NEUES VOM ENTWICKLER