Auf dieser Seite
LLMs 2026 lokal auf dem Android-Smartphone ausführen (ohne Cloud, ohne Konto)
Jede Frage an ChatGPT wird auf einem Server gespeichert: deine Frage, die Antwort, die Uhrzeit, dein Konto. Auf unbestimmte Zeit. Diese Daten trainieren Modelle, steuern Werbung und gehen an Behörden, wenn die danach fragen.
Off Grid AI lässt diese ganze Ebene weg. Das Modell läuft über llama.cpp auf ARM64 im Arbeitsspeicher deines Smartphones. Deine Eingaben werden nirgendwohin geschickt.
So richtest du es ein.
Was du brauchst
- Android-Smartphone mit mindestens 4 GB RAM (Android 10 oder neuer)
- 2 bis 5 GB freier Speicher, je nach Modell
- Internet einmal für den ersten Download, danach nie wieder
Schritt 1: Off Grid AI herunterladen
Off Grid AI bei Google Play laden
Schritt 2: Modell wählen
Alle Modelle nutzen standardmäßig die Quantisierung Q4_K_M, den besten Mix aus Qualität und Größe fürs Smartphone.
| Modell | Min. RAM | Größe | Ideal für |
|---|---|---|---|
| Qwen 3.5 0.8B | 3GB | ~0.8GB | Extrem schnell, 262K Kontext, günstige Geräte |
| Qwen 3.5 2B | 4GB | ~1.7GB | Am besten für Geräte mit 4 bis 6 GB RAM, 262K Kontext |
| Gemma 4 E2B | 4GB | ~1.5GB | Bilderkennung plus Denkmodus, MoE-Architektur |
| Mistral 7B | 6GB | ~4.1GB | Schnell und zuverlässig für alles |
| Gemma 4 E4B | 6GB | ~2.5GB | Starkes Denken plus Bilderkennung, Denkmodus |
| Qwen 3.5 9B | 8GB | ~5.5GB | Insgesamt die beste Qualität auf dem Gerät |
Mit 4 bis 6 GB: Fang mit Qwen 3.5 2B an. Mit 8 GB RAM oder mehr: Fang mit Qwen 3.5 9B an.
Schritt 3: Herunterladen und laden
- Öffne Off Grid AI → tipp auf Models
- Wähl dein Modell → tipp auf Download
- Nach dem Download tipp auf Load
- Öffne Chat und leg los
Ab jetzt läuft das Modell komplett auf deinem Gerät. Keine Netzwerkanfragen.
Schritt 4: Offline gehen
Schalt den Flugmodus ein. Öffne einen Chat. Es funktioniert weiter.
Genau darum geht es. Du hast jetzt einen fähigen KI-Assistenten, der ohne Verbindung läuft, in jedem Netz, in jedem Land, ohne Monatsrechnung.
Leistung nach Gerät
Off Grid AI nutzt llama.cpp auf ARM64 mit den SIMD-Befehlen NEON, i8mm und dotprod. Auf Qualcomm-Adreno-GPUs gibt es optional OpenCL-Auslagerung auf die GPU.
| Gerät | RAM | Empfohlenes Modell | Etwa Tokens/s |
|---|---|---|---|
| Pixel 9 Pro | 16GB | Qwen 3.5 9B | 15–25 |
| Samsung Galaxy S25 | 12GB | Qwen 3.5 9B | 15–25 |
| Pixel 8 Pro | 12GB | Qwen 3.5 9B | 12–20 |
| Samsung S24 | 8GB | Qwen 3.5 9B oder Gemma 4 E4B | 10–18 |
| Pixel 7 | 8GB | Qwen 3.5 9B | 8–15 |
| OnePlus 12 | 12GB | Qwen 3.5 9B | 12–20 |
| Samsung A55 | 8GB | Qwen 3.5 2B | 15–25 |
| Günstiges 4-GB-Gerät | 4GB | Qwen 3.5 0.8B | 20–35 |
Warum LLMs lokal statt in der Cloud?
Privatsphäre. Deine Fragen verlassen nie dein Gerät.
Keine Kosten. Keine API-Gebühren, kein Abo. Das Modell lädst du kostenlos und nutzt es für immer.
Offline. Funktioniert im Flugzeug, bei schlechtem Empfang und in Ländern, in denen Cloud-KI eingeschränkt ist.
Tempo. Bei kurzen Fragen ist lokale Berechnung auf aktuellen ARM-Chips erstaunlich schnell, oft schneller als das Warten auf eine Cloud-Antwort über eine langsame Verbindung.
Weitere Anleitungen
- LLMs 2026 lokal auf dem iPhone ausführen
- Welches Modell soll ich nehmen?
- Stable Diffusion auf dem Android-Smartphone ausführen
- Ollama 2026 vom Android-Smartphone aus nutzen
- Off Grid AI Desktop 2026 vom Smartphone aus nutzen
- Bilderkennung: Bilder auf dem Gerät auswerten