Auf dieser Seite
Welches Modell soll ich nehmen?
Diese Empfehlungen beziehen sich auf genau die Modelle, die in Off Grid AI stecken, und kommen direkt aus dem Modellkatalog der App. Standard-Quantisierung ist überall Q4_K_M.
Schnellauswahl nach RAM
| RAM deines Geräts | Bestes Textmodell | Bestes Bildmodell |
|---|---|---|
| 3GB | Qwen 3.5 0.8B | SmolVLM2 500M |
| 4GB | Qwen 3.5 2B | Gemma 4 E2B |
| 6GB | Gemma 4 E4B oder Phi-4 Mini | Gemma 4 E4B |
| 8GB+ | Qwen 3.5 9B | Qwen 3.5 9B |
Der ganze Modellkatalog
Textmodelle
| Modell | Parameter | Min. RAM | Kontext | Ideal für |
|---|---|---|---|---|
| SmolLM2 360M | 0.36B | 3GB | 8K | Ultraleicht, nur für Geräte mit wenig RAM |
| Qwen 3.5 0.8B | 0.8B | 3GB | 262K | Schnelle Antworten, langer Kontext auf günstigen Geräten |
| Qwen 3.5 2B | 2B | 4GB | 262K | Bestes Allround-Modell für Geräte mit 4 GB |
| SmolLM3 3B | 3B | 6GB | 128K | Gebaut für Geräte mit wenig Leistung |
| Phi-4 Mini | 3.8B | 6GB | 128K | Denken, Mathe, strukturierte Aufgaben |
| Mistral 7B | 7B | 6GB | 32K | Schnell und zuverlässig für alles |
| Qwen 3.5 9B | 9B | 8GB | 262K | Insgesamt die beste Qualität auf dem Gerät |
Bildmodelle (können Bilder sehen)
| Modell | Parameter | Min. RAM | Ideal für |
|---|---|---|---|
| SmolVLM2 500M | 0.5B | 3GB | Winziges Bildmodell für Geräte mit wenig RAM |
| SmolVLM 2B | 2B | 4GB | Allgemeine Bildaufgaben auf Mittelklasse-Smartphones |
| SmolVLM2 2.2B | 2.2B | 4GB | Bilder plus Videoverständnis |
| Gemma 4 E2B | 2B (MoE) | 4GB | Beste Bildqualität für Geräte mit 4 GB, Denkmodus |
| Gemma 4 E4B | 4B (MoE) | 6GB | Stärkstes Denken plus Bilderkennung, Denkmodus |
Gemma 4 nutzt eine Mixture-of-Experts-Architektur (MoE). Die wirksame Parameterzahl ist kleiner, als sie aussieht. Deshalb passt das Modell in weniger RAM als erwartet und liefert trotzdem Qualität über seiner Gewichtsklasse.
Was ist der Denkmodus?
Qwen 3.5 und Gemma 4 haben einen Denkmodus: Das Modell arbeitet ein Problem Schritt für Schritt durch, bevor es seine Antwort gibt. Ähnlich wie Chain-of-Thought-Prompting, nur direkt im Modell eingebaut.
Nutz ihn für schwieriges Denken, Mathe und mehrstufige Aufgaben. Lass ihn weg für schnelle Fragen, Zusammenfassungen und lockeres Chatten, denn er ist langsamer.
Q4_K_M verstehen
Off Grid AI nutzt für alle Modelle standardmäßig die Quantisierung Q4_K_M. Das heißt:
- etwa 4,5 Bit pro Gewicht
- etwa 5 bis 8 % Qualitätsverlust gegenüber dem Original in voller Genauigkeit
- etwa 50 bis 60 % kleiner als die float16-Version
- von der llama.cpp-Community als bester Kompromiss fürs Smartphone empfohlen
Geh nicht unter Q4_K_S, außer dein Speicher ist sehr knapp. Q2- und Q3-Modelle verlieren spürbar an Qualität.
RAM-Sicherheitsgrenzen
Off Grid AI prüft vor dem Laden automatisch, ob ein Modell sicher passt:
- Geräte mit 4 GB RAM: Modellbudget = 40 % des gesamten RAM
- Geräte ab 6 GB RAM: Modellbudget = 60 % des gesamten RAM
- Textmodelle brauchen etwa das 1,5-Fache ihrer Dateigröße im RAM (KV-Cache und Aktivierungen)
- Bildmodelle brauchen etwa das 1,5-Fache auf iOS (CoreML) und das 1,8-Fache auf Android (Vulkan)
Wenn ein Modell als nicht kompatibel mit deinem Gerät markiert ist, liegt es daran.
Häufige Fragen
Welches Modell ist das beste für ein Smartphone mit 4 GB RAM? Qwen 3.5 2B (Q4_K_M). Für Bilderkennung Gemma 4 E2B.
Welche Quantisierung nutzt Off Grid AI standardmäßig? Standardmäßig Q4_K_M, die beste Balance aus Qualität und Größe fürs Smartphone.
Welches Modell denkt auf dem Gerät am besten? Gemma 4 E4B (6 GB RAM) oder Qwen 3.5 9B (8 GB RAM). Beide haben einen Denkmodus.
Weitere Anleitungen
- LLMs 2026 lokal auf dem Android-Smartphone ausführen
- LLMs 2026 lokal auf dem iPhone ausführen
- Bilderkennung: Bilder und Dokumente auswerten