AnleitungModelle und LeistungSmartphone3 Min. Lesezeit

Auf dieser Seite
  1. Schnellauswahl nach RAM
  2. Der ganze Modellkatalog
  3. Was ist der Denkmodus?
  4. Q4_K_M verstehen
  5. RAM-Sicherheitsgrenzen
  6. Häufige Fragen
  7. Weitere Anleitungen
  8. Off Grid AI im Vergleich

Welches Modell soll ich nehmen?

Diese Empfehlungen beziehen sich auf genau die Modelle, die in Off Grid AI stecken, und kommen direkt aus dem Modellkatalog der App. Standard-Quantisierung ist überall Q4_K_M.


Schnellauswahl nach RAM

RAM deines Geräts Bestes Textmodell Bestes Bildmodell
3GB Qwen 3.5 0.8B SmolVLM2 500M
4GB Qwen 3.5 2B Gemma 4 E2B
6GB Gemma 4 E4B oder Phi-4 Mini Gemma 4 E4B
8GB+ Qwen 3.5 9B Qwen 3.5 9B

Der ganze Modellkatalog

Textmodelle

Modell Parameter Min. RAM Kontext Ideal für
SmolLM2 360M 0.36B 3GB 8K Ultraleicht, nur für Geräte mit wenig RAM
Qwen 3.5 0.8B 0.8B 3GB 262K Schnelle Antworten, langer Kontext auf günstigen Geräten
Qwen 3.5 2B 2B 4GB 262K Bestes Allround-Modell für Geräte mit 4 GB
SmolLM3 3B 3B 6GB 128K Gebaut für Geräte mit wenig Leistung
Phi-4 Mini 3.8B 6GB 128K Denken, Mathe, strukturierte Aufgaben
Mistral 7B 7B 6GB 32K Schnell und zuverlässig für alles
Qwen 3.5 9B 9B 8GB 262K Insgesamt die beste Qualität auf dem Gerät

Bildmodelle (können Bilder sehen)

Modell Parameter Min. RAM Ideal für
SmolVLM2 500M 0.5B 3GB Winziges Bildmodell für Geräte mit wenig RAM
SmolVLM 2B 2B 4GB Allgemeine Bildaufgaben auf Mittelklasse-Smartphones
SmolVLM2 2.2B 2.2B 4GB Bilder plus Videoverständnis
Gemma 4 E2B 2B (MoE) 4GB Beste Bildqualität für Geräte mit 4 GB, Denkmodus
Gemma 4 E4B 4B (MoE) 6GB Stärkstes Denken plus Bilderkennung, Denkmodus

Gemma 4 nutzt eine Mixture-of-Experts-Architektur (MoE). Die wirksame Parameterzahl ist kleiner, als sie aussieht. Deshalb passt das Modell in weniger RAM als erwartet und liefert trotzdem Qualität über seiner Gewichtsklasse.


Was ist der Denkmodus?

Qwen 3.5 und Gemma 4 haben einen Denkmodus: Das Modell arbeitet ein Problem Schritt für Schritt durch, bevor es seine Antwort gibt. Ähnlich wie Chain-of-Thought-Prompting, nur direkt im Modell eingebaut.

Nutz ihn für schwieriges Denken, Mathe und mehrstufige Aufgaben. Lass ihn weg für schnelle Fragen, Zusammenfassungen und lockeres Chatten, denn er ist langsamer.


Q4_K_M verstehen

Off Grid AI nutzt für alle Modelle standardmäßig die Quantisierung Q4_K_M. Das heißt:

  • etwa 4,5 Bit pro Gewicht
  • etwa 5 bis 8 % Qualitätsverlust gegenüber dem Original in voller Genauigkeit
  • etwa 50 bis 60 % kleiner als die float16-Version
  • von der llama.cpp-Community als bester Kompromiss fürs Smartphone empfohlen

Geh nicht unter Q4_K_S, außer dein Speicher ist sehr knapp. Q2- und Q3-Modelle verlieren spürbar an Qualität.


RAM-Sicherheitsgrenzen

Off Grid AI prüft vor dem Laden automatisch, ob ein Modell sicher passt:

  • Geräte mit 4 GB RAM: Modellbudget = 40 % des gesamten RAM
  • Geräte ab 6 GB RAM: Modellbudget = 60 % des gesamten RAM
  • Textmodelle brauchen etwa das 1,5-Fache ihrer Dateigröße im RAM (KV-Cache und Aktivierungen)
  • Bildmodelle brauchen etwa das 1,5-Fache auf iOS (CoreML) und das 1,8-Fache auf Android (Vulkan)

Wenn ein Modell als nicht kompatibel mit deinem Gerät markiert ist, liegt es daran.


Häufige Fragen

Welches Modell ist das beste für ein Smartphone mit 4 GB RAM? Qwen 3.5 2B (Q4_K_M). Für Bilderkennung Gemma 4 E2B.

Welche Quantisierung nutzt Off Grid AI standardmäßig? Standardmäßig Q4_K_M, die beste Balance aus Qualität und Größe fürs Smartphone.

Welches Modell denkt auf dem Gerät am besten? Gemma 4 E4B (6 GB RAM) oder Qwen 3.5 9B (8 GB RAM). Beide haben einen Denkmodus.


Weitere Anleitungen

Off Grid AI im Vergleich

HAT DAS GEHOLFEN?
NEUES VOM ENTWICKLER