Op deze pagina
Welk model moet ik kiezen?
Deze aanbevelingen gaan over de modellen die echt in Off Grid AI zitten, geen algemene tips, en komen rechtstreeks uit de modelcatalogus van de app. De standaardkwantisatie is overal Q4_K_M.
Snel kiezen op RAM
| RAM van je toestel | Beste tekstmodel | Beste beeldmodel |
|---|---|---|
| 3GB | Qwen 3.5 0.8B | SmolVLM2 500M |
| 4GB | Qwen 3.5 2B | Gemma 4 E2B |
| 6GB | Gemma 4 E4B of Phi-4 Mini | Gemma 4 E4B |
| 8GB+ | Qwen 3.5 9B | Qwen 3.5 9B |
De volledige modelcatalogus
Tekstmodellen
| Model | Parameters | Min. RAM | Context | Ideaal voor |
|---|---|---|---|---|
| SmolLM2 360M | 0.36B | 3GB | 8K | Ultralicht, alleen voor toestellen met weinig RAM |
| Qwen 3.5 0.8B | 0.8B | 3GB | 262K | Snelle antwoorden en lange context op budgettoestellen |
| Qwen 3.5 2B | 2B | 4GB | 262K | Beste allround model voor toestellen met 4 GB |
| SmolLM3 3B | 3B | 6GB | 128K | Gemaakt voor toestellen met weinig rekenkracht |
| Phi-4 Mini | 3.8B | 6GB | 128K | Redeneren, rekenen, gestructureerde taken |
| Mistral 7B | 7B | 6GB | 32K | Snel en betrouwbaar voor alles |
| Qwen 3.5 9B | 9B | 8GB | 262K | Beste kwaliteit op het apparaat |
Beeldmodellen (kunnen afbeeldingen zien)
| Model | Parameters | Min. RAM | Ideaal voor |
|---|---|---|---|
| SmolVLM2 500M | 0.5B | 3GB | Piepklein beeldmodel voor toestellen met weinig RAM |
| SmolVLM 2B | 2B | 4GB | Algemene beeldtaken op middenklassers |
| SmolVLM2 2.2B | 2.2B | 4GB | Beeld plus videobegrip |
| Gemma 4 E2B | 2B (MoE) | 4GB | Beste beeldkwaliteit voor toestellen met 4 GB, denkmodus |
| Gemma 4 E4B | 4B (MoE) | 6GB | Sterkste redeneren plus beeld, denkmodus |
Gemma 4 gebruikt een Mixture-of-Experts-architectuur (MoE). Het effectieve aantal parameters is lager dan het lijkt. Daarom past het in minder RAM dan je zou verwachten en levert het toch kwaliteit boven zijn gewichtsklasse.
Wat is de denkmodus?
Qwen 3.5- en Gemma 4-modellen hebben een denkmodus: het model werkt een probleem stap voor stap door voordat het zijn eindantwoord geeft. Vergelijkbaar met chain-of-thought-prompting, maar ingebouwd in het model.
Gebruik hem voor ingewikkeld redeneren, rekenen en problemen met meerdere stappen. Sla hem over bij snelle vragen, samenvattingen en gewoon kletsen, want hij is trager.
Q4_K_M uitgelegd
Off Grid AI gebruikt standaard Q4_K_M-kwantisatie voor alle modellen. Dat betekent:
- ongeveer 4,5 bits per gewicht
- ongeveer 5 tot 8% kwaliteitsverlies ten opzichte van het origineel in volle precisie
- ongeveer 50 tot 60% kleiner dan de float16-versie
- door de llama.cpp-community aanbevolen als beste compromis voor mobiel
Ga niet onder Q4_K_S, tenzij je echt krap zit met opslag. Q2- en Q3-modellen leveren merkbaar in op kwaliteit.
Veiligheidsgrenzen voor RAM
Off Grid AI controleert automatisch of een model veilig past voordat het laadt:
- Toestellen met 4 GB RAM: modelbudget = 40% van het totale RAM
- Toestellen met 6 GB of meer: modelbudget = 60% van het totale RAM
- Tekstmodellen hebben ongeveer 1,5 keer hun bestandsgrootte aan RAM nodig (KV-cache en activaties)
- Beeldmodellen hebben ongeveer 1,5 keer nodig op iOS (CoreML) en 1,8 keer op Android (Vulkan)
Staat een model als niet geschikt voor je toestel, dan is dit de reden.
Veelgestelde vragen
Wat is het beste model voor een telefoon met 4 GB RAM? Qwen 3.5 2B (Q4_K_M). Voor beeldtaken Gemma 4 E2B.
Welke kwantisatie gebruikt Off Grid AI standaard? Standaard Q4_K_M, de beste balans tussen kwaliteit en grootte op mobiel.
Wat is het beste model om op het apparaat te redeneren? Gemma 4 E4B (6 GB RAM) of Qwen 3.5 9B (8 GB RAM). Allebei hebben een denkmodus.
Meer handleidingen
- LLM’s lokaal draaien op je Android-telefoon in 2026
- LLM’s lokaal draaien op je iPhone in 2026
- Vision AI: afbeeldingen en documenten analyseren