HandleidingModellen en prestatiesTelefoon3 min lezen

Op deze pagina
  1. Snel kiezen op RAM
  2. De volledige modelcatalogus
  3. Wat is de denkmodus?
  4. Q4_K_M uitgelegd
  5. Veiligheidsgrenzen voor RAM
  6. Veelgestelde vragen
  7. Meer handleidingen
  8. Off Grid AI vergeleken

Welk model moet ik kiezen?

Deze aanbevelingen gaan over de modellen die echt in Off Grid AI zitten, geen algemene tips, en komen rechtstreeks uit de modelcatalogus van de app. De standaardkwantisatie is overal Q4_K_M.


Snel kiezen op RAM

RAM van je toestel Beste tekstmodel Beste beeldmodel
3GB Qwen 3.5 0.8B SmolVLM2 500M
4GB Qwen 3.5 2B Gemma 4 E2B
6GB Gemma 4 E4B of Phi-4 Mini Gemma 4 E4B
8GB+ Qwen 3.5 9B Qwen 3.5 9B

De volledige modelcatalogus

Tekstmodellen

Model Parameters Min. RAM Context Ideaal voor
SmolLM2 360M 0.36B 3GB 8K Ultralicht, alleen voor toestellen met weinig RAM
Qwen 3.5 0.8B 0.8B 3GB 262K Snelle antwoorden en lange context op budgettoestellen
Qwen 3.5 2B 2B 4GB 262K Beste allround model voor toestellen met 4 GB
SmolLM3 3B 3B 6GB 128K Gemaakt voor toestellen met weinig rekenkracht
Phi-4 Mini 3.8B 6GB 128K Redeneren, rekenen, gestructureerde taken
Mistral 7B 7B 6GB 32K Snel en betrouwbaar voor alles
Qwen 3.5 9B 9B 8GB 262K Beste kwaliteit op het apparaat

Beeldmodellen (kunnen afbeeldingen zien)

Model Parameters Min. RAM Ideaal voor
SmolVLM2 500M 0.5B 3GB Piepklein beeldmodel voor toestellen met weinig RAM
SmolVLM 2B 2B 4GB Algemene beeldtaken op middenklassers
SmolVLM2 2.2B 2.2B 4GB Beeld plus videobegrip
Gemma 4 E2B 2B (MoE) 4GB Beste beeldkwaliteit voor toestellen met 4 GB, denkmodus
Gemma 4 E4B 4B (MoE) 6GB Sterkste redeneren plus beeld, denkmodus

Gemma 4 gebruikt een Mixture-of-Experts-architectuur (MoE). Het effectieve aantal parameters is lager dan het lijkt. Daarom past het in minder RAM dan je zou verwachten en levert het toch kwaliteit boven zijn gewichtsklasse.


Wat is de denkmodus?

Qwen 3.5- en Gemma 4-modellen hebben een denkmodus: het model werkt een probleem stap voor stap door voordat het zijn eindantwoord geeft. Vergelijkbaar met chain-of-thought-prompting, maar ingebouwd in het model.

Gebruik hem voor ingewikkeld redeneren, rekenen en problemen met meerdere stappen. Sla hem over bij snelle vragen, samenvattingen en gewoon kletsen, want hij is trager.


Q4_K_M uitgelegd

Off Grid AI gebruikt standaard Q4_K_M-kwantisatie voor alle modellen. Dat betekent:

  • ongeveer 4,5 bits per gewicht
  • ongeveer 5 tot 8% kwaliteitsverlies ten opzichte van het origineel in volle precisie
  • ongeveer 50 tot 60% kleiner dan de float16-versie
  • door de llama.cpp-community aanbevolen als beste compromis voor mobiel

Ga niet onder Q4_K_S, tenzij je echt krap zit met opslag. Q2- en Q3-modellen leveren merkbaar in op kwaliteit.


Veiligheidsgrenzen voor RAM

Off Grid AI controleert automatisch of een model veilig past voordat het laadt:

  • Toestellen met 4 GB RAM: modelbudget = 40% van het totale RAM
  • Toestellen met 6 GB of meer: modelbudget = 60% van het totale RAM
  • Tekstmodellen hebben ongeveer 1,5 keer hun bestandsgrootte aan RAM nodig (KV-cache en activaties)
  • Beeldmodellen hebben ongeveer 1,5 keer nodig op iOS (CoreML) en 1,8 keer op Android (Vulkan)

Staat een model als niet geschikt voor je toestel, dan is dit de reden.


Veelgestelde vragen

Wat is het beste model voor een telefoon met 4 GB RAM? Qwen 3.5 2B (Q4_K_M). Voor beeldtaken Gemma 4 E2B.

Welke kwantisatie gebruikt Off Grid AI standaard? Standaard Q4_K_M, de beste balans tussen kwaliteit en grootte op mobiel.

Wat is het beste model om op het apparaat te redeneren? Gemma 4 E4B (6 GB RAM) of Qwen 3.5 9B (8 GB RAM). Allebei hebben een denkmodus.


Meer handleidingen

Off Grid AI vergeleken

HEB JE HIER IETS AAN?
UPDATES VAN DE MAKER