Op deze pagina
De A17 Pro in je iPhone heeft een Neural Engine met 16 kernen die 35 biljoen bewerkingen per seconde doet. Apple gebruikt hem voor fotobewerking en autocorrectie. Jij kunt er volledige AI-modellen lokaal mee draaien: zonder iCloud, zonder abonnement, zonder dat er gegevens van je telefoon af gaan.
Off Grid is een gratis, open-source app die AI-modellen lokaal op je iPhone draait. Na de eerste download van een model heb je geen internet meer nodig. Voor de AI-functies is geen Apple ID nodig. Er wordt niets verstuurd. Deze gids laat zien hoe je het instelt, welke modellen het best werken op iOS en welke snelheid je kunt verwachten.
| App Store | GitHub |
Wat je nodig hebt
Minimaal: een iPhone met 6 GB RAM (iPhone 13 Pro en nieuwer), A16- of A17-chip. Je kunt beginnen met modellen vanaf 80 MB.
Aanbevolen: iPhone 15 Pro of nieuwer (8 GB RAM). Dan draai je modellen vanaf 3 miljard parameters, die echt bruikbare antwoorden geven.
Wat je inlevert ten opzichte van cloud-AI: clouddiensten zoals ChatGPT en Claude draaien modellen met honderden miljarden parameters op GPU’s in datacenters. Lokaal op je iPhone gebruik je kleinere modellen (1 tot 7 miljard parameters). Bij ingewikkeld redeneren zijn de antwoorden minder verfijnd, maar voor alledaagse taken zoals snelle vragen, samenvattingen, concepten en documentanalyse zijn ze verrassend goed.
Wat Off Grid kan
Off Grid is meer dan een tekstchatbot. Het brengt zes AI-functies samen in één app, allemaal op je toestel:
Voorbeeldgesprek (iPhone)
|
Afbeeldingen maken (iPhone)
|
Beschikbare modellen (iPhone)
|
Projectdocumenten (iPhone)
|
Tekst. Draai Qwen 3, Llama 3.2, Gemma 3, Phi-4 of elk ander GGUF-model. Antwoorden verschijnen terwijl ze worden geschreven, met Markdown-opmaak. Metal-GPU-versnelling op alle recente iPhones geeft 15 tot 25 tokens per seconde.
Afbeeldingen. Stable Diffusion lokaal via Apples Core ML-pijplijn, versneld door de Neural Engine. Inclusief SD 1.5, SD 2.1 en SDXL, geoptimaliseerd voor iOS.
Beeldherkenning. Richt je camera op iets of voeg een afbeelding toe en stel je vraag. SmolVLM en Qwen3-VL doen er op een iPhone 15 Pro zo’n 7 seconden over.
Spraak naar tekst. Whisper lokaal. Houd ingedrukt om op te nemen, de tekst verschijnt al terwijl je praat. Er gaat geen geluid van je telefoon af.
Tools. Modellen die functieaanroepen ondersteunen gebruiken ingebouwde tools: zoeken op het web, rekenmachine, datum en tijd, apparaatinfo. Het model koppelt ze zelf aan elkaar, met een beveiliging tegen eindeloze lussen.
Documentanalyse. Voeg pdf’s, codebestanden, csv’s en meer toe aan je gesprekken. Op iOS haalt PDFKit de tekst er direct uit.
Welke modellen je gebruikt
De modelcatalogus van Off Grid filtert op het RAM van je toestel, dus je downloadt nooit iets dat je iPhone niet aankan. Zo werkt het op echte hardware:
iPhones met 6 GB RAM (iPhone 13 Pro, 14 Pro): houd het bij modellen van 1 tot 2 miljard parameters. Qwen 3 0.6B of SmolLM3 zijn een goed begin. Reken op 8 tot 12 tokens per seconde. Prima voor korte antwoorden en eenvoudige taken.
iPhones met 8 GB RAM (iPhone 15 Pro, 16 Pro): de beste keus. Qwen 3 1.5B of Phi-4 Mini geven merkbaar betere antwoorden. 15 tot 25 tokens per seconde met Metal-versnelling.
Kwantisatie telt. Een Q4_K_M-gekwantiseerd model gebruikt ongeveer de helft van het geheugen van de volledige versie, met nauwelijks kwaliteitsverlies. Kies op je telefoon altijd Q4 of Q5.
Heb je al modellen gedownload, dan kun je je eigen .gguf-bestanden uit de opslag van je toestel importeren.
Hoe lokale AI werkt op je iPhone
Bij lokale AI worden de gewichten van het model in het RAM van je iPhone geladen en draait de berekening op je processor. Er komt geen server aan te pas. Nadat je een model van HuggingFace hebt gedownload, gebeurt elke berekening op je toestel.
Off Grid gebruikt llama.cpp, gecompileerd voor Apple Silicon met Metal-GPU-versnelling. Dezelfde motor zit achter de meeste lokale AI op de Mac. Hij draait direct op de GPU van je iPhone en is veel sneller dan alleen de CPU.
Voor afbeeldingen gebruikt Off Grid Apples eigen Core ML-pijplijn voor Stable Diffusion, op de Neural Engine, voor de hoogste efficiëntie. De hardware die Apple voor computationele fotografie gebruikt, maakt nu jouw AI-afbeeldingen.
Het resultaat: je gesprekken, je documenten en je afbeeldingen raken nooit een netwerk. Controleer het met vliegtuigmodus. Alles werkt.
Geheugen op iOS
iOS sluit apps die te veel geheugen gebruiken zonder pardon af. Ook een model dat op papier in het RAM past, kan worden afgesloten als iOS het geheugen ergens anders voor nodig heeft.
Off Grid controleert daarom vooraf. Voordat een model wordt geladen, berekent het hoeveel RAM echt nodig is (bestandsgrootte x 1,5 voor tekstmodellen) en vergelijkt dat met het vrije geheugen. Op toestellen met 4 GB RAM of minder gaat GPU-versnelling vanzelf uit, zodat Metal niet crasht bij het toewijzen van geheugen.
Past een model niet, dan zie je een duidelijke melding in plaats van een app die zomaar sluit.
De KV-cachetruc die je snelheid verdrievoudigt
Dit is de grootste snelheidswinst die de meeste mensen missen. De KV-cache bewaart de context van je gesprek. Standaard gebruikt hij f16 (16-bits drijvende komma). In Off Grid zet je hem in de instellingen op q4_0 (4-bits kwantisatie).
Van f16 naar q4_0 maakt het ongeveer drie keer zo snel, met bij de meeste modellen nauwelijks kwaliteitsverlies. Na je eerste antwoord stelt de app het zelf voor.
Waarom lokaal en niet in de cloud
Lokale AI op je iPhone haalt drie afhankelijkheden in één keer weg.
Geen abonnement. Cloud-AI kost $ 20 per maand of meer. Lokale AI is gratis na de eenmalige download van een model.
Geen internet. Lokale modellen werken in het vliegtuig, in de kelder, overal. Geen verbinding betekent geen onderbreking.
Geen gegevens op straat. Wat je in een cloud-AI typt, staat op een server waar jij niets over te zeggen hebt. Lokaal blijven je vragen over je gezondheid, juridische stukken, dagboek en werknotities op je toestel. Off Grid is open source: je hoeft niemands privacybelofte te geloven, je leest de code zelf.
Vergeleken met Apple Intelligence
Apple Intelligence doet sommige taken op het toestel en stuurt andere via de Private Cloud Compute-servers van Apple. Het werkt alleen met Apples eigen modellen en zit vast aan Apples ecosysteem. Je kiest geen model, je kunt niet controleren wat lokaal en wat in de cloud draait, en je gebruikt het niet op Android.
Off Grid doet alles lokaal. Jij kiest het model. Jij controleert de code. Het werkt op iOS, Android en macOS. Geen afgesloten wereld.
Zo begin je
- Installeer Off Grid uit de App Store
- Open de modelcatalogus en kies een aanbevolen model voor het RAM van je toestel
- Download het model via wifi (van 80 MB tot meer dan 4 GB)
- Zet vliegtuigmodus aan om te controleren dat het lokaal draait
- Begin te chatten
Het eerste antwoord duurt langer, omdat het model in het geheugen wordt geladen. Daarna gaat het sneller. Zet in de instellingen de KV-cache op q4_0 voor de beste snelheid.
Off Grid draait via Mac Catalyst ook native op Macs met Apple Silicon. Dezelfde app, dezelfde modellen, dezelfde privacy.
Wat er komt
De volgende chips van Apple maken lokale AI naar verwachting nog sneller, en nieuwe optimalisaties halen steeds meer kwaliteit uit kleinere modellen. Het verschil tussen lokale en cloud-AI wordt elk kwartaal kleiner.
Off Grid wordt volop verder ontwikkeld, met elke week nieuwe functies. De nieuwste versies staan op GitHub.
Over een jaar is lokale AI op je telefoon geen truc voor kenners meer. Dan is het gewoon de standaard.
Voorbeeldgesprek (iPhone)
Afbeeldingen maken (iPhone)
Beschikbare modellen (iPhone)
Projectdocumenten (iPhone)