Auf dieser Seite
Ein moderner Laptop hat 16 GB RAM oder mehr und eine GPU, die bei 2 Prozent Last dümpelt, während du ein PDF liest. Diese Hardware kann ein Sprachmodell und einen Vektor-Suchindex gleichzeitig ausführen. Die meisten Tools zum “Chatten mit Dokumenten” schicken deine Dateien aber an einen Server und kassieren dafür jeden Monat. Off Grid AI Desktop ist eine kostenlose App, die die ganze Kette, also Embeddings, Vektorspeicher und Chat, direkt auf deinem Mac oder PC ausführt.
Off Grid AI Desktop herunterladen
Kostenlos und läuft offline.

Ein Projekt-Chat in Off Grid AI Desktop antwortet aus deinen Dokumenten und zitiert das PDF, die DOCX-Datei und das Meeting, die er genutzt hat.
Was du davon hast
Du ziehst einen Ordner mit Verträgen, Besprechungsnotizen oder Fachartikeln in ein Projekt. Die App liest sie, erstellt die Embeddings auf dem Gerät und legt sie in einem lokalen Vektorindex ab. Dann stellst du Fragen in normaler Sprache und bekommst Antworten mit Quellenangaben, die genau auf die Stelle zeigen.
Nichts wird hochgeladen. Keine Datei verlässt den Rechner. Kein Konto, kein Schlüssel.
Was du brauchst
Die Arbeit teilt sich auf das Modell und den Embedding-Schritt auf. Beides läuft lokal, also zählen RAM und Speicherplatz am meisten.
| Stufe | Chip / GPU | RAM | Betriebssystem | Freier Speicher |
|---|---|---|---|---|
| Minimum | Apple Silicon M1 oder ein Intel/AMD ab 2019 mit iGPU | 8 GB | macOS 13+, Windows 11 | 12 GB |
| Empfohlen | M2/M3/M4 oder NVIDIA RTX (CUDA) | ab 16 GB | macOS 14+, Windows 11 | ab 25 GB |
Mit 8 GB nutzt du ein kleines quantisiertes Modell und hältst die Dokumentensammlungen überschaubar. Ab 16 GB kannst du ein größeres Modell laden und tausende Seiten indexieren, ohne dass der Rechner ins Stocken gerät.
Was Off Grid AI Desktop kann
Projekte sind der Rahmen. Jedes Projekt hat eigene Dokumente und einen eigenen Chatverlauf, damit sich deine Steuerunterlagen und deine Romanentwürfe nie vermischen.
Du kannst Text, Markdown, PDF, DOCX, Bilder, Audio und Video hochladen. Bilder laufen durch eine Texterkennung (OCR) auf dem Gerät, so werden eingescannte Belege und Screenshots durchsuchbarer Text. Audio und Video werden lokal mit Whisper transkribiert, so wird eine aufgezeichnete Vorlesung zu einem Dokument, dem du Fragen stellen kannst.
Jede Antwort nennt ihre Quellen. Du siehst, aus welchem Dokument und welcher Passage das Modell geschöpft hat, und kannst die Aussage prüfen, statt ihr blind zu vertrauen. Das zählt, wenn die Antwort eine Vertragsklausel oder eine Zahl aus einem Bericht ist.
Mit einem Schalter kannst du auch dein erfasstes Gedächtnis einbeziehen. Wenn du die Bildschirmaufnahme-Funktion nutzt, kann das Modell auf das zurückgreifen, was du gelesen und bearbeitet hast, nicht nur auf hochgeladene Dateien. Den Schalter kannst du jederzeit ausschalten.
So funktioniert es
RAG steht für Retrieval-Augmented Generation, also Generierung mit Abruf. Die einfache Version ist kurz.
Erstens teilt die App jedes Dokument in Abschnitte und verwandelt jeden Abschnitt in einen Vektor, eine Zahlenreihe, die die Bedeutung erfasst. Das ist der Embedding-Schritt, und er läuft auf dem Gerät.
Zweitens kommen die Vektoren in einen lokalen Vektorspeicher. Wenn du eine Frage stellst, wandelt die App sie genauso in einen Vektor um und sucht die Abschnitte, deren Vektoren am nächsten daran liegen.
Drittens bekommt das lokale Sprachmodell diese Abschnitte zusammen mit deiner Frage als Kontext. Das Modell antwortet auf dieser Grundlage und verweist auf die Abschnitte, die es genutzt hat.
Das Modell muss deine Dateien also nie auswendig lernen. Es liest die passenden Seiten erst, wenn du fragst. Deshalb kann ein 7B-Modell auf deinem Laptop Fragen zu einem 400-seitigen Dokument beantworten, das es noch nie gesehen hat.

Eine Antwort im Chat von Off Grid AI Desktop, die das Meeting und das PDF zitiert, aus dem sie stammt.
Wie die Hardwarebeschleunigung funktioniert
Auf dem Mac nutzt der mitgelieferte llama.cpp-Server Metal und den gemeinsamen Speicher von Apple. CPU, GPU und Modell teilen sich einen Speicher, also lädt ein quantisiertes Modell, ohne Gewichte hin und her zu kopieren. Deshalb läuft ein 7B-Modell auf einem Laptop mit M-Chip brauchbar schnell.
Unter Windows nutzt dieselbe Engine CUDA auf NVIDIA-Karten oder Vulkan auf anderen und weicht auf die CPU aus, wenn keine GPU verfügbar ist. Nur mit CPU klappt es bei kleineren Modellen, nur langsamer.
Die Modelle kommen als quantisierte GGUF-Dateien. Quantisierung macht die Gewichte kleiner: Eine q8_0- oder Q4_K-Version eines 7B-Modells passt in normalen RAM und VRAM, statt eine Rechenzentrumskarte zu brauchen. Das Embedding-Modell ist im Vergleich klein und läuft bequem neben dem Chat-Modell.
So bleibt die Suche treffsicher
Ein paar Gewohnheiten machen lokales RAG spürbar besser.
Halte Projekte fokussiert. Ein Projekt zu einem Thema liefert sauberere Abschnitte als eine Schublade mit allem, was du besitzt. Mischst du Steuerunterlagen, Rezepte und Code-Doku in einem Projekt, wird der nächstgelegene Treffer unschärfer.
Benenne und strukturiere deine Quelldateien. Die Aufteilung arbeitet mit dem, was auf der Seite steht, also schlägt ein PDF mit echten Überschriften eine Wand aus eingescanntem Text. Lass OCR-lastige Dokumente durchlaufen und prüf stichprobenartig die Quellenangaben.
Achte auf dein Kontextfenster. Die abgerufenen Abschnitte und deine Frage müssen in den Kontext des Modells passen. Wirken Antworten abgeschnitten, ruf weniger Abschnitte ab oder nimm ein Modell mit längerem Kontextfenster. In den Chat-Einstellungen findest du Temperatur und Kontext, um das anzupassen.
Datenschutz: stärker als die Cloud-Variante
Ein Cloud-RAG-Produkt lädt deine Dokumente auf einen Server, erstellt dort die Embeddings und speichert die Vektoren auf einer Infrastruktur, die du nicht kontrollierst. Selbst mit guten Absichten liegen deine Verträge und Notizen dann woanders.
Off Grid AI Desktop dreht das um. Die Dokumente bleiben auf der Festplatte. Die Embeddings bleiben auf der Festplatte. Der Chat passiert auf deinem Rechner. Du musst kein Konto anlegen.
Bei allem, was unter eine Geheimhaltungsvereinbarung oder die DSGVO fällt oder dir einfach privat ist, entscheidet “auf dem Gerät” darüber, ob du jemandem vertrauen musst oder es selbst in der Hand hast.
So legst du los
- Lade Off Grid AI Desktop herunter, für macOS oder Windows.
- Installier und öffne die App. Es gibt keinen Anmeldebildschirm, weil es kein Konto gibt.
- Öffne den Modellbrowser, wähl ein Chat-Modell, das in deinen RAM passt, und lade es herunter.
- Leg ein Projekt an und zieh deine Dokumente hinein. Lass die App die Indexierung abschließen.
- Öffne den Chat des Projekts und stell eine Frage. Prüf die Quellenangaben in der Antwort.
FAQ
Ist es wirklich kostenlos?
Ja. Die App ist kostenlos. Es gibt kein Dokumentenlimit und keine Bezahlstufe für die RAG-Funktion.
Funktioniert es komplett offline?
Ja. Nachdem du ein Modell heruntergeladen hast, kannst du das Netzwerkkabel ziehen. Embeddings, Suche und Chat laufen alle lokal.
Welche Dateitypen kann ich hochladen?
Text, Markdown, PDF, DOCX, Bilder, Audio und Video. Bilder laufen durch OCR, Audio und Video werden mit Whisper transkribiert, so wird alles zu durchsuchbarem Text.
Wie viel RAM brauche ich?
Mit 8 GB laufen ein kleines Modell und überschaubare Dokumentensammlungen. Ab 16 GB wird es bequem für größere Modelle und größere Bibliotheken.
Läuft es unter Windows und auf dem Mac?
Ja. Macs nutzen Metal, Windows nutzt CUDA oder Vulkan mit der CPU als Ausweichlösung.
Sind meine Daten privat?
Deine Dateien verlassen nie den Rechner. Kein Konto.
Lade die App herunter und chatte offline mit deinen eigenen Dokumenten.