Auf dieser Seite
Wissensdatenbank und RAG: Dokumente auf dem Gerät durchsuchen
Jedes Projekt in Off Grid AI kann eine eigene Wissensdatenbank haben. Lade PDFs, Textdateien oder Code hoch: Die App verarbeitet sie komplett auf dem Gerät und macht sie in deinen Unterhaltungen durchsuchbar.
Das ist Retrieval-Augmented Generation (RAG), komplett lokal. Kein Dokument verlässt dein Gerät, und optionale Analysedaten enthalten nie Dateinamen.
So funktioniert es
Dein Dokument
→ Text auslesen (PDF oder reiner Text)
→ In Abschnitte teilen (absatzweise, sonst mit gleitendem Fenster)
→ Einbetten (all-MiniLM-L6-v2-Q8_0.gguf, in der App enthalten)
→ In SQLite auf dem Gerät speichern
Wenn du eine Frage stellst:
→ Deine Frage wird mit demselben MiniLM-Modell eingebettet
→ Kosinus-Ähnlichkeit gegen alle Abschnitte
→ Die relevantesten Abschnitte gehen als Kontext ans LLM
→ Das LLM antwortet mit deinem Dokument als Quelle
Das Tool search_knowledge_base wird automatisch in jede Unterhaltung eines Projekts mit Dokumenten eingebunden. Passende Modelle rufen es selbst auf, wenn sie Infos aus deinen Dokumenten brauchen.
Wissensdatenbank einrichten
- Öffne Off Grid AI → Projects
- Leg ein neues Projekt an oder tipp auf ein bestehendes
- Tipp auf Knowledge Base → Add Document
- Wähl ein PDF oder eine Textdatei von deinem Gerät
Off Grid AI liest den Text aus und schickt ihn durch die Einbettung. Das dauert je nach Länge ein paar Sekunden pro Dokument.
Unterstützte Formate
- PDF: native Textauslese über die Plattform (PDFKit auf iOS, PdfRenderer auf Android)
- Textdateien:
.txt,.md,.log - Code:
.py,.js,.ts,.java,.swift,.kt,.go,.rs,.sql,.shund mehr - Datendateien:
.csv,.json,.xml,.yaml,.toml,.html
Die Wissensdatenbank im Gespräch nutzen
Sobald Dokumente drin sind, rufen passende Modelle search_knowledge_base selbst auf, wenn sie Infos brauchen. Den Aufruf siehst du direkt im Chat.
Du kannst ihn auch gezielt auslösen:
“Durchsuch meine Wissensdatenbank nach allem zum Onboarding”
“Erklär anhand des hochgeladenen Architekturdokuments, wie der Download-Dienst funktioniert”
Einbettungsmodell
all-MiniLM-L6-v2-Q8_0.gguf ist in Off Grid AI enthalten (etwa 24 MB). Es ist immer da, braucht keinen Download und ist so schnell, dass ein 20-seitiges PDF auf einem aktuellen Smartphone in unter 10 Sekunden eingebettet ist.
Welche LLMs können in der Wissensdatenbank suchen?
Jedes Modell mit Tool-Aufrufen kann die Wissensdatenbank nutzen. Die komplette Liste steht in der Anleitung zu Tool-Aufrufen.