На этой странице
База знаний и RAG: поиск по документам на устройстве
У каждого проекта в Off Grid AI может быть своя база знаний. Загрузите PDF, текстовые файлы или код: приложение обработает их полностью на устройстве и сделает доступными для поиска в разговорах.
Это генерация с дополнением выборкой (RAG), полностью локальная. Ни один документ не покидает устройство, а необязательная аналитика никогда не содержит имён файлов.
Как это работает
Ваш документ
→ Извлечение текста (PDF или обычный текст)
→ Разбиение на фрагменты (по абзацам, запасной вариант: скользящее окно)
→ Эмбеддинг (all-MiniLM-L6-v2-Q8_0.gguf, встроена в приложение)
→ Хранение в SQLite на устройстве
Когда вы задаёте вопрос:
→ Вопрос проходит через ту же модель MiniLM
→ Косинусное сходство со всеми фрагментами
→ Самые подходящие фрагменты уходят в LLM как контекст
→ LLM отвечает, опираясь на ваш документ
Инструмент search_knowledge_base автоматически подключается к каждому разговору в проекте с документами. Совместимые модели вызывают его сами, когда им нужны сведения из ваших документов.
Как настроить базу знаний
- Откройте Off Grid AI → Projects
- Создайте проект или нажмите на существующий
- Нажмите Knowledge Base → Add Document
- Выберите PDF или текстовый файл на устройстве
Off Grid AI извлечёт текст и обработает его. На документ уходит несколько секунд, в зависимости от длины.
Поддерживаемые форматы
- PDF: нативное извлечение текста через API платформы (PDFKit на iOS, PdfRenderer на Android)
- Текстовые файлы:
.txt,.md,.log - Код:
.py,.js,.ts,.java,.swift,.kt,.go,.rs,.sql,.shи другие - Файлы с данными:
.csv,.json,.xml,.yaml,.toml,.html
База знаний в разговоре
Когда документы добавлены, совместимые модели сами вызывают search_knowledge_base, если им нужны сведения. Вызов виден прямо в чате.
Можно попросить и явно:
“Найди в моей базе знаний всё про онбординг”
“По загруженному документу об архитектуре объясни, как работает сервис загрузки”
Модель эмбеддингов
all-MiniLM-L6-v2-Q8_0.gguf встроена в Off Grid AI (около 24 МБ). Она всегда доступна, не требует загрузки и работает так быстро, что PDF на 20 страниц обрабатывается на современном телефоне меньше чем за 10 секунд.
Какие LLM умеют искать в базе знаний?
Любая модель с вызовом инструментов может пользоваться базой знаний. Полный список есть в руководстве по вызову инструментов.