РуководствоДокументы и исследованияТелефон1 мин чтения

На этой странице
  1. Как это работает
  2. Как настроить базу знаний
  3. Поддерживаемые форматы
  4. База знаний в разговоре
  5. Модель эмбеддингов
  6. Какие LLM умеют искать в базе знаний?
  7. Другие руководства

База знаний и RAG: поиск по документам на устройстве

У каждого проекта в Off Grid AI может быть своя база знаний. Загрузите PDF, текстовые файлы или код: приложение обработает их полностью на устройстве и сделает доступными для поиска в разговорах.

Это генерация с дополнением выборкой (RAG), полностью локальная. Ни один документ не покидает устройство, а необязательная аналитика никогда не содержит имён файлов.


Как это работает

Ваш документ
  → Извлечение текста (PDF или обычный текст)
  → Разбиение на фрагменты (по абзацам, запасной вариант: скользящее окно)
  → Эмбеддинг (all-MiniLM-L6-v2-Q8_0.gguf, встроена в приложение)
  → Хранение в SQLite на устройстве

Когда вы задаёте вопрос:
  → Вопрос проходит через ту же модель MiniLM
  → Косинусное сходство со всеми фрагментами
  → Самые подходящие фрагменты уходят в LLM как контекст
  → LLM отвечает, опираясь на ваш документ

Инструмент search_knowledge_base автоматически подключается к каждому разговору в проекте с документами. Совместимые модели вызывают его сами, когда им нужны сведения из ваших документов.


Как настроить базу знаний

  1. Откройте Off Grid AI → Projects
  2. Создайте проект или нажмите на существующий
  3. Нажмите Knowledge Base → Add Document
  4. Выберите PDF или текстовый файл на устройстве

Off Grid AI извлечёт текст и обработает его. На документ уходит несколько секунд, в зависимости от длины.


Поддерживаемые форматы

  • PDF: нативное извлечение текста через API платформы (PDFKit на iOS, PdfRenderer на Android)
  • Текстовые файлы: .txt, .md, .log
  • Код: .py, .js, .ts, .java, .swift, .kt, .go, .rs, .sql, .sh и другие
  • Файлы с данными: .csv, .json, .xml, .yaml, .toml, .html

База знаний в разговоре

Когда документы добавлены, совместимые модели сами вызывают search_knowledge_base, если им нужны сведения. Вызов виден прямо в чате.

Можно попросить и явно:

“Найди в моей базе знаний всё про онбординг”

“По загруженному документу об архитектуре объясни, как работает сервис загрузки”


Модель эмбеддингов

all-MiniLM-L6-v2-Q8_0.gguf встроена в Off Grid AI (около 24 МБ). Она всегда доступна, не требует загрузки и работает так быстро, что PDF на 20 страниц обрабатывается на современном телефоне меньше чем за 10 секунд.


Какие LLM умеют искать в базе знаний?

Любая модель с вызовом инструментов может пользоваться базой знаний. Полный список есть в руководстве по вызову инструментов.


Другие руководства

БЫЛО ПОЛЕЗНО?
НОВОСТИ ОТ СОЗДАТЕЛЯ