ナレッジベースとRAG:デバイス上でドキュメント検索
Off Grid AIのプロジェクトごとに、専用のナレッジベースを持てます。PDF、テキストファイル、コードをアップロードすると、アプリがすべてデバイス上で処理し、会話の中で検索できるようにします。
これは完全にローカルで動く検索拡張生成(RAG)です。ドキュメントがデバイスの外に出ることはなく、任意の利用統計にもファイル名は一切含まれません。
仕組み
あなたのドキュメント
→ テキスト抽出(PDFまたはプレーンテキスト)
→ 分割(段落単位。必要ならスライディングウィンドウ)
→ 埋め込み(all-MiniLM-L6-v2-Q8_0.gguf、アプリに同梱)
→ デバイス上のSQLiteに保存
質問すると:
→ 質問を同じMiniLMモデルで埋め込みに変換
→ すべての断片とのコサイン類似度を計算
→ 関連度の高い断片をコンテキストとしてLLMへ
→ LLMがドキュメントを根拠に回答
search_knowledge_baseツールは、ドキュメントのあるプロジェクトの会話すべてに自動で組み込まれます。対応モデルは、ドキュメントの情報が必要になると自分で呼び出します。
ナレッジベースの作り方
- Off Grid AIを開き → Projects
- 新しいプロジェクトを作るか、既存のものをタップします
- Knowledge Base → Add Documentをタップします
- デバイス上のPDFかテキストファイルを選びます
Off Grid AIがテキストを抽出して処理します。長さにもよりますが、1件あたり数秒です。
対応フォーマット
- PDF:プラットフォームのAPIでネイティブにテキストを抽出(iOSはPDFKit、AndroidはPdfRenderer)
- テキストファイル:
.txt,.md,.log - コード:
.py,.js,.ts,.java,.swift,.kt,.go,.rs,.sql,.shなど - データファイル:
.csv,.json,.xml,.yaml,.toml,.html
会話の中でナレッジベースを使う
ドキュメントを追加すると、対応モデルは情報が必要なときにsearch_knowledge_baseを自動で呼び出します。呼び出しはチャット内に表示されます。
明示的に頼むこともできます。
“ナレッジベースからオンボーディングに関する内容を探して”
“アップロードしたアーキテクチャ資料をもとに、ダウンロードサービスの仕組みを説明して”
埋め込みモデル
all-MiniLM-L6-v2-Q8_0.ggufはOff Grid AIに同梱されています(約24MB)。いつでも使え、ダウンロード不要で、最近のスマホなら20ページのPDFを10秒以内に処理できます。
ナレッジベース検索に対応したLLMは?
ツール呼び出しに対応したモデルなら、どれでもナレッジベースを使えます。対応モデルの一覧はツール呼び出しのガイドにあります。