知识库与 RAG:在设备上搜索文档
每个 Off Grid AI 项目都可以有自己的知识库。上传 PDF、文本文件或代码,应用会完全在设备上处理,让它们在对话中可以被检索。
这是完全在本地运行的检索增强生成(RAG)。任何文档都不会离开你的设备,可选的统计数据也从不包含文件名。
工作原理
你的文档
→ 提取文本(PDF 或纯文本)
→ 切分片段(按段落,必要时用滑动窗口)
→ 向量化(all-MiniLM-L6-v2-Q8_0.gguf,随应用内置)
→ 保存在设备上的 SQLite 中
当你提问时:
→ 问题用同一个 MiniLM 模型向量化
→ 与所有片段计算余弦相似度
→ 最相关的片段作为上下文交给大模型
→ 大模型以你的文档为依据作答
只要项目里有文档,search_knowledge_base 工具就会自动加入该项目的每个对话。兼容的模型在需要文档信息时会自己调用它。
设置知识库
- 打开 Off Grid AI → Projects
- 新建项目,或点开已有项目
- 点击 Knowledge Base → Add Document
- 从设备中选择一个 PDF 或文本文件
Off Grid AI 会提取文本并处理。根据长度,每个文档需要几秒钟。
支持的格式
- PDF:通过平台 API 原生提取文本(iOS 用 PDFKit,Android 用 PdfRenderer)
- 文本文件:
.txt,.md,.log - 代码:
.py,.js,.ts,.java,.swift,.kt,.go,.rs,.sql,.sh等 - 数据文件:
.csv,.json,.xml,.yaml,.toml,.html
在对话中使用知识库
添加文档后,兼容的模型在需要信息时会自动调用 search_knowledge_base,调用过程会显示在聊天中。
你也可以直接要求:
“在我的知识库里找所有关于新用户引导流程的内容”
“根据上传的架构文档,解释下载服务是怎么工作的”
向量模型
all-MiniLM-L6-v2-Q8_0.gguf 随 Off Grid AI 内置(约 24MB)。它随时可用,无需下载,速度也够快:在新手机上处理一份 20 页的 PDF 不到 10 秒。
哪些大模型能搜索知识库?
任何支持工具调用的模型都能使用知识库。完整的兼容模型列表见工具调用指南。