指南文档与研究手机1 分钟阅读

本页内容
  1. 工作原理
  2. 设置知识库
  3. 支持的格式
  4. 在对话中使用知识库
  5. 向量模型
  6. 哪些大模型能搜索知识库?
  7. 相关指南

知识库与 RAG:在设备上搜索文档

每个 Off Grid AI 项目都可以有自己的知识库。上传 PDF、文本文件或代码,应用会完全在设备上处理,让它们在对话中可以被检索。

这是完全在本地运行的检索增强生成(RAG)。任何文档都不会离开你的设备,可选的统计数据也从不包含文件名。


工作原理

你的文档
  → 提取文本(PDF 或纯文本)
  → 切分片段(按段落,必要时用滑动窗口)
  → 向量化(all-MiniLM-L6-v2-Q8_0.gguf,随应用内置)
  → 保存在设备上的 SQLite 中

当你提问时:
  → 问题用同一个 MiniLM 模型向量化
  → 与所有片段计算余弦相似度
  → 最相关的片段作为上下文交给大模型
  → 大模型以你的文档为依据作答

只要项目里有文档,search_knowledge_base 工具就会自动加入该项目的每个对话。兼容的模型在需要文档信息时会自己调用它。


设置知识库

  1. 打开 Off Grid AI → Projects
  2. 新建项目,或点开已有项目
  3. 点击 Knowledge Base → Add Document
  4. 从设备中选择一个 PDF 或文本文件

Off Grid AI 会提取文本并处理。根据长度,每个文档需要几秒钟。


支持的格式

  • PDF:通过平台 API 原生提取文本(iOS 用 PDFKit,Android 用 PdfRenderer)
  • 文本文件:.txt, .md, .log
  • 代码:.py, .js, .ts, .java, .swift, .kt, .go, .rs, .sql, .sh 等
  • 数据文件:.csv, .json, .xml, .yaml, .toml, .html

在对话中使用知识库

添加文档后,兼容的模型在需要信息时会自动调用 search_knowledge_base,调用过程会显示在聊天中。

你也可以直接要求:

“在我的知识库里找所有关于新用户引导流程的内容”

“根据上传的架构文档,解释下载服务是怎么工作的”


向量模型

all-MiniLM-L6-v2-Q8_0.gguf 随 Off Grid AI 内置(约 24MB)。它随时可用,无需下载,速度也够快:在新手机上处理一份 20 页的 PDF 不到 10 秒。


哪些大模型能搜索知识库?

任何支持工具调用的模型都能使用知识库。完整的兼容模型列表见工具调用指南。


相关指南

有帮助吗?
来自开发者的动态