视觉 AI:在设备上分析图片和文档
Off Grid AI 的视觉模型能看图并回答相关问题。把相机对准文档、商品、图表或小票,想问什么就问什么。
所有分析都通过 llama.rn 的多模态支持在设备上运行,不会上传任何图片。
你可以做什么
- 读取小票、发票和名片:从照片中提取文字
- 描述场景:看懂照片里有什么
- 分析文档:针对文档照片提问
- 识别物体:拍张照问”这是什么?”
- 识别手写:使用 Qwen3-VL 等能力强的模型
- 从截图写代码:给模型看一个界面,让它重现代码
可用的视觉模型
| 模型 | 参数量 | 最低内存 | 速度 | 适合 |
|---|---|---|---|---|
| SmolVLM2 500M | 0.5B | 3GB | 很快(约 7 秒) | 低内存设备上的快速看图问答 |
| SmolVLM 2B | 2B | 4GB | 快(约 8 秒) | 通用视觉任务 |
| SmolVLM2 2.2B | 2.2B | 4GB | 快(约 8–10 秒) | 图片和视频理解 |
| Gemma 4 E2B | 2B (MoE) | 4GB | 中等(约 10–15 秒) | 4GB 内存下视觉效果最好,支持思考模式 |
| Gemma 4 E4B | 4B (MoE) | 6GB | 中等(约 12–18 秒) | 推理最强且支持视觉,支持思考模式 |
| Qwen3-VL 2B | 2B | 4GB | 中等 | 多语言视觉,支持思考模式 |
Gemma 4 模型同时支持视觉和思考模式:它们会对看到的内容逐步推理,大幅提高复杂任务的准确度。
如何使用视觉
- 在 Off Grid AI 中打开一个聊天
- 点击附件图标 → 选择 Camera 或 Photo Library
- 选择或拍摄图片
- 输入问题并发送
模型会同时收到图片和你的问题。视觉模型在设置时会自动下载一个 mmproj 文件(多模态投影器),它已计入模型的预估大小。
提示词示例
文档分析:
“这张小票上有哪些项目?算一下总额。”
技术阅读:
“解释一下这张架构图。”
手写文字:
“把这张照片里的文字转写出来。”
看图问答:
“照片里是哪款手机?”
从界面写代码:
“写出能重现这个界面的 React Native 代码。”
技巧
复杂推理用 Gemma 4:如果需要模型仔细思考看到的内容(比如解读图表、根据照片解题),Gemma 4 的思考模式比更快的模型效果好得多。
快速任务用 SmolVLM:简单描述或提取文字时,SmolVLM2 500M 的表现出乎意料地好,而且快得多。
图片质量很重要:模糊或对比度低的照片会明显降低准确度。拍文档时,光线均匀、正对拍摄效果最好。