指南图片与视觉手机1 分钟阅读

本页内容
  1. 你可以做什么
  2. 可用的视觉模型
  3. 如何使用视觉
  4. 提示词示例
  5. 技巧
  6. 相关指南

视觉 AI:在设备上分析图片和文档

Off Grid AI 的视觉模型能看图并回答相关问题。把相机对准文档、商品、图表或小票,想问什么就问什么。

所有分析都通过 llama.rn 的多模态支持在设备上运行,不会上传任何图片。


你可以做什么

  • 读取小票、发票和名片:从照片中提取文字
  • 描述场景:看懂照片里有什么
  • 分析文档:针对文档照片提问
  • 识别物体:拍张照问”这是什么?”
  • 识别手写:使用 Qwen3-VL 等能力强的模型
  • 从截图写代码:给模型看一个界面,让它重现代码

可用的视觉模型

模型 参数量 最低内存 速度 适合
SmolVLM2 500M 0.5B 3GB 很快(约 7 秒) 低内存设备上的快速看图问答
SmolVLM 2B 2B 4GB 快(约 8 秒) 通用视觉任务
SmolVLM2 2.2B 2.2B 4GB 快(约 8–10 秒) 图片和视频理解
Gemma 4 E2B 2B (MoE) 4GB 中等(约 10–15 秒) 4GB 内存下视觉效果最好,支持思考模式
Gemma 4 E4B 4B (MoE) 6GB 中等(约 12–18 秒) 推理最强且支持视觉,支持思考模式
Qwen3-VL 2B 2B 4GB 中等 多语言视觉,支持思考模式

Gemma 4 模型同时支持视觉和思考模式:它们会对看到的内容逐步推理,大幅提高复杂任务的准确度。


如何使用视觉

  1. 在 Off Grid AI 中打开一个聊天
  2. 点击附件图标 → 选择 Camera 或 Photo Library
  3. 选择或拍摄图片
  4. 输入问题并发送

模型会同时收到图片和你的问题。视觉模型在设置时会自动下载一个 mmproj 文件(多模态投影器),它已计入模型的预估大小。


提示词示例

文档分析:

“这张小票上有哪些项目?算一下总额。”

技术阅读:

“解释一下这张架构图。”

手写文字:

“把这张照片里的文字转写出来。”

看图问答:

“照片里是哪款手机?”

从界面写代码:

“写出能重现这个界面的 React Native 代码。”


技巧

复杂推理用 Gemma 4:如果需要模型仔细思考看到的内容(比如解读图表、根据照片解题),Gemma 4 的思考模式比更快的模型效果好得多。

快速任务用 SmolVLM:简单描述或提取文字时,SmolVLM2 500M 的表现出乎意料地好,而且快得多。

图片质量很重要:模糊或对比度低的照片会明显降低准确度。拍文档时,光线均匀、正对拍摄效果最好。


相关指南

有帮助吗?
来自开发者的动态