我该用哪个模型?
下面说的都是 Off Grid AI 里实际提供的模型,不是泛泛的建议,全部直接来自应用的模型目录。所有模型默认采用 Q4_K_M 量化。
按内存快速选择
| 设备内存 | 最佳文本模型 | 最佳视觉模型 |
|---|---|---|
| 3GB | Qwen 3.5 0.8B | SmolVLM2 500M |
| 4GB | Qwen 3.5 2B | Gemma 4 E2B |
| 6GB | Gemma 4 E4B 或 Phi-4 Mini | Gemma 4 E4B |
| 8GB+ | Qwen 3.5 9B | Qwen 3.5 9B |
完整模型目录
文本模型
| 模型 | 参数量 | 最低内存 | 上下文 | 适合 |
|---|---|---|---|---|
| SmolLM2 360M | 0.36B | 3GB | 8K | 超轻量,仅适合小内存设备 |
| Qwen 3.5 0.8B | 0.8B | 3GB | 262K | 入门机上也能快速回答、支持长上下文 |
| Qwen 3.5 2B | 2B | 4GB | 262K | 4GB 设备最好的通用模型 |
| SmolLM3 3B | 3B | 6GB | 128K | 专为性能有限的设备打造 |
| Phi-4 Mini | 3.8B | 6GB | 128K | 推理、数学、结构化任务 |
| Mistral 7B | 7B | 6GB | 32K | 快速可靠的通用模型 |
| Qwen 3.5 9B | 9B | 8GB | 262K | 设备端整体质量最好 |
视觉模型(能看图)
| 模型 | 参数量 | 最低内存 | 适合 |
|---|---|---|---|
| SmolVLM2 500M | 0.5B | 3GB | 适合小内存设备的迷你视觉模型 |
| SmolVLM 2B | 2B | 4GB | 中端手机上的常规视觉任务 |
| SmolVLM2 2.2B | 2.2B | 4GB | 图片加视频理解 |
| Gemma 4 E2B | 2B (MoE) | 4GB | 4GB 设备上视觉质量最好,支持思考模式 |
| Gemma 4 E4B | 4B (MoE) | 6GB | 推理和视觉最强,支持思考模式 |
Gemma 4 采用混合专家(MoE)架构。实际参与计算的参数比看上去少,所以它占用的内存比你预想的小,质量却超出同级别。
什么是思考模式?
Qwen 3.5 和 Gemma 4 支持思考模式:模型在给出最终答案前,会先一步步推理问题。类似思维链提示,但内置在模型里。
复杂推理、数学和多步骤问题时打开它。快速问答、总结和闲聊时可以不用,因为它更慢。
了解 Q4_K_M
Off Grid AI 默认对所有模型采用 Q4_K_M 量化。也就是说:
- 每个权重约 4.5 位
- 相比全精度原版,质量损失约 5% 到 8%
- 比 float16 版本小约 50% 到 60%
- llama.cpp 社区推荐的手机端最佳平衡
除非存储空间非常紧张,否则不要低于 Q4_K_S。Q2、Q3 模型的质量下降很明显。
内存安全阈值
Off Grid AI 在加载前会自动检查模型能否安全放下:
- 4GB 内存设备:模型预算 = 总内存的 40%
- 6GB 及以上内存设备:模型预算 = 总内存的 60%
- 文本模型需要约为文件大小 1.5 倍的内存(KV 缓存和激活值)
- 图像模型在 iOS(CoreML)上约需 1.5 倍,在 Android(Vulkan)上约需 1.8 倍
如果某个模型被标为与你的设备不兼容,原因就在这里。
常见问题
4GB 内存的手机用什么模型最好? Qwen 3.5 2B(Q4_K_M)。视觉任务选 Gemma 4 E2B。
Off Grid AI 默认用什么量化? 默认 Q4_K_M,手机上质量和体积的最佳平衡。
哪个模型在设备上推理最强? Gemma 4 E4B(6GB 内存)或 Qwen 3.5 9B(8GB 内存)。两者都有思考模式。