指南模型与性能手机1 分钟阅读

本页内容
  1. 按内存快速选择
  2. 完整模型目录
  3. 什么是思考模式?
  4. 了解 Q4_K_M
  5. 内存安全阈值
  6. 常见问题
  7. 相关指南
  8. Off Grid AI 对比

我该用哪个模型?

下面说的都是 Off Grid AI 里实际提供的模型,不是泛泛的建议,全部直接来自应用的模型目录。所有模型默认采用 Q4_K_M 量化。


按内存快速选择

设备内存 最佳文本模型 最佳视觉模型
3GB Qwen 3.5 0.8B SmolVLM2 500M
4GB Qwen 3.5 2B Gemma 4 E2B
6GB Gemma 4 E4B 或 Phi-4 Mini Gemma 4 E4B
8GB+ Qwen 3.5 9B Qwen 3.5 9B

完整模型目录

文本模型

模型 参数量 最低内存 上下文 适合
SmolLM2 360M 0.36B 3GB 8K 超轻量,仅适合小内存设备
Qwen 3.5 0.8B 0.8B 3GB 262K 入门机上也能快速回答、支持长上下文
Qwen 3.5 2B 2B 4GB 262K 4GB 设备最好的通用模型
SmolLM3 3B 3B 6GB 128K 专为性能有限的设备打造
Phi-4 Mini 3.8B 6GB 128K 推理、数学、结构化任务
Mistral 7B 7B 6GB 32K 快速可靠的通用模型
Qwen 3.5 9B 9B 8GB 262K 设备端整体质量最好

视觉模型(能看图)

模型 参数量 最低内存 适合
SmolVLM2 500M 0.5B 3GB 适合小内存设备的迷你视觉模型
SmolVLM 2B 2B 4GB 中端手机上的常规视觉任务
SmolVLM2 2.2B 2.2B 4GB 图片加视频理解
Gemma 4 E2B 2B (MoE) 4GB 4GB 设备上视觉质量最好,支持思考模式
Gemma 4 E4B 4B (MoE) 6GB 推理和视觉最强,支持思考模式

Gemma 4 采用混合专家(MoE)架构。实际参与计算的参数比看上去少,所以它占用的内存比你预想的小,质量却超出同级别。


什么是思考模式?

Qwen 3.5 和 Gemma 4 支持思考模式:模型在给出最终答案前,会先一步步推理问题。类似思维链提示,但内置在模型里。

复杂推理、数学和多步骤问题时打开它。快速问答、总结和闲聊时可以不用,因为它更慢。


了解 Q4_K_M

Off Grid AI 默认对所有模型采用 Q4_K_M 量化。也就是说:

  • 每个权重约 4.5 位
  • 相比全精度原版,质量损失约 5% 到 8%
  • 比 float16 版本小约 50% 到 60%
  • llama.cpp 社区推荐的手机端最佳平衡

除非存储空间非常紧张,否则不要低于 Q4_K_S。Q2、Q3 模型的质量下降很明显。


内存安全阈值

Off Grid AI 在加载前会自动检查模型能否安全放下:

  • 4GB 内存设备:模型预算 = 总内存的 40%
  • 6GB 及以上内存设备:模型预算 = 总内存的 60%
  • 文本模型需要约为文件大小 1.5 倍的内存(KV 缓存和激活值)
  • 图像模型在 iOS(CoreML)上约需 1.5 倍,在 Android(Vulkan)上约需 1.8 倍

如果某个模型被标为与你的设备不兼容,原因就在这里。


常见问题

4GB 内存的手机用什么模型最好? Qwen 3.5 2B(Q4_K_M)。视觉任务选 Gemma 4 E2B。

Off Grid AI 默认用什么量化? 默认 Q4_K_M,手机上质量和体积的最佳平衡。

哪个模型在设备上推理最强? Gemma 4 E4B(6GB 内存)或 Qwen 3.5 9B(8GB 内存)。两者都有思考模式。


相关指南

Off Grid AI 对比

有帮助吗?
来自开发者的动态