2026 年如何在 iPhone 上本地运行大模型(完全离线,无需订阅)
从 2017 年起,每部 iPhone 都配有苹果的 Metal GPU 和神经网络引擎。这些是专门的 AI 加速器,却大多处于闲置状态,而你每个月还在付订阅费,把问题发到别人的服务器上。
Off Grid AI 改变了这一点。直接在 iPhone 上运行 Qwen 3.5、Gemma 4、Mistral 等主流模型:离线、私密、没有持续费用。推理通过 llama.cpp 和 Metal 加速完成。
准备工作
- iPhone 12 或更新机型(A14 仿生芯片或更新)
- iOS 17 或更高版本
- 至少 3GB 可用空间
- 下载模型时联网一次
第 1 步:安装 Off Grid AI
第 2 步:选择模型
所有模型都采用 Q4_K_M 量化,这是手机上质量和体积的最佳平衡。
| 模型 | 最低 iPhone | 所需内存 | 大小 | 适合 |
|---|---|---|---|---|
| Qwen 3.5 0.8B | iPhone 12 | 3GB | ~0.8GB | 极快,262K 上下文 |
| Qwen 3.5 2B | iPhone 12 | 4GB | ~1.7GB | 最适合 4 到 6GB 内存的设备 |
| Gemma 4 E2B | iPhone 12 | 4GB | ~1.5GB | 视觉加思考模式 |
| Mistral 7B | iPhone 14 | 6GB | ~4.1GB | 快速可靠的通用模型 |
| Gemma 4 E4B | iPhone 14 | 6GB | ~2.5GB | 推理加视觉,支持思考模式 |
| Qwen 3.5 9B | iPhone 15 Pro | 8GB | ~5.5GB | 设备端整体质量最好 |
iPhone 12、13 用户:从 Qwen 3.5 2B 开始。iPhone 15 Pro、16 用户:试试 Qwen 3.5 9B。
第 3 步:下载、加载、聊天
- 打开 Off Grid AI → Models
- 点一个模型 → Download
- 点击 Load,模型通过 Metal(苹果的 GPU 框架)加载
- 打开 Chat
现在推理就在 Apple 芯片上本地运行了。你的聊天内容从不离开手机。
为什么 iPhone 很适合本地 AI
iPhone 有一个关键优势:统一内存。Metal GPU 和 CPU 共用同一块内存,所以模型加载更快,推理也比只用 CPU 的设备更高效。
在 iPhone 14 上,Qwen 3.5 2B 每秒能生成约 20 到 30 个 token,足够流畅地对话。
思考模式(Qwen 3.5、Gemma 4)在 iPhone 上表现尤其好,因为 Metal 加速让较长的推理过程也不显得慢。
各机型性能
| iPhone | 内存 | 推荐模型 | 约 token/秒 |
|---|---|---|---|
| iPhone 16 Pro Max | 8GB | Qwen 3.5 9B | 18–28 |
| iPhone 16 / 16 Plus | 8GB | Qwen 3.5 9B | 18–28 |
| iPhone 15 Pro | 8GB | Qwen 3.5 9B | 15–25 |
| iPhone 14 Pro | 6GB | Gemma 4 E4B | 15–22 |
| iPhone 14 | 6GB | Qwen 3.5 2B | 20–30 |
| iPhone 13 | 4GB | Qwen 3.5 2B | 18–26 |
| iPhone 12 | 4GB | Qwen 3.5 0.8B | 25–40 |