指南模型与性能iPhone1 分钟阅读

本页内容
  1. 准备工作
  2. 第 1 步:安装 Off Grid AI
  3. 第 2 步:选择模型
  4. 第 3 步:下载、加载、聊天
  5. 为什么 iPhone 很适合本地 AI
  6. 各机型性能
  7. 相关指南
  8. Off Grid AI 对比

2026 年如何在 iPhone 上本地运行大模型(完全离线,无需订阅)

从 2017 年起,每部 iPhone 都配有苹果的 Metal GPU 和神经网络引擎。这些是专门的 AI 加速器,却大多处于闲置状态,而你每个月还在付订阅费,把问题发到别人的服务器上。

Off Grid AI 改变了这一点。直接在 iPhone 上运行 Qwen 3.5、Gemma 4、Mistral 等主流模型:离线、私密、没有持续费用。推理通过 llama.cpp 和 Metal 加速完成。


准备工作

  • iPhone 12 或更新机型(A14 仿生芯片或更新)
  • iOS 17 或更高版本
  • 至少 3GB 可用空间
  • 下载模型时联网一次

第 1 步:安装 Off Grid AI

在 App Store 下载


第 2 步:选择模型

所有模型都采用 Q4_K_M 量化,这是手机上质量和体积的最佳平衡。

模型 最低 iPhone 所需内存 大小 适合
Qwen 3.5 0.8B iPhone 12 3GB ~0.8GB 极快,262K 上下文
Qwen 3.5 2B iPhone 12 4GB ~1.7GB 最适合 4 到 6GB 内存的设备
Gemma 4 E2B iPhone 12 4GB ~1.5GB 视觉加思考模式
Mistral 7B iPhone 14 6GB ~4.1GB 快速可靠的通用模型
Gemma 4 E4B iPhone 14 6GB ~2.5GB 推理加视觉,支持思考模式
Qwen 3.5 9B iPhone 15 Pro 8GB ~5.5GB 设备端整体质量最好

iPhone 12、13 用户:从 Qwen 3.5 2B 开始。iPhone 15 Pro、16 用户:试试 Qwen 3.5 9B。


第 3 步:下载、加载、聊天

  1. 打开 Off Grid AI → Models
  2. 点一个模型 → Download
  3. 点击 Load,模型通过 Metal(苹果的 GPU 框架)加载
  4. 打开 Chat

现在推理就在 Apple 芯片上本地运行了。你的聊天内容从不离开手机。


为什么 iPhone 很适合本地 AI

iPhone 有一个关键优势:统一内存。Metal GPU 和 CPU 共用同一块内存,所以模型加载更快,推理也比只用 CPU 的设备更高效。

在 iPhone 14 上,Qwen 3.5 2B 每秒能生成约 20 到 30 个 token,足够流畅地对话。

思考模式(Qwen 3.5、Gemma 4)在 iPhone 上表现尤其好,因为 Metal 加速让较长的推理过程也不显得慢。


各机型性能

iPhone 内存 推荐模型 约 token/秒
iPhone 16 Pro Max 8GB Qwen 3.5 9B 18–28
iPhone 16 / 16 Plus 8GB Qwen 3.5 9B 18–28
iPhone 15 Pro 8GB Qwen 3.5 9B 15–25
iPhone 14 Pro 6GB Gemma 4 E4B 15–22
iPhone 14 6GB Qwen 3.5 2B 20–30
iPhone 13 4GB Qwen 3.5 2B 18–26
iPhone 12 4GB Qwen 3.5 0.8B 25–40

相关指南

Off Grid AI 对比

有帮助吗?
来自开发者的动态