文章入门iPhone2 分钟阅读

2026 年如何在 iPhone 上运行本地 AI(完全离线,无需订阅)

你的 iPhone 有一颗每秒 35 万亿次运算的神经网络引擎。用 Off Grid,你可以在手机上离线运行完整的 AI 模型,不用订阅,数据不出手机。

本页内容
  1. 你需要什么
  2. Off Grid 能做什么
  3. 该用哪些模型
  4. 本地 AI 在 iPhone 上是怎么运行的
  5. iOS 上的内存安全
  6. 让速度翻三倍的 KV 缓存技巧
  7. 为什么在本地运行 AI,而不用云端
  8. 和 Apple Intelligence 比较
  9. 开始使用
  10. 接下来

你 iPhone 里的 A17 Pro 有一颗 16 核神经网络引擎,每秒能做 35 万亿次运算。Apple 用它来处理照片和自动纠错。你可以用它在本地运行完整的 AI 模型:不用 iCloud,不用订阅,数据不离开手机。

Off Grid 是一款免费、开源的应用,可以在你的 iPhone 上本地运行 AI 模型。首次下载模型后就不再需要网络。AI 功能不需要 Apple ID。数据不发往任何地方。本文介绍如何设置、哪些模型在 iOS 上效果最好,以及能达到什么速度。

App Store GitHub

你需要什么

最低配置: 6GB 内存的 iPhone(iPhone 13 Pro 及更新机型),A16 或 A17 芯片。最小的模型只有 80MB,可以从它开始。

推荐配置: iPhone 15 Pro 或更新机型(8GB 内存)。这样就能运行 3B 以上参数的模型,输出真正好用。

和云端 AI 相比少了什么: ChatGPT、Claude 这样的云端 AI 在数据中心的 GPU 上运行数千亿参数的模型。在 iPhone 上本地运行意味着用更小的模型(10 亿到 70 亿参数)。复杂推理上会弱一些,但对快速提问、总结、起草和文档分析这些日常任务,它的表现出人意料地好。

Off Grid 能做什么

Off Grid 不只是一个文字聊天机器人。它在一个应用里本地运行六种 AI 能力,全部在你的设备上:

iPhone 上的 OGAM 为 Acme 示例项目起草的回复 示例对话(iPhone) iPhone 上的 OGAM 把聊天提示变成图片:强化后的提示和画好的灯塔 图像生成(iPhone) iPhone 上的 OGAM 模型浏览器,显示可用和已下载的文本模型 可用模型(iPhone)
iPhone 上的 OGAM 根据示例项目文档作答,并注明文件名 项目文档(iPhone)

文本生成。 运行 Qwen 3、Llama 3.2、Gemma 3、Phi-4 或任何 GGUF 模型。回复逐字流式输出,支持 Markdown 渲染。所有新款 iPhone 都有 Metal GPU 加速,每秒 15 到 25 个 token。

图像生成。 通过 Apple 的 Core ML 流程在本地运行 Stable Diffusion,用神经网络引擎加速,生成很快。模型包括针对 iOS 优化的 SD 1.5、SD 2.1 和 SDXL。

视觉 AI。 用摄像头对准一样东西,或附上一张图片,然后提问。SmolVLM 和 Qwen3-VL 在 iPhone 15 Pro 上大约 7 秒出结果。

语音转文字。 本地运行 Whisper。按住录音,实时显示部分转写。音频从不离开你的手机。

工具调用。 支持函数调用的模型可以使用内置工具:网页搜索、计算器、日期时间、设备信息。模型会自动把它们串起来循环调用,并防止失控。

文档分析。 在对话里附上 PDF、代码文件、CSV 等。iOS 上用原生 PDFKit 提取内容。

该用哪些模型

Off Grid 的模型浏览器会按你设备的内存筛选,你永远不会下载到 iPhone 跑不动的模型。以下是真机上的表现:

6GB 内存的 iPhone(iPhone 13 Pro、14 Pro): 用 1B 到 2B 的模型。Qwen 3 0.6B 或 SmolLM3 是不错的起点。每秒 8 到 12 个 token,适合简短回答和简单任务。

8GB 内存的 iPhone(iPhone 15 Pro、16 Pro): 最佳选择。Qwen 3 1.5B 或 Phi-4 Mini 的输出质量明显更好。借助 Metal GPU 加速,每秒 15 到 25 个 token。

量化很重要。 Q4_K_M 量化的模型占用的内存大约是全精度版本的一半,质量几乎没有损失。在手机上,始终选 Q4 或 Q5 量化。

如果你已经下载过模型,也可以从设备存储导入自己的 .gguf 文件。

本地 AI 在 iPhone 上是怎么运行的

本地运行 AI 时,模型权重会加载到 iPhone 的内存里,推理在你的处理器上完成,不涉及任何服务器。从 HuggingFace 下载模型之后,每一次计算都在你的设备上进行。

Off Grid 使用为 Apple Silicon 编译、带 Metal GPU 加速的 llama.cpp。Mac 上大多数本地 AI 用的也是这个引擎。它直接跑在 iPhone 的 GPU 上,比只用 CPU 快得多。

图像生成方面,Off Grid 使用 Apple 自己的 Core ML Stable Diffusion 流程,在神经网络引擎上运行,效率最高。Apple 用来做计算摄影的那块硬件,现在在为你生成 AI 图片。

结果就是:你的对话、你的文档、你的图片,全都不会碰到网络。打开飞行模式就能验证,一切照常运行。

iOS 上的内存安全

iOS 会果断结束占用内存太多的应用。一个模型就算理论上放得进内存,如果 iOS 觉得别处更需要内存,还是可能被结束。

Off Grid 会在加载前检查内存。加载任何模型之前,它先算出实际需要的内存(文本模型为文件大小 x 1.5),再和可用内存比较。在 4GB 内存及以下的设备上,GPU 加速会自动关闭,避免 Metal 缓冲区分配导致崩溃。

如果模型放不下,你会看到明确的提示,而不是应用悄悄关闭。

让速度翻三倍的 KV 缓存技巧

这是大多数人会错过的最大一项性能提升。KV 缓存保存着你对话的上下文,默认使用 f16(16 位浮点)。Off Grid 让你在设置里改成 q4_0(4 位量化)。

从 f16 换成 q4_0,推理速度大约提高到三倍,而大多数模型的质量几乎不受影响。第一次生成之后,应用会提示你做这项优化。

为什么在本地运行 AI,而不用云端

在 iPhone 上本地运行 AI,一次去掉三样依赖。

不用订阅。 云端 AI 每月 20 美元起。本地 AI 在一次性下载模型后就免费。

不用联网。 本地模型在飞机上、地下室里,任何地方都能用。没有网络也不会中断。

数据不外泄。 你在云端 AI 里输入的提示,会被存到你无法控制的服务器上。本地运行意味着你的健康问题、法律文件、私人日记和工作笔记都不会离开你的设备。Off Grid 是开源的,你不必相信谁的隐私承诺,自己读代码就行。

和 Apple Intelligence 比较

Apple Intelligence 有些任务在设备上运行,另一些则经由 Apple 的私有云计算服务器处理。它只能用 Apple 自己的模型,也被锁在 Apple 生态里。你选不了模型,无法验证哪些在本地、哪些在云端,也不能在 Android 上用。

Off Grid 全部在本地运行。模型你来选,代码你来验证。它支持 iOS、Android 和 macOS,没有围墙花园。

开始使用

  1. 从 App Store 安装 Off Grid
  2. 打开模型浏览器,选一个适合你设备内存的推荐模型
  3. 用 WiFi 下载模型(大小从 80MB 到 4GB 以上)
  4. 打开飞行模式,确认它在本地运行
  5. 开始聊天

第一次生成会慢一些,因为模型要加载到内存里,之后的消息会更快。进入设置,把 KV 缓存改成 q4_0,速度最快。

Off Grid 也通过 Mac Catalyst 在 Apple Silicon 的 Mac 上原生运行。同一个应用,同样的模型,同样的隐私。

接下来

Apple 的下一代芯片有望让本地 AI 推理更快,模型优化也在不断让小模型变得更好。本地 AI 和云端 AI 的差距每个季度都在缩小。

Off Grid 在持续开发中,每周都有新功能。最新版本请看 GitHub。

一年后,在手机上本地运行 AI 将不再是高手的技巧,而是默认的做法。

有帮助吗?
来自开发者的动态