iPhone 设置
在 iPhone 上运行本地 AI 模型,不依赖云端。本指南从下载一直讲到第一次回答。
准备条件
- iPhone 12 或更新机型(A14 仿生芯片或更新)
- iOS 17 或更新版本
- 至少 3GB 可用空间(用于应用和一个模型)
- 只有第一次下载模型时需要联网
第 1 步:安装 Off Grid AI
应用本身不到 50MB。模型在应用内单独下载。
第 2 步:下载模型
- 打开 Off Grid AI
- 点击标签栏中的 Models
- 选择一个模型。刚开始的话,选 Qwen 3.5 2B(约 1.5GB)
- 点击 Download
模型保存在你的设备上。只有这一步需要联网。
第 3 步:加载并开始聊天
- 点击已下载模型旁边的 Load
- 等待 5 到 15 秒,让它加载到内存
- 点击 Chat,开始对话
现在 AI 完全在你的 iPhone 上运行。
提速小技巧
Metal 加速:Off Grid AI 会自动使用 Apple 的 Metal GPU 进行推理,比只用 CPU 快 3 到 5 倍。
关闭后台应用:iOS 可能会回收后台应用的内存。如果模型意外被卸载,关闭其他应用后重新加载。
量化很重要:4GB 内存的设备(iPhone 12 和 13)请使用 Q4 模型。8GB 及以上(iPhone 15 Pro 及更新机型)可以用 Q5 或 Q8,质量稍好一些。
离线使用
模型下载后,Off Grid AI 在飞行模式下也能用。让手机断网,一切照常运行。