如何在 iPhone 上运行 Stable Diffusion(在设备上生成 AI 图片)
Off Grid AI 使用苹果的 Core ML 流程和神经网络引擎(ANE)加速,完全在你的 iPhone 上运行 Stable Diffusion。不需要 GPU 服务器,不上传,也不按张收费。
流程:文本提示词 → CLIP 分词器 → 文本编码器 → UNet(去噪,DPM-Solver) → VAE 解码器 → 512×512 图片。全部在设备上完成。
准备工作
- iPhone 12 或更新机型(A14 仿生芯片或更新)
- iOS 17 或更高版本
- 至少 2GB 可用空间(调色板量化模型约 1GB,全精度约 4GB)
- 下载模型时联网一次
第 1 步:安装 Off Grid AI
第 2 步:下载图片模型
打开 Off Grid AI → Models → Image 标签。可用的 Core ML 模型:
| 模型 | 大小 | 适合 |
|---|---|---|
| SD 1.5 Palettized | ~1GB | 最佳起点,所有受支持的 iPhone 都能运行 |
| SD 2.1 Palettized | ~1GB | 比 1.5 调色板量化版质量略好 |
| SDXL iOS | ~2GB | 更高分辨率(768×768),4 位混合调色板量化 |
| SD 1.5 Full | ~4GB | 在神经网络引擎上最快、质量最好,需要 6GB 以上内存 |
| SD 2.1 Base Full | ~4GB | 整体质量最好,需要 6GB 以上内存 |
从 SD 1.5 Palettized 开始:约 1GB,任何受支持的 iPhone 都能运行,效果扎实。
第 3 步:生成图片
- 打开 Off Grid AI → Image Generation
- 输入提示词:
a misty forest at dawn, cinematic lighting, photorealistic - 点击 Generate
模型逐步去噪时,你能看到实时预览。
性能
| iPhone | 模型 | 20 步所需时间 |
|---|---|---|
| iPhone 15 Pro (A17 Pro) | SD 1.5 Palettized | ~8–12s |
| iPhone 15 Pro (A17 Pro) | SD 1.5 Full | ~8–15s |
| iPhone 14 Pro (A16) | SD 1.5 Palettized | ~10–16s |
| iPhone 13 (A15) | SD 1.5 Palettized | ~14–20s |
| iPhone 12 (A14) | SD 1.5 Palettized | ~18–28s |
注意: 调色板量化模型(约 1GB)采用 6 位量化,由于反量化开销会稍慢一些。全精度模型(约 4GB)在神经网络引擎上更快,但需要 iPhone 14 Pro 或更新机型。
技巧
提示词增强:Off Grid AI 可以用你已加载的文本模型自动扩写简短的提示词。输入 a fox in a forest,让大模型帮你写出详细的提示词。
实时预览:看着图片一步步成形。如果构图不对,可以提前取消,不用等到生成结束。
步数:默认 20 步。调色板量化模型用 25 到 30 步细节更好。DPM-Solver 比旧的调度器收敛更快,所以需要的步数比你想的少。