指南模型与性能Android1 分钟阅读

本页内容
  1. 准备工作
  2. 第 1 步:下载 Off Grid AI
  3. 第 2 步:选择模型
  4. 第 3 步:下载并加载
  5. 第 4 步:断网使用
  6. 各设备性能
  7. 为什么要本地运行大模型,而不是用云端?
  8. 相关指南
  9. Off Grid AI 对比

2026 年如何在 Android 手机上本地运行大模型(无需云端,无需账号)

你每问 ChatGPT 一个问题,都会被记录在服务器上:你的问题、回答、时间、你的账号。并且无限期保存。这些数据被用来改进模型、投放广告,以及配合执法部门的调取要求。

Off Grid AI 把这一整层都去掉了。模型通过 ARM64 上的 llama.cpp 在手机内存里运行。你的提示词不会被发送到任何地方。

下面是设置方法。


准备工作

  • 内存 4GB 或以上的 Android 手机(Android 10 或更新)
  • 根据所选模型,需要 2 到 5GB 可用空间
  • 首次下载时联网一次,之后再也不用

第 1 步:下载 Off Grid AI

在 Google Play 下载 Off Grid AI


第 2 步:选择模型

所有模型默认采用 Q4_K_M 量化,这是手机上质量和体积的最佳平衡。

模型 最低内存 大小 适合
Qwen 3.5 0.8B 3GB ~0.8GB 极快,262K 上下文,适合入门机
Qwen 3.5 2B 4GB ~1.7GB 最适合 4 到 6GB 内存的设备,262K 上下文
Gemma 4 E2B 4GB ~1.5GB 视觉加思考模式,MoE 架构
Mistral 7B 6GB ~4.1GB 快速可靠的通用模型
Gemma 4 E4B 6GB ~2.5GB 推理强,带视觉,支持思考模式
Qwen 3.5 9B 8GB ~5.5GB 设备端整体质量最好

4 到 6GB 内存的设备从 Qwen 3.5 2B 开始。8GB 或以上从 Qwen 3.5 9B 开始。


第 3 步:下载并加载

  1. 打开 Off Grid AI → 点 Models
  2. 选择模型 → 点 Download
  3. 下载完成后点 Load
  4. 打开 Chat 开始聊天

从这一步起,模型完全在你的设备上运行,没有任何网络请求。


第 4 步:断网使用

打开飞行模式,再打开一个对话,照样能用。

这正是重点。你现在有了一个能干的 AI 助手,不用联网,在任何网络、任何国家都能用,也没有月费。


各设备性能

Off Grid AI 在 ARM64 上使用 llama.cpp,并启用 NEON、i8mm 和 dotprod SIMD 指令。在高通 Adreno GPU 上还可以选择通过 OpenCL 把计算交给 GPU。

设备 内存 推荐模型 约 token/秒
Pixel 9 Pro 16GB Qwen 3.5 9B 15–25
Samsung Galaxy S25 12GB Qwen 3.5 9B 15–25
Pixel 8 Pro 12GB Qwen 3.5 9B 12–20
Samsung S24 8GB Qwen 3.5 9B 或 Gemma 4 E4B 10–18
Pixel 7 8GB Qwen 3.5 9B 8–15
OnePlus 12 12GB Qwen 3.5 9B 12–20
Samsung A55 8GB Qwen 3.5 2B 15–25
4GB 入门机 4GB Qwen 3.5 0.8B 20–35

为什么要本地运行大模型,而不是用云端?

隐私。 你的问题从不离开设备。

零成本。 没有 API 费用,没有订阅。模型免费下载,永久可用。

离线。 在飞机上、信号差的地方,以及限制云端 AI 服务的国家都能用。

速度。 对于简短的问题,现代 ARM 芯片上的本地推理快得出人意料,常常比在慢速网络上等云端回复还快。


相关指南

Off Grid AI 对比

有帮助吗?
来自开发者的动态