文章模型与性能Mac1 分钟阅读

2026 年如何在 Mac 上本地运行大语言模型(完全离线,无需订阅)

在 Apple Silicon 上完全本地运行真正的语言模型。不用云,不用账户,没有月费。

本页内容
  1. 需要什么
  2. Off Grid AI Desktop 能做什么
  3. 用哪个模型
  4. 硬件加速怎样工作
  5. 保持速度
  6. 隐私:比 ChatGPT 更有保障
  7. 开始使用
  8. 常见问题

M 系列 Mac 的 CPU 和 GPU 共用同一块内存,所以模型几乎可以把你的全部内存当成显存来用。这块硬件一天里大部分时间都闲着,而你每月花 20 美元把提示发到别人的服务器上。Off Grid AI Desktop 是一款免费应用,直接在你的 Mac 上运行语言模型。

下载 Off Grid AI Desktop

免费,离线运行,不需要账户。

Off Grid AI Desktop 的对话:在本地运行 Qwen 3.5 9B,回答并标出来源。

Off Grid AI Desktop 的对话:在本地运行 Qwen 3.5 9B,回答并标出来源。

需要什么

主要靠 Apple Silicon 出力。Intel Mac 可以用 CPU 跑小模型,但体验很慢,所以下面的配置都以 M 系列芯片为准。

档位 芯片 内存 macOS 可用硬盘
最低 M1 / M2 8 GB 13 Ventura 10 GB
推荐 M2 Pro / M3 16 GB 14 Sonoma 及以上 30 GB
宽裕 M3 Max / M4 32 GB 以上 14 及以上 50 GB 以上

内存越大,能跑的模型越大,上下文窗口也越长。8 GB 可以跑 1B 到 3B 的模型,其他应用开少一点。32 GB 可以把 14B 模型放进内存,还有余地干别的。

Off Grid AI Desktop 能做什么

你得到一个像 ChatGPT 一样的对话窗口,只不过模型就在你的硬盘上,对话从不离开这台电脑。

  • 和本地模型对话,温度和上下文窗口都能直接看到、直接调。
  • 在应用里浏览和下载 Hugging Face 上的模型,不用打开终端。
  • 在没有网络访问的沙盒预览中实时渲染模型输出的 HTML、SVG、Mermaid 和 React。
  • 选择任何兼容的 GGUF 文件来运行。格式是开放的,不会被锁在某一家的模型目录里。

重点不在功能清单。重点是:凌晨两点在没有信号的飞机上,你让模型起草一封邮件、总结一份合同或写一个正则表达式,它照样回答。

用哪个模型

按内存选模型。量化后的 GGUF 文件经过压缩,一个全精度需要 28 GB 的模型,在 Q4 下只要 8 到 9 GB。

你的 Mac 先试的模型 效果
8 GB(M1/M2) Gemma 3 1B 或 Qwen 2.5 3B 快速对话、摘要、短代码,反应灵敏。
16 GB(M2 Pro/M3) Gemma 3 4B 或 Qwen 2.5 7B 推理扎实,回答更长,速度舒服。
32 GB 以上(M3 Max/M4) Qwen 2.5 14B 或更大 更接近云端模型的质量,上下文更长。

先从比你预想低一档的开始。一个你真的会用的快速小模型,胜过一个让你干等的大模型。

Off Grid AI Desktop 的模型页面:列出适合你电脑配置的文本模型。

Off Grid AI Desktop 的模型页面:列出适合你电脑配置的文本模型。

硬件加速怎样工作

Off Grid AI Desktop 内置 llama.cpp,通过苹果的 GPU 框架 Metal 运行模型。Apple Silicon 使用统一内存,GPU 直接从 CPU 用的同一块内存读取模型权重。不需要像 PC 上的独立显卡那样,通过 PCIe 总线来回复制权重。

正是这一点设计,让一台没有独立显卡的笔记本也能以可用的速度运行 7B 模型。权重被量化到 4 位或 8 位,体积缩小到装得下,计算也保持快速。文件只需下载一次,之后就在你自己的芯片上运行。

保持速度

几个实用设置效果明显。

  • 选对量化。 对大多数 Mac 来说,Q4_K_M 是最佳平衡:小到装得下,质量也够可靠。只有内存充裕又想要最高质量时,才用 Q8。
  • 留意上下文窗口。 长上下文占内存,也会让第一个字出来得更慢。如果只需要简短回答,窗口就设小一点。
  • 关掉吃内存的应用。 开着 60 个标签页的浏览器,会和模型抢同一块统一内存。用不着的就退出。
  • 问事实时调低温度。 写代码和要结构化回答时,调低温度;头脑风暴时再调高。

隐私:比 ChatGPT 更有保障

你在云端聊天机器人里输入的内容,会传到数据中心,被记录下来,还可能用来训练下一个模型。用 Off Grid AI Desktop,提示从你的键盘到你自己 Mac 上的一个进程,再回到你面前。

不需要账户,不需要 API 密钥。拔掉网线,它照样工作。

开始使用

  1. 从下载页获取最新的 macOS 版本。
  2. 安装并打开应用。
  3. 打开模型浏览器,按上表下载一个适合你内存档位的模型。
  4. 打开对话,选中这个模型,发送第一条提示。
  5. 关掉 Wi-Fi 再发一条,确认它完全在你的电脑上运行。

常见问题

问:真的免费吗?

是的。本地对话和模型浏览器都不收费。

问:真的能离线用吗?

能。模型下载好之后,应用不需要网络。只有下载这一步会联网。

问:能跑哪些模型?

任何兼容的 GGUF 模型。Gemma 和 Qwen 是不错的起点,在应用里就能浏览和下载。

问:需要多少内存?

8 GB 能跑小模型。16 GB 跑 7B 级别的模型比较舒服。32 GB 及以上可以跑带长上下文的 14B 模型。

问:会拖慢我的 Mac 吗?

只在模型生成时占用资源,占多少由你决定。想给其他工作留余地,就选小一点的模型或短一点的上下文。

问:我的数据是私密的吗?

你的提示从不离开这台电脑,也不需要账户。

今天就在你自己的 Mac 上运行一个真正的模型,什么都不离开你的硬盘。

下载 Off Grid AI Desktop

有帮助吗?
来自开发者的动态