本页内容
你有一台带 NVIDIA 显卡的 Linux 电脑,团队想用本地 AI,又不想把代码和文档发给云端 API。Off Grid AI Desktop 能把这一台机器变成共享的、兼容 OpenAI 的 AI 服务器。它的网关有一个 Team 模式:同时回答多个人,给每人一个自己的 API 密钥,工作时保持机器不休眠。所有请求都留在你的网络里。
需要什么
- 一台运行 Ubuntu 24.04 或更新版本的 x64 电脑。Linux 下载包是 x64 AppImage 和 amd64
.deb;没有 Linux ARM 版本。 - Off Grid AI Desktop 0.0.55 或更新版本。Team 模式在当前正式版 0.0.55 中提供。下载 Linux 版 Off Grid AI Desktop。
- 在应用里下载好的一个对话模型,比如 Qwen 3.5 9B。
- 一个桌面密钥环,比如 Ubuntu 上的 GNOME Keyring。应用用它加密 API 密钥。
- 其他电脑在同一个网络里,比如办公室局域网或 Wi-Fi。
- 不需要账户,也不需要付费。网关和 Team 模式都属于免费应用。
NVIDIA GPU 是一台 Linux 机器能服务多人的关键。先安装应用可选的 NVIDIA 组件:如何在 Linux 上用 NVIDIA GPU 运行本地 AI。模型在 CUDA 上运行时,Auto 在显存小于 24 GB 的显卡上最多同时处理 4 个请求,24 GB 起 8 个(比如 RTX 3090 或 4090),48 GB 起 16 个,96 GB 起 32 个。模型在 Vulkan 或 CPU 上运行时,上限是 4 个。在上限之内,实际数量取决于模型加载后剩余的内存,每个请求约留出 8,000 个 token 的空间。
第 1 步:打开网关
- 打开 Off Grid AI Desktop,点侧边栏的 Gateway。
- Base URL 下显示
http://127.0.0.1:7878/v1。这个地址只在本机有效。 - 其他电脑要用这台机器的网络地址加同一个端口。在终端里运行
hostname -I或ip -4 addr。如果显示192.168.1.20,团队就用http://192.168.1.20:7878/v1。
网关在所有网络接口上监听 7878 端口。Ubuntu 默认关闭 ufw。如果你开了它,只对本地网络开放这个端口:
sudo ufw allow from 192.168.1.0/24 to any port 7878 proto tcp
把 192.168.1.0/24 换成你自己的子网。
第 2 步:从 Just me 切换到 Team
- 在 Gateway 页面找到 Clients。
- 开关上写着 Just me 和 Team。默认是 Just me:一次一个请求,全速运行。
- 点 Team。它的提示是”Several clients at once; extras wait their turn.”(多个客户端同时使用;多出的请求排队等候)。
- 会出现 Requests at once 菜单。保持 Auto,它会显示你机器的上限,比如 Auto (8);也可以选更小的数字,比如 2 at once,让单个回答更快。
如果你改设置时有人正在等回答,应用会让那个回答完成后再重启引擎。
所有位置都占满时,新请求按到达顺序排队。队列满了,网关返回 HTTP 429 和 Retry-After 头,客户端会稍后重试,而不是一直卡着。
第 3 步:给每个人一个 API 密钥
网关默认不要求密钥。在共享网络上,分享地址之前先打开密钥验证。
- 在 API keys 下打开开关。标签会变成 API key required。
- 在提示”New key name: phone, laptop, or service”的输入框里,为一个人或一个工具起名,比如
priya-laptop。 - 选择 Expiry:7 days、30 days、90 days、Custom date and time 或 No expiry。
- 点 Create key。
- 用复制图标复制密钥。应用会提示”Copy this key now. It will not be shown again.”(现在复制,之后不会再显示)。
- 为每个人或工具重复以上步骤。应用自己的提示是”Use one key per client.”(每个客户端一个密钥)。
每个密钥都会显示 Active、Expired 或 Revoked 状态,以及最后使用时间。如果有人丢了笔记本,点它密钥旁边的撤销图标就行,其他人不用换新密钥。应用只保存每个密钥的哈希值,并用你的桌面密钥环加密,不会把密钥本身写进明文设置文件。
第 4 步:连接团队的工具
网关使用 OpenAI API,所以任何能设置 base URL 和 API 密钥的工具都能用它。Quick start 部分有可复制的 curl、Python、JavaScript 和图片生成代码。在另一台电脑上:
curl http://192.168.1.20:7878/v1/chat/completions \
-H "Authorization: Bearer THE_KEY_YOU_COPIED" \
-H "Content-Type: application/json" \
-d '{"model": "local", "messages": [{"role": "user", "content": "用两行总结这份更新日志。"}]}'
或者在 Python 中使用 OpenAI 库:
from openai import OpenAI
client = OpenAI(base_url="http://192.168.1.20:7878/v1", api_key="THE_KEY_YOU_COPIED")
resp = client.chat.completions.create(
model="local",
messages=[{"role": "user", "content": "用两行总结这份更新日志。"}],
)
print(resp.choices[0].message.content)
指定 local 或不指定模型的请求,会使用服务器上已加载的对话模型。Gateway 页面的 Endpoints 列表显示它还提供什么:带图片的对话、文字生成图片、语音转文字、文字转语音、嵌入向量和模型列表。
想从 Off Grid AI 手机应用使用服务器上的模型,请按照从手机使用 Off Grid AI Desktop 的指南操作,并给手机单独一个密钥。
第 5 步:查看谁在使用
打开 Settings > AI activity。每个请求都会列出模型和耗时,带密钥的请求会显示密钥名称。
做监控的话,GET /v1/gateway/status 会返回模式、同时请求数设置,以及正在运行、等待和被拒绝的请求数。它和其他路由一样需要密钥,所以脚本或仪表盘可以轮询它:
curl -s http://192.168.1.20:7878/v1/gateway/status -H "Authorization: Bearer THE_KEY_YOU_COPIED"
让它持续提供服务
在 Team 模式下,应用回答期间会请求系统不要挂起,最后一个请求结束一分钟后才放开。在 Just me 模式下,它不会阻止机器休眠。如果这台机器专门给团队用,也在 Settings > Power 中关闭自动挂起,或者屏蔽休眠目标:
sudo systemctl mask sleep.target suspend.target hibernate.target hybrid-sleep.target
不想开桌面窗口也能提供服务:以仅服务器模式启动应用,并只在这次运行中使用 Team 模式。如果你装的是 .deb:
off-grid-ai --server-only --gateway-mode team --gateway-clients auto
如果用 AppImage,用同样的参数运行你下载的文件:
./off-grid-ai-0.0.55.AppImage --server-only --gateway-mode team --gateway-clients auto
--gateway-clients 接受 auto 或一个数字。这些参数只对这次启动有效,不会改变你在应用里的设置。环境变量 OFFGRID_GATEWAY_MODE 和 OFFGRID_GATEWAY_CLIENTS 作用相同,写在 systemd 用户服务里很方便。
大家共用一块 GPU,所以四个人同时用时,每个回答的输出速度会比一个人用时慢。图片生成一次只处理一张,第二个图片请求会等第一个完成。办公室外的同事,请通过 VPN 接入你的网络;网关没有云端中转。
常见问题
在 Linux 上做团队服务器,Off Grid AI Desktop 能替代 Ollama 吗? 可以,适合工具使用 OpenAI API 的团队。它在同一个地址上提供对话、视觉、图片生成、语音和嵌入向量,内置每人一个的 API 密钥和请求日志。
一台 Linux 机器能同时给多少人用? 在 NVIDIA GPU 上用 Auto 时,显存小于 24 GB 最多同时 4 个请求,24 GB 起 8 个,48 GB 起 16 个,96 GB 起 32 个,还会受模型剩余内存的限制。在 Vulkan 或 CPU 上,上限是 4 个。更多人也可以发请求,多出来的会排队。
团队的数据会离开办公室吗? 不会。请求从每台电脑发到你网络里的服务器,模型在那台机器上运行。你的提示和文件不会发给云服务。
为什么其他电脑连不上服务器?
确认它们用的是 hostname -I 显示的局域网地址,而不是 127.0.0.1,端口是 7878。如果开了 ufw,确认它允许你的子网访问 7878 端口。
能作为无界面服务器运行吗?
用 --server-only 启动,就能在没有桌面窗口的情况下运行网关;加上 --gateway-mode team 就能服务多人。你保存的设置保持不变。
能单独撤销一个人的访问吗? 能。在 API keys 下点他密钥旁边的撤销图标。他的请求会被拒绝,其他密钥照常可用。