本页内容
远程服务器:连接 Ollama、LM Studio 和 LocalAI
你的手机能在本地运行不错的模型,但你的电脑或 Mac 能运行大得多的模型:Llama 3.1 70B、Mistral Large、DeepSeek、CodeLlama 34B。
Off Grid AI 可以连接局域网内任何兼容 OpenAI 的服务器,让你通过 Wi-Fi 在手机上使用这些模型。不需要联网。
支持的服务器
| 服务器 | 平台 | 说明 |
|---|---|---|
| Ollama | macOS, Linux, Windows | 最受欢迎,设置最简单 |
| LM Studio | macOS, Windows | 界面出色,模型管理方便 |
| LocalAI | Linux, Docker | 自托管,支持多种模型格式 |
| vLLM | Linux | 高吞吐量,面向 GPU |
| 任何兼容 OpenAI 的服务器 | 任意 | 需要 /v1/chat/completions 和 /v1/models |
设置 Ollama
1. 在电脑上安装 Ollama:
# macOS
brew install ollama
# Linux
curl -fsSL https://ollama.ai/install.sh | sh
2. 允许远程连接(Ollama 默认只监听 localhost):
# macOS/Linux
OLLAMA_HOST=0.0.0.0 ollama serve
# ~/.zshrc / ~/.bashrc
export OLLAMA_HOST=0.0.0.0
3. 拉取一个模型:
ollama pull llama3.1:8b
ollama pull qwen2.5:14b
4. 查找电脑的局域网 IP:
- macOS:系统设置 → 网络 → Wi-Fi → 详细信息 → IP 地址
- Linux:运行
ip addr show,找到你的 Wi-Fi 接口
设置 LM Studio
- 下载并安装 LM Studio
- 在应用中下载一个模型
- 进入 Local Server 标签 → 点击 Start Server
- 在服务器设置中开启 “Allow connections from network”
- 记下显示的 IP 和端口(默认端口:1234)
在 Off Grid AI 中连接
- 打开 Off Grid AI → Settings → Remote Servers
- 点击 Add Server
- 输入服务器地址:
- Ollama:
http://192.168.1.42:11434 - LM Studio:
http://192.168.1.42:1234
- Ollama:
- 如果服务器需要,添加 API 密钥(存放在系统钥匙串中)
- 点击 Test Connection,应显示绿色
- 点击 Save
Off Grid AI 会通过 /v1/models 自动发现服务器上的所有模型。
选择远程模型
打开模型选择器。远程模型显示在服务器名称下方。点一个即可设为当前模型。
Off Grid AI 通过 Server-Sent Events(SSE)实时显示回复。切回本地模型也是一瞬间的事。
远程服务器上的视觉和工具调用
Off Grid AI 会根据模型名称判断是否支持视觉和工具调用。名称中含有 vision、vl、vlm 等字样时,Off Grid AI 会开启相机附件。工具调用也用同样方式识别。
在支持这些功能的服务器上(搭配兼容模型的 Ollama、LM Studio),工具调用和视觉通过远程连接也能顺畅使用。
用 Tailscale 在外面访问
Tailscale 会在你的设备之间建立私有 VPN。在电脑和手机上都安装它,然后把电脑的 Tailscale IP 作为服务器地址。
这样无论在咖啡馆、旅途中还是办公室,都能使用家里电脑上的模型,而且不会把任何东西暴露在公网上。
安全提示
在连接公网地址(私有 IP 范围以外)之前,Off Grid AI 会提醒你。远程访问时,请始终使用 Tailscale 或类似的私有隧道,不要把服务器直接暴露在互联网上。