指南模型与性能手机1 分钟阅读

本页内容
  1. 支持的服务器
  2. 设置 Ollama
  3. 设置 LM Studio
  4. 在 Off Grid AI 中连接
  5. 选择远程模型
  6. 远程服务器上的视觉和工具调用
  7. 用 Tailscale 在外面访问
  8. 安全提示
  9. 相关指南
  10. Off Grid AI 对比

远程服务器:连接 Ollama、LM Studio 和 LocalAI

你的手机能在本地运行不错的模型,但你的电脑或 Mac 能运行大得多的模型:Llama 3.1 70B、Mistral Large、DeepSeek、CodeLlama 34B。

Off Grid AI 可以连接局域网内任何兼容 OpenAI 的服务器,让你通过 Wi-Fi 在手机上使用这些模型。不需要联网。


支持的服务器

服务器 平台 说明
Ollama macOS, Linux, Windows 最受欢迎,设置最简单
LM Studio macOS, Windows 界面出色,模型管理方便
LocalAI Linux, Docker 自托管,支持多种模型格式
vLLM Linux 高吞吐量,面向 GPU
任何兼容 OpenAI 的服务器 任意 需要 /v1/chat/completions 和 /v1/models

设置 Ollama

1. 在电脑上安装 Ollama:

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.ai/install.sh | sh

2. 允许远程连接(Ollama 默认只监听 localhost):

# macOS/Linux
OLLAMA_HOST=0.0.0.0 ollama serve

# ~/.zshrc / ~/.bashrc
export OLLAMA_HOST=0.0.0.0

3. 拉取一个模型:

ollama pull llama3.1:8b
ollama pull qwen2.5:14b

4. 查找电脑的局域网 IP:

  • macOS:系统设置 → 网络 → Wi-Fi → 详细信息 → IP 地址
  • Linux:运行 ip addr show,找到你的 Wi-Fi 接口

设置 LM Studio

  1. 下载并安装 LM Studio
  2. 在应用中下载一个模型
  3. 进入 Local Server 标签 → 点击 Start Server
  4. 在服务器设置中开启 “Allow connections from network”
  5. 记下显示的 IP 和端口(默认端口:1234)

在 Off Grid AI 中连接

  1. 打开 Off Grid AI → Settings → Remote Servers
  2. 点击 Add Server
  3. 输入服务器地址:
    • Ollama: http://192.168.1.42:11434
    • LM Studio: http://192.168.1.42:1234
  4. 如果服务器需要,添加 API 密钥(存放在系统钥匙串中)
  5. 点击 Test Connection,应显示绿色
  6. 点击 Save

Off Grid AI 会通过 /v1/models 自动发现服务器上的所有模型。


选择远程模型

打开模型选择器。远程模型显示在服务器名称下方。点一个即可设为当前模型。

Off Grid AI 通过 Server-Sent Events(SSE)实时显示回复。切回本地模型也是一瞬间的事。


远程服务器上的视觉和工具调用

Off Grid AI 会根据模型名称判断是否支持视觉和工具调用。名称中含有 vision、vl、vlm 等字样时,Off Grid AI 会开启相机附件。工具调用也用同样方式识别。

在支持这些功能的服务器上(搭配兼容模型的 Ollama、LM Studio),工具调用和视觉通过远程连接也能顺畅使用。


用 Tailscale 在外面访问

Tailscale 会在你的设备之间建立私有 VPN。在电脑和手机上都安装它,然后把电脑的 Tailscale IP 作为服务器地址。

这样无论在咖啡馆、旅途中还是办公室,都能使用家里电脑上的模型,而且不会把任何东西暴露在公网上。


安全提示

在连接公网地址(私有 IP 范围以外)之前,Off Grid AI 会提醒你。远程访问时,请始终使用 Tailscale 或类似的私有隧道,不要把服务器直接暴露在互联网上。


相关指南

Off Grid AI 对比

有帮助吗?
来自开发者的动态