РуководствоМодели и производительностьТелефон2 мин чтения

На этой странице
  1. Поддерживаемые серверы
  2. Настройка Ollama
  3. Настройка LM Studio
  4. Подключение из Off Grid AI
  5. Выбор удалённой модели
  6. Зрение и вызов инструментов на удалённых серверах
  7. Доступ вне дома через Tailscale
  8. О безопасности
  9. Другие руководства
  10. Off Grid AI в сравнении

Удалённые серверы: подключение Ollama, LM Studio и LocalAI

Телефон запускает впечатляющие модели локально, но компьютер или Mac потянут гораздо более крупные: Llama 3.1 70B, Mistral Large, DeepSeek, CodeLlama 34B.

Off Grid AI подключается к любому OpenAI-совместимому серверу в локальной сети, и вы пользуетесь этими моделями с телефона по Wi-Fi. Без интернета.


Поддерживаемые серверы

Сервер Платформа Примечания
Ollama macOS, Linux, Windows Самый популярный и простой в настройке
LM Studio macOS, Windows Отличный интерфейс, удобное управление моделями
LocalAI Linux, Docker Самостоятельный хостинг, много форматов моделей
vLLM Linux Высокая пропускная способность, для GPU
Любой OpenAI-совместимый Любая Нужны /v1/chat/completions и /v1/models

Настройка Ollama

1. Установите Ollama на компьютер:

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.ai/install.sh | sh

2. Разрешите внешние подключения (по умолчанию Ollama слушает только localhost):

# macOS/Linux
OLLAMA_HOST=0.0.0.0 ollama serve

# ~/.zshrc / ~/.bashrc
export OLLAMA_HOST=0.0.0.0

3. Скачайте модель:

ollama pull llama3.1:8b
ollama pull qwen2.5:14b

4. Узнайте локальный IP компьютера:

  • macOS: Системные настройки → Сеть → Wi-Fi → Подробнее → IP-адрес
  • Linux: ip addr show и найдите интерфейс Wi-Fi

Настройка LM Studio

  1. Скачайте и установите LM Studio
  2. Скачайте модель в приложении
  3. Перейдите на вкладку Local Server → нажмите Start Server
  4. Включите “Allow connections from network” в настройках сервера
  5. Запомните показанные IP и порт (порт по умолчанию: 1234)

Подключение из Off Grid AI

  1. Откройте Off Grid AI → Settings → Remote Servers
  2. Нажмите Add Server
  3. Введите адрес сервера:
    • Ollama: http://192.168.1.42:11434
    • LM Studio: http://192.168.1.42:1234
  4. Добавьте API-ключ, если сервер его требует (он хранится в системной связке ключей)
  5. Нажмите Test Connection: индикатор должен стать зелёным
  6. Нажмите Save

Off Grid AI сам находит все модели на сервере через /v1/models.


Выбор удалённой модели

Откройте выбор модели. Удалённые модели появятся под именем вашего сервера. Нажмите на одну, чтобы сделать её активной.

Off Grid AI показывает ответы в реальном времени через Server-Sent Events (SSE). Вернуться к локальной модели можно мгновенно.


Зрение и вызов инструментов на удалённых серверах

Off Grid AI определяет поддержку зрения и инструментов по имени модели. Если в имени есть vision, vl, vlm или что-то похожее, Off Grid AI включает вложение с камеры. Вызов инструментов определяется так же.

На серверах, которые это поддерживают (Ollama с совместимыми моделями, LM Studio), инструменты и зрение без проблем работают и через удалённое подключение.


Доступ вне дома через Tailscale

Tailscale создаёт частный VPN между вашими устройствами. Установите его на компьютер и телефон и укажите Tailscale-IP компьютера как адрес сервера.

Так модели домашнего компьютера доступны откуда угодно (из кафе, в поездке, из офиса), и ничего не открыто в интернет.


О безопасности

Off Grid AI предупреждает перед подключением к публичному адресу в интернете (вне частных диапазонов IP). Для удалённого доступа всегда используйте Tailscale или похожий частный туннель, а не открывайте сервер напрямую в интернет.


Другие руководства

Off Grid AI в сравнении

БЫЛО ПОЛЕЗНО?
НОВОСТИ ОТ СОЗДАТЕЛЯ