このページの内容
リモートサーバー:Ollama、LM Studio、LocalAIをつなぐ
スマホでも十分すごいモデルをローカルで動かせますが、パソコンやMacならさらに大きなモデルが動きます。Llama 3.1 70B、Mistral Large、DeepSeek、CodeLlama 34Bなどです。
Off Grid AIはローカルネットワーク上のOpenAI互換サーバーに接続し、そうしたモデルをWi-Fi経由でスマホから使えるようにします。インターネットは不要です。
対応サーバー
| サーバー | プラットフォーム | メモ |
|---|---|---|
| Ollama | macOS, Linux, Windows | いちばん人気で、設定も最も簡単 |
| LM Studio | macOS, Windows | 使いやすい画面、モデル管理が簡単 |
| LocalAI | Linux, Docker | セルフホスト、多くのモデル形式に対応 |
| vLLM | Linux | 高スループット、GPU向け |
| OpenAI互換のサーバー全般 | すべて | /v1/chat/completionsと/v1/modelsが必要 |
Ollamaの設定
1. パソコンにOllamaをインストールします:
# macOS
brew install ollama
# Linux
curl -fsSL https://ollama.ai/install.sh | sh
2. 外部からの接続を許可します(Ollamaは初期設定ではlocalhostでしか待ち受けません):
# macOS/Linux
OLLAMA_HOST=0.0.0.0 ollama serve
# ~/.zshrc / ~/.bashrc
export OLLAMA_HOST=0.0.0.0
3. モデルを取得します:
ollama pull llama3.1:8b
ollama pull qwen2.5:14b
4. パソコンのローカルIPを調べます:
- macOS:システム設定 → ネットワーク → Wi-Fi → 詳細 → IPアドレス
- Linux:
ip addr showでWi-Fiインターフェースを探します
LM Studioの設定
- LM Studioをダウンロードしてインストールします
- アプリでモデルをダウンロードします
- Local Serverタブを開き → Start Serverをクリックします
- サーバー設定で“Allow connections from network”をオンにします
- 表示されたIPとポートを控えます(既定のポート:1234)
Off Grid AIから接続する
- Off Grid AIを開き → Settings → Remote Servers
- Add Serverをタップします
- サーバーのURLを入力します:
- Ollama:
http://192.168.1.42:11434 - LM Studio:
http://192.168.1.42:1234
- Ollama:
- サーバーが求める場合はAPIキーを追加します(システムキーチェーンに保存されます)
- Test Connectionをタップし、緑になることを確認します
- Saveをタップします
Off Grid AIは/v1/modelsを通じて、サーバー上のモデルをすべて自動で見つけます。
リモートモデルを選ぶ
モデル選択を開きます。リモートモデルはサーバー名の下に表示されます。1つタップすると有効になります。
Off Grid AIはServer-Sent Events(SSE)で返答をリアルタイムに表示します。ローカルモデルへの切り替えも一瞬です。
リモートサーバーでのビジョンとツール呼び出し
Off Grid AIは、モデル名からビジョンやツール呼び出しへの対応を判断します。名前にvision、vl、vlmなどが含まれていれば、カメラ添付を有効にします。ツール呼び出しも同じように判定します。
対応するサーバー(対応モデルを使ったOllama、LM Studio)なら、リモート接続でもツール呼び出しとビジョンが問題なく使えます。
Tailscaleで外出先から使う
Tailscaleは、端末同士をつなぐプライベートVPNを作ります。パソコンとスマホの両方に入れ、パソコンのTailscale IPをサーバーのURLとして使います。
これで、カフェでも旅先でもオフィスでも、自宅のパソコンのモデルを使えます。公開インターネットには何もさらしません。
セキュリティについて
Off Grid AIは、公開インターネット上のアドレス(プライベートIPの範囲外)に接続する前に警告します。外から使うときは、サーバーを直接インターネットに公開せず、必ずTailscaleなどのプライベートなトンネルを使ってください。