Auf dieser Seite
Remote-Server: Ollama, LM Studio und LocalAI verbinden
Dein Smartphone kann beeindruckende Modelle lokal ausführen, aber dein Computer oder Mac schafft viel größere: Llama 3.1 70B, Mistral Large, DeepSeek, CodeLlama 34B.
Off Grid AI verbindet sich mit jedem OpenAI-kompatiblen Server in deinem lokalen Netz. So nutzt du diese Modelle über WLAN auf deinem Smartphone. Ohne Internet.
Unterstützte Server
| Server | Plattform | Hinweise |
|---|---|---|
| Ollama | macOS, Linux, Windows | Am beliebtesten, am einfachsten einzurichten |
| LM Studio | macOS, Windows | Tolle Oberfläche, einfache Modellverwaltung |
| LocalAI | Linux, Docker | Selbst gehostet, viele Modellformate |
| vLLM | Linux | Hoher Durchsatz, für GPUs gedacht |
| Jeder OpenAI-kompatible | Alle | Braucht /v1/chat/completions und /v1/models |
Ollama einrichten
1. Ollama auf dem Computer installieren:
# macOS
brew install ollama
# Linux
curl -fsSL https://ollama.ai/install.sh | sh
2. Verbindungen von außen erlauben (standardmäßig hört Ollama nur auf localhost):
# macOS/Linux
OLLAMA_HOST=0.0.0.0 ollama serve
# ~/.zshrc / ~/.bashrc
export OLLAMA_HOST=0.0.0.0
3. Ein Modell laden:
ollama pull llama3.1:8b
ollama pull qwen2.5:14b
4. Die lokale IP deines Computers finden:
- macOS: Systemeinstellungen → Netzwerk → WLAN → Details → IP-Adresse
- Linux:
ip addr show, dann nach deiner WLAN-Schnittstelle suchen
LM Studio einrichten
- Lade LM Studio herunter und installier es
- Lade in der App ein Modell herunter
- Geh zum Tab Local Server → klick auf Start Server
- Schalt in den Servereinstellungen “Allow connections from network” ein
- Merk dir die angezeigte IP und den Port (Standard: 1234)
Aus Off Grid AI verbinden
- Öffne Off Grid AI → Settings → Remote Servers
- Tipp auf Add Server
- Gib die Server-URL ein:
- Ollama:
http://192.168.1.42:11434 - LM Studio:
http://192.168.1.42:1234
- Ollama:
- Füg einen API-Schlüssel hinzu, falls dein Server einen braucht (er landet im Schlüsselbund des Systems)
- Tipp auf Test Connection, die Anzeige sollte grün werden
- Tipp auf Save
Off Grid AI findet über /v1/models automatisch alle Modelle auf dem Server.
Ein Remote-Modell wählen
Öffne die Modellauswahl. Remote-Modelle stehen unter dem Namen deines Servers. Tipp eins an, um es zu aktivieren.
Off Grid AI zeigt Antworten in Echtzeit per Server-Sent Events (SSE). Der Wechsel zurück zu einem lokalen Modell geht sofort.
Bilderkennung und Tool-Aufrufe über Remote-Server
Off Grid AI erkennt Bilderkennung und Tool-Aufrufe am Modellnamen. Enthält der Name vision, vl, vlm oder Ähnliches, schaltet Off Grid AI den Kamera-Anhang frei. Tool-Aufrufe werden genauso erkannt.
Bei Servern, die es unterstützen (Ollama mit passenden Modellen, LM Studio), funktionieren Tool-Aufrufe und Bilderkennung auch über die Remote-Verbindung reibungslos.
Mit Tailscale von unterwegs
Tailscale baut ein privates VPN zwischen deinen Geräten auf. Installier es auf Computer und Smartphone und nimm dann die Tailscale-IP deines Computers als Server-URL.
So nutzt du die Modelle auf deinem Computer zu Hause von überall: im Café, auf Reisen, im Büro. Und nichts ist offen im Internet erreichbar.
Hinweis zur Sicherheit
Off Grid AI warnt dich, bevor es sich mit einer öffentlichen Adresse im Internet verbindet (außerhalb privater IP-Bereiche). Für den Zugriff von unterwegs nimm immer Tailscale oder einen ähnlichen privaten Tunnel, statt deinen Server direkt ins Internet zu stellen.
Weitere Anleitungen
- Ollama 2026 vom Android-Smartphone aus nutzen
- Off Grid AI Desktop 2026 vom Smartphone aus nutzen
- Welches Modell soll ich nehmen?
- Tool-Aufrufe