AnleitungModelle und LeistungSmartphone2 Min. Lesezeit

Auf dieser Seite
  1. Unterstützte Server
  2. Ollama einrichten
  3. LM Studio einrichten
  4. Aus Off Grid AI verbinden
  5. Ein Remote-Modell wählen
  6. Bilderkennung und Tool-Aufrufe über Remote-Server
  7. Mit Tailscale von unterwegs
  8. Hinweis zur Sicherheit
  9. Weitere Anleitungen
  10. Off Grid AI im Vergleich

Remote-Server: Ollama, LM Studio und LocalAI verbinden

Dein Smartphone kann beeindruckende Modelle lokal ausführen, aber dein Computer oder Mac schafft viel größere: Llama 3.1 70B, Mistral Large, DeepSeek, CodeLlama 34B.

Off Grid AI verbindet sich mit jedem OpenAI-kompatiblen Server in deinem lokalen Netz. So nutzt du diese Modelle über WLAN auf deinem Smartphone. Ohne Internet.


Unterstützte Server

Server Plattform Hinweise
Ollama macOS, Linux, Windows Am beliebtesten, am einfachsten einzurichten
LM Studio macOS, Windows Tolle Oberfläche, einfache Modellverwaltung
LocalAI Linux, Docker Selbst gehostet, viele Modellformate
vLLM Linux Hoher Durchsatz, für GPUs gedacht
Jeder OpenAI-kompatible Alle Braucht /v1/chat/completions und /v1/models

Ollama einrichten

1. Ollama auf dem Computer installieren:

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.ai/install.sh | sh

2. Verbindungen von außen erlauben (standardmäßig hört Ollama nur auf localhost):

# macOS/Linux
OLLAMA_HOST=0.0.0.0 ollama serve

# ~/.zshrc / ~/.bashrc
export OLLAMA_HOST=0.0.0.0

3. Ein Modell laden:

ollama pull llama3.1:8b
ollama pull qwen2.5:14b

4. Die lokale IP deines Computers finden:

  • macOS: Systemeinstellungen → Netzwerk → WLAN → Details → IP-Adresse
  • Linux: ip addr show, dann nach deiner WLAN-Schnittstelle suchen

LM Studio einrichten

  1. Lade LM Studio herunter und installier es
  2. Lade in der App ein Modell herunter
  3. Geh zum Tab Local Server → klick auf Start Server
  4. Schalt in den Servereinstellungen “Allow connections from network” ein
  5. Merk dir die angezeigte IP und den Port (Standard: 1234)

Aus Off Grid AI verbinden

  1. Öffne Off Grid AI → Settings → Remote Servers
  2. Tipp auf Add Server
  3. Gib die Server-URL ein:
    • Ollama: http://192.168.1.42:11434
    • LM Studio: http://192.168.1.42:1234
  4. Füg einen API-Schlüssel hinzu, falls dein Server einen braucht (er landet im Schlüsselbund des Systems)
  5. Tipp auf Test Connection, die Anzeige sollte grün werden
  6. Tipp auf Save

Off Grid AI findet über /v1/models automatisch alle Modelle auf dem Server.


Ein Remote-Modell wählen

Öffne die Modellauswahl. Remote-Modelle stehen unter dem Namen deines Servers. Tipp eins an, um es zu aktivieren.

Off Grid AI zeigt Antworten in Echtzeit per Server-Sent Events (SSE). Der Wechsel zurück zu einem lokalen Modell geht sofort.


Bilderkennung und Tool-Aufrufe über Remote-Server

Off Grid AI erkennt Bilderkennung und Tool-Aufrufe am Modellnamen. Enthält der Name vision, vl, vlm oder Ähnliches, schaltet Off Grid AI den Kamera-Anhang frei. Tool-Aufrufe werden genauso erkannt.

Bei Servern, die es unterstützen (Ollama mit passenden Modellen, LM Studio), funktionieren Tool-Aufrufe und Bilderkennung auch über die Remote-Verbindung reibungslos.


Mit Tailscale von unterwegs

Tailscale baut ein privates VPN zwischen deinen Geräten auf. Installier es auf Computer und Smartphone und nimm dann die Tailscale-IP deines Computers als Server-URL.

So nutzt du die Modelle auf deinem Computer zu Hause von überall: im Café, auf Reisen, im Büro. Und nichts ist offen im Internet erreichbar.


Hinweis zur Sicherheit

Off Grid AI warnt dich, bevor es sich mit einer öffentlichen Adresse im Internet verbindet (außerhalb privater IP-Bereiche). Für den Zugriff von unterwegs nimm immer Tailscale oder einen ähnlichen privaten Tunnel, statt deinen Server direkt ins Internet zu stellen.


Weitere Anleitungen

Off Grid AI im Vergleich

HAT DAS GEHOLFEN?
NEUES VOM ENTWICKLER