HandleidingModellen en prestatiesTelefoon2 min lezen

Op deze pagina
  1. Ondersteunde servers
  2. Ollama instellen
  3. LM Studio instellen
  4. Verbinden vanuit Off Grid AI
  5. Een extern model kiezen
  6. Beeldherkenning en tool-aanroepen via externe servers
  7. Toegang van buitenaf met Tailscale
  8. Over veiligheid
  9. Meer handleidingen
  10. Off Grid AI vergeleken

Externe servers: Ollama, LM Studio en LocalAI verbinden

Je telefoon draait indrukwekkende modellen lokaal, maar je computer of Mac draait veel grotere: Llama 3.1 70B, Mistral Large, DeepSeek, CodeLlama 34B.

Off Grid AI maakt verbinding met elke OpenAI-compatibele server in je lokale netwerk, zodat je die modellen via wifi op je telefoon gebruikt. Zonder internet.


Ondersteunde servers

Server Platform Opmerkingen
Ollama macOS, Linux, Windows Populairst, makkelijkst in te stellen
LM Studio macOS, Windows Mooie interface, makkelijk modelbeheer
LocalAI Linux, Docker Zelf gehost, veel modelformaten
vLLM Linux Hoge doorvoer, gericht op gpu’s
Elke OpenAI-compatibele server Alle Vraagt /v1/chat/completions en /v1/models

Ollama instellen

1. Installeer Ollama op je computer:

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.ai/install.sh | sh

2. Sta verbindingen van buitenaf toe (standaard luistert Ollama alleen op localhost):

# macOS/Linux
OLLAMA_HOST=0.0.0.0 ollama serve

# ~/.zshrc / ~/.bashrc
export OLLAMA_HOST=0.0.0.0

3. Download een model:

ollama pull llama3.1:8b
ollama pull qwen2.5:14b

4. Zoek het lokale IP-adres van je computer:

  • macOS: Systeeminstellingen → Netwerk → Wifi → Details → IP-adres
  • Linux: ip addr show en zoek je wifi-interface

LM Studio instellen

  1. Download en installeer LM Studio
  2. Download een model in de app
  3. Ga naar het tabblad Local Server → klik op Start Server
  4. Zet “Allow connections from network” aan in de serverinstellingen
  5. Noteer het getoonde IP-adres en de poort (standaardpoort: 1234)

Verbinden vanuit Off Grid AI

  1. Open Off Grid AI → Settings → Remote Servers
  2. Tik op Add Server
  3. Vul de server-URL in:
    • Ollama: http://192.168.1.42:11434
    • LM Studio: http://192.168.1.42:1234
  4. Voeg een API-sleutel toe als je server die vraagt (die gaat in de systeemsleutelhanger)
  5. Tik op Test Connection; dat moet groen worden
  6. Tik op Save

Off Grid AI vindt via /v1/models vanzelf alle modellen op de server.


Een extern model kiezen

Open de modelkiezer. Externe modellen staan onder de naam van je server. Tik er een aan om hem te activeren.

Off Grid AI toont antwoorden in realtime via Server-Sent Events (SSE). Terugschakelen naar een lokaal model gaat direct.


Beeldherkenning en tool-aanroepen via externe servers

Off Grid AI herkent beeld en tool-aanroepen aan de modelnaam. Staat er vision, vl, vlm of iets vergelijkbaars in de naam, dan zet Off Grid AI de camerabijlage aan. Tool-aanroepen worden op dezelfde manier herkend.

Op servers die het ondersteunen (Ollama met geschikte modellen, LM Studio) werken tool-aanroepen en beeld ook via de externe verbinding zonder gedoe.


Toegang van buitenaf met Tailscale

Tailscale maakt een privé-vpn tussen je apparaten. Installeer het op je computer en je telefoon en gebruik dan het Tailscale-IP van je computer als server-URL.

Zo gebruik je de modellen op je computer thuis overal (in een café, op reis, op kantoor) zonder iets bloot te stellen aan het open internet.


Over veiligheid

Off Grid AI waarschuwt je voordat het verbinding maakt met een openbaar adres op internet (buiten privé-IP-bereiken). Gebruik voor toegang van buitenaf altijd Tailscale of een vergelijkbare privétunnel in plaats van je server direct open te zetten op internet.


Meer handleidingen

Off Grid AI vergeleken

HEB JE HIER IETS AAN?
UPDATES VAN DE MAKER