GuidaModelli e prestazioniTelefono2 min di lettura

In questa pagina
  1. Server supportati
  2. Configurare Ollama
  3. Configurare LM Studio
  4. Collegarsi da Off Grid AI
  5. Scegliere un modello remoto
  6. Visione e chiamate agli strumenti sui server remoti
  7. Accesso fuori casa con Tailscale
  8. Nota sulla sicurezza
  9. Altre guide
  10. Off Grid AI a confronto

Server remoti: collega Ollama, LM Studio e LocalAI

Il tuo telefono esegue modelli notevoli in locale, ma il tuo computer o Mac ne esegue di molto più grandi: Llama 3.1 70B, Mistral Large, DeepSeek, CodeLlama 34B.

Off Grid AI si collega a qualsiasi server compatibile con OpenAI nella tua rete locale, così usi quei modelli dal telefono via Wi-Fi. Senza internet.


Server supportati

Server Piattaforma Note
Ollama macOS, Linux, Windows Il più diffuso, il più facile da configurare
LM Studio macOS, Windows Ottima interfaccia, gestione dei modelli semplice
LocalAI Linux, Docker Self-hosted, molti formati di modello
vLLM Linux Throughput elevato, pensato per GPU
Qualsiasi compatibile con OpenAI Qualsiasi Richiede /v1/chat/completions e /v1/models

Configurare Ollama

1. Installa Ollama sul computer:

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.ai/install.sh | sh

2. Consenti le connessioni remote (di default Ollama ascolta solo su localhost):

# macOS/Linux
OLLAMA_HOST=0.0.0.0 ollama serve

# ~/.zshrc / ~/.bashrc
export OLLAMA_HOST=0.0.0.0

3. Scarica un modello:

ollama pull llama3.1:8b
ollama pull qwen2.5:14b

4. Trova l’IP locale del computer:

  • macOS: Impostazioni di Sistema → Rete → Wi-Fi → Dettagli → Indirizzo IP
  • Linux: ip addr show e cerca l’interfaccia Wi-Fi

Configurare LM Studio

  1. Scarica e installa LM Studio
  2. Scarica un modello nell’app
  3. Vai alla scheda Local Server → fai clic su Start Server
  4. Attiva “Allow connections from network” nelle impostazioni del server
  5. Annota IP e porta mostrati (porta predefinita: 1234)

Collegarsi da Off Grid AI

  1. Apri Off Grid AI → Settings → Remote Servers
  2. Tocca Add Server
  3. Inserisci l’URL del server:
    • Ollama: http://192.168.1.42:11434
    • LM Studio: http://192.168.1.42:1234
  4. Aggiungi una chiave API se il server la richiede (viene salvata nel portachiavi di sistema)
  5. Tocca Test Connection: deve diventare verde
  6. Tocca Save

Off Grid AI trova da solo tutti i modelli del server tramite /v1/models.


Scegliere un modello remoto

Apri il selettore dei modelli. I modelli remoti compaiono sotto il nome del server. Toccane uno per attivarlo.

Off Grid AI mostra le risposte in tempo reale con Server-Sent Events (SSE). Tornare a un modello locale è immediato.


Visione e chiamate agli strumenti sui server remoti

Off Grid AI riconosce visione e chiamate agli strumenti dal nome del modello. Se il nome contiene vision, vl, vlm o simili, Off Grid AI attiva l’allegato fotocamera. Le chiamate agli strumenti vengono riconosciute allo stesso modo.

Sui server che le supportano (Ollama con modelli compatibili, LM Studio), chiamate agli strumenti e visione funzionano senza intoppi anche da remoto.


Accesso fuori casa con Tailscale

Tailscale crea una VPN privata tra i tuoi dispositivi. Installalo sul computer e sul telefono, poi usa l’IP Tailscale del computer come URL del server.

Così usi i modelli del computer di casa ovunque (al bar, in viaggio, in ufficio) senza esporre nulla su internet.


Nota sulla sicurezza

Off Grid AI ti avvisa prima di collegarsi a un indirizzo pubblico su internet (fuori dagli intervalli di IP privati). Per l’accesso remoto usa sempre Tailscale o un tunnel privato simile, invece di esporre il server direttamente su internet.


Altre guide

Off Grid AI a confronto

TI È STATO UTILE?
NOVITÀ DAL CREATORE