PoradnikModele i wydajnośćTelefon2 min czytania

Na tej stronie
  1. Obsługiwane serwery
  2. Konfiguracja Ollamy
  3. Konfiguracja LM Studio
  4. Połączenie z Off Grid AI
  5. Wybór modelu zdalnego
  6. Obrazy i narzędzia na serwerach zdalnych
  7. Dostęp spoza domu z Tailscale
  8. Uwaga o bezpieczeństwie
  9. Więcej poradników
  10. Off Grid AI w porównaniu

Serwery zdalne: połącz Ollama, LM Studio i LocalAI

Twój telefon uruchamia lokalnie imponujące modele, ale komputer albo Mac poradzi sobie z dużo większymi: Llama 3.1 70B, Mistral Large, DeepSeek, CodeLlama 34B.

Off Grid AI łączy się z dowolnym serwerem zgodnym z OpenAI w twojej sieci lokalnej, więc z tych modeli korzystasz na telefonie przez Wi-Fi. Bez internetu.


Obsługiwane serwery

Serwer Platforma Uwagi
Ollama macOS, Linux, Windows Najpopularniejszy, najłatwiejszy w konfiguracji
LM Studio macOS, Windows Świetny interfejs, łatwe zarządzanie modelami
LocalAI Linux, Docker Własny hosting, wiele formatów modeli
vLLM Linux Wysoka przepustowość, z myślą o GPU
Dowolny zgodny z OpenAI Dowolna Wymaga /v1/chat/completions i /v1/models

Konfiguracja Ollamy

1. Zainstaluj Ollamę na komputerze:

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.ai/install.sh | sh

2. Pozwól na połączenia z zewnątrz (domyślnie Ollama nasłuchuje tylko na localhost):

# macOS/Linux
OLLAMA_HOST=0.0.0.0 ollama serve

# ~/.zshrc / ~/.bashrc
export OLLAMA_HOST=0.0.0.0

3. Pobierz model:

ollama pull llama3.1:8b
ollama pull qwen2.5:14b

4. Znajdź lokalny adres IP komputera:

  • macOS: Ustawienia systemowe → Sieć → Wi-Fi → Szczegóły → Adres IP
  • Linux: ip addr show i znajdź interfejs Wi-Fi

Konfiguracja LM Studio

  1. Pobierz i zainstaluj LM Studio
  2. Pobierz model w aplikacji
  3. Przejdź do karty Local Server → kliknij Start Server
  4. Włącz “Allow connections from network” w ustawieniach serwera
  5. Zapisz wyświetlony adres IP i port (domyślnie: 1234)

Połączenie z Off Grid AI

  1. Otwórz Off Grid AI → Settings → Remote Servers
  2. Stuknij Add Server
  3. Wpisz adres URL serwera:
    • Ollama: http://192.168.1.42:11434
    • LM Studio: http://192.168.1.42:1234
  4. Dodaj klucz API, jeśli serwer go wymaga (trafi do systemowego pęku kluczy)
  5. Stuknij Test Connection; powinno zaświecić się na zielono
  6. Stuknij Save

Off Grid AI sam wykrywa wszystkie modele na serwerze przez /v1/models.


Wybór modelu zdalnego

Otwórz wybór modelu. Modele zdalne są pod nazwą twojego serwera. Stuknij jeden, aby go włączyć.

Off Grid AI pokazuje odpowiedzi na bieżąco przez Server-Sent Events (SSE). Powrót do modelu lokalnego jest natychmiastowy.


Obrazy i narzędzia na serwerach zdalnych

Off Grid AI rozpoznaje obsługę obrazów i narzędzi po nazwie modelu. Jeśli nazwa zawiera vision, vl, vlm lub podobne, Off Grid AI włącza załącznik z aparatu. Wywoływanie narzędzi rozpoznaje tak samo.

Na serwerach, które to obsługują (Ollama ze zgodnymi modelami, LM Studio), narzędzia i obrazy działają bez problemu przez połączenie zdalne.


Dostęp spoza domu z Tailscale

Tailscale tworzy prywatny VPN między twoimi urządzeniami. Zainstaluj go na komputerze i telefonie, a potem użyj adresu Tailscale komputera jako URL serwera.

Wtedy z modeli na domowym komputerze korzystasz z każdego miejsca (z kawiarni, w podróży, z biura), nie wystawiając niczego do internetu.


Uwaga o bezpieczeństwie

Off Grid AI ostrzega przed połączeniem z publicznym adresem w internecie (spoza prywatnych zakresów IP). Do dostępu zdalnego zawsze używaj Tailscale albo podobnego prywatnego tunelu, zamiast wystawiać serwer bezpośrednio do internetu.


Więcej poradników

Off Grid AI w porównaniu

CZY TO POMOGŁO?
WIEŚCI OD TWÓRCY