PanduanModel dan performaHP2 menit baca

Di halaman ini
  1. Server yang didukung
  2. Mengatur Ollama
  3. Mengatur LM Studio
  4. Menyambungkan dari Off Grid AI
  5. Memilih model jarak jauh
  6. Visi dan pemanggilan alat lewat server jarak jauh
  7. Akses dari luar rumah dengan Tailscale
  8. Catatan keamanan
  9. Panduan lainnya
  10. Perbandingan Off Grid AI

Server jarak jauh: hubungkan Ollama, LM Studio, dan LocalAI

HP kamu bisa menjalankan model yang mengesankan secara lokal, tapi komputer atau Mac kamu bisa menjalankan yang jauh lebih besar: Llama 3.1 70B, Mistral Large, DeepSeek, CodeLlama 34B.

Off Grid AI terhubung ke server apa pun yang kompatibel dengan OpenAI di jaringan lokalmu, jadi kamu bisa memakai model-model itu dari HP lewat Wi-Fi. Tanpa internet.


Server yang didukung

Server Platform Catatan
Ollama macOS, Linux, Windows Paling populer, paling gampang diatur
LM Studio macOS, Windows Tampilan bagus, mudah mengelola model
LocalAI Linux, Docker Dihosting sendiri, banyak format model
vLLM Linux Throughput tinggi, fokus ke GPU
Semua yang kompatibel dengan OpenAI Semua Butuh /v1/chat/completions dan /v1/models

Mengatur Ollama

1. Pasang Ollama di komputer:

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.ai/install.sh | sh

2. Izinkan koneksi dari luar (secara bawaan, Ollama hanya mendengarkan localhost):

# macOS/Linux
OLLAMA_HOST=0.0.0.0 ollama serve

# ~/.zshrc / ~/.bashrc
export OLLAMA_HOST=0.0.0.0

3. Unduh model:

ollama pull llama3.1:8b
ollama pull qwen2.5:14b

4. Cari IP lokal komputer:

  • macOS: Pengaturan Sistem → Jaringan → Wi-Fi → Detail → Alamat IP
  • Linux: ip addr show lalu cari antarmuka Wi-Fi

Mengatur LM Studio

  1. Unduh dan pasang LM Studio
  2. Unduh model di aplikasinya
  3. Buka tab Local Server → klik Start Server
  4. Aktifkan “Allow connections from network” di pengaturan server
  5. Catat IP dan port yang muncul (port bawaan: 1234)

Menyambungkan dari Off Grid AI

  1. Buka Off Grid AI → Settings → Remote Servers
  2. Ketuk Add Server
  3. Masukkan URL server:
    • Ollama: http://192.168.1.42:11434
    • LM Studio: http://192.168.1.42:1234
  4. Tambahkan kunci API kalau server memintanya (disimpan di keychain sistem)
  5. Ketuk Test Connection; harusnya berwarna hijau
  6. Ketuk Save

Off Grid AI otomatis menemukan semua model di server lewat /v1/models.


Memilih model jarak jauh

Buka pemilih model. Model jarak jauh muncul di bawah nama server. Ketuk salah satu untuk mengaktifkannya.

Off Grid AI menampilkan jawaban secara langsung lewat Server-Sent Events (SSE). Kembali ke model lokal bisa seketika.


Visi dan pemanggilan alat lewat server jarak jauh

Off Grid AI mengenali dukungan visi dan pemanggilan alat dari nama model. Kalau namanya memuat vision, vl, vlm, atau yang mirip, Off Grid AI mengaktifkan lampiran kamera. Pemanggilan alat dikenali dengan cara yang sama.

Di server yang mendukungnya (Ollama dengan model yang kompatibel, LM Studio), pemanggilan alat dan visi berjalan lancar lewat koneksi jarak jauh.


Akses dari luar rumah dengan Tailscale

Tailscale membuat VPN pribadi di antara perangkatmu. Pasang di komputer dan HP, lalu pakai IP Tailscale komputer sebagai URL server.

Dengan begitu kamu bisa memakai model di komputer rumah dari mana saja (kafe, perjalanan, kantor) tanpa membuka apa pun ke internet publik.


Catatan keamanan

Off Grid AI memperingatkanmu sebelum terhubung ke alamat internet publik (di luar rentang IP pribadi). Untuk akses jarak jauh, selalu pakai Tailscale atau terowongan pribadi sejenis, jangan membuka server langsung ke internet.


Panduan lainnya

Perbandingan Off Grid AI

MEMBANTU?
KABAR DARI PEMBUAT