ArtikelAutomatisierung und ToolsComputer7 Min. Lesezeit

Eine lokale OpenAI-kompatible API 2026 auf deinem Desktop betreiben (ohne Cloud, ohne Schlüssel)

Änder eine base_url, und dein bestehender OpenAI-Code läuft mit Modellen auf deinem Gerät: kostenlos, offline, ohne API-Schlüssel.

Auf dieser Seite
  1. Die Änderung in einer Zeile
  2. Was du brauchst
  3. Ein Endpunkt für alle Modalitäten
  4. Chat in fünf Zeilen
  5. Bilderkennung in derselben Anfrage
  6. Lange Aufgaben ohne Timeouts
  7. Warum Inferenz auf dem Gerät jetzt funktioniert
  8. Ein Tipp zum Speicher
  9. Datenschutz: stärker als eine gehostete API
  10. So legst du los
  11. FAQ

Der Laptop auf deinem Schreibtisch hat eine GPU, die ein 7B-Modell und ein Diffusionsmodell mühelos ausführen kann. Meist liegt diese Hardware brach, während du jeden Monat dafür zahlst, deine Prompts an einen fremden Server zu schicken. Off Grid AI Desktop ist eine kostenlose App, die eine vollständige OpenAI-kompatible API direkt auf deinem Mac oder PC betreibt.

Off Grid AI Desktop herunterladen

Kostenlos und läuft offline. Kein Konto, kein API-Schlüssel.

Das Gateway in Off Grid AI Desktop: eine lokale OpenAI-kompatible API unter 127.0.0.1:7878, mit kopierbaren Beispielen für curl, Python und JavaScript.

Das Gateway in Off Grid AI Desktop: eine lokale OpenAI-kompatible API unter 127.0.0.1:7878, mit kopierbaren Beispielen für curl, Python und JavaScript.

Die Änderung in einer Zeile

Darum geht es. Du hast schon Code, der mit OpenAI spricht. Du richtest seine base_url auf einen Server auf deinem eigenen Rechner, und der Code läuft weiter. Die Anfragen verlassen deinen Laptop nie.

Der Server läuft unter:

http://127.0.0.1:7878/v1

Er lauscht auf deinem Computer und in deinem lokalen Netzwerk, also kann auch dein Handy im selben WLAN ihn nutzen. Aus dem Internet ist er nicht erreichbar, solange du den Port nicht weiterleitest, und es gibt kein Cloud-Relay. Deine Prompts und Dateien bleiben auf deinen eigenen Geräten.

Schlüssel sind standardmäßig aus, und es gibt kein Konto. Jeder OpenAI-Client will im Konstruktor einen Schlüssel, also übergibst du einen Platzhalter, und das Gateway ignoriert ihn. In einem geteilten Netzwerk öffnest du Gateway, schaltest unter API keys die Option Require an API key ein und legst für jeden Client einen Schlüssel an.

Was du brauchst

Das Gateway läuft auf Hardware, die die meisten Entwickler schon haben.

Stufe macOS Windows
Minimum Apple Silicon (M1), 16 GB gemeinsamer Speicher, macOS 13+, ca. 12 GB frei NVIDIA oder aktuelle CPU, 16 GB RAM, Windows 11, ca. 12 GB frei
Empfohlen M2/M3/M4, ab 24 GB gemeinsamer Speicher NVIDIA-GPU (CUDA) oder Vulkan-GPU, 32 GB RAM

Unter Windows funktioniert auch nur die CPU als Ausweichlösung. Langsamer, aber es läuft.

Ein Endpunkt für alle Modalitäten

Die meisten lokalen KI-Setups geben dir einen Text-Endpunkt und hören da auf. Dieses Gateway deckt Text, Bilderkennung, Embeddings, Sprache und Bilder über dieselben Routen im OpenAI-Format ab. Du lernst einen Client und bekommst jedes Modell auf deinem Rechner.

  • POST /v1/chat/completions und /v1/completions für Text und Bilderkennung. Schick ein image_url als Data-URL, als http(s)-URL oder als lokalen Dateipfad. Entfernte Bilder bettet das Gateway für dich ein.
  • POST /v1/embeddings für lokale all-MiniLM-L6-v2-Vektoren.
  • POST /v1/audio/transcriptions für Spracherkennung mit whisper.cpp, mehrsprachig, als Multipart-file gesendet.
  • POST /v1/audio/speech für Kokoro-Sprachausgabe als WAV. GET /v1/audio/voices listet die Stimmen-IDs.
  • POST /v1/images/generations für Text zu Bild, POST /v1/images/edits für Bild zu Bild und POST /v1/images als gemeinsame Route, die input_references für img2img annimmt.
  • GET /v1/models listet das aktive Modell pro Modalität. Jedes hat ein kind: chat, vision, image, speech oder transcription.

Modelle laden pro Modalität bei Bedarf und werden nach dem Aufruf wieder entladen, also liegen ein Chat-Modell und ein Diffusionsmodell nie gleichzeitig im RAM. Dein Speicherbudget muss nur eine Aufgabe tragen, nicht alle auf einmal.

Chat in fünf Zeilen

So sieht eine einfache Chat-Anfrage mit curl aus. Beachte den Platzhalter-Schlüssel.

curl http://127.0.0.1:7878/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "local",
    "messages": [{"role": "user", "content": "Write a haiku about loopback addresses."}]
  }'

Dasselbe mit dem offiziellen Python-SDK. Du änderst zwei Argumente und sonst nichts.

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:7878/v1",
    api_key="not-needed",  # any placeholder works
)

resp = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Explain loopback in one sentence."}],
)
print(resp.choices[0].message.content)

Und in Node mit dem offiziellen openai-Paket:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "http://127.0.0.1:7878/v1",
  apiKey: "not-needed",
});

const resp = await client.chat.completions.create({
  model: "local",
  messages: [{ role: "user", content: "Explain loopback in one sentence." }],
});
console.log(resp.choices[0].message.content);

Wenn du schon gegen OpenAI programmiert hast, ist das die ganze Migration. Das Antwortformat ist gleich, dein Parsing-Code bleibt unverändert.

Bilderkennung in derselben Anfrage

Schick ein Bild zusammen mit Text. Das Gateway nimmt eine Data-URL, eine entfernte URL oder einen Pfad zu einer Datei auf der Festplatte.

curl http://127.0.0.1:7878/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "local",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "What is in this screenshot?"},
        {"type": "image_url", "image_url": {"url": "/Users/you/Desktop/shot.png"}}
      ]
    }]
  }'

Ein lokaler Pfad funktioniert, weil die Anfrage deinen Rechner nie verlässt. Kein Upload-Schritt und keine signierte URL, um die du dich kümmern musst.

Lange Aufgaben ohne Timeouts

Manche Aufrufe dauern. Beim ersten Mal, wenn du eine Modalität nutzt, wird das Modell heruntergeladen. Ein mehrstufiges Diffusions-Rendering dauert je nach GPU Sekunden bis Minuten. Statt eine HTTP-Verbindung offen zu halten und einen Client-Timeout zu riskieren, kannst du den Aufruf asynchron ausführen.

Das geht auf drei Wegen: Häng ?async=true an die URL, setz "async": true im Body oder schick den Header Prefer: respond-async. Du bekommst 202 mit einer poll_url zurück. Dann fragst du ab:

# kick off an image generation, async
curl "http://127.0.0.1:7878/v1/images/generations?async=true" \
  -H "Content-Type: application/json" \
  -d '{"model": "local", "prompt": "a lighthouse at dusk, oil painting"}'
# -> 202 with {"id": "...", "poll_url": "/v1/requests/abc123"}

# poll until it is done
curl http://127.0.0.1:7878/v1/requests/abc123

So bleibt dein Client-Code bei schnellen Aufrufen einfach und bei langsamen zuverlässig.

Warum Inferenz auf dem Gerät jetzt funktioniert

Zwei Dinge haben sich geändert. Apple Silicon hat gemeinsamen Speicher, also liest die GPU denselben RAM wie die CPU, ohne Kopie über einen Bus. Ein M-Chip mit 16 GB kann ein quantisiertes 7B-Modell halten und es mit Metal ausführen. Unter Windows laufen dieselben Modelle auf NVIDIA-Karten mit CUDA, Vulkan deckt andere GPUs ab.

Die zweite Änderung ist die Quantisierung. Die mitgelieferten Modelle sind GGUF-Dateien in Stufen wie q8_0 und Q4_K. Ein Modell, das in voller Präzision 28 GB bräuchte, passt quantisiert in 5 bis 8 GB, mit einer Qualität, die für die meisten Aufgaben reicht. Deshalb laufen auf einem normalen Laptop Modelle, die vor zwei Jahren einen Server brauchten.

Ein Tipp zum Speicher

Weil das Gateway pro Modalität ein Modell bei Bedarf lädt und danach entlädt, bestimmt deine größte einzelne Aufgabe den Spitzenverbrauch, nicht die Summe von allem. Plan deinen freien RAM um den schwersten Schritt herum, meist die Bildgenerierung, und der Rest passt darunter.

Datenschutz: stärker als eine gehostete API

Ein gehosteter OpenAI-kompatibler Endpunkt sieht jeden Prompt, jede Datei und jedes Bild, das du schickst. Er protokolliert sie, rechnet pro Token ab und verlangt ein Konto, das an deine Identität gebunden ist.

Dieses Gateway sieht nichts davon, weil nichts verschickt wird. Der Server läuft auf deinem eigenen Computer und macht für die Inferenz keine Aufrufe nach außen. Du kannst das Netzwerkkabel ziehen, und jeder Endpunkt oben antwortet weiter.

So legst du los

  1. Lade Off Grid AI Desktop herunter.
  2. Installier und starte die App auf macOS oder Windows.
  3. Das Gateway läuft unter http://127.0.0.1:7878/v1. Öffne GET /docs für den Scalar-Playground oder hol dir die Spezifikation unter /openapi.json.
  4. Richte deinen bestehenden OpenAI-Client mit einem beliebigen Platzhalter als api_key auf diese base_url.
  5. Schick eine Chat-Anfrage. Der erste Aufruf jeder Modalität lädt ihr Modell einmal herunter, danach läuft alles offline.

Die Modelle auf dem Gerät stehen außerdem als MCP-Tools unter POST /v1/.../mcp über Streamable HTTP bereit, also kann auch ein MCP-Client sie aufrufen.

FAQ

Ist es wirklich kostenlos?

Ja. Hinter der App steckt keine abgerechnete API. Du führst die Modelle auf deiner eigenen Hardware aus, also gibt es keine Kosten pro Token.

Funktioniert es offline?

Ja. Nach dem einmaligen Modell-Download für jede Modalität läuft jeder Endpunkt ohne Internet.

Brauche ich einen API-Schlüssel?

Nein, Schlüssel sind standardmäßig aus, und es gibt kein Konto. OpenAI-Clients verlangen ein Schlüssel-Argument, also übergibst du einen beliebigen Platzhalter, und er wird ignoriert. Schalte Require an API key in Gateway ein, wenn andere dein Netzwerk mitnutzen.

Läuft mein bestehender OpenAI-Code?

Ja, für die OpenAI-kompatiblen Routen. Änder base_url auf http://127.0.0.1:7878/v1 und lass den Rest. Das Gateway liefert auch ein Modell-Array im Ollama-Format, falls deine Tools dieses Format erwarten.

Wie viel RAM brauche ich?

16 GB sind auf macOS und Windows ein brauchbares Minimum. Ab 24 GB hast du Platz für größere Modelle und schnellere Bildarbeit. Modelle laden einzeln, also planst du für die größte einzelne Aufgabe.

Sind meine Daten privat?

Der Server läuft auf deinem Rechner und macht für die Inferenz keine Aufrufe nach außen. Keine Protokolle bei Dritten, kein Konto.

Richte deinen Code auf deinen eigenen Rechner.

Off Grid AI Desktop herunterladen

HAT DAS GEHOLFEN?
NEUES VOM ENTWICKLER