Auf dieser Seite
Die GPU in einem Mittelklasse-Laptop kann ein Modell mit 7 Milliarden Parametern so schnell ausführen, dass es sich wie ein Chat anfühlt. Diese Leistung liegt brach, während du monatlich dafür zahlst, jede Frage an einen fremden Server zu schicken. Off Grid AI Desktop ist eine kostenlose App, die die Qwen-Modelle von Alibaba direkt auf deinem Mac oder PC ausführt.
Off Grid AI Desktop herunterladen
Kostenlos und läuft offline.

Die Modellübersicht in Off Grid AI Desktop mit Textmodellen, die zu deinem Rechner passen.
Warum Qwen
Qwen ist die Modellfamilie von Alibaba mit offenen Gewichten. Die Gewichte sind öffentlich, also lädst du sie einmal herunter und führst sie auf deinem eigenen Rechner aus.
Qwen hat zwei Stärken. Es ist stark beim Programmieren und damit nützlich, um Funktionen zu erklären, Skripte zu skizzieren und Codeschnipsel zu prüfen. Und es ist mehrsprachig trainiert, deshalb kommt es mit Deutsch und anderen Sprachen besser zurecht als viele offene Modelle gleicher Größe.
Du nutzt es über den Modellbrowser in Off Grid AI Desktop. Such ein Qwen-GGUF auf Hugging Face, lade es herunter und chatte. Deine Chats bleiben auf deiner Festplatte.
Was du brauchst
Qwen gibt es in vielen Größen, von winzig bis groß. Wähl die Größe, die deine Hardware schafft.
| Stufe | Mac | Windows / PC | Läuft |
|---|---|---|---|
| Minimum | M1, 8 GB gemeinsamer Speicher | 8 GB RAM, integrierte GPU oder CPU | Qwen 1,5B / 3B, quantisiert |
| Empfohlen | M2 oder M3, ab 16 GB | 16 GB RAM, NVIDIA-GPU mit 8 GB VRAM | Qwen 7B |
| Komfortabel | M3 Max oder M4, ab 32 GB | 32 GB RAM, ab 12 GB VRAM | Qwen 14B und größer, längerer Kontext |
Du brauchst macOS 13 oder neuer oder Windows 10/11. Plane pro Modell 5 bis 20 GB freien Speicherplatz ein. Quantisierte GGUF-Dateien machen den Download kleiner, so passt auch ein großes Modell in normalen Speicher.
Was Off Grid AI Desktop kann
Der Chat ist der Kern, aber Qwen kann mehr als ein Textfeld.
- Mit Qwen offline chatten. Temperatur und Kontextfenster stellst du pro Unterhaltung ein. Eine private Alternative zum Cloud-Chat.
- Modelle durchsuchen und laden. Der eingebaute Hugging-Face-Browser holt jedes kompatible GGUF. Du wechselst die Qwen-Größe in Sekunden.
- Code und Artefakte anzeigen. Schreibt Qwen HTML, SVG, Mermaid oder React, siehst du das Ergebnis live in einer abgeschotteten Vorschau ohne Netzwerkzugriff. Passt gut zu der Programmierarbeit, für die Qwen gebaut ist.
- Mit deinen Dokumenten chatten. Lade PDFs, Notizen oder einen ganzen Ordner hoch und stell Fragen mit zitierten Quellen, alles auf dem Gerät.
- Tools nutzen. In einer Agenten-Schleife ruft Qwen eingebaute lokale Tools wie einen Rechner und Datumsfunktionen auf.

Der Chat in Off Grid AI Desktop mit Qwen 3.5 9B, lokal ausgeführt, antwortet mit zitierten Quellen.
Welches Qwen du nehmen solltest
Größer ist nicht immer besser. Ein Modell, das in den Speicher passt, schlägt eines, das auf die Festplatte ausweicht.
| Deine Hardware | Empfohlenes Qwen | Was dich erwartet |
|---|---|---|
| Mac oder PC mit 8 GB | Qwen 1,5B / 3B, Q4 | Schnelle Antworten, gut für kurze Programmierhilfe |
| 16 GB, ordentliche GPU | Qwen 7B | Gute Qualität beim Programmieren und in mehreren Sprachen, schnell genug zum Chatten |
| Ab 32 GB mit starker GPU | Qwen 14B und größer | Bestes Denkvermögen, längere Dateien, langsameres erstes Token |
Fürs Programmieren und mehrere Sprachen ist die 7B-Klasse auf 16 GB ein guter Mittelweg. Geh nur höher, wenn du Speicher übrig hast.
Wie die Hardwarebeschleunigung funktioniert
Off Grid AI Desktop führt Qwen über einen mitgelieferten llama.cpp-Server auf deinem Rechner aus. Wo es geht, nutzt es deine GPU.
Auf dem Mac ist das Metal. Apple Silicon teilt einen Speicher zwischen CPU und GPU, also erreicht die GPU das Modell, ohne es über einen Bus zu kopieren. Ein Mac mit 16 GB führt ein 7B-Modell bequem aus.
Unter Windows nutzt die App CUDA auf NVIDIA-Karten oder Vulkan auf anderen GPUs. Ohne unterstützte GPU läuft Qwen auf der CPU. Langsamer, aber es funktioniert.
Quantisierung macht den Rest möglich. Die vollen Qwen-Gewichte sind 16-Bit-Gleitkommazahlen. Ein quantisiertes GGUF speichert sie mit 4 oder 8 Bit und halbiert den Speicherbedarf grob. Der Genauigkeitsverlust ist klein. Dafür passt ein Modell, das vorher nicht gepasst hätte.
So bleibt es schnell
Pass das Modell zuerst an deinen Speicher an. Lagert die App Layer auf die CPU aus, war das Modell zu groß. Geh eine Größe runter.
Nimm Q4 für allgemeine Chats und Q8, wenn du höchste Qualität willst und den Speicher hast. Die größere Quantisierung ist langsamer und schwerer.
Kürz das Kontextfenster auf die Aufgabe. Ein langer Kontext bremst jedes Token und frisst RAM. Fang für jedes Thema einen neuen Chat an, damit das Modell nicht bei jeder Antwort einen langen Verlauf neu liest.
Datenschutz: stärker als Cloud-Chat
Ein Cloud-Chatdienst speichert deine Prompts und nutzt sie eventuell, um künftige Modelle zu trainieren. Code, den du einfügst, Dokumente, die du zusammenfassen lässt, alles landet auf einem Server.
Off Grid AI Desktop hält Qwen auf deiner Festplatte. Kein Konto, kein API-Schlüssel. Trenn die Internetverbindung, und Qwen antwortet weiter.
So legst du los
- Lade Off Grid AI Desktop herunter, passend zu deinem Betriebssystem.
- Installier und starte die App.
- Öffne den Modellbrowser, such nach Qwen und lade ein GGUF, das zu deiner Hardware passt.
- Öffne den Chat, wähl das Modell aus und fang an zu schreiben.
FAQ
Ist es wirklich kostenlos?
Ja. Die App ist kostenlos. Für Qwen musst du nichts freischalten.
Funktioniert es komplett offline?
Ja. Sobald ein Modell heruntergeladen ist, kannst du das Netzwerk trennen und weiterchatten.
Welche Qwen-Modelle kann ich nutzen?
Jedes kompatible Qwen-GGUF von Hugging Face, heruntergeladen über den eingebauten Modellbrowser. Wähl eine Größe, die in deinen RAM passt.
Wofür ist Qwen gut?
Vor allem fürs Programmieren und für Texte in mehreren Sprachen. Es kommt gut mit Deutsch zurecht und erklärt und schreibt Code.
Wie viel RAM brauche ich?
Mit 8 GB läuft ein kleines Qwen. 16 GB sind bequem für die 7B-Klasse. Mit 32 GB laufen 14B und größer.
Mac oder Windows?
Beides. Der Mac nutzt Metal auf Apple Silicon. Windows nutzt CUDA oder Vulkan, mit der CPU als Ausweichlösung.
Führ Qwen auf deiner eigenen Hardware aus, komplett offline.