Auf dieser Seite
Bilderkennung: Bilder und Dokumente auf dem Gerät auswerten
Die Vision-Modelle von Off Grid AI sehen sich Bilder an und beantworten Fragen dazu. Halt die Kamera auf ein Dokument, ein Produkt, ein Diagramm oder einen Kassenbon und frag, was du willst.
Die ganze Auswertung läuft auf dem Gerät, über die multimodale Unterstützung von llama.rn. Kein Bild wird hochgeladen.
Was du damit machen kannst
- Kassenbons, Rechnungen, Visitenkarten lesen: Text aus Fotos holen
- Szenen beschreiben: verstehen, was auf einem Foto ist
- Dokumente auswerten: Fragen zum Foto eines Dokuments stellen
- Dinge erkennen: “Was ist das?” mit einem Foto
- Handschrift lesen: mit starken Modellen wie Qwen3-VL
- Code aus Screenshots: Zeig dem Modell eine Oberfläche und lass es den Code nachbauen
Verfügbare Vision-Modelle
| Modell | Parameter | Min. RAM | Tempo | Ideal für |
|---|---|---|---|---|
| SmolVLM2 500M | 0.5B | 3GB | Sehr schnell (~7 s) | Schnelle Bildfragen auf Geräten mit wenig RAM |
| SmolVLM 2B | 2B | 4GB | Schnell (~8 s) | Allgemeine Bildaufgaben |
| SmolVLM2 2.2B | 2.2B | 4GB | Schnell (~8–10 s) | Bilder und Videos verstehen |
| Gemma 4 E2B | 2B (MoE) | 4GB | Mittel (~10–15 s) | Beste Bildqualität bei 4 GB, mit Denkmodus |
| Gemma 4 E4B | 4B (MoE) | 6GB | Mittel (~12–18 s) | Stärkstes Denken plus Bilderkennung, mit Denkmodus |
| Qwen3-VL 2B | 2B | 4GB | Mittel | Bilder in vielen Sprachen, mit Denkmodus |
Gemma-4-Modelle können Bilder verstehen und gleichzeitig im Denkmodus arbeiten. Sie denken Schritt für Schritt über das Gesehene nach, und das macht sie bei kniffligen Aufgaben deutlich genauer.
So nutzt du die Bilderkennung
- Öffne einen Chat in Off Grid AI
- Tipp auf das Anhang-Symbol → wähl Camera oder Photo Library
- Wähl ein Bild oder mach ein Foto
- Schreib deine Frage und schick sie ab
Das Modell bekommt das Bild und deine Frage. Vision-Modelle laden bei der Einrichtung automatisch eine mmproj-Datei (den multimodalen Projektor) mit. Sie ist in der angegebenen Modellgröße schon enthalten.
Beispiel-Prompts
Dokumente auswerten:
“Welche Posten stehen auf diesem Kassenbon? Gib mir die Summe.”
Technisches lesen:
“Erklär dieses Architekturdiagramm.”
Handschrift:
“Schreib den Text auf diesem Foto ab.”
Bildfragen:
“Welches Smartphone-Modell ist auf diesem Foto zu sehen?”
Code aus einer Oberfläche:
“Schreib den React-Native-Code, der diesen Bildschirm nachbaut.”
Tipps
Gemma 4 für kniffliges Denken: Wenn das Modell genau über das Gesehene nachdenken soll (etwa ein Diagramm deuten oder eine Aufgabe von einem Foto lösen), liefert der Denkmodus von Gemma 4 viel bessere Ergebnisse als ein schnelleres Modell.
SmolVLM für schnelle Aufgaben: Für einfache Beschreibungen oder Text aus Bildern ist SmolVLM2 500M erstaunlich gut und viel schneller.
Die Bildqualität zählt: Unscharfe oder kontrastarme Fotos senken die Genauigkeit stark. Bei Dokumenten hilft gleichmäßiges Licht und ein gerader Blickwinkel.