AnleitungBilder und BilderkennungSmartphone2 Min. Lesezeit

Auf dieser Seite
  1. Was du damit machen kannst
  2. Verfügbare Vision-Modelle
  3. So nutzt du die Bilderkennung
  4. Beispiel-Prompts
  5. Tipps
  6. Weitere Anleitungen

Bilderkennung: Bilder und Dokumente auf dem Gerät auswerten

Die Vision-Modelle von Off Grid AI sehen sich Bilder an und beantworten Fragen dazu. Halt die Kamera auf ein Dokument, ein Produkt, ein Diagramm oder einen Kassenbon und frag, was du willst.

Die ganze Auswertung läuft auf dem Gerät, über die multimodale Unterstützung von llama.rn. Kein Bild wird hochgeladen.


Was du damit machen kannst

  • Kassenbons, Rechnungen, Visitenkarten lesen: Text aus Fotos holen
  • Szenen beschreiben: verstehen, was auf einem Foto ist
  • Dokumente auswerten: Fragen zum Foto eines Dokuments stellen
  • Dinge erkennen: “Was ist das?” mit einem Foto
  • Handschrift lesen: mit starken Modellen wie Qwen3-VL
  • Code aus Screenshots: Zeig dem Modell eine Oberfläche und lass es den Code nachbauen

Verfügbare Vision-Modelle

Modell Parameter Min. RAM Tempo Ideal für
SmolVLM2 500M 0.5B 3GB Sehr schnell (~7 s) Schnelle Bildfragen auf Geräten mit wenig RAM
SmolVLM 2B 2B 4GB Schnell (~8 s) Allgemeine Bildaufgaben
SmolVLM2 2.2B 2.2B 4GB Schnell (~8–10 s) Bilder und Videos verstehen
Gemma 4 E2B 2B (MoE) 4GB Mittel (~10–15 s) Beste Bildqualität bei 4 GB, mit Denkmodus
Gemma 4 E4B 4B (MoE) 6GB Mittel (~12–18 s) Stärkstes Denken plus Bilderkennung, mit Denkmodus
Qwen3-VL 2B 2B 4GB Mittel Bilder in vielen Sprachen, mit Denkmodus

Gemma-4-Modelle können Bilder verstehen und gleichzeitig im Denkmodus arbeiten. Sie denken Schritt für Schritt über das Gesehene nach, und das macht sie bei kniffligen Aufgaben deutlich genauer.


So nutzt du die Bilderkennung

  1. Öffne einen Chat in Off Grid AI
  2. Tipp auf das Anhang-Symbol → wähl Camera oder Photo Library
  3. Wähl ein Bild oder mach ein Foto
  4. Schreib deine Frage und schick sie ab

Das Modell bekommt das Bild und deine Frage. Vision-Modelle laden bei der Einrichtung automatisch eine mmproj-Datei (den multimodalen Projektor) mit. Sie ist in der angegebenen Modellgröße schon enthalten.


Beispiel-Prompts

Dokumente auswerten:

“Welche Posten stehen auf diesem Kassenbon? Gib mir die Summe.”

Technisches lesen:

“Erklär dieses Architekturdiagramm.”

Handschrift:

“Schreib den Text auf diesem Foto ab.”

Bildfragen:

“Welches Smartphone-Modell ist auf diesem Foto zu sehen?”

Code aus einer Oberfläche:

“Schreib den React-Native-Code, der diesen Bildschirm nachbaut.”


Tipps

Gemma 4 für kniffliges Denken: Wenn das Modell genau über das Gesehene nachdenken soll (etwa ein Diagramm deuten oder eine Aufgabe von einem Foto lösen), liefert der Denkmodus von Gemma 4 viel bessere Ergebnisse als ein schnelleres Modell.

SmolVLM für schnelle Aufgaben: Für einfache Beschreibungen oder Text aus Bildern ist SmolVLM2 500M erstaunlich gut und viel schneller.

Die Bildqualität zählt: Unscharfe oder kontrastarme Fotos senken die Genauigkeit stark. Bei Dokumenten hilft gleichmäßiges Licht und ein gerader Blickwinkel.


Weitere Anleitungen

HAT DAS GEHOLFEN?
NEUES VOM ENTWICKLER