ガイド画像とビジョンスマートフォン1 分で読めます

このページの内容
  1. できること
  2. 使えるビジョンモデル
  3. ビジョンの使い方
  4. プロンプトの例
  5. コツ
  6. 関連ガイド

ビジョンAI:画像やドキュメントをデバイス上で分析

Off Grid AIのビジョンモデルは、画像を見てその内容についての質問に答えます。ドキュメント、商品、図、レシートにカメラを向けて、何でも聞いてみましょう。

処理はすべて、llama.rnのマルチモーダル機能によりデバイス上で行われます。画像がアップロードされることはありません。


できること

  • レシート、請求書、名刺を読む:写真から文字を取り出す
  • シーンを説明する:写真に何が写っているかを理解する
  • ドキュメントを分析する:書類の写真について質問する
  • 物を見分ける:写真を見せて「これは何?」
  • 手書き文字を読む:Qwen3-VLのような高性能モデルで
  • スクリーンショットからコード:画面を見せて、そのコードを再現させる

使えるビジョンモデル

モデル パラメータ 最小RAM 速度 おすすめの用途
SmolVLM2 500M 0.5B 3GB とても速い(約7秒) RAMが少ない端末での手軽な画像Q&A
SmolVLM 2B 2B 4GB 速い(約8秒) 一般的な画像タスク
SmolVLM2 2.2B 2.2B 4GB 速い(約8〜10秒) 画像と動画の理解
Gemma 4 E2B 2B (MoE) 4GB 普通(約10〜15秒) 4GBで最高の画像性能、思考モード対応
Gemma 4 E4B 4B (MoE) 6GB 普通(約12〜18秒) 最も強い推論と画像認識、思考モード対応
Qwen3-VL 2B 2B 4GB 普通 多言語の画像認識、思考モード対応

Gemma 4モデルは画像認識と思考モードを同時に使えます。見たものについて一歩ずつ考えるので、複雑なタスクでの精度が大きく上がります。


ビジョンの使い方

  1. Off Grid AIでチャットを開きます
  2. 添付アイコンをタップ → CameraまたはPhoto Libraryを選びます
  3. 画像を選ぶか撮影します
  4. 質問を入力して送信します

モデルは画像と質問の両方を受け取ります。ビジョンモデルはセットアップ時にmmprojファイル(マルチモーダルプロジェクター)を自動でダウンロードします。このサイズはモデルの目安サイズに含まれています。


プロンプトの例

ドキュメント分析:

“このレシートの品目は?合計も教えて。”

技術資料の読み取り:

“このアーキテクチャ図を説明して。”

手書き文字:

“この写真の文字を書き起こして。”

画像についての質問:

“この写真に写っているスマホの機種は?”

画面からコード:

“この画面を再現するReact Nativeのコードを書いて。”


コツ

複雑な推論にはGemma 4:グラフの読み取りや写真の問題を解くなど、見たものをしっかり考えさせたいときは、Gemma 4の思考モードが速いモデルよりずっと良い結果を出します。

手早い作業にはSmolVLM:簡単な説明や文字の取り出しなら、SmolVLM2 500Mは驚くほど優秀で、ずっと速く動きます。

画像の質が大切:ぶれた写真やコントラストの低い写真では精度が大きく落ちます。ドキュメントは、均一な明るさで真正面から撮ると最もうまくいきます。


関連ガイド

役に立ちましたか?
開発者からのお知らせ