ビジョンAI:画像やドキュメントをデバイス上で分析
Off Grid AIのビジョンモデルは、画像を見てその内容についての質問に答えます。ドキュメント、商品、図、レシートにカメラを向けて、何でも聞いてみましょう。
処理はすべて、llama.rnのマルチモーダル機能によりデバイス上で行われます。画像がアップロードされることはありません。
できること
- レシート、請求書、名刺を読む:写真から文字を取り出す
- シーンを説明する:写真に何が写っているかを理解する
- ドキュメントを分析する:書類の写真について質問する
- 物を見分ける:写真を見せて「これは何?」
- 手書き文字を読む:Qwen3-VLのような高性能モデルで
- スクリーンショットからコード:画面を見せて、そのコードを再現させる
使えるビジョンモデル
| モデル | パラメータ | 最小RAM | 速度 | おすすめの用途 |
|---|---|---|---|---|
| SmolVLM2 500M | 0.5B | 3GB | とても速い(約7秒) | RAMが少ない端末での手軽な画像Q&A |
| SmolVLM 2B | 2B | 4GB | 速い(約8秒) | 一般的な画像タスク |
| SmolVLM2 2.2B | 2.2B | 4GB | 速い(約8〜10秒) | 画像と動画の理解 |
| Gemma 4 E2B | 2B (MoE) | 4GB | 普通(約10〜15秒) | 4GBで最高の画像性能、思考モード対応 |
| Gemma 4 E4B | 4B (MoE) | 6GB | 普通(約12〜18秒) | 最も強い推論と画像認識、思考モード対応 |
| Qwen3-VL 2B | 2B | 4GB | 普通 | 多言語の画像認識、思考モード対応 |
Gemma 4モデルは画像認識と思考モードを同時に使えます。見たものについて一歩ずつ考えるので、複雑なタスクでの精度が大きく上がります。
ビジョンの使い方
- Off Grid AIでチャットを開きます
- 添付アイコンをタップ → CameraまたはPhoto Libraryを選びます
- 画像を選ぶか撮影します
- 質問を入力して送信します
モデルは画像と質問の両方を受け取ります。ビジョンモデルはセットアップ時にmmprojファイル(マルチモーダルプロジェクター)を自動でダウンロードします。このサイズはモデルの目安サイズに含まれています。
プロンプトの例
ドキュメント分析:
“このレシートの品目は?合計も教えて。”
技術資料の読み取り:
“このアーキテクチャ図を説明して。”
手書き文字:
“この写真の文字を書き起こして。”
画像についての質問:
“この写真に写っているスマホの機種は?”
画面からコード:
“この画面を再現するReact Nativeのコードを書いて。”
コツ
複雑な推論にはGemma 4:グラフの読み取りや写真の問題を解くなど、見たものをしっかり考えさせたいときは、Gemma 4の思考モードが速いモデルよりずっと良い結果を出します。
手早い作業にはSmolVLM:簡単な説明や文字の取り出しなら、SmolVLM2 500Mは驚くほど優秀で、ずっと速く動きます。
画像の質が大切:ぶれた写真やコントラストの低い写真では精度が大きく落ちます。ドキュメントは、均一な明るさで真正面から撮ると最もうまくいきます。