どのモデルを使えばいい?
ここで紹介するのは一般的な候補ではなく、Off Grid AIに実際に入っているモデルです。おすすめはすべてアプリのモデルカタログから取っています。標準の量子化はすべてQ4_K_Mです。
RAM別のクイック選択
| 端末のRAM | おすすめテキストモデル | おすすめビジョンモデル |
|---|---|---|
| 3GB | Qwen 3.5 0.8B | SmolVLM2 500M |
| 4GB | Qwen 3.5 2B | Gemma 4 E2B |
| 6GB | Gemma 4 E4B または Phi-4 Mini | Gemma 4 E4B |
| 8GB+ | Qwen 3.5 9B | Qwen 3.5 9B |
モデルカタログ一覧
テキストモデル
| モデル | パラメータ数 | 最小RAM | コンテキスト | おすすめの用途 |
|---|---|---|---|---|
| SmolLM2 360M | 0.36B | 3GB | 8K | 超軽量、RAMの少ない端末専用 |
| Qwen 3.5 0.8B | 0.8B | 3GB | 262K | 手頃な端末で速い応答と長いコンテキスト |
| Qwen 3.5 2B | 2B | 4GB | 262K | RAM 4GBの端末向けの最良の汎用モデル |
| SmolLM3 3B | 3B | 6GB | 128K | 性能の限られた端末向けに設計 |
| Phi-4 Mini | 3.8B | 6GB | 128K | 推論、数学、構造化されたタスク |
| Mistral 7B | 7B | 6GB | 32K | 速くて頼れる万能モデル |
| Qwen 3.5 9B | 9B | 8GB | 262K | デバイス上で総合的に最高品質 |
ビジョンモデル(画像を見られる)
| モデル | パラメータ数 | 最小RAM | おすすめの用途 |
|---|---|---|---|
| SmolVLM2 500M | 0.5B | 3GB | RAMの少ない端末向けの小さなビジョンモデル |
| SmolVLM 2B | 2B | 4GB | ミドルレンジ機での一般的な画像タスク |
| SmolVLM2 2.2B | 2.2B | 4GB | 画像と動画の理解 |
| Gemma 4 E2B | 2B (MoE) | 4GB | RAM 4GBの端末で最高のビジョン品質、思考モード |
| Gemma 4 E4B | 4B (MoE) | 6GB | 最強の推論とビジョン、思考モード |
Gemma 4はMixture-of-Experts(MoE)アーキテクチャを使っています。実際に働くパラメータ数は見た目より少ないため、想像より少ないRAMに収まりながら、クラス以上の品質を出せます。
思考モードとは?
Qwen 3.5とGemma 4のモデルには思考モードがあります。最終的な答えを出す前に、モデルが問題を一歩ずつ考えます。Chain-of-Thoughtプロンプトに似ていますが、モデル自体に組み込まれています。
複雑な推論、数学、複数ステップの問題に使いましょう。ちょっとした質問、要約、雑談では速度が落ちるのでオフで十分です。
Q4_K_Mとは
Off Grid AIはすべてのモデルで標準としてQ4_K_M量子化を使います。つまり:
- 重み1つあたり約4.5ビット
- フル精度の元モデルと比べて品質低下は約5〜8%
- float16版より約50〜60%小さい
- llama.cppコミュニティがスマホ向けの最良のバランスとして推奨
ストレージがよほど厳しくない限り、Q4_K_Sより下げないでください。Q2やQ3のモデルは品質がはっきり落ちます。
RAMの安全ライン
Off Grid AIは読み込む前に、モデルが安全に収まるかを自動で確認します:
- RAM 4GBの端末:モデルに使える上限は総RAMの40%
- RAM 6GB以上の端末:モデルに使える上限は総RAMの60%
- テキストモデルはファイルサイズの約1.5倍のRAMが必要(KVキャッシュと活性化)
- 画像モデルはiOS(CoreML)で約1.5倍、Android(Vulkan)で約1.8倍が必要
モデルが端末に非対応と表示されるのは、これが理由です。
よくある質問
RAM 4GBのスマホに一番いいモデルは? Qwen 3.5 2B(Q4_K_M)。ビジョン用途ならGemma 4 E2B。
Off Grid AIの標準の量子化方式は? 標準はQ4_K_Mです。スマホで品質とサイズのバランスが最も良い方式です。
デバイス上での推論に一番強いモデルは? Gemma 4 E4B(RAM 6GB)かQwen 3.5 9B(RAM 8GB)。どちらも思考モードがあります。