このページの内容
Midjourney はいりません。月 20 ドルのサブスクもいりません。プロンプトを誰かのサーバーに送る必要もありません。iPhone は、Apple がまさにこうした処理のために作った Neural Engine を使って、Stable Diffusion を端末の中だけで動かせます。
Off Grid は、Apple の Core ML パイプラインを通して iPhone のハードウェアで AI 画像を生成する、無料のオープンソースアプリです。iPhone 15 Pro なら1枚8〜15秒。プロンプトも画像もスマホの外には出ません。
| App Store | GitHub |
必要なもの
最低条件: iPhone 12(A14 Bionic)、iOS 17 以降。パレット化モデル(約 1GB)が動きます。1枚20〜35秒が目安です。
推奨: iPhone 15 Pro 以降(A17 Pro)。8GB の RAM と強力な Neural Engine で差がはっきり出ます。1枚8〜15秒です。
ストレージ: パレット化モデルは約 1GB、フル精度モデルは約 4GB です。まずはパレット化モデルから始めましょう。
iPhone でのしくみ
Off Grid は Apple の ml-stable-diffusion パイプラインを使い、Core ML で Neural Engine を直接使って画像を生成します。Neural Engine は A11 以降のすべての Apple チップに内蔵された AI 専用のアクセラレータです。CPU や GPU とは別の回路で、拡散モデルが必要とする計算に特化しています。
モデルはランダムなノイズから始め、何回かのノイズ除去ステップを経て、プロンプトに書いた画像に仕上げていきます。Off Grid は生成中にリアルタイムでプレビューを表示するので、画像ができていく様子を見られます。計算はすべてスマホのチップで行われます。モデルをダウンロードした後、サーバーは一切関わりません。
画像生成(iPhone)
|
パレット化かフル精度か:どちらをダウンロードするか
これは iOS ならではの選択で、結果に影響します。
パレット化モデル(6ビット、約 1GB): メモリの少ない端末向けに Apple が設計したものです。パレット化という圧縮方法でファイルサイズを大きく減らしています。サイズのわりに画質は驚くほど良好です。RAM 6GB 以下の iPhone にはこれがいちばんです。
フル精度モデル(fp16、約 4GB): より高画質で細部まで描けます。パレットを展開する手間がないため、Neural Engine ではむしろ速く動きます。ただし RAM をかなり多く使います。8GB の iPhone 15 Pro 以降に向いています。
まずはパレット化から。画質に満足できれば(たぶんできます)、ストレージを節約できます。
実際の速さ
iPhone 16 Pro / 15 Pro(A17 Pro / A18 Pro、8GB): フル精度で 512x512・20ステップなら8〜12秒。パレット化なら6〜10秒。
iPhone 14 / 15(A15 / A16、6GB): パレット化モデルで15〜25秒。フル精度だとメモリが足りなくなることがあります。パレット化を使いましょう。
iPhone 12 / 13(A14 / A15、4GB): いちばん小さいパレット化モデルで20〜35秒。使えますが速くはありません。先にほかのアプリを閉じてください。
20 以上のモデルから選べる
Off Grid には 20 以上の Stable Diffusion モデルが揃ったカタログがあり、スタイルと端末との相性で整理されています。
Absolute Reality は写真のようなリアルな画像向け。顔、風景、商品写真に。
DreamShaper はバランスのとれたアート調。最初の1本におすすめです。
Anything V5 はアニメやイラスト向け。きれいな線と鮮やかな色が特徴です。
カタログにはお使いの iPhone で動くモデルが表示されるので、動かないモデルをダウンロードしてしまうことはありません。
AI がプロンプトを強化する
これが、Off Grid を単なる Stable Diffusion のアプリと分けるポイントです。
「お城」と入力したとします。Stable Diffusion だけでは、ありきたりな画像になります。でも Off Grid は端末上で言語モデルも動かし、文章生成と画像生成をつなげています。
プロンプト強化をオンにすると、短いプロンプトはまず読み込まれたテキストモデルを通ります。「お城」は、画風、光、雰囲気、構図、画質の指定まで含んだ詳しい説明に書き換えられます。この強化されたプロンプトが Stable Diffusion に渡され、仕上がりは見違えるほど良くなります。
生成が始まる前に、強化されたプロンプトを確認できます。クラウドの画像生成サービスはこれを裏側で行います。Off Grid はすべて見える形で、スマホの上で行い、どのステップもあなたが決められます。
スタイルを選んで、あとから変える
メッセージ入力欄の上にスタイルが並んでいます。送信前に1つタップすると、プロンプトがそのスタイルで描かれます。Photoreal, Cinematic, Anime, Sketch, Watercolor, Oil painting, Neon, 3D render, Fantasy art, Studio portrait などです。スタイルは会話ごとに記憶されます。もう一度タップするか Clear をタップすれば、入力したとおりのプロンプトに戻ります。
気に入った画像を別の雰囲気にしたいときは、画像の下の Restyle をタップします。全スタイルの一覧が開き、1回タップするだけで同じプロンプトが新しいスタイルで描き直されます。画像のスタイルと Restyle は無料アプリに含まれています。
入力欄の上のスタイル
|
画像のスタイルを変える
|
きれいに仕上げるコツ
プロンプト強化はいつも使う。 違いはすぐにわかります。テキストモデルが強化した3語のプロンプトは、自分で書いた長いプロンプトより良い結果になります。
ステップ数は20がちょうどいい。 ステップを増やしても画質はわずかしか上がらず、時間はその分だけ延びます。20あれば、くっきりした細かい画像になります。
解像度は 512x512。 端末上の Stable Diffusion の標準です。解像度を上げるとメモリも時間も何倍にもなります。スマホの画面なら 512x512 で十分くっきり見えます。
ネガティブプロンプトが効く。 「blurry, low quality, distorted, deformed」を加えると、よくある崩れを避けやすくなります。パレット化モデルでは特に効果的です。
続けて作るときは休ませる。 生成を続けるとスマホが熱くなり、速度が落ちます。1枚ごとに30秒ほど休ませると、速さが安定します。
創作のプライバシーを守る
クラウドサービスで生成した画像は、すべてそのサービスのサーバーに保存されます。プロンプトも記録されます。サービスによっては、画像やそのプロンプトが今後のモデルの学習に使われることもあります。
Off Grid なら、プロンプトも画像もスマホの中だけにあります。サーバーもログもなく、あなたの創作が他人の製品の改良に使われることもありません。App Store のプライバシーラベルにも「ユーザに関連付けられないデータ」と表示されています。
オープンソース。ご自身で確かめられます。
はじめ方
- App Store から Off Grid をインストール
- アプリのカタログから Stable Diffusion のモデルをダウンロード(まずはパレット化、約 1GB)
- 会話の中で画像を頼む:「夜明けの灯台を描いて」。Off Grid が画像のリクエストだと判断して描き始めます
- 入力欄の上の列からスタイルを選ぶか、AI にプロンプトを強化してもらう
- 画像ができあがっていく様子をリアルタイムのプレビューで見る
Off Grid は文章作成、音声の文字起こし、画像の理解、ツールの利用、ドキュメントの分析もできます。すべてオフラインで、すべて1つのアプリで。最新情報は GitHub で確認できます。
画像生成(iPhone)
入力欄の上のスタイル
画像のスタイルを変える