画像生成のプロセス - テキストから画像へ

前回 Stable Diffusion の概要を学んだわね。
今日はテキストから画像ができるまでの全工程を、一歩ずつ追いかけてみましょう。

よし、それを題材に行きましょう。
まずステップ1: テキスト「夕焼けの海辺を走る犬」がCLIP テキストエンコーダでベクトルに変換されるの。
「夕焼け」「海辺」「走る犬」という概念が数百次元のベクトルにまとめられて、このベクトルが以降の生成の設計図になる。

ステップ2: 潜在空間に完全ランダムなノイズを用意するの。
ここが画像生成の出発点——砂嵐画面みたいなものね。
そしてそこに、先ほどのテキストベクトルを条件?
として与えるの。

ステップ3: 本命の処理。
U-Net?
というネットワークが、テキスト条件に導かれながらノイズを少しずつ除去するの。
このステップを20〜50回繰り返すわ。
ただし最近は、蒸留技術で1〜4ステップまで減らせる高速版モデルも登場している(SDXL Turbo、LCM など)。

ふふっ、ももさんらしい例えね。
試験では4ステップの流れと CFG・サンプラーの役割を整理できればOKよ。
画像の品質を左右するパラメータとして CFG スケールの他に、ステップ数、サンプラーの種類(Euler、DPM++ など)、シード値などがあるわ。

その通り。
裏側の流れを知れば、プロンプトの工夫もパラメータの調整も、もっと効果的にできるようになるわ。