Image-to-Image - 画像を変換する

今日はいきなりクイズから。
画像の一部だけを書き換える技術を、何と呼ぶ?

さすがゆきさん。
そして今日のテーマはImage-to-Image?
——既存画像をもとに、別の画像を生成する技術群よ。
テキストからだけでなく、画像からも生成できるの。

具体的には、①インペインティング(画像の一部だけ再生成)、②アウトペインティング?
(画像の外側を拡張)、③スタイル変換(写真をゴッホ風に)、④元画像を参照して派生作品を作る——など色々あるわ。
インペインティングの具体例だと、「写真に写り込んだ電線を消す」「欠損部分を補完する」「人物の服装だけ別の服に変える」などの応用ね。

あんずさん、まさにそれよ。
そしてもう一つ重要な技術がControlNet?
ね。
骨格ポーズ(棒人間)や線画、深度マップなどを入力して、その構図を保ちつつ画像を生成する技術よ。
2023年に登場して、画像生成の制御性を飛躍的に向上させたの。

変わるというより、使いこなすことで表現が広がる、という捉え方ね。
ツールは道具に過ぎないから、使う人次第よ。
試験では4つの技法名(インペインティング・アウトペインティング・スタイル変換・ControlNet)を覚えておくと安心。
ビジネスでも、商品モックアップを色違い・構図違いで何十パターン出して A/B テストに使うなど、幅広く応用されているわ。
写真加工ソフトの「生成塗りつぶし」や iPhone の「消しゴムマジック」といった身近なアプリにも組み込まれていて、私たちは既に日常的に Image-to-Image 技術の恩恵を受けているのよ。