オートエンコーダ - データを圧縮して復元

ふふ、良い疑問ね。
ポイントは中央にある『ボトルネック?
』と呼ぶ狭い層にあるの。
ここを通らないと復元できないから、何が本質かをモデル自身が見つけていくのよ。

元のデータを少ない次元で表現せざるを得ないから、ノイズや不要な情報は切り捨てて本質だけを残すことを学ぶの。
結果としてエンコーダが『良い特徴抽出器』になるのよ。
しかも正解ラベルは不要。
入力そのものを教師とする自己教師あり学習?
の原点ね。

あらあら、ももさん良い例えね。
応用としては、画像のノイズ除去 (デノイジング)、次元削減、異常検知のほか、生成モデルの基礎としても使われているのよ。
工場の不良品検知や医療画像の異常検出でも実用化されているわ。

そうよ、現在の拡散モデル?
も、広い意味ではオートエンコーダの考え方を発展させたもの。
この分野の基礎として必ず押さえておきたい概念ね。

シンプルな原理ほど応用が広いのよ。
オートエンコーダを理解すれば、VAE・拡散モデル・GPT系の表現学習まで見通しがぐっと良くなるわ。