ましろさんが歴史の流れの本質を突く回。2012年のAlexNetから2022年のChatGPTまで、深層学習の10年をたどります。歴史を知ると、今のAIがなぜ今の形になっているかが腑に落ちます。
香月 リサ 先生
深層学習の歴史を語る上で外せないのが、2012年の画像認識コンテストILSVRCでAlexNetが圧勝した出来事ね。
これが深層学習ブームの起爆剤になったのよ。
深見 つむぎ
つまり、それまでの手法を10%以上も上回る精度を出したんですよね。
GPU活用とReLU、ドロップアウトなどの技術が組み合わさった成果でした。
香月 リサ 先生
そう。
2014年にはGANが登場し、2015年にはResNetが152層という深いネットワークを実現したわ。
残差接続というアイデアが、深いネットワークの学習を可能にしたの。
戸倉 ジャスミン
うそっ!?
2015年でもう152層って、めっちゃ深いじゃん……。
雪村 ましろ
先生、質問があります。
ましろが感じたのは、深層学習の歴史って『もっと深く』『もっと大量』『もっと汎用』の3方向に進化してきたんじゃないかって……違いますか?
香月 リサ 先生
ふふっ、ましろさん、それこそが深層学習進化の核心よ。
深さ (深いネット)、大きさ (データとパラメータ)、広さ (タスクの汎用性)、この3軸で進化してきたと言えるわ。
深見 つむぎ
つまり、ましろの直感が本質を捉えていた、ということですね……。
戸倉 ジャスミン
ましろ、今日ほんとに冴えすぎ! その直感、どっから来てんの?
雪村 ましろ
えへへ、なんとなくそう感じただけですぅ。
香月 リサ 先生
そして2017年にTransformerが来たのよ。
『Attention is All You Need』という有名な論文でGoogleが発表して、ここからNLPの世界が一変したの。
戸倉 ジャスミン
で、そこからBERTとかGPTとか、一気に生成AIの時代になったってこと?
香月 リサ 先生
そのとおり。
2018年にBERT、2020年にGPT-3、そして2022年にChatGPTが公開されて、AIは一般の人にとっても身近なものになったの。
深見 つむぎ
さらに2023年以降はマルチモーダルの進化が進み、画像・動画・音声を同時に扱うAIが次々と登場していますね。
GPT-4、Gemini、Claudeといった各社のモデルが競い合っています。
雪村 ましろ
たった10年ちょっとでこんなに変わったんですね……これからどうなっちゃうんでしょうですぅ。
香月 リサ 先生
未来は誰にも分からないけれど、基礎を押さえた人が新しい波に乗れるのよ。
戸倉 ジャスミン
じゃああたし、基礎しっかり固めるね。
歴史の流れが分かると、未来のワクワク感も増すね!
確認クイズ
2012年に画像認識コンテストILSVRCで圧勝し、深層学習ブームの契機となったモデルはどれか?
- ResNet
- GAN
- AlexNet
- Transformer
こたえを見る
正解: 3. AlexNet
2012年にAlexNetがILSVRCで従来手法を大きく上回る精度を達成し、深層学習ブームの起爆剤となりました。ReLU・ドロップアウト・GPU活用といった現代的要素を組み合わせたことが鍵でした。