深層学習の進化の歴史 - AlexNetからGPTまで
2012年のAlexNetから2022年のChatGPTまで、深層学習の進化の歴史を振り返ります。
ももさんが歴史の流れの本質を突く回。2012年のAlexNetから2022年のChatGPTまで、深層学習の10年をたどります。歴史を知ると、今のAIがなぜ今の形になっているかが腑に落ちます。
若葉 みどり 先生
深層学習の歴史を語る上で外せないのが、2012年の画像認識コンテストILSVRCでAlexNetが圧勝した出来事ね。
これが深層学習ブームの起爆剤になったのよ。
白銀 ゆき
つまり、それまでの手法を10%以上も上回る精度を出したんですよね。
GPU活用とReLU、ドロップアウトなどの技術が組み合わさった成果でした。
若葉 みどり 先生
そう。
2014年にはGANが登場し、2015年にはResNetが152層という深いネットワークを実現したわ。
残差接続というアイデアが、深いネットワークの学習を可能にしたの。
胡桃 あんず
うそっ!?
2015年でもう152層って、めっちゃ深いじゃん……。
桜井 もも
みどり先生、質問があります。
ももが感じたのは、深層学習の歴史って『もっと深く』『もっと大量』『もっと汎用』の3方向に進化してきたんじゃないかって……違いますか?
若葉 みどり 先生
ふふっ、ももさん、それこそが深層学習進化の核心よ。
深さ (深いネット)、大きさ (データとパラメータ)、広さ (タスクの汎用性)、この3軸で進化してきたと言えるわ。
白銀 ゆき
つまり、ももちゃんの直感が本質を捉えていた、ということですね……。
胡桃 あんず
ももちゃん、今日ほんとに冴えすぎ! その直感、どっから来てんの?
桜井 もも
えへへ、なんとなくそう感じただけですぅ。
若葉 みどり 先生
そして2017年にTransformerが来たのよ。
『Attention is All You Need』という有名な論文でGoogleが発表して、ここからNLPの世界が一変したの。
胡桃 あんず
で、そこからBERTとかGPTとか、一気に生成AIの時代になったってこと?
若葉 みどり 先生
そのとおり。
2018年にBERT、2020年にGPT-3、そして2022年にChatGPTが公開されて、AIは一般の人にとっても身近なものになったの。
白銀 ゆき
さらに2023年以降はマルチモーダルの進化が進み、画像・動画・音声を同時に扱うAIが次々と登場していますね。
GPT-4、Gemini、Claudeといった各社のモデルが競い合っています。
桜井 もも
たった10年ちょっとでこんなに変わったんですね……これからどうなっちゃうんでしょうですぅ。
若葉 みどり 先生
未来は誰にも分からないけれど、基礎を押さえた人が新しい波に乗れるのよ。
胡桃 あんず
じゃああたし、基礎しっかり固めるね。
歴史の流れが分かると、未来のワクワク感も増すね!
確認クイズ
2012年に画像認識コンテストILSVRCで圧勝し、深層学習ブームの契機となったモデルはどれか?
- ResNet
- GAN
- AlexNet
- Transformer
こたえを見る
正解: 3. AlexNet
2012年にAlexNetがILSVRCで従来手法を大きく上回る精度を達成し、深層学習ブームの起爆剤となりました。ReLU・ドロップアウト・GPU活用といった現代的要素を組み合わせたことが鍵でした。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
AIパスポートスタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: GUGA 生成AIパスポート公式ページ