今日から深層学習の章に入ります。ディープラーニングという言葉をニュースで聞いたことがある人も多いはず。この記事では、深層学習が『層をたくさん重ねたAI』だと言われる本当の意味を、具体例を交えて丁寧にほぐしていきます。なんとなく知っている状態から、試験で根拠を持って答えられる状態まで一歩進めましょう。
戸倉 ジャスミン
なあ先生、深層学習ってさ、要はめっちゃ深いニューラルネットってこと? 名前そのまんまじゃん!
香月 リサ 先生
いい直感ね、ジャスミンちゃん。
深層学習は、ニューラルネットワークの層を何層も重ねることで、データの中にある複雑な特徴を段階的に取り出していく技術なの。
『深層』は英語の Deep の訳で、層が深いことを指すわ。
深いということは、入力から出力までの計算ステップが長いということね。
深見 つむぎ
補足すると、昔ながらの浅いネットワークはニューラルネットでも1〜2層程度だったのに対して、深層学習では数十層、場合によっては数百層にもなるんですよね。
しかもこの深さが、表現力の爆発的な向上につながっています。
香月 リサ 先生
そのとおり。
層が深くなると、最初の層では線や角といった単純な図形を、中間の層ではそれらを組み合わせた目や鼻のような部品を、最後の層では顔全体のような抽象的な概念まで認識できるようになっていくの。
これが『特徴を段階的に学ぶ』ということね。
低レベル→中レベル→高レベルと、抽象度が階段のように上がっていくの。
雪村 ましろ
ぽわわ〜……お化粧の手順に似てるのぉ? まずベースを塗って、次にアイシャドウを乗せて、最後にリップ……だんだん仕上がっていくの。
戸倉 ジャスミン
それ、バドミントンの練習と同じだ! 最初はシャトル慣れ、次にラリー、最後に戦術練習って段階が上がってくの、めっちゃ似てる! 1段飛ばしじゃうまくいかないんだよね。
香月 リサ 先生
ふたりとも良い例えね。
深層学習が革命的だった最大の理由は、これまで人間が手作業で設計していた特徴量の取り出しを、データから自動で学べるようになったことなの。
昔の画像認識では、研究者がHOGやSIFTといった特徴量を手で設計していたのよ。
深見 つむぎ
2012年にAlexNetというCNNが画像認識コンテストで圧勝してから、この『自動で特徴を学ぶ』アプローチが一気に主流になりました。
人間の設計を超える精度を機械が自分で見つけ始めたということです。
戸倉 ジャスミン
ほんとに10年ちょっと前の話なんだ! 技術の進化のスピード、ハンパないね!
香月 リサ 先生
だからこそパラメータの数も爆発的に増えたの。
最新の大規模言語モデルでは数千億から数兆個にもなるのよ。
数が多ければ表現力は上がるけれど、その分学習に必要な計算資源も跳ね上がるわ。
雪村 ましろ
数兆個……ましろの頭の中より絶対多いですぅ……。
でも、それだけ部品があるから複雑なこともできるんですねぇ。
深見 つむぎ
ただ、深ければ必ず良いというわけではなくて、深くしすぎると勾配がうまく伝わらない問題も起こるんですよね。
これは後の記事で扱う大きなテーマです。
確認クイズ
深層学習の最大の利点として最も適切なものはどれか?
- 学習にかかる時間が短い
- 少ないデータで学習できる
- 特徴量をデータから自動で学習できる
- 計算コストが低い
こたえを見る
正解: 3. 特徴量をデータから自動で学習できる
深層学習の革新的な点は、これまで人間が手作業で設計していた特徴量を、データから自動で学習できるようになったことです。その代わり、大量のデータと計算資源が必要になるというトレードオフもあります。