過学習(オーバーフィッティング)とは
訓練データに過度にフィットする「過学習」の仕組みと防止策をわかりやすく解説します。
AIが「勉強しすぎて応用がきかなくなる」現象、それが過学習です。
胡桃 あんず
テスト前に過去問を丸暗記してた友達が、本番で少しだけ表現が変わった問題に全滅しちゃった話、聞いたことあるんだけど…。
若葉 みどり 先生
ふふ、それが過学習(オーバーフィッティング)の人間版ね。
AIにも全く同じ現象が起きるのよ。
白銀 ゆき
補足すると、過学習は訓練データには異常に高い精度を示すけれど、見たことのないテストデータや本番データでは精度が急落する状態のこと。
桜井 もも
訓練データの答えを丸暗記しすぎちゃったAIってことですかぁ?
若葉 みどり 先生
そう。
パターンそのものではなく、訓練データ固有のノイズ(偶然の特徴)まで学習してしまうの。
これだと新しいデータに対応できなくなってしまうのよ。
胡桃 あんず
なるほど、それは困るじゃん。
で、対策はあるの?
白銀 ゆき
代表的な3つ。
(1)訓練データを「訓練/検証/テスト」に分割、(2)正則化(regularization)で重みに罰則、(3)ドロップアウトで一部ニューロンを無効化する手法ね。
桜井 もも
ふぇぇ、カタカナばっかりでちょっと混乱してきましたぁ…。
若葉 みどり 先生
ももさん、イメージで大丈夫よ。
要は「あえて完璧に覚え込ませない仕掛け」を入れるの。
毎回違うメンバーで勉強会をすると偏った暗記を防げる、みたいな発想ね。
胡桃 あんず
なるほど、訓練時に意図的に難易度を上げる感じか。
白銀 ゆき
反対の概念として未学習(アンダーフィッティング)もあって、こちらは「勉強不足」状態。
両者のバランスが取れた状態を目指すのが汎化性能の最適化と呼ばれるわ。
桜井 もも
勉強しすぎてもダメ、不足でもダメ…人間と一緒ですねぇ。
胡桃 あんず
ちょうどいい勉強量か。
バドミントンの練習もオーバートレーニングで怪我するって言うし、AIも同じじゃん。
若葉 みどり 先生
試験では「過学習=訓練データに過度に適合」「汎化性能の低下」「防止策(正則化・ドロップアウト・データ分割)」の3点セットを押さえてね。
胡桃 あんず
そういや学習曲線ってグラフ、本で見たんだけど、どう見ればいいの?
白銀 ゆき
横軸が学習の進行、縦軸が損失(誤差)。
訓練データの損失は下がり続けるけど、検証データの損失が途中で反転して上がり始めた点が過学習のサインね。
桜井 もも
交差点みたいなポイントがあるんですねぇ。
そこで学習をやめればいいってことですかぁ?
若葉 みどり 先生
その通り。
これを『早期終了(Early Stopping)』というの。
よく使われる実務テクニックよ。
確認クイズ
過学習(オーバーフィッティング)の説明として最も正しいものはどれか。
- 学習データが少なすぎて性能が出ない状態
- 訓練データに適合しすぎて未知データに対応できない状態
- 学習を途中で停止してしまう状態
- 学習速度が極端に遅い状態
こたえを見る
正解: 2. 訓練データに適合しすぎて未知データに対応できない状態
過学習は訓練データに過度に適合し、未知データ(テストデータや本番データ)に対する汎化性能が低下した状態です。人間で言う「過去問の丸暗記」に近く、少し表現が変わると解けなくなります。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
AIパスポートスタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: GUGA 生成AIパスポート公式ページ