過学習の反対側『学習不足(アンダーフィッティング)』を知らないと、機械学習の世界は片手落ち。今日はこの2つのダメ状態を対比しながら整理します。両方の違いをしっかり身に付けましょう。
戸倉 ジャスミン
過学習が『勉強しすぎで応用ダメ』なら、その逆ってことは…勉強足りないってこと?
香月 リサ 先生
まさにそれ。
アンダーフィッティング(学習不足)は、モデルが訓練データの傾向すら掴めていない状態のこと。
深見 つむぎ
つまり、過学習は訓練データだけ精度が高く検証データが低い、アンダーフィッティングは両方とも低い。
対比が重要ですね。
雪村 ましろ
うぅ〜ん、どちらも困った状態なんですねぇ〜。
香月 リサ 先生
原因もはっきりしているわ。
モデルが単純すぎる、特徴量が不足している、学習回数が少なすぎる、この3つが典型。
戸倉 ジャスミン
バドミントンで言うとさ、まったく戦術を学ばないまま試合に出ちゃうようなもんか。
完全に練習不足じゃん。
深見 つむぎ
的確です。
対策はその逆で、モデルを複雑化する、特徴量を増やす、学習を十分行う、です。
雪村 ましろ
過学習とアンダーフィッティング、どうやって見分けるんですか〜?
香月 リサ 先生
訓練データの精度と検証データの精度を並べて見るの。
両方とも低い→アンダー、訓練高・検証低→過学習、両方高い→ちょうどいいバランス。
戸倉 ジャスミン
数字を並べるだけでわかるんだ、便利じゃん!
深見 つむぎ
学習曲線(learning curve)というグラフで可視化するのも定番です。
訓練誤差と検証誤差の差がどう広がるかでどちらの状態か読み取れます。
香月 リサ 先生
理想は『訓練も検証も誤差が小さく、差も小さい』状態。
これを目指して、モデルの複雑さや特徴量、学習時間を調整するの。
雪村 ましろ
ちょうどいいバランスって、なんだか人生みたいですぅ〜。
戸倉 ジャスミン
おお、ましろが哲学的なこと言うじゃん(笑)。
でも、まさにそれだよね。
深見 つむぎ
アンダーフィッティングの具体例としては、非線形な複雑な関係があるデータに対して単純な線形モデルを当てはめようとした場合などが挙げられます。
モデルの『表現力』が足りない状態ですね。
香月 リサ 先生
逆に過学習は、表現力の高いモデルをデータに合わせすぎた状態。
だから『表現力』を適切に調整するのが大事なのね。
戸倉 ジャスミン
深層学習でも、層を増やしすぎたら過学習、少なすぎたらアンダーみたいに、バランスが大事ってことだね。
深見 つむぎ
その通りです。
モデル選択は常に表現力と汎化のバランスを取る作業です。
雪村 ましろ
どっちも困っちゃうなんて、ちゃんと見張らないとダメですねぇ〜。
戸倉 ジャスミン
過学習とアンダー、両方怖いけど対策を知ってれば怖くないじゃん。
正則化やデータ拡張、学習時間の調整でコントロールできるわけだし。
雪村 ましろ
バランス感覚が大事なんですね〜。
勉強も、AIも、人生も。
深見 つむぎ
過学習とアンダーは、どちらかではなく両方とも注意するものと覚えてください。
学習曲線を定期的に確認するのが実務の習慣です。
汎化性能を最大化するには両方のバランスが欠かせません。
香月 リサ 先生
試験では『アンダーフィッティング=訓練も検証も低精度』『過学習との対比』『原因: 単純すぎるモデル・特徴量不足・学習不足』を押さえて。
確認クイズ
アンダーフィッティングの状態として正しいものはどれか?
- 訓練データの精度は高いが検証データの精度が低い
- 訓練データでも検証データでも精度が低い
- 訓練データも検証データも精度が非常に高い
- 検証データだけ精度が高い
こたえを見る
正解: 2. 訓練データでも検証データでも精度が低い
アンダーフィッティングはモデルが単純すぎて、訓練データの傾向すら学べていない状態。訓練・検証の両方で精度が低くなります。訓練だけ高いのは過学習で、別の状態です。