『的当て』に例えると、矢の散らばり方には2タイプあります。この直感から機械学習の根本ジレンマ『バイアスとバリアンスのトレードオフ』を理解しましょう。Phase 2の総まとめ直前、最も奥深い概念です。
深見 つむぎ
先生、過学習と学習不足の話って、結局はモデルの『複雑さ』をどう選ぶかという話でしたよね。
もっと本質的な見方はないんでしょうか?
香月 リサ 先生
ふふっ、つむぎさん鋭いわね。
それがバイアスとバリアンスのトレードオフよ。
モデルの誤差を2種類に分解する考え方なの。
戸倉 ジャスミン
バイアスとバリアンス…なんか横文字ばっかじゃん。
具体例で頼むよ先生!
香月 リサ 先生
弓矢の的当てに例えるわね。
バイアスは『矢が集まる中心が、的の中心からどれだけずれているか』を表す。
系統的なズレね。
深見 つむぎ
そしてバリアンスは『矢がどれだけ散らばるか』を表します。
的の中心から近くても、ばらばらだとバリアンスが高い。
雪村 ましろ
うぅ〜ん…中心からずれててまとまってるのがバイアス高、中心近くでもバラバラなのがバリアンス高、なのぉ?
香月 リサ 先生
ましろちゃん、完璧な理解よ! 両方小さいのが理想だけど、現実はそうはいかないのね。
戸倉 ジャスミン
どういうこと?
香月 リサ 先生
モデルを単純にすると、データに固執しない代わりに的の中心から少しずれる=バイアス高・バリアンス低。
複雑にすると細部まで合わせる代わりにデータ次第でブレる=バイアス低・バリアンス高。
この性質がトレードオフの本体よ。
深見 つむぎ
だから『ちょうどよい複雑さ』を選ぶことが学習の本質と言えます。
単純モデルはアンダーフィッティング、複雑モデルは過学習につながるため、両者のバランス点を探すのです。
戸倉 ジャスミン
要はバドミントンでいうと、守りめっちゃ固くすると攻撃力が下がる、攻めに出ると守りが薄くなるのと似てるってこと? 両立が難しい感じだね。
香月 リサ 先生
いいバドミントン例えね! まさに両立の難しさがトレードオフの本質。
雪村 ましろ
ちょうどよさって、本当に大事なんですねぇ〜。
深見 つむぎ
実はバイアス-バリアンス分解は、モデルの期待誤差がバイアス²+バリアンス+ノイズに分けられるという数学的裏付けもあるんです。
過学習も汎化性能の低下も、この枠組みで説明できます。
香月 リサ 先生
だからこそ、交差検証や正則化、アンサンブル学習などで『バランスを取る技術』が発達したの。
アンサンブル学習はバリアンスを下げる効果があるし、正則化はバイアスを少し増やしてバリアンスを大きく下げる働きをする、といった具合にね。
戸倉 ジャスミン
よっしゃ、両方低くする魔法はないけど、工夫で近づけるってことだね!
深見 つむぎ
最近の深層学習では、モデルが極度に大きい場合、古典的なトレードオフを超える『二重降下現象』も報告されています。
理論的にも興味深い領域ですね。
雪村 ましろ
AIも常に新しい発見があるんですね〜、ワクワクします!
戸倉 ジャスミン
機械学習の理論って、まだ完成してないんだね。
研究者のフロンティアってことじゃん、かっこいい!
香月 リサ 先生
その通り。
試験では『バイアス=系統的ズレ』『バリアンス=ばらつき』『両者はトレードオフ』『適切な複雑さを選ぶ』を押さえてね。
確認クイズ
モデルが非常に複雑な場合、バイアスとバリアンスはどうなるか?
- バイアスが高く、バリアンスが低い
- バイアスが低く、バリアンスが高い
- どちらも低い
- どちらも高い
こたえを見る
正解: 2. バイアスが低く、バリアンスが高い
複雑なモデルは訓練データに細かくフィットするためバイアスは低く、データの変動に敏感になるためバリアンスは高くなります。これがトレードオフの本質で、機械学習モデル選択の核心的な視点です。