音楽のアンサンブル、文芸部の合評会、バドミントンのチームプレー…どれも『複数の力を合わせて1+1を3にする』ものです。機械学習でも同じ発想の『アンサンブル学習』を学びます。
雪村 ましろ
日曜日に文芸部で詩の合評会があったんです〜。
一人で読むより、みんなで読むといろんな解釈が出てきて楽しかったです〜。
深見 つむぎ
それ、いい話ですね。
一人では気づかない視点が集まる。
戸倉 ジャスミン
バドミントンも同じじゃん。
エース1人じゃ勝てなくて、攻守バランスよく組んだチームが強いよね。
香月 リサ 先生
ふふっ、みんなの話題、今日のテーマとぴったりよ。
機械学習でも『複数モデルの合奏』で精度を上げる手法があるの。
深見 つむぎ
それがアンサンブル学習ですね。
複数のモデルを組み合わせて、単体モデルより高い精度を目指す。
香月 リサ 先生
まさに。
単体では弱いモデル(弱学習器)を集めて、全体として強いモデルにするのが基本発想。
『三人寄れば文殊の知恵』という諺そのものね。
戸倉 ジャスミン
へぇ〜! 1人だとイマイチでも、束になればすごくなる、ってこと?
雪村 ましろ
ましろたちの合評会も、アンサンブル学習だったんですね〜。
深見 つむぎ
代表手法はバギングとブースティングの2つに大別されます。
ランダムフォレストはバギングの代表例でしたね。
香月 リサ 先生
他にも複数モデルの出力をさらに別のモデルで合成する『スタッキング』という手法もあるわ。
次回はバギングとブースティングの違いを深掘りするわね。
戸倉 ジャスミン
野球で言うと先発・中継ぎ・抑え、みたいに役割分担するってこと?
深見 つむぎ
スタッキングはその発想に近いですね。
得意分野の違うモデルを組み合わせる。
雪村 ましろ
アンサンブルって、仲間がいれば強いってことですね〜。
なんだか嬉しいです〜。
香月 リサ 先生
そうね。
機械学習コンペのKaggleでも上位入賞者の多くがアンサンブルを駆使しているわ。
単体モデルでは達成できない精度が出るの。
戸倉 ジャスミン
コンペって、バドミントン大会みたいなもんだね。
優勝チームはたいていアンサンブル!
深見 つむぎ
実務でも、異なる種類のモデル(線形モデル+決定木+ニューラルネット)を組み合わせると、得意分野の違いが補い合って結果が安定することが多いです。
香月 リサ 先生
ちなみに、複数の機械学習手法を束ねる『ブレンディング』も広義のアンサンブルに含まれるわ。
組み合わせ方に正解はなく、実験で最良の組合せを探すのが仕事。
雪村 ましろ
みんな違って、みんないい。
アンサンブルもそんな感じですね〜。
戸倉 ジャスミン
ましろ、それ名言じゃん! 詩人の血が騒いでるね〜。
深見 つむぎ
ちなみに、アンサンブルしたら必ず精度が上がるわけではなく、多様性のないモデル同士を組み合わせても効果は限定的です。
『違いがある』ことが重要ですね。
戸倉 ジャスミン
同じ意見ばっかの会議って何も進まないもんね。
AIも同じってことか〜!
雪村 ましろ
多様性が力になるなんて、まるで生徒会のミーティングみたいです〜。
香月 リサ 先生
試験では『アンサンブル学習=複数モデルで精度向上』『弱学習器を集める』『代表はバギング/ブースティング』の3点を押さえて。
確認クイズ
アンサンブル学習の基本的な考え方はどれか?
- 1つの強力なモデルを徹底的に学習させる
- 複数のモデルを組み合わせて精度を向上させる
- 学習データを増やして精度を上げる
- 特徴量を削減して計算を効率化する
こたえを見る
正解: 2. 複数のモデルを組み合わせて精度を向上させる
アンサンブル学習は複数のモデル(弱学習器)を組み合わせ、個別のモデルを超える精度を目指す手法です。『三人寄れば文殊の知恵』の発想を機械学習に応用したもの。Kaggleの常連戦略でもあります。
