前回触れた『バギング』と『ブースティング』、名前が似ていて混乱しやすい2手法。今日は『並列か直列か』の切り口ではっきり区別します。違いがわかれば応用も効きます。
深見 つむぎ
バギングとブースティング、名前が似ていて試験で混乱する人が多いですよね。
整理してもらえますか?
香月 リサ 先生
いい質問ね。
まずはバギングから。
訓練データからランダムに部分集合(ブートストラップサンプル)を作って、それぞれで独立にモデルを学習させて、最後に多数決や平均で結合するの。
つまり『並列』ね。
戸倉 ジャスミン
ランダムフォレストがまさにバギングだよね! 木が横並びで同時に学習するじゃん。
香月 リサ 先生
正解。
並列だから計算の分散処理とも相性がいいの。
一方、ブースティングは違う。
前のモデルが間違えたデータを重視して、次のモデルを順番に作っていくのよ。
いわば『直列』。
雪村 ましろ
ふぇぇ〜、直列?
深見 つむぎ
補足すると、最初のモデルで苦手だったデータ点に大きな重みを与えて、次のモデルにそこを重点的に学習させる、というリレー式です。
戸倉 ジャスミン
苦手科目を集中特訓するイメージか! めっちゃ人間っぽい学び方じゃん!
香月 リサ 先生
その通り。
代表的な手法にAdaBoost、XGBoost、LightGBMがあるわ。
特にXGBoostとLightGBMは、Kaggleなんかのコンペでも常連の強豪よ。
雪村 ましろ
バギングとブースティング、どっちの方が精度高いんですかぁ〜?
深見 つむぎ
一般には『ブースティングの方が高精度だが、過学習リスクも高い』、『バギングは安定性が高く並列化しやすい』という住み分けです。
問題次第で選びます。
香月 リサ 先生
試験ポイントを整理しておきましょう。
バギング=並列・多数決・過学習に強い。
ブースティング=直列・誤りを重視・高精度だが過学習注意。
戸倉 ジャスミン
並列=みんなで同時に走る、直列=リレーでバトンつなぐ。
これなら覚えやすいじゃん!
雪村 ましろ
バトンリレーって、前の人の結果を受け取って走るんですね〜!
深見 つむぎ
まさにその感覚でOKです。
香月 リサ 先生
ちなみに『スタッキング』は、複数の異なるモデルの出力をメタモデルに入れる3つ目の流派よ。
時間があれば、ぜひ追加で勉強してみてね。
戸倉 ジャスミン
テーブルデータ系のコンペだと、LightGBMで最初の予測を作って、その出力を線形モデルで合成する、みたいな事例もあるらしいね。
深見 つむぎ
よく知ってますね。
複数手法の組み合わせで汎化性能を引き上げるのが上位入賞の定石です。
雪村 ましろ
違うアルゴリズムが協力して答えを出すなんて、ハーモニーみたいですね〜。
深見 つむぎ
ブースティングの発展形として勾配ブースティングがあり、誤差自体を次モデルで予測して足し込んでいく仕組みです。
XGBoostとLightGBMはこの勾配ブースティングを高速化した実装ですね。
戸倉 ジャスミン
誤差を直接学習するって発想、めっちゃ賢いじゃん。
香月 リサ 先生
ましろちゃんの例えは今日もセンスあるわね。
試験ではバギングとブースティングの直感的な違いを、必ず確認しておいてね。
確認クイズ
ブースティングの特徴として正しいものはどれか?
- データをランダムに分割して並列に学習する
- 前のモデルの誤りを重視して順番に学習する
- 教師なし学習に特化した手法である
- 1つのモデルだけで学習する
こたえを見る
正解: 2. 前のモデルの誤りを重視して順番に学習する
ブースティングは直列型のアンサンブル。前モデルが間違えたデータに重みをつけ、次モデルが重点的に学ぶリレー式です。並列型はバギングで、両者は対をなします。