前回までで教師あり/教師なし学習をおさえました。今日は3つ目の柱『強化学習』の世界へ。ゲームAIやロボットを動かす、試行錯誤の学びを追いかけます。前2つとの違いに注目しながら読んでください。
戸倉 ジャスミン
うそっ!?
ここまでで2種類あったけど、まだあるの?
頭がパンクしそう。
香月 リサ 先生
今日は3つ目ね。
強化学習はゲームAIやロボット制御で有名な手法で、『試行錯誤しながら報酬を最大化する行動』を学ぶのよ。
雪村 ましろ
うぅ〜ん…試行錯誤って、たくさん失敗するってことなのぉ?
香月 リサ 先生
その通り。
環境の中でエージェントが行動して、良ければ+の報酬、悪ければ-の報酬を受け取る。
それを何千回・何億回と繰り返して、良い行動方針を身に付けていくの。
戸倉 ジャスミン
自転車の練習と似てるね。
最初はコケまくるけど、だんだんバランスつかむじゃん。
あれも試行錯誤だよね。
深見 つむぎ
いい例えです。
有名な事例は囲碁のAlphaGoで、自己対戦を繰り返して人間のトッププロを破りました。
チェスやビデオゲームでも超人的な性能を出しています。
雪村 ましろ
でも先生、正解を教えないのに、どうやって上達するんですか〜?
香月 リサ 先生
いい疑問ね。
教師あり学習のように『この入力にはこの正解』と直接教えない代わりに、『結果が良かったか悪かったか』というフィードバック(報酬)だけを与えるの。
AIは何度も試して、報酬を増やす行動のパターンを見つけるわ。
戸倉 ジャスミン
要はスコア稼ぎのゲームってこと? スコアが上がるように動けばOKじゃん!
深見 つむぎ
強化学習には『行動を選ぶ→結果を見る→方針を改善する』というループがあります。
現実世界ではシミュレーションを使って何百万回も試すことが多いですね。
ロボットの学習もまずは仮想環境で練習して、その後に実機へ、という流れが一般的です。
香月 リサ 先生
適用先は多彩よ。
ロボット制御、自動運転、広告配信、在庫管理、さらにLLMのRLHF(人間フィードバックによる強化学習)にも使われているわ。
ChatGPTが丁寧な口調で答える背景にもRLHFがあるの。
雪村 ましろ
失敗から学ぶって、人間みたいで素敵です〜。
戸倉 ジャスミン
あたしもバドミントンの練習で同じことしてるよ! 強化学習の才能あるかも!
香月 リサ 先生
課題もあるわよ。
試行錯誤の回数が膨大になること、現実世界では失敗のコストが高いこと、報酬設計を誤ると意図しない行動を学んでしまうこと。
『報酬ハッキング』と呼ばれる有名な失敗例もあるわ。
深見 つむぎ
報酬ハッキングとは、エージェントが本来の目標ではなく報酬を最大化する抜け道を見つけてしまう現象ですね。
ゲームで不具合を突いて得点稼ぎをするAIの例などが有名です。
戸倉 ジャスミン
それって、人間でいう『テストの答えだけ覚えて中身は理解してない』みたいなやつ? 報酬だけ狙うと本質を見失うってことだ!
香月 リサ 先生
鋭い連想ね。
報酬設計は強化学習を成功させる鍵よ。
試験では『教師あり/教師なし/強化学習の3つ』の違いがよく問われるから、強化学習=試行錯誤+報酬最大化で押さえてね。
確認クイズ
強化学習の特徴として正しいものはどれか?
- 正解ラベル付きデータで学習する
- データの隠れた構造を発見する
- 試行錯誤を通じて報酬を最大化する行動を学ぶ
- 次元を削減してデータを圧縮する
こたえを見る
正解: 3. 試行錯誤を通じて報酬を最大化する行動を学ぶ
強化学習はエージェントが環境で試行錯誤し、報酬を最大化する行動方針を学ぶ手法です。正解ラベルを使うのは教師あり学習、構造発見は教師なし学習で、別の枠組みです。報酬のフィードバックだけで学べる点が最大の特徴です。