強化学習 - 試行錯誤で学ぶAI

今日は3つ目ね。
強化学習?
はゲームAIやロボット制御で有名な手法で、『試行錯誤しながら報酬を最大化する行動』を学ぶのよ。

その通り。
環境の中でエージェント?
が行動して、良ければ+の報酬、悪ければ-の報酬を受け取る。
それを何千回・何億回と繰り返して、良い行動方針を身に付けていくの。

いい疑問ね。
教師あり学習のように『この入力にはこの正解』と直接教えない代わりに、『結果が良かったか悪かったか』というフィードバック(報酬)だけを与えるの。
AIは何度も試して、報酬を増やす行動のパターンを見つけるわ。

適用先は多彩よ。
ロボット制御、自動運転、広告配信、在庫管理、さらにLLMのRLHF(人間フィードバックによる強化学習)にも使われているわ。
ChatGPTが丁寧な口調で答える背景にもRLHFがあるの。

課題もあるわよ。
試行錯誤の回数が膨大になること、現実世界では失敗のコストが高いこと、報酬設計を誤ると意図しない行動を学んでしまうこと。
『報酬ハッキング』と呼ばれる有名な失敗例もあるわ。

鋭い連想ね。
報酬設計は強化学習を成功させる鍵よ。
試験では『教師あり/教師なし/強化学習の3つ』の違いがよく問われるから、強化学習=試行錯誤+報酬最大化で押さえてね。