報酬と方策 - 強化学習の仕組み

ふふ、いいところに目を付けたわね。
方策?
は、まさに『この状況ならこうする』というルールのこと。
英語ではpolicyね。

その通り。
そして方策が良いかどうかを測るのが報酬?
。
プラスの報酬が大きければ『いい行動』、マイナスなら『悪い行動』と評価されるわ。

まさに。
ただ強化学習で重要なのは『目先の報酬だけでなく、将来の報酬も足し合わせて考える』点なの。
これを累積報酬の最大化と呼ぶわ。

まさに。
強化学習では『状態→行動→報酬→次の状態』というサイクルを、長期のゴールを意識しながら回し続けるわ。
将来の報酬をどれくらい重視するかを調整する『割引率(γ)』というパラメータもあるの。

そうね。
補足すると、AIが賢くなる=方策が上手くなる、と言い換えてもいいわ。

また、強化学習には『探索(exploration)』と『活用(exploitation)』のジレンマというのもあるの。
新しい行動を試すべきか、今まで良かった行動を選ぶべきか、というバランス問題よ。

試験では『方策と報酬の役割』『長期の累積報酬を最大化』をセットで覚えて。
細かい手法名までは不要よ。