最適化手法 - SGD・Adam・AdaGrad

答えはAdamね。
ニューラルネットワーク?
の学習では、誤差を小さくする方向に重み?
を更新していくのだけど、その更新の仕方を決めるのが『最適化手法?
(Optimizer)』なの。

いい直感ね。
SGD (確率的勾配降下法?
) は最も基本で、勾配の方向に一定の学習率?
で進むの。
シンプルだけど、谷を行ったり来たりして収束が遅いことがあるわ。

次にAdaGradは、パラメータごとに学習率を自動で調整する手法なのよ。
よく更新されるパラメータは学習率を小さく、あまり更新されないパラメータは大きくしていくの。
稀な特徴の学習に強いわ。

そしてAdamは、モメンタム (慣性) とAdaGradの適応的学習率の両方の良いところを取り入れた手法で、現在最も広く使われているの。
RMSprop?
の発展形とも言えるわね。

最近ではAdamW?
という改良版も登場して、Transformer系モデルで標準的に使われているわ。
LLMの学習もほぼAdamWで行われているの。

そのとおりね。
最適化手法選びもまた、深層学習の腕の見せ所なの。

実装的には 学習率?
のスケジューリングも重要で、学習が進むにつれて学習率を段階的に下げる『学習率スケジューラ?
』もよく使われるわ。
最初は大きく、後半は繊細に、というリズムね。