LSTMとGRU - 長い記憶を保つ技術

あらあら、ゆきさんがまた論文を読んでいたそうね。
最新のAIニュースでも、エッジデバイス向けのモデルにはまだLSTM?
が多いという話があったけれど、今日はその根本を押さえましょう。

そう。
LSTM?
(Long Short-Term Memory) は1997年にHochreiterらが提案したもので、『ゲート機構?
』を導入したの。
忘却ゲート・入力ゲート・出力ゲートの3つで、どの情報を覚え、どれを忘れ、どれを出力するかを制御するのよ。

まさに門番よ。
『この情報は通してよし、こっちは忘れなさい』と選別するの。
おかげで長い文脈でも重要な情報を保てるのね。
セル状態という『長期記憶用の専用通路』もあって、そこを通じて過去の重要情報を先まで運べるのが大きな違いなの。

良い着眼点。
GRU?
(Gated Recurrent Unit) はLSTMを簡略化したモデルで、ゲートがリセットゲートと更新ゲートの2つだけ。
パラメータが少ないので計算が速く、タスクによってはLSTMと同等の性能を発揮するの。

今はTransformer?
が主流だけど、音声認識・音声合成・軽量な時系列予測では今もLSTMが現役で活躍しているわ。
リアルタイム処理が必要な場面では、並列処理が難しいTransformerよりLSTMが好まれることもあるの。

そう、それぞれに得意な場面があるのよ。
試験では『LSTM = ゲート機構で長期依存を学習可能』と『GRU = LSTMの簡略版』のセットで押さえておきましょう。