Transformerアーキテクチャ - AIの革命児

鋭い質問ね。
ゆきさんの読んだ本が古いわけじゃなくて、2017年以降に劇的に状況が変わったの。
Transformer?
というアーキテクチャが登場してからよ。

ふふ、名前は「変換器」って意味で、翻訳(変換)のために生まれた経緯もあるのよ。
Google Brainチームが発表した論文『Attention Is All You Need?
』が原点ね。
タイトルは「注意機構だけで十分」という意味で、それまでのRNNやLSTMを一切使わない斬新な提案だった。

そう。
RNN?
は単語を1個ずつ順に処理するから、長文で遅いし、遠い単語同士の関係が薄れがち——長期依存?
の問題があったの。
それに GPU の並列計算が活かせないのも致命的だったわ。

GPUは並列計算が得意なのに、RNN は1単語ずつ順番待ちだから高速化しにくいの。
Transformer は全単語を同時に Self-Attention で処理するから、並列計算をフル活用できて、学習が爆速になったのよ。

大まかに言うとエンコーダ?
とデコーダ?
の2つのブロックからなるわ。
それぞれの中身は、Self-Attention層 → Feed-Forward層 →(残差接続+LayerNorm)が積み重なった単純構造を何層も重ねる形よ。

そう。
しかも積み木の数やパラメータ数を増やすと、性能が予測的に伸びる——これが後のスケーリング則?
の話につながるの。

よく気づいたわね。
位置エンコーディングという仕組みで単語の順番を教えるの——これは次の記事で詳しくね。

その通り。
汎用性と並列性が Transformer の2大魅力。
試験では「Self-Attention」「並列計算」「エンコーダ/デコーダ」「2017年 Attention Is All You Need」を軸に覚えればOKよ。