香月 リサ 先生
今日は生成AIの核心技術、Transformerを復習するわよ。
ここは試験の頻出ポイント！
深見 つむぎ
2017年にGoogleが発表した『Attention Is All You Need』論文で提案された、記念碑的アーキテクチャですね。
戸倉 ジャスミン
つむぎ、論文名まで覚えてるの!? すごい！
将来はAI研究者になれそうじゃん！
雪村 ましろ
すごいのぉ…つむぎちゃん、歩く参考書みたい〜えへへ!
深見 つむぎ
…えっと、あの、ちょっと調子に乗っちゃいました…恥ずかしい。
香月 リサ 先生
つむぎさん、立派な知識よ。
Transformerの名前を聞いた時に論文のタイトルまで出てくるって、かなりのレベルね。
戸倉 ジャスミン
あたしも論文名くらい覚えとこ…『Attention Is All You Need』…カッコいいタイトルじゃん!
戸倉 ジャスミン
アテンションって「注意」って意味だよね。
文の中で大事な部分に注目するってこと? バドミントンで「ボールをよく見ろ」って言われるのと同じ感じ?
香月 リサ 先生
ジャスミンちゃん、その理解で大正解! 例えば「猫がマットの上で寝ている」という文で、「寝ている」が「猫」に強く関連することをモデルが自動で学ぶの。
人間が「どこに注目しろ」と教えなくても、データから自分で発見するのがミソね。
戸倉 ジャスミン
AIが自分で文章を読み解いてるんだ。
バドミントンでいうと、どの選手が攻撃のキーかを自動で見つけるイメージかな? 監督の戦術眼みたいじゃん!
香月 リサ 先生
ジャスミンちゃん、その例えは分かりやすいわね。
まさに「注目すべき要素を自動で見つける」仕組みよ。
雪村 ましろ
AIも「この単語が大事なのぉ」って感じるのかなぁ? 賢いねぇ〜!
深見 つむぎ
数理的には内積計算ですが、結果として「関連度の学習」に見える、と言えますね。
雪村 ましろ
BERTとGPTって仕組みが違うのぉ? 両方ともTransformerなのに不思議〜
香月 リサ 先生
そう、同じTransformer技術でも、使い方で個性が変わるの。
BERTは文の意味を深く理解する「読み手」、GPTは自然な文を紡ぐ「書き手」とイメージしてね。
試験ではこの対比がよく出題されるから、しっかり押さえましょう。
深見 つむぎ
「読み手のBERT、書き手のGPT」…覚えやすいフレーズですね。
ノートにメモしておきます。
戸倉 ジャスミン
あたしもメモする! BERT=読む、GPT=書く、よし! これで忘れないっ!
雪村 ましろ
読書家さんと作家さん、って感じだねぇ! 物語みたい〜!
香月 リサ 先生
ましろちゃん、その擬人化は素敵ね。
技術を人格で捉えると記憶に残りやすいのよ。
確認クイズ
Transformerアーキテクチャの中核となる仕組みはどれか?
- 畳み込み処理 (Convolution)
- 再帰的処理 (Recurrence)
- 自己注意機構 (Self-Attention)
- ルールベース推論
こたえを見る
正解: 3. 自己注意機構 (Self-Attention)
Transformerの中核は自己注意機構 (Self-Attention) で、入力系列の各要素間の関連度を並列に計算します。畳み込みはCNN、再帰はRNNの特徴で、Transformerでは使われません。並列処理可能な点がRNN比の大きな利点です。