総復習 - Transformerと注意機構
生成AIの根幹技術であるTransformerとAttentionの要点を復習します。
若葉 みどり 先生
今日は生成AIの核心技術、Transformerを復習するわよ。
ここは試験の頻出ポイント！
白銀 ゆき
2017年にGoogleが発表した『Attention Is All You Need』論文で提案された、記念碑的アーキテクチャですね。
胡桃 あんず
ゆきちゃん、論文名まで覚えてるの!? すごい！
将来はAI研究者になれそうじゃん！
桜井 もも
すごいのぉ…ゆきちゃん、歩く参考書みたい〜えへへ!
白銀 ゆき
…えっと、あの、ちょっと調子に乗っちゃいました…恥ずかしい。
若葉 みどり 先生
ゆきさん、立派な知識よ。
Transformerの名前を聞いた時に論文のタイトルまで出てくるって、かなりのレベルね。
胡桃 あんず
あたしも論文名くらい覚えとこ…『Attention Is All You Need』…カッコいいタイトルじゃん!
胡桃 あんず
アテンションって「注意」って意味だよね。
文の中で大事な部分に注目するってこと? バドミントンで「ボールをよく見ろ」って言われるのと同じ感じ?
若葉 みどり 先生
あんずさん、その理解で大正解! 例えば「猫がマットの上で寝ている」という文で、「寝ている」が「猫」に強く関連することをモデルが自動で学ぶの。
人間が「どこに注目しろ」と教えなくても、データから自分で発見するのがミソね。
胡桃 あんず
AIが自分で文章を読み解いてるんだ。
バドミントンでいうと、どの選手が攻撃のキーかを自動で見つけるイメージかな? 監督の戦術眼みたいじゃん!
若葉 みどり 先生
あんずさん、その例えは分かりやすいわね。
まさに「注目すべき要素を自動で見つける」仕組みよ。
桜井 もも
AIも「この単語が大事なのぉ」って感じるのかなぁ? 賢いねぇ〜!
白銀 ゆき
数理的には内積計算ですが、結果として「関連度の学習」に見える、と言えますね。
桜井 もも
BERTとGPTって仕組みが違うのぉ? 両方ともTransformerなのに不思議〜
若葉 みどり 先生
そう、同じTransformer技術でも、使い方で個性が変わるの。
BERTは文の意味を深く理解する「読み手」、GPTは自然な文を紡ぐ「書き手」とイメージしてね。
試験ではこの対比がよく出題されるから、しっかり押さえましょう。
白銀 ゆき
「読み手のBERT、書き手のGPT」…覚えやすいフレーズですね。
ノートにメモしておきます。
胡桃 あんず
あたしもメモする! BERT=読む、GPT=書く、よし! これで忘れないっ!
桜井 もも
読書家さんと作家さん、って感じだねぇ! 物語みたい〜!
若葉 みどり 先生
ももさん、その擬人化は素敵ね。
技術を人格で捉えると記憶に残りやすいのよ。
確認クイズ
Transformerアーキテクチャの中核となる仕組みはどれか?
- 畳み込み処理 (Convolution)
- 再帰的処理 (Recurrence)
- 自己注意機構 (Self-Attention)
- ルールベース推論
こたえを見る
正解: 3. 自己注意機構 (Self-Attention)
Transformerの中核は自己注意機構 (Self-Attention) で、入力系列の各要素間の関連度を並列に計算します。畳み込みはCNN、再帰はRNNの特徴で、Transformerでは使われません。並列処理可能な点がRNN比の大きな利点です。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
AIパスポートスタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: GUGA 生成AIパスポート公式ページ