エンコーダとデコーダの役割

前回、Transformer にはエンコーダ?
とデコーダ?
の2つのブロックがあると触れたわね。
今日はそれぞれ何をしているか、丁寧に見ていきましょう。

正解。
エンコーダは入力テキスト全体を双方向?
に Self-Attention で処理して、各単語の文脈付き表現を作るの。
たとえば「彼は銀行に行った」の「銀行」が金融機関かどうかは、前の主語だけじゃなく後ろの「行った」まで見ないと判断しにくいでしょう?
エンコーダは前も後ろも同時に見られるの。

ふふ。
デコーダは出力を1単語ずつ左から右に?
作っていくの。
「すでに生成した単語」と「エンコーダが作った表現」を参照しながら、次の単語を予測するわ。
翻訳なら、原文(エンコーダ側)と訳文の既出部分(デコーダ側)を同時に見ながら、次の訳語を決めていく——そんな動きね。

そう。
マスクしないとカンニングになって、学習が成立しないの。

完璧なまとめね、ゆきさん。
あらあら、今日はゆきさんが先生をやれそうね。

試験では「BERT=エンコーダのみ」「GPT=デコーダのみ」「T5/BART=両方」「双方向・自己回帰・因果的マスク」を覚えて。
キーワードを押さえれば設問で迷わないわ。
そして現在の LLM 主流はデコーダ単独型(GPT方式)で、入力+指示+出力をひとつの列として扱うことで、幅広いタスクに対応しているの。
BERT 系は検索・分類・埋め込み生成など理解系で現役、という棲み分けを覚えておくと全体像がクリアになるわ。