香月 リサ 先生
コンテキストウィンドウは、AIが一度に処理できるトークンの最大量のことよ。
いわばAIの短期記憶の容量ね。
戸倉 ジャスミン
容量を超えたらどうなっちゃうの?
香月 リサ 先生
古い情報から忘れていくの。
長い会話の途中で『さっき言ったこと覚えてる?』と聞いても、コンテキストウィンドウを超えていると覚えていないわ。
深見 つむぎ
モデルによってサイズが違うんですよね?
香月 リサ 先生
そう。
GPT-3.5は約4Kトークン、GPT-4は最大128Kトークン、Claude 3.5 Sonnetは200Kトークン、Gemini 1.5 Proはなんと100万トークン以上と、モデルごとに大きく違うわ。
最近は長文コンテキストを持つモデルが増えているけど、それでも無限ではないの。
雪村 ましろ
AIさんにも記憶の限界があるんですねぇ…なんだか親近感が湧いちゃいます!
香月 リサ 先生
大事なのは、この制限を理解した上で、必要な情報を優先的に含めるプロンプト設計をすることよ。
戸倉 ジャスミン
100万トークンって、どれくらいヤバいの?
香月 リサ 先生
日本語の本で換算すると、だいたい文庫本10冊分くらい。
それを一度に全部覚えながら質問に答えられるわけだから、ちょっとした革命なの。
深見 つむぎ
でも長すぎると、Lost in the Middleという問題も出てくるんですよね。
香月 リサ 先生
さすがつむぎさん、よく知っているわね。
コンテキストウィンドウが長くても、冒頭と末尾ばかり注意が向いて、中間の情報が見落とされがちなの。
だから重要な情報は冒頭か末尾に置くのがコツ。
雪村 ましろ
読んでるうちに疲れちゃって、真ん中が記憶に残らない…みたいなことですかぁ?
香月 リサ 先生
ましろちゃん、まさにそんな感じ。
人間の読書と似ているわね。
戸倉 ジャスミン
じゃあレポートの要約お願いするときは、重要ポイントを先頭に書いたほうがいいってことか!
香月 リサ 先生
賢いわね、ジャスミンちゃん。
試験では『コンテキストウィンドウ=処理可能なトークン上限』という定義がよく出るわよ。
雪村 ましろ
先生、コンテキストウィンドウが長いモデルのほうが、いつも有利なんですかぁ?
香月 リサ 先生
長ければ長いほど良いわけではないの。
長文を処理するとコストも処理時間も増えるし、
Lost in the Middle問題のように中央情報が抜け落ちるリスクも残るわ。
必要な情報を絞るスキルはやっぱり大事なの。
深見 つむぎ
補足すると、長文を分割して処理するチャンキングや、要約リレーという技法もありますね。
香月 リサ 先生
さすがつむぎさん。
『前半を要約して渡す→後半を処理する』のように分割処理する設計も定番よ。
戸倉 ジャスミン
コンテキストウィンドウって、要するに『AIの作業机の広さ』みたいな感じ?
香月 リサ 先生
ぴったりな例え、ジャスミンちゃん!
机が広いほど資料を広げられるけど、全部読み切るのは別問題、ってことね。
広い机と、整理整頓の力、両方が大事なの。
雪村 ましろ
机の整理…ましろ、得意かもしれませんっ!
確認クイズ
コンテキストウィンドウの説明として正しいものはどれか?
- AIの学習に使ったデータの量
- AIが一度に処理できるトークンの最大量
- AIが生成できる画像の解像度
- AIの応答速度の上限
こたえを見る
正解: 2. AIが一度に処理できるトークンの最大量
コンテキストウィンドウはAIが一度に処理できるトークン量の上限であり、AIの短期記憶の容量に相当します。学習データの量や画像解像度、応答速度の上限とは別の概念です。