コンテキストウィンドウ - 入力の上限

コンテキストウィンドウ?
は、AIが一度に処理できるトークン?
の最大量のことよ。

いわばAIの短期記憶の容量?
ね。

古い情報から忘れていくの。
長い会話の途中で『さっき言ったこと覚えてる?』と聞いても、コンテキストウィンドウ?
を超えていると覚えていないわ。

そう。
GPT-3.5は約4Kトークン、GPT-4は最大128Kトークン、Claude?
3.5 Sonnetは200Kトークン、Gemini?
1.5 Proはなんと100万トークン以上と、モデルごとに大きく違うわ。

最近は長文コンテキストを持つモデルが増えているけど、それでも無限ではないの。

大事なのは、この制限を理解した上で、必要な情報を優先的に含めるプロンプト設計をすることよ。

日本語の本で換算すると、だいたい文庫本10冊分くらい。

それを一度に全部覚えながら質問に答えられるわけだから、ちょっとした革命なの。

さすがゆきさん、よく知っているわね。

コンテキストウィンドウが長くても、冒頭と末尾ばかり注意が向いて、中間の情報が見落とされがちなの。
だから重要な情報は冒頭か末尾に置くのがコツ。

ももさん、まさにそんな感じ。
人間の読書と似ているわね。

賢いわね、あんずさん。
試験では『コンテキストウィンドウ=処理可能なトークン上限』という定義がよく出るわよ。

長ければ長いほど良いわけではないの。
長文を処理するとコストも処理時間も増えるし、

Lost in the Middle問題のように中央情報が抜け落ちるリスクも残るわ。
必要な情報を絞るスキルはやっぱり大事なの。

さすがゆきさん。
『前半を要約して渡す→後半を処理する』のように分割処理する設計も定番よ。

ぴったりな例え、あんずさん!
机が広いほど資料を広げられるけど、全部読み切るのは別問題、ってことね。

広い机と、整理整頓の力、両方が大事なの。