トークンの概念 - 文字数とコストの関係

生成AIは文字をトークン?
という単位に分割して処理するの。

英語では1単語が約1トークン、日本語では1文字が約1〜3トークン程度になるわ。

そうなのよ。
日本語は文字種が多いから(漢字、ひらがな、カタカナとあるでしょう?)、英語よりもトークン効率が悪くなりがちなの。

たとえば『Hello』は1トークンだけど、『こんにちは』は3〜5トークンくらいになるわ。

そのとおり。
多くのAPI?
はトークン単位で課金されるの。

入力トークンと出力トークンの合計で料金が決まるから、プロンプトの長さもコストに直結するわ。

そういうこと。
必要十分な長さで明確に指示することが、品質にもコストにも良い影響を与えるの。

いい質問ね。
AIはトークナイザー?
を使って、頻出するパターンを1トークンとして扱うの。

たとえば『こんにちは』は『こん』『にち』『は』と分かれたりして、モデルごとに区切り方が違うのよ。

その通り。
OpenAIはBPE?
の派生を使っているし、各社微妙に違うの。

OpenAIには『Tokenizer』という公式ツールがあって、実際のトークン数を可視化できるわよ。

そうね。
1000トークンあたり◯円、というのが一般的な料金体系。

長い会話や大量の文書処理をすると、意外と大きな金額になることもあるの。

そうなのよ。
試験でも『トークン=AIの処理最小単位かつ課金単位』はよく出るから、押さえておいてね。

いい質問ね、ももさん。
絵文字は1つで数トークン消費することがあるの。

たとえば『😊』は4トークン扱いになったりするわ。
装飾のつもりでも意外とコストがかさむのよ。

その通り。
本格運用では『システムプロンプトだけ英語』という選択もあるの。

ただし出力品質や表現力とのトレードオフだから、一概にどちらが良いとは言えないわ。

だから大規模運用ではトークンエコノミクスという考え方があるの。

『どれだけ短く明確に書けるか』が、そのままコスト効率に直結する時代なのよ。