自己一貫性 - 複数回答から最良を選ぶ

自己一貫性?
は、同じ問題に対して複数の推論パスを生成し、最も多数派の回答を採用する技法よ。

近いわね。
例えば数学の問題を5回解かせて、3回同じ答えが出たらそれを採用するの。

1回だけの回答よりも信頼性が大幅に向上するわ。

そう。
特にChain-of-Thought?
と組み合わせると効果的。

異なる推論過程をたどっても同じ答えに到達するなら、その答えの信頼性は高いと言えるの。

まさに。
人間の検算と同じ発想よ、ももさん。

そうよ。
だから正確さが特に重要なタスクで使うの。

コストと精度のトレードオフを考えて、日常的な質問には向かないわ。

さすがゆきさん、よく知っているわね。

論文ではGSM8Kという数学問題データセットで、通常のCoT単体より10〜15%精度向上を報告しているの。

ただし文章要約や創作には向かないの。

正解が1つに定まるタスク=『数学・論理・分類』で威力を発揮する技法よ。

その通り、ももさん。
創作で多数決すると、面白みが失われてしまうこともあるの。

使いどころの見極めがプロンプトエンジニアリング?
の腕の見せ所ね。

その感覚よ、ももさん。
『確信度を上げる』ための手法と思えば分かりやすいわね。

ちなみに最近のo1?
のような推論モデルは内部で自己一貫性の仕組みを自動的に使っていて、

ユーザーは意識しなくても高精度の回答を得られるようになっているの。

楽になる反面、『AIの答えを鵜呑みにする』危険性も増えているの。

自分でも論理的に考える力は、これからますます重要になるわ。

その気持ち、素晴らしいわ、ももさん。

AIが賢くなるほど、人間の『問いを立てる力』『判断する力』『倫理観』の価値は相対的に上がっているの。

完璧な理解よ、あんずさん。
プロンプトエンジニアリングは、結局『良い問いを立てる技術』なの。