Chain-of-Verification - AIに検証させる技法
生成した回答に対してAI自身に検証質問を作らせることで、精度を段階的に高めるプロンプト技法です。
桜井 もも
みどり先生〜、ChatGPTに歴史の問題を出したら、もっともらしい答えが返ってきたから丸写ししたの。
えへへ、ラクちんなのぉ〜。
白銀 ゆき
ももちゃん、ちょっと待って。
中身はちゃんと確認したの? 生成AIって、それっぽい嘘を自信満々に答えてくることがあるんだよ。
胡桃 あんず
あ、それ知ってる! ハルシネーションってやつじゃん? あたしも人物の生没年でやられたことあるよ。
若葉 みどり 先生
そう、そこで今日紹介したいのがChain-of-Verification — 略してCoVeという技法なの。
AI自身に「検証質問」を作らせて、最初の回答を自己チェックさせる方法ね。
桜井 もも
えっ、AIが自分で自分を採点するってこと? そんなの自分に甘くなっちゃうんじゃないのぉ?
若葉 みどり 先生
それが意外と効くのよ。
手順は4段階。
まず初回回答を生成する、次にその内容を裏取りする検証質問を作らせる、各質問に独立して答えさせる、最後に矛盾を反映した最終回答を作らせる、という流れ。
ポイントは「検証質問の回答」を初回回答と切り離して独立に答えさせること。
一緒にやると前の回答に引きずられて同じ間違いを繰り返しちゃうから。
白銀 ゆき
つまり、Chain-of-Thoughtが「考える道筋」を示すのに対して、CoVeは「検算のための質問」を挟み込む技法、ですね。
胡桃 あんず
へぇ〜、検算って数学のテストみたいじゃん? 答え出したあと別のやり方で確かめるやつ!
白銀 ゆき
先生、この手法はどんな場面で使うのが特に有効なんですか?
若葉 みどり 先生
列挙型の質問や、人物・地名・年代が絡む事実確認に特に向いているわね。
逆に、価値観を問う論述や創作系にはあまり効果がないの。
検証質問が立てにくいから。
また、4回プロンプトを往復するからAPIコストは素直に4倍近くかかる。
重要な業務文書には使い、雑談には使わない、といった使い分けが現実的よ。
胡桃 あんず
なるほどね〜! 要はさ、コスト払ってでも精度が欲しいときに使う技ってこと?
桜井 もも
ぽわわ〜、検証質問かぁ。
ももも宿題の答えを出したあと「本当にそうかな?」って自分に聞いてみる、あれと同じなのぉ!
白銀 ゆき
補足すると、CoVeはChain-of-Thoughtとの併用も可能です。
段階的推論で出した答えを、さらに検証質問でチェックする二段構えは、精度を要する場面で特に有効とされています。
若葉 みどり 先生
そうね。
ただし、検証質問自体が間違った前提で作られると、AIが間違いを追認して『正しい答えらしい』と報告してしまうリスクもあるの。
CoVeは万能薬ではない点には注意が必要ね。
最終的な事実確認は、重要局面ではやはり人間が担うべき、というのが現在の共通認識よ。
胡桃 あんず
AIに検算させても、最後は人間が見る、ってことじゃん! あたしも妹の答案、自分で確かめる習慣つけよっと。
若葉 みどり 先生
まさにそれが本質よ、ももさん、あんずさん。
人間が当然やっている『見直し』をAIにもやらせる、それがCoVeの発想なの。
確認クイズ
Chain-of-Verification (CoVe) の特徴として最も適切なものはどれか?
- プロンプトを1回にまとめて短く書くことで効率を上げる技法
- 初回回答に対し検証質問を作らせ、独立に答えさせて最終回答を補正する技法
- 事前に正解データを大量に与えて学習させる教師あり学習手法
- 画像とテキストを同時に処理させるマルチモーダル技法
こたえを見る
正解: 2. 初回回答に対し検証質問を作らせ、独立に答えさせて最終回答を補正する技法
CoVeは『初回回答 → 検証質問生成 → 独立回答 → 最終回答』という4ステップで、AI自身の検証によりハルシネーションを低減する技法です。選択肢1は逆の方向性、3は機械学習の学習段階の話、4はマルチモーダルの説明で、いずれも誤り。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
AIパスポートスタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: GUGA 生成AIパスポート公式ページ