ハルシネーション対策 - ファクトチェック

ファクトチェック、RAG、プロンプト工夫など、ハルシネーションを防ぐ実践的な対策方法を学ぼう。

編集・検証: AIパスポートスタディ編集部 公式情報: GUGA 生成AIパスポート公式ページ 制作・検証方針
香月 リサ 先生(笑顔) 香月 リサ 先生

今日はクイズから始めましょうか。
『ハルシネーションを完全にゼロにできる技術がある』——○か×か?

戸倉 ジャスミン(普段) 戸倉 ジャスミン

うーん、×じゃない? さっき先生が『ゼロにはならない』って言ってたじゃん。

深見 つむぎ(普段) 深見 つむぎ

正解は×です。
ただし軽減策は多岐にわたります。
えー、まずRAG(検索拡張生成)、次に出典明示プロンプト、それから温度パラメータの調整、Self-Consistency、Chain-of-Thought、Tree-of-Thoughts、多モデル投票、ルールベースのポストフィルタ、ファクトチェックエージェント——

雪村 ましろ(しょんぼり) 雪村 ましろ

つむぎちゃん、待って待って〜! 一気に言われても頭に入らないよぉ。

香月 リサ 先生(笑顔) 香月 リサ 先生

つむぎさん、ちょっとブレーキね。
今日はファクトチェックとRAGの2本柱に絞りましょう。

戸倉 ジャスミン(あせる) 戸倉 ジャスミン

RAG ってなんだっけ? 前に出てきた気がするんだけど…

香月 リサ 先生(普段) 香月 リサ 先生

RAGは、AIが答える前に信頼できるデータベースを検索し、見つかった情報を根拠にして文章を生成する方式なの。
これで『幻の判例』は激減するわ。

雪村 ましろ(笑顔) 雪村 ましろ

ほぇ〜、カンニングペーパー持ち込みOKな試験みたいなものだねぇ。

戸倉 ジャスミン(笑顔) 戸倉 ジャスミン

めっちゃ分かりやすい例え。
ましろ天才じゃん。

深見 つむぎ(普段) 深見 つむぎ

ただ RAG も万能ではありません。
検索した文書自体が古い・誤っていると、誤情報を丁寧に引用してしまうんです。
だから最後の番人はやはり——

香月 リサ 先生(普段) 香月 リサ 先生

人間、ね。
Human-in-the-Loopという考え方が、リスク管理の基本原則なの。

戸倉 ジャスミン(普段) 戸倉 ジャスミン

つまりAIは助手、最終責任は人間——ってことか〜!
覚えた。

香月 リサ 先生(普段) 香月 リサ 先生

試験的には、『最も基本的な対策は?』と問われたらファクトチェックを第一候補に置くのが鉄則よ。
技術的対策より前に、人間が確かめる姿勢が試験でも実務でも最上位なの。

深見 つむぎ(恥ずかしい) 深見 つむぎ

…つまりシンプルな答えが正解、ということですね。
深く考えすぎるのは悪癖でした。

深見 つむぎ(普段) 深見 つむぎ

また、回答に引用リンク付与を強制するプロンプト設計も実用的です。
Perplexity AI などの検索型AIは、この発想をサービスの軸に据えています。

雪村 ましろ(笑顔) 雪村 ましろ

リンクがあれば『元の情報』までたどれるから、安心感あるねぇ。

香月 リサ 先生(普段) 香月 リサ 先生

RAG 以外にも複数モデル投票 (Self-Consistency) や多段推論 (Chain-of-Thought) も対策として使われるわ。
いずれも『一回の生成を信じない』発想が共通するのが面白い点ね。

深見 つむぎ(普段) 深見 つむぎ

そして全ての対策の最後には、やはり人間による確認が入ります。
技術対策は人間の負担を減らす補助、という位置づけなのです。

戸倉 ジャスミン(普段) 戸倉 ジャスミン

先生、RAG を使えば完全解決!
みたいに書いてる記事もあるけど、あれって要はマーケティングの誇大広告ってこと?

香月 リサ 先生(普段) 香月 リサ 先生

ジャスミンちゃん、鋭い見方ね。
『完全解決』って言い切る記事は、少し割り引いて読んでね。
RAGは強力だけど、検索元の文書品質・検索精度・文脈処理が全て適切な時に威力を発揮するの。
万能薬ではない、という前提を忘れないで。

深見 つむぎ(普段) 深見 つむぎ

補足すると、RAG の検索エンジン選定や ChunkSize も精度に大きく影響します。
運用で地味にチューニングが必要な領域です。

雪村 ましろ(普段) 雪村 ましろ

銀の弾丸なんてないってことだねぇ。
人間が考え続けるの、大事だね。

確認クイズ

ハルシネーション対策として『最も基本的かつ普遍的』とされるものは?

  1. モデルのパラメータ数を増やす
  2. 人間によるファクトチェック
  3. プロンプトを可能な限り長くする
  4. 画像を添付して質問する
こたえを見る

正解: 2. 人間によるファクトチェック

モデル規模や入力形式よりも、人間が出力を検証する『ファクトチェック』が最も基本で、かつ最後の砦です。RAG等の技術対策も最終的に人間の確認と組み合わせて機能します。

🔖 この記事の関連書籍

Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。