ハルシネーションとは - AIが嘘をつく?

生成AIが事実でない情報をもっともらしく生成する「ハルシネーション」。その仕組みと危険性を理解しよう。

胡桃 あんず(普段) 胡桃 あんず

先生、わたしこの前AIに『日本で一番古い和菓子屋は?』って聞いたら、全然聞いたことない店名を断言されたんですけど、あれって嘘?

若葉 みどり 先生(普段) 若葉 みどり 先生

それよ、あんずさん。
今日の主役はハルシネーション——日本語では幻覚と訳されるわ。
AIが事実と異なる内容を、あたかも本当っぽく生成してしまう現象のこと。

桜井 もも(びっくり) 桜井 もも

えぇっ、AIって嘘つくのぉ? もも、ずっと信じてたのに…

若葉 みどり 先生(普段) 若葉 みどり 先生

嘘をつこうとしている訳じゃないのがポイントなの。
LLMは『次に来る確率が高い単語』を選んで文を作る仕組みだから、『正しいか』ではなく『自然か』を優先してしまうのよ。

白銀 ゆき(あせる) 白銀 ゆき

補足すると、モデルは文字列の確率分布を学んでいるだけで、事実データベースを参照しているわけではないんですよね。
いわばAIは『幻を語る』——はっ、ハルシネーションだけに幻!
…すみません、忘れてください。

胡桃 あんず(笑い) 胡桃 あんず

えっゆきちゃん、今のダジャレ? 珍しっ!

桜井 もも(笑顔) 桜井 もも

ゆきちゃんのダジャレ、もも初めて聞いたよぉ〜。
えへへ。

若葉 みどり 先生(笑顔) 若葉 みどり 先生

(くすっ)ゆきさんにもそういう一面があるのね。
閑話休題。
代表的な事例としては、実在しない論文の引用、架空の判例、存在しない人物のプロフィール生成などがあるわ。

白銀 ゆき(普段) 白銀 ゆき

米国では2023年、弁護士が ChatGPT の幻の判例を裁判資料に使って制裁を受けた事件もありましたね。

若葉 みどり 先生(普段) 若葉 みどり 先生

そう、あの事件は世界的なニュースになったわね。
だから『AIが言ったから正しい』は通用しない——これが試験でも実務でも大原則なのよ。

胡桃 あんず(普段) 胡桃 あんず

つまり人間のファクトチェックが要るってこと?
なるほどね〜!

桜井 もも(笑顔) 桜井 もも

ちゃんと確かめてから信じる、っていうのは人間関係と同じだねぇ。

若葉 みどり 先生(普段) 若葉 みどり 先生

特に注意したいのは、専門性の高い領域 (医療・法律・歴史など) や、最新情報が絡む領域ね。
古い知識で自信満々に答えることもあるから。

白銀 ゆき(普段) 白銀 ゆき

学習データのカットオフ日以降の情報は、原則としてモデル単体では知らないわけですね。

白銀 ゆき(普段) 白銀 ゆき

研究界では2023年以降、Confabulationという医学用語の方が適切だという提案もあり、専門用語の選定は今も進行中です。

胡桃 あんず(普段) 胡桃 あんず

専門用語って、生きてて変わってくもんなんだね〜。

白銀 ゆき(普段) 白銀 ゆき

ちなみに日本語の『幻覚』という訳語には賛否両論があります。
『捏造 (fabrication)』の方が実態に即している、という議論も出ています。

若葉 みどり 先生(普段) 若葉 みどり 先生

言葉が研究分野の発展とともに揺れるのは、自然なことなのよ。
用語の変遷自体も、AI 倫理の研究史として面白い視点だと思うわ。

胡桃 あんず(普段) 胡桃 あんず

なんか聞いてるうちに、AI使うときの心構えが変わってきたかも。

若葉 みどり 先生(普段) 若葉 みどり 先生

心構えこそ最大の対策よ。
特に実務で使うなら『AI の答えを下書きと見なす』習慣が鉄則。
下書きに事実誤認がないかを人間が裏取りする、この流れを崩さないでね。

白銀 ゆき(普段) 白銀 ゆき

医療・法律・金融など『誤答すると損害が出る領域』では特に厳重なチェックが必須です。
業界別にハルシネーション耐性評価の動きも出てきています。

桜井 もも(笑顔) 桜井 もも

AIちゃんは賢いお友達だけど、ときどき勘違いしちゃうんだって、覚えておくね。

確認クイズ

ハルシネーションの説明として最も適切なものはどれ?

  1. AIが意図的に嘘をつく悪意ある動作
  2. AIが事実と異なる内容をもっともらしく生成する現象
  3. AIが同じ回答を繰り返してしまうバグ
  4. AIが入力プロンプトを完全に無視する故障
こたえを見る

正解: 2. AIが事実と異なる内容をもっともらしく生成する現象

ハルシネーションは『AIの意図』ではなく、確率的に文を生成する仕組みから副次的に発生します。悪意でも故障でもなく、仕組み上不可避的に起こりうる現象だと理解しておきましょう。

この記事の関連書籍

Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。

この記事について

AIパスポートスタディが作成した教材です。運営について・記事の作り方

試験についてはこちらをご覧ください: GUGA 生成AIパスポート公式ページ

この記事を共有