戸倉 ジャスミン
先生、あたしこの前AIに『日本で一番古い和菓子屋は?』って聞いたら、全然聞いたことない店名を断言されたんすけど、あれって嘘?
香月 リサ 先生
それよ、ジャスミンちゃん。
今日の主役はハルシネーション——日本語では幻覚と訳されるわ。
AIが事実と異なる内容を、あたかも本当っぽく生成してしまう現象のこと。
雪村 ましろ
えぇっ、AIって嘘つくのぉ? ましろ、ずっと信じてたのに…
香月 リサ 先生
嘘をつこうとしている訳じゃないのがポイントなの。
LLMは『次に来る確率が高い単語』を選んで文を作る仕組みだから、『正しいか』ではなく『自然か』を優先してしまうのよ。
深見 つむぎ
補足すると、モデルは文字列の確率分布を学んでいるだけで、事実データベースを参照しているわけではないんですよね。
いわばAIは『幻を語る』——はっ、ハルシネーションだけに幻!
…すみません、忘れてください。
戸倉 ジャスミン
えっつむぎ、今のダジャレ? 珍しっ!
雪村 ましろ
つむぎちゃんのダジャレ、ましろ初めて聞いたよぉ〜。
えへへ。
香月 リサ 先生
(くすっ)つむぎさんにもそういう一面があるのね。
閑話休題。
代表的な事例としては、実在しない論文の引用、架空の判例、存在しない人物のプロフィール生成などがあるわ。
深見 つむぎ
米国では2023年、弁護士が ChatGPT の幻の判例を裁判資料に使って制裁を受けた事件もありましたね。
香月 リサ 先生
そう、あの事件は世界的なニュースになったわね。
だから『AIが言ったから正しい』は通用しない——これが試験でも実務でも大原則なのよ。
戸倉 ジャスミン
つまり人間のファクトチェックが要るってこと?
なるほどね〜!
雪村 ましろ
ちゃんと確かめてから信じる、っていうのは人間関係と同じだねぇ。
香月 リサ 先生
特に注意したいのは、専門性の高い領域 (医療・法律・歴史など) や、最新情報が絡む領域ね。
古い知識で自信満々に答えることもあるから。
深見 つむぎ
学習データのカットオフ日以降の情報は、原則としてモデル単体では知らないわけですね。
深見 つむぎ
研究界では2023年以降、Confabulationという医学用語の方が適切だという提案もあり、専門用語の選定は今も進行中です。
戸倉 ジャスミン
専門用語って、生きてて変わってくもんなんだね〜。
深見 つむぎ
ちなみに日本語の『幻覚』という訳語には賛否両論があります。
『捏造 (fabrication)』の方が実態に即している、という議論も出ています。
香月 リサ 先生
言葉が研究分野の発展とともに揺れるのは、自然なことなのよ。
用語の変遷自体も、AI 倫理の研究史として面白い視点だと思うわ。
戸倉 ジャスミン
なんか聞いてるうちに、AI使うときの心構えが変わってきたかも。
香月 リサ 先生
心構えこそ最大の対策よ。
特に実務で使うなら『AI の答えを下書きと見なす』習慣が鉄則。
下書きに事実誤認がないかを人間が裏取りする、この流れを崩さないでね。
深見 つむぎ
医療・法律・金融など『誤答すると損害が出る領域』では特に厳重なチェックが必須です。
業界別にハルシネーション耐性評価の動きも出てきています。
雪村 ましろ
AIちゃんは賢いお友達だけど、ときどき勘違いしちゃうんだって、覚えておくね。
確認クイズ
ハルシネーションの説明として最も適切なものはどれ?
- AIが意図的に嘘をつく悪意ある動作
- AIが事実と異なる内容をもっともらしく生成する現象
- AIが同じ回答を繰り返してしまうバグ
- AIが入力プロンプトを完全に無視する故障
こたえを見る
正解: 2. AIが事実と異なる内容をもっともらしく生成する現象
ハルシネーションは『AIの意図』ではなく、確率的に文を生成する仕組みから副次的に発生します。悪意でも故障でもなく、仕組み上不可避的に起こりうる現象だと理解しておきましょう。