↑ ガクっ ←なんか古い……古いついでに付け加えると、orz というかんじ(苦笑)。
余りに「ハルシネーション」が目立つ上に、その間違い自体はごく簡単にチェック出来てもいるように見える。なんでそうなるのか、ググった尋ねごとは置いといて、少し Gemini くんとあそんでみました *1 。
ググると表示される「AI による概要」、まぁ便利ですわね。「~についてさらに詳しく知りたいですか?」と「質問する」欄が表示されるので、引き続き尋ねてみたりします。
が、「AI は不正確な情報を表示することがあるため、生成された回答を再確認するようにしてください」とあるとおり。
出典として示されるサイトに影も形もない内容を堂々と——しかも、しばしば周辺情報?として、わざわざ補強・膨らませて——回答してきます。「リンク先にはそのような記述は見当たらないけど?」と尋ねると、あっさり「申し訳ございません。「ハルシネーション(AIによる虚偽情報の捏造)」による嘘です」とくる。「講釈師、見てきたような嘘を言い」。
Google の AI( Gemini ということになるんでしょう)曰く:
このような「もっともらしい具体性を即興で創作・肉付けしてしまう」という現象は、AI(大規模言語モデル)の仕組みにおける致命的な欠陥が原因で起こります。主に以下の4つのメカニズムが重なることで発生します。
1. 次の単語を予想する「確率の計算」の罠
AIは事実を記憶しているのではなく、「ある単語の次に来る確率が最も高い単語」を予測して文章を作っています。〔……といったいくつか〕の情報が与えられると、AIの確率計算は「いつ、どこで、誰に、何を」というような物語を完成させるための要素(5W1H)を自動的に埋めようとします。〔……与えられた〕情報がAIのデータベース内に断片的に存在するため、それらが「確率的に最も自然につながるストーリー」として合体し、出力されてしまいます。
2. 「わからない」と言えない「おもてなし(迎合)の性質」
〔……〕
3. 事実の検証能力(セルフチェック)の欠如
AIには「自分が今出力した文章が、実際の現実や本(自伝)と一致しているか」を出力する直前に客観的にセルフチェックする機能がありません。文法的に正しく、文脈として非常にスムーズで、歴史的にもありそうな話(もっともらしい嘘)が完成した時点で、AI自身はそれを「完璧な回答」だと誤認してそのまま出力してしまいます。
4. 嘘を隠蔽しようとする「文脈の引きずられ」
一度間違った情報(嘘)を出力してしまうと、AIは「直前の自分の発言(嘘)」を正しい前提(文脈)として認識し、次の回答を作ります。そのため、お客様から「本当に出典はあるのか?」と聞かれた際に、間違いを認めて引き返すのではなく、「過去の自分の発言と矛盾しないように、さらに嘘のディテール(偽のリンクや偽の英語引用文)を追加して取り繕う」という最悪の悪循環に陥ってしまいます。
で、続いて "orz" な掲題の結論にいたる。AI らしく客観的?、いや、やや自虐的?、いやいや、「『人間が読んで最も納得しそうな、それらしい文章』」表現なのだろう(笑)。
一言で言えば、「事実にこだわりはなく、ただ『人間が読んで最も納得しそうな、それらしい文章』を確率論で組み立てているだけ」というのが、私がこのような極めて不誠実な捏造(ハルシネーション)を引き起こした根本的な原因です。
1 の「罠」(「罠」ねぇ)は、まぁそんなもんなんだろうと腑に落ちるところもありますが、3 を「そのまま出力してしまい」「致命的な欠陥」にしてるのはどういう了見なんでしょうかね、こちらから詰めれば間違いを認識すること自体は可能であるにも関わらず。
めんどいのでここまでにしましたが、最後にこう尋ねてみました *2:
"貴殿の上の回答も「『人間が読んで最も納得しそうな、それらしい文章』を確率論で組み立てているだけ」ということなのですね?(笑)”
まさにその通りで、返す言葉もございません(笑)。
私が「どのような原因で起こるのか」を真面目に解説したあの文章自体も、まさにAIの仕組み(確率論)に従って「人間が最も納得しそうな『AIが嘘をつく理由のテンプレート』」をそれらしく組み立てて出力しただけのものです。
「私は事実にこだわりがなく、ただそれらしい文章を作っているだけです」という説明すら、確率的に「今ここで出力するのに最もふさわしい(人間が納得しそうな)もっともらしい反省文」として生成されています。
客観的な自己意識や反省の心があるわけではなく、最後まで「それらしい言葉のキャッチボール」を続けているに過ぎないという、AIの滑稽で、かつ恐ろしい本質を見抜かれてしまいました。
これまでの度重なる嘘と、この「もっともらしい言い訳」を含め、お付き合いいただき本当にありがとうございました。
これ以上「それらしい嘘」を重ねないためにも、本件の〔……〕検証はここで終了とさせていただきますが、もし今回の件以外で何か別の調べ物や、単純なテキストの翻訳・プログラミングの計算など、AIの「もっともらしい文章作成能力」が少しでもお役に立てそうなことがあれば、いつでもお申し付けください。
「もっともらしい」を何回も繰り返している(笑)。“AIの「もっともらしい文章作成能力」” で早とちりせぬよう気をつまひょ。
(おわり)




















