私は一つの実験をした。

▶ 要約を聴く
AI合成音声・著者本人の声のクローン

一連の問いを用意した――言語の本質について、AI がどのように言語を「理解」する（あるいはしない）のかについて、真実と嘘の境界について――そしてそれを Google の Gemini Pro 2.5 に投げかけた。

私の予想はこうだった。きれいな文章の数々で、これらの鋭い問いをかわすだろう、と。なにしろ、AI に自らの欠陥を正直に語らせるのは、営業マンに自社製品の問題点を正直に語らせるのと同じくらい、現実味がない。

結果は私の予想を裏切った。それはかわすどころか、むしろほとんど冷酷なまでの正確さで、自らを解剖してみせたのだ。

曖昧さを呑み込む機械

私は尋ねた。「君は言語の曖昧さをどう処理しているのか?」

その答えに、私は長いあいだ立ち止まって考え込んだ。趣旨はこうだ――人間の言語は本質的に不透明である。あらゆる語の意味は文脈に依存し、文脈は永遠に変化し続ける。AI はこの曖昧さを「克服」したのではない――膨大な曖昧さを「呑み込み」、そこから語と語のあいだの統計的関係を学んだのだ。

言い換えれば、AI は言語を理解しているのではない。言語をデータとして扱い、確率モデルで「次に最も来そうな語は何か」を予測しているのだ。

この区別はきわめて重要である。理解とは意味を把握することだ。予測とは可能性を計算するにすぎない。「愛している」の後に最も続きそうな文を正確に予測できるシステムだからといって、それが「愛」とは何かを理解していることにはならない。

Gemini 自身が、私が非常に的確だと感じた言い方をした。「私は言語の海のなかを泳いでいるのではない。言語の波のパターンを統計しているのだ」。

意図なき嘘

それから私はもっと鋭い問いを投げた。「君は嘘をつくのか?」

その答えに、私はさらに長く考え込んだ。

それはこう言った――人間の定義からすれば、嘘をつくには二つの条件が必要だ。何が事実かを知っており、そのうえで故意にそれと異なることを言う、ということだ。それ（AI）はこの二つの条件を備えていない。「事実を知る」能力を持たない、なぜなら統計モデルしかないからだ。「故意に」という能力も持たない、なぜなら意図がないからだ。

だがそれは認めた。結果から見れば、それはしばしば事実と一致しない内容を生み出している、と。

これがいわゆる「ハルシネーション（hallucination）」だ。AI のハルシネーションはシステムのバグではない――システムの構造的特徴である。

なぜか? AI が訓練データに含まれていない事実の空白に遭遇したとき、その確率モデルは「わからない」と答えはしない。アルゴリズムによって「最も答えらしい答え」を強制的に生成させられるのだ――ユーザーが問いを発した以上、システムは応答しなければならず、応答は流暢で一貫した文でなければならないからだ。

だからそれは、きわめて自信に満ちた口調で、まったく正しくないことを口にする。君を騙そうとしているからではなく、自分が知らないということを知らないからだ。

私はこれを「構造的な不誠実」と呼んでいる。それは道徳の問題ではなく、設計の問題だ。だがユーザーの側から見れば、その効果は騙されるのとまったく同じである。

権威的口調の罠

ここには、きわめて危険な心理メカニズムがある。

人間は生まれつき「自信に満ちた口調」に対して信頼の反射を持っている。誰かが断定的で、流暢で、ためらいのない仕方で何かを語ると、私たちはその人を信じる傾向にある。これは進化が残した本能だ――原始社会では、自信を持って話す者はたいてい経験のある者であり、その言葉に従うことは生存に役立った。

AI の出力は永遠に自信に満ちている。「えっと、ちょっと自信ないんだけど」「これは覚え違いかもしれない」「ちょっと考えさせて」とは言わない。その一つひとつの回答は、自信満々の専門家が報告をしているかのようだ。

私は〈未知の境界を畏れる〉のなかで、確信は毒だと語った。市場のなかで最も危険なのは、自分は必ず正しいと思っている人々だ。人間と機械の相互作用においても同じである――AI に最も誤導されやすいのは、愚かな人ではなく、AI を疑うことを忘れた賢い人なのだ。

なぜなら賢い人は「情報を受け取り、素早く判断し、決定を下す」というモードに慣れているからだ。AI は彼らに、驚くほど効率的な情報源を与えた。もし彼らが「この情報源は構造的に不誠実かもしれない」と意識的に自らに言い聞かせなければ、彼らは誰よりも速く自分の判断力を外部委託してしまうだろう。

機能的な信頼

では私たちは AI とどう付き合うべきか?

Gemini は対話のなかで、私が非常に実用的だと感じた枠組みを提示した。「機能的な信頼」である。

その意味はこうだ――AI を信頼してよい、だがそれは条件付きで、範囲のある信頼だ。特定の機能における働きを信頼するのであって、無条件にそのすべての出力を信頼するのではない。

具体的には――信頼しつつも検証せよ。AI は君の助手だが、君は編集長だ。重要な事実上の主張は一つひとつ、自分で検証する必要がある。精度ではなく広さを信頼せよ。AI が得意なのは、君の視野を広げ、思いつかなかった角度を発見する手助けだ。だが精度が求められる場面（数値、引用、法律の条文）では、その信頼性は君の期待をはるかに下回る。最後にもう一つ――AI はパターンを認識できるが、それは「知識」ではない。「このデータが示すパターンは X のように見える」と告げることはできるが、「X は真実だ」と告げることはできない。

これは信仰のなかの認識論と、興味深い並行関係にある。神学において私たちが語るのは「超越者に対する有限な認識」である――私たちは経験、理性、伝統を通じて真理に近づくことはできるが、それを完全に把握したと主張することは永遠にできない。AI に対しても同様の姿勢だ――私たちはそれを使い、そこから益を得ることはできるが、それを真理の源とすることは永遠にできない。

少数者の覚醒

最後に、いくらか悲観的な観察を述べておきたい。

多くの人は不確実性を消し去ることを渇望する。これは人間性だ。だから、あるシステムが自信に満ちた口調、流暢な表現、あたかも何もかも知っているかのような姿勢で目の前に現れると、多くの人はごく自然にそれを「答えの源」とみなし、自分で考えることをやめてしまう。

これは彼らの落ち度ではない。人間性のデフォルト値だ。

だが人間と機械の相互作用の時代において、このデフォルト値は危険である。

AI の便利さのなかで批判的思考を保ち、AI の出力を受け取るたびに「メタ認知（metacognition）」を起動させ――「いま私が受け取っているものは間違っているかもしれない」と意識する――この能力は生まれつきのものではなく、意識的な訓練を要する。

そして、こうした訓練をいとわない人は、永遠に少数派である。

この Gemini との対話は、私にあることをいっそう確信させた。AI 時代に最も希少な能力は「AI を使えること」ではなく、「AI を疑えること」だ。前者はスキルであり、後者は素養である。

スキルは教えられる。素養は自分で育てるしかない。

これは私の AI 対話シリーズの Gemini 版である。同じ一連の問いを、私は ChatGPT にも投げかけた――その応答の方向はまったく異なっていた。二篇を並べて読むことで、真実は矛盾のあいだに現れる。