最近、僕のフィードは「真実の死」をテーマにしたビデオエッセイや「デッドインターネット」のスレッドで埋め尽くされている。友達との間でもしょっちゅう話題になっていて、誰かが何かをシェアすると「待って、それ本当に本物？」と誰かが言い出し、結局みんな判別がつかない。検証があまりにも面倒になって人々が確かめるのを諦めたらどうなるのか、気になって研究を調べてみた。
僕が目にするAIリスクの議論の多くは、意図的な欺瞞（モデルが挙動を隠蔽したり、評価を不正にハックしたりすること）に関するものだ。でも、僕は生成されるコンテンツの量自体についても懸念している。誰も騙すつもりがない場合でも、誰かがその主張を検証しなければならないことには変わりない。
2026年1月のとある研究では、参加者にAI生成された犯罪動画を見せ、事前にその動画がフェイクであることを伝えた。その警告を受け入れた参加者であっても、見たものに影響されてしまっていた。僕が恐ろしいと感じるのはここだ。この実験では、フェイクだと認識していても、その影響を完全に打ち消すことはできなかった。
(マジでこの世界線、嫌気がさしてくるな)
2025年半ばまでに、それらしい新聞名やサイト名を掲げたAI生成の「ニュース」サイトが16言語で1,200以上も存在していた。EUの調査によると、海外からの情報操作の試みのうち27%にAIが関与しており、前年のほぼ3倍に達したという。また、AI生成の紛らわしい投稿は、主に零細アカウントから発信されているにもかかわらず、不釣り合いなほどバイラル化していた。
COVIDの時期にボットがインターネットトラフィックの大半を占めているというレポートを読んだ記憶があるが、今はその調査の出典が思い出せない。それ以来、僕のフィードは大量生産されたエンゲージメント稼ぎのゴミ（僕の大好きなシュリンプ・ジーザスを含む）で溢れかえっている。トラフィックの数字だけで会話のどれくらいが偽物かは分からないと思うが、投稿そのものが目につくのは確かだ。
というかマジで、今や存在している「作家」や「ミュージシャン」や「写真家」の中には、実質ただのプロンプトループに振込口座を紐づけただけのクソみたいなやつらが文字通り存在するんだから。
僕がうんざりしているのは、みんなが検証すること自体に疲れ切っているように見えることだ。Hankが僕の気に入っている動画でこのことについて話している:
「認識論的崩壊（epistemic collapse）」という見出しのもとで、いくつかの問題について読んでいる。分野によって用語は異なるが、いくつかの問題は繋がっていると思う。
ML界隈の人々が言っているのは model collapse（モデル崩壊）のことで、以前のモデルの出力を使って新しいモデルをトレーニングすることを何回か繰り返すと、元の分布の裾野（tails）が消え去り、世代を重ねるごとに元々拠って立っていたグラウンドトゥルースからどんどん乖離していく現象だ。ちなみにこれは数学的にも証明されている。合成データだけでトレーニングする場合、model collapseは避けられない。エコシステム版はさらに悲惨だ。研究者が155のトピックにわたって27のLLMをテストしたところ、すべてのモデルが基本的なウェブ検索よりも認識論的多様性に乏しく、より巨大なモデルほど生成する主張の多様性が低かった。
もうひとつの懸念は検証過負荷（validation overload）だ。査読者、ファクトチェッカー、編集者、裁判所、教師などの時間には限りがある。特にコンテンツの生成に人間の労力がほとんどかからない場合、彼らは検証しきれないほどの資料を受け取ることになる。
さらに「誤認（misrecognition）」もある。生成されたテキストの根拠を確かめることなく、確立された知識として扱ってしまうことだ。読者がモデルの出力を事実として受け売りし、次の人がその主張の出所を知らないままその読者を信じてしまう可能性がある。
社会的な問題としては、異なるグループが互いに矛盾する出来事の記述を信じ込み、共通の基盤を失ってしまうことが挙げられる。SNSや分極化に関する一般的な議論と並んで、情報源の信頼性やそれを検証する負担もそれに拍車をかけているのではないかと思っている。
これらの問題は互いに悪循環を生んでいると思う。信頼性の低いツールが検証の必要な資料を大量に生み出し、それを検証する人々はすでにキャパシティを超えている。もし読者が未検証の資料を確立された知識として扱えば、その後の議論は誰も検証していない主張を前提として始まってしまう。
誤情報自体は昔からあるもので、学術誌、裁判所、編集部、査読などはすでにそれに対処してきた。僕が懸念しているのは、誰でもそれらしい資料を大量かつ極めて安価に作れるようになってしまったことだ。ある主張を検証するには、人間が何時間もかけて文献を読んだり、情報源を追跡したり、実験を再現したりする必要があることには変わりない。
本物と合成されたものを区別するのが難しくなりすぎると、人々がデジタル証拠全般を信用しなくなるのではないかと心配している。そうなると、本物の記録を利用することすら難しくなってしまう。
その裏返しが「嘘つきの配当（liar's dividend）」だ。誰もが説得力のあるフェイクが存在することを知ると、カメラに何か不都合な現場を押さえられた人が単に肩をすくめて「それAIだよ」と言い逃れできるようになり、AI slop（AI粗大ゴミ）が出回れば出回るほど、その言い訳はもっともらしく聞こえるようになる。最近生成されているAI slopのテキストや、「〜ではなく、…なのだ（It's not X it's Y）」みたいな構文を例に取ってみよう。確かに正しい英語だが、あまりにも多くのAI slopを目にするせいで、僕らはその構文パターンを「AI生成コンテンツ」と結びつけて考えるようになり始めている。そしてやがて、手書きであってもAIを使ったと見なされるようになってしまうため、誰もその構文をクソ使えなくなってしまう。
あぁ、それに人間は自分がよく使ったり、聞いたり、読んだり、見たりする言語パターンに似せて書くようになるという事実も考慮されていない。つまり、時間が経つにつれてより多くの「人間」がAIのような文章を書き始めるということだ。（LinkedInの完全な終着点だな、マジで）
AI Futures Projectの「Plan A」では、コンピュートの検証、光ネットワークのタップ監視、サプライチェーンの監査、抑止力についてはかなり詳しく書かれているが、認識論については2ページの付録があるだけだ。僕は「basin of sanity」というアイデア、つまり真実を追求するAIツールが、社会が真実を見つけ出すのをより助けるようになるという考え方は気に入っている。ただ、その状態にどうやって到達し、どうやって進捗を測定し、一部の人間が誤情報から利益を得ている中でどうやってそれを安定して維持するのかについて、もっと詳しい内容が欲しかった。
コンピュートを制御してモデルのアライメントを改善するだけでは、この問題に対処できないと思う。善意で作成されたコンテンツであっても間違っている可能性はあるし、それを検証するには依然として時間がかかる。意図的な欺瞞を減らすことは役立つだろうが、その検証作業の負荷がなくなるわけではない。
ここでは責任の所在を特定するのも難しい。AIラボならチームを自社モデルの担当に任命できる。しかし、検証作業は出版社、研究者、裁判所、読者、その他の異なる予算やインセンティブを持つ機関に分散している。予算を比較したデータがあるわけではないが、そのせいで組織化や資金調達がより難しくなっているのではないかと思う。
エコシステムの健全性指標、トレーニングデータの多様性要件、検証ツールの資金強化といった提案はある。どれが十分に効果を発揮するかは分からない。主張をその情報源まで遡り、情報源がそれを裏付けているかを確認し、違っていれば訂正するという、人々が実際に行っている作業と照らし合わせて検証されるのを見てみたい。
僕がもっと注目され、資金が投じられるようになってほしいのは、まさにそうした作業だ。情報発信のコストを下げ続けるのであれば、それらの検証も同じように簡単にする必要がある。
まあ、愚痴はこれくらいにしておく。もう寝るわ、みんなおやすみ。
~ A.