最近我的信息流里全是关于“真相之死”的视频随笔和“死网理论”的帖子。跟朋友聊天也老扯到这个：有人分享了个东西，有人问“等等，这真的假的？”，然后我们谁也分不清。我特地去查了查相关研究，想看看当核实变成一件极其费劲的事、大家彻底放弃去查证时，会发生什么。
我看到的很多关于 AI 风险的讨论都在关注蓄意欺骗：比如模型隐瞒自己的行为，或者在评估中作弊。但我同样担心被生产出来的内容总量。即使没有人故意骗人，也总得有人去核实这些说法。
2026 年 1 月的一项研究给参与者展示了 AI 生成的犯罪视频，并提前告知他们这些视频是假的。那些接受了预警的参与者依然受到了所见内容的影响。这正是我觉得可怕的地方：在这项实验中，哪怕认出是假的，也没能完全消除它带来的影响。
（兄弟们，我真的越来越讨厌这条操蛋的时间线了）
截至 2025 年中，已有超过 1200 个 AI 生成的“新闻”网站打着看似正规的报头、用 16 种语言发布内容。EU 统计发现，在外国信息操纵尝试中，AI 的参与率达到了 27%，几乎是前一年的三倍。此外，AI 生成的误导性帖子虽然大多来自小账号，却获得了极不成比例的病毒式传播。
我记得在 COVID 期间读过一些报告说机器人占了大部分互联网流量，虽然现在我想不起具体是哪项研究了。从那以后，我的信息流里就塞满了批量生产的博眼球诱饵，包括我心爱的 shrimp Jesus。我觉得单凭流量数据并不能说明对话中有多少是假的，但这些帖子本身确实让人很难忽视。
就像 bruh，现在居然真有这种所谓的“作家”、“音乐家”和“摄影师”，本质上就是个挂着收款账户的操蛋 prompt 循环。
真正让我困扰的是，大家似乎对核实信息感到无比厌倦。Hank 在一个我很喜欢的视频里聊到了这点：
我一直在读一些归在“认知崩溃”（epistemic collapse）标签下的问题。不同领域的术语各有不同，但我认为其中一些问题是相互关联的。
ML 圈子指的是模型崩溃（model collapse），即用前一个模型的输出去训练新模型，重复几次后，原始分布的长尾部分就会消失，而每一代模型都会距离它原本锚定的 ground truth 越来越远，顺便说一句，这已经在数学上被证明了。仅靠合成数据训练时，模型崩溃是不可避免的。生态系统层面的版本更糟糕：当研究人员在 155 个主题上测试了 27 个 LLM 时，每一个模型的认知多样性都低于基础的网络搜索，而且越大的模型产生的观点多样性反而越低。
另一个担忧是验证过载。同行评审员、事实核查员、编辑、法院和教师的时间都很有限。他们收到的材料可能远远超出他们的核查能力，尤其是当生产这些材料几乎不需要耗费什么人工时。
还有“错误认同”（misrecognition）：在不核实支撑依据的情况下，把生成出来的文本直接当成既成知识。读者可能会把模型的输出当作事实复述，而下一个人在不知道该说法源自何处的情况下就盲目相信了读者。
社会层面的问题包括不同群体依赖于截然不同且互不相容的事实描述，从而丧失了共识基础。除了平时讨论的社交媒体和极化现象外，我怀疑信息源的可靠性以及核实它们的负担也是导致这一现象的原因。
我认为这些问题可能会相互强化。可靠性更低的工具生产出更多需要核实的内容，而负责核实的人早已不堪重负。如果读者把未经核实的内容当成既成知识，后续的讨论就会建立在无人求证的说法之上。
虚假信息并不新鲜，学术期刊、法庭、编辑部和同行评审一直都在处理它。让我担心的是，现在任何人都能极其廉价地生产出海量看似合理的材料。而要核实一个说法，往往依然需要一个人花费数小时去阅读、溯源或重复实验。
我担心如果区分真实材料和合成材料变得太难，人们会普遍开始对数字证据持怀疑态度。这也会导致真实的记录变得更难派上用场。
反过来说就是“说谎者的红利”（liar's dividend）：一旦所有人都知道逼真的假货存在，任何被镜头拍到做真事的人都可以耸耸肩说“那是 AI”，而且网上的垃圾内容越多，这种辩解就显得越合理。就拿现在生成的那些 AI 垃圾文本，或者像“It's not X it's Y”这样的句式来说吧。这确实是合法的英语没错，但因为我们看了太多 AI 垃圾，就会不自觉地把这种句式和“AI 生成的内容”联系在一起，用不了多久，就他妈谁也不敢这么写了，因为哪怕是手写的，别人也会觉得你用了 AI。
噢，这还没算上我们人类写东西会向我们接触、听说、阅读得最多的语言风格靠拢这一事实。这意味着随着时间推移，会有越来越多人说话写字像 AI。（LinkedIn 的终局真就这操行了 fr）
AI Futures Project 的“Plan A”在算力验证、光网络分流器（optical network taps）、供应链审计和威慑方面的阐述，远比在认知学（epistemics）方面详细得多，后者只分到了两页的附录。我挺喜欢它提出的“理智盆地”（basin of sanity）概念：即通过追求真相的 AI 工具帮助社会更好地探寻什么是真实的。我希望能看到更多细节，比如如何达到这种状态、如何衡量进展，以及当某些行为体能从虚假信息中获益时，如何维持这种稳定。
我认为仅仅管控算力和提升模型对齐（model alignment）并不足以解决这个问题。出于好意生产的内容依然可能是错的，依然需要花时间去核实。减少蓄意欺骗固然有用，但并不能消除这部分工作负担。
在这里，责任也更难归属。一家实验室可以指定一个团队来负责他们的模型。但核实工作却分散在出版机构、研究人员、法院、读者以及其他预算和诉求各异的机构之间。我怀疑这使得它更难被组织和资助，尽管我手头并没有资金对比数据来证实这一点。
目前有一些关于生态系统健康指标、训练数据多样性要求以及加大对核实工具资金支持的提议。我不知道哪种能真正管用。我更希望能看到它们在人们实际的工作场景中接受检验：追溯说法的来源、检查来源是否支撑该说法，并在不符时予以纠正。
这才是希望能得到更多关注和资金支持的工作。如果我们一直在降低内容发布的成本，那我们也必须让核实工作变得更轻松。
总之，吐槽完毕。我滚去睡觉了，大家晚安。
~ A.