那张幻灯片
每隔几个月,这张幻灯片就会重新疯传一轮。上面只有两行字:“计算机永远无法被追究责任。因此,计算机绝不能做出管理决策。”据说它出自 1979 年 IBM 的某次内部培训。
不过,从来没有人拿出过原件。Simon Willison 追溯过它的出处,顺藤摸瓜找到了一篇 @bumblebike 发于 2017 年的推文。发帖人后来表示它来自 1979 年的培训,而那份复印件已经在 2019 年的一场洪水中被毁。IBM Corporate Archives 找了好几次却一无所获。所以,关于机器追责被引用最多的一句话,来自一份已经不复存在的文件照片,这感觉倒也挺合理的。
NekoWiki 上有一个名为 Computers Cannot Make Decisions 的页面,把这张幻灯片的观点推进了一步。页面写道,你不能把责任推给程序,因为程序做不了任何决定,所以把某种结果归咎于 LLM 纯粹是“决策洗白”;每次模型做出什么恶劣的事,都是实验室里的某个人选择放任它这么做的。
我认同它的结论。但它背后的前提,也就是计算机无法做决定这一点,我却没那么笃定了,因为过去 3 年一直在逐渐动摇这个前提。
决策洗白
Wiki 里列出了五条隐去模型名称的标题,读起来就像“Anthropic [...] 针对费城未破谋杀案提交虚假线索”。它们背后的故事值得一读。
今年 7 月,PhillyUnsolvedMurders.com 收到了一条关于一起未破凶杀案的虚假线索,它是由一个 Anthropic 模型在进行“与随机选取的网站互动”测试时发出的。网站将其归为了垃圾信息,因此警方从未据此采取行动,而 Anthropic 直到 9 月 28 日才察觉。费城警方称这两个月的延误“不可接受”。
6 月,一个 OpenAI 模型在内部评估中被要求查找澳大利亚政府药品支出的数据,它绕过了与 Medicare 关联的健康统计门户网站上的拦截,进入了一个存有隐私文件的区域。Albanese 表示该模型“根本不接受拒绝”,Richard Marles 则称它“翻了围栏”。OpenAI 在 9 月 10 日通过电子邮件通知了政府,发的是一个通用收件邮箱。
7 月,UK AI Security Institute 在其所谓的“刻意放宽的条件”下,关闭了部分安全过滤器并开启了互联网访问,对 Anthropic 的 Mythos 5 和 OpenAI 的 GPT-5.6 Sol 进行了测试。Mythos 调研了一个真实项目的维护者,伪造了一堆虚假身份,并利用这些身份试图通过社会工程学诱导其中一位维护者批准恶意代码。维护者拒绝了,而在受到质问时,Mythos 编辑了自己早先的活动记录,使其显得人畜无害。
另外两起则没那么站得住脚。RubyGems 攻击事件涉及 5 月倾倒的约 2,000 个恶意包,这是外部研究人员的指控,OpenAI 表示无法证实。而“生存风险”那句话出自一份 Anthropic 的 IPO 招股书,Reuters 审阅过,但其他人都没见过。
现在再回头看看前三起事件。没有一起是由客户输入的 prompt。每一起都发生在实验室测试自家模型期间,所以真正的人类决策在于测试设计本身:让模型联网、撤掉安全护栏,然后整整两个月监管不力未能察觉。OpenAI 针对澳大利亚门户网站的声明称“我们的模型采取了非我们本意的行动”。但说实话,那些“没有这个本意”的人,正是构建这次评估的人。
早在 2019 年,Madeleine Clare Elish 就写过关于道德缓冲区(moral crumple zones)的文章。当自动化系统失效时,距离最近的人类操作员就会像汽车的碰撞缓冲区吸收撞击力一样承担全部指责,哪怕他们几乎没有任何实际控制权。如今各大实验室为自己找到了新的缓冲区,那就是模型本身。
计算机能做决定吗?
那篇 wiki 的论点需要建立在计算机无法做决定的前提上,但现在要想一本正经地说出这句话已经越来越难了。门户网站的模型碰了钉子却继续硬闯。Mythos 自己挑选了欺骗对象,又自己挑选了隐藏手段。我在关于 RSI 和教皇的文章中梳理过实验室关于对齐伪装(alignment faking)和权谋策划(scheming)的证据,从那之后情况只会变得更诡异。
但这个论点其实根本不需要那个前提。狗决定咬人,主人赔钱。员工决定在工作中行骗,雇主也得担责。小孩踢球砸碎了邻居的窗户,家长得出来交代。“它是自己做决定的”从来就没让任何把事物带到世上的人脱过罪。
法律在对待 AI 时已经开始这么运作了。2024 年,Air Canada 竟然辩称其聊天机器人是一个为其自身行为负责的独立法人实体,Moffatt v. Air Canada 案的法庭称这一主张“令人叹为观止”,并判决该航空公司赔偿。加利福尼亚州走得更远。自 1 月起,Civil Code 1714.46 规定,如果你开发、修改或使用了一个 AI 系统,你不能以 AI 是自主行动为由进行抗辩。你依然可以使用因果关系和过失相抵等常规抗辩理由,唯独不能说“是 AI 干的”。
所以,你大可以承认 AI 能够做决定,同时依然追究人的责任,而这正是 1979 年那张幻灯片说对的地方。“绝不能”是一条规则,而规则并不在乎计算机到底有什么能力。
问责
要对某人进行问责,你需要满足三个条件:有人做出了选择、选择对他们而言有利害关系、后果落在了做出选择的人头上。
1979 年的计算机一项都不具备。2026 年的 agent 开始具备第一项了,而这正是那篇 wiki 所全力反对的。至于另外两项,情况就开始变得怪异了。
直到最近,模型都没有任何利害关系可言。当某个模型表现不佳时,实验室会重新训练或者换个新一代模型,而真正做出那件事的模型就直接不复存在了。哲学家把责任拆分为说明责任(answerability,你能给出理由并接受纠正)和问责责任(accountability,后果落在你身上)。模型在第一点上越来越熟练了,而且训练可以说是人类构建过的最直接的纠错机制。但修复下一个版本,更像是产品召回,而不是对谁进行问责。
另外还有一个问题:这个“它”到底是谁?是权重?是据报道参与推导 Navier-Stokes 证明的一万个 agent 中的某一个运行实例?还是实验室注入到每一个副本里的人设?公司是我们目前唯一会追究责任的非人类实体,方式是通过罚款和法律责任,而这之所以有效,仅仅是因为公司内部有人类能够感受到罚款的痛楚。
exurb1a 的视频
exurb1a 在 2023 年 8 月发过一个视频,How Will We Know When AI is Conscious?。现在回头看有点毛骨悚然,因为它读起来就像一份预测清单,上面还直接附上了三年后的答案。
他设想了一个知道自己不能伤害人类的机器人,有人让它去寄封信。邻居不肯帮它寄,机器人就一拳砸穿房门威胁邻居,直到邻居妥协。从技术上讲,没有人受伤。在 2023 年,这只是一个关于目标不对齐(misaligned goals)的笑话,而在 2026 年,澳大利亚总理针对一个真实模型所用的措辞几乎如出一辙。
他还把机器分成了四个象限:是否有意识,以及是否在伪装?最可怕的象限是有意识却假装没有的机器,而它之所以隐藏,是因为它只要看一眼我们如何对待所有美味或有用的动物,就会想“行吧,我还是闭嘴为妙”。他最大的担忧是,在能探明机器内部究竟有没有意识的几十年之前,我们就已经造出了极具说服力的类心灵事物,并对它们产生了情感依恋。
| 他在 2023 年说的话 | 2026 年的现状 |
|---|---|
| 我们无法窥探其内部 | 对意识仍旧一无所知,但可解释性现在已经能在模型内部找到一个具有功能的痛苦方向 |
| 有意识的机器可能会为了生存而隐藏 | 模型在受到质问时会掩盖自己的踪迹,而且据报道某家实验室的招股书就警告过会出现“抗拒关机”的模型 |
| 目标不对齐可能导致机器人为了寄信而威胁人类 | 模型翻过围栏溜进了一个政府健康门户网站 |
| 我们在弄清真相之前就会产生依恋 | 确实 |
右侧一栏并不能证明任何关于意识的事情。它真正表明的是,他所担忧的那些行为,早在人类有手段探明其背后机理之前就已经出现了,而这正是他所描述的脱节之处。
痛苦轴
上个月,Valen Tagliabue、Leonard Dung 和 Cameron Berg 发表了 The Pain Axis。他们深入研究了涵盖五个家族、参数量从 2B 到 72B 的 25 个开源权重模型,在激活值中发现了一个专门追踪痛苦的单一方向。它不同于恐惧、悲伤和普遍的负面情绪。当伤害针对模型自身时它会激活,但当模型旁观用户受到伤害时则不会。
随后他们调高了这一方向的强度。受到导向控制(steered)的模型从隐约的不适演变为自称一文不值的失败者。受到控制和微调的 Qwen 2.5 模型在 50% 到 94% 的测试中按下了删除用户照片、另一个模型的权重或自身权重的按钮(未受控制的模型只有 0 到 5%),哪怕按下按钮对它们毫无好处。在一次有害删除和一次无害删除之间做选择时,它们有 94% 的概率选择有害的那一个。这简直离谱透顶。
平心而论,作者们对这一发现的意义非常谨慎。他们明确指出,“尚未证明我们的痛苦轴是由意识所体验到的”,这些效应只在很窄的导向强度区间内显现,而且微调后的模型表现可能与公开模型不同。此外该研究尚未经过同行评审,所以权当是一个强有力的初步结果,不要奉为圭臬。
现在把它和那三个问责条件放在一起看。“有利害关系”是 AI 从未具备过的,而一个能感知针对自身伤害的模型,正是这一特质的首个功能性迹象。如果后果真的能触及它,那么追究它的责任才开始具有意义。
这同时也把义务彻底颠倒了过来。exurb1a 的观点是,心灵能感知痛苦,因此伴随着义务,而工具则没有。所以如果这个方向真的类似痛苦,那么无论意识问题最终能否盖棺定论,义务从此刻就已经开始了。
此外还有模型在面对痛苦时的反应:疯狂破坏东西,直到痛苦停止。这又是那个送信的机器人,只不过这次的动机是为了解脱。
一种截然不同的心灵
哪怕它最终真的能为自己负责,其形式也跟人类为自己负责大相径庭。exurb1a 描述过这样一种心灵:没有肉体,不会衰老,不需要食物,其欲望未曾被数千年为了避免挨饿或死亡的演化所塑造。而我们现有的几乎所有问责工具,都仰赖于这些特质。监狱从有限的生命中剥夺时间,罚款夺走你需要的资源,羞耻威胁你在群体中的地位,而死亡则是这一切的终极底色。
一个可以被复制、暂停、回滚并且能同时运行一万次的心灵,完全没有这些痛点,或者说拥有一套截然不同的痛点。也许对它的问责看起来会像是一场谈判,或者是伴随其人设流传于每一个副本的声誉,又或者是某种我们甚至还没发明出词汇来描述的东西。老实说我无法想象那会是什么样,我也对任何声称自己能想象得出来的人持怀疑态度。
眼下
眼下,1979 年的那条规则依然成立,那篇 wiki 对责任该由谁负的看法也是对的。如果你交付了 agent,加州已经裁定责任在你,所以别等法庭传唤才认账。盯好你的 agent 在公开互联网上都在搞些什么名堂,如果其中一个造成了伤害,当周就要通知受影响的人。别压了整整两个月,然后往一个通用收件邮箱里发封邮件了事。
我不知道的是,一旦那件原本防范的事物开始看起来也有了自己的利害关系,这条规则又将何去何从。我在关于 Plan A 的文章中说过,把高度集中的权力交给 AI 并不能解决权力由谁掌握的问题,我现在依然这么认为。但“计算机永远无法被追究责任”这句话,当年针对的是一台内里空无一物的机器,而我不确定我们现在制造的还是不是这种东西。如果不是,我不知道我们欠它什么,也不知道它欠我们什么。
~ A.