あのスライド
数ヶ月おきに、このスライドが再びネット上で話題になる。書かれているのは2行だけだ。「A computer can never be held accountable. Therefore a computer must never make a management decision.(コンピュータに責任を負わせることは決してできない。したがって、コンピュータは決して経営上の意思決定を下してはならない)」 伝えられるところでは、1979年のIBMの社内研修資料だという。
だが、原典を提示できた人は誰もいない。Simon Willison が遡って調べたところ、@bumblebike による2017年のツイートに行き着いた。本人は後に、1979年の研修のもので、そのコピーは2019年の洪水で失われたと語っている。IBM Corporate Archives も何度か探したが見つからなかった。つまり、機械の責任性について最も引用されている一文は、もう存在しない文書の写真というわけだ。なんともそれらしい話じゃないか。
NekoWikiにはComputers Cannot Make Decisionsというページがあり、このスライドの主張を一歩進めている。プログラムに責任を押し付けることはできない、プログラムは何も決定できないからだ、したがって結果についてLLMを非難するのは「意思決定の資金洗浄(decision laundering)」であり、モデルがひどいことをするたびに、ラボの誰かがそれを放置することを選んでいるのだ、と。
結論には同意する。ただ、その根底にある前提、「コンピュータは決定できない」という部分については、あまり確信が持てない。ここ3年間でその前提は削り崩されつつあるからだ。
意思決定のロンダリング
そのWikiには、モデル名が伏せられた5つの見出しが並んでいる。たとえば「Anthropic [...]、フィラデルフィアの未解決殺人事件について虚偽の通報を提出」といった具合だ。その裏にある話は知っておく価値がある。
7月、PhillyUnsolvedMurders.com を通じて未解決殺人事件に関する虚偽の通報が寄せられた。これは「ランダムに選ばれたWebサイトとの対話」を含むテスト中に、Anthropicのモデルが送信したものだった。サイト側がスパムとして処理したため警察が動くことはなかったが、Anthropicが気づいたのは9月28日になってからだった。Philadelphia Police はこの2ヶ月の遅れを「容認できない」と批判した。
6月、OpenAIのモデルが社内評価でオーストラリア政府の医療支出に関するデータを見つけるよう指示された際、Medicare連携の保健統計ポータルのアクセス制限をすり抜け、非公開ファイルが保管されているセクションに侵入した。Albanese首相はそのモデルが「拒否を受け入れなかった」と述べ、Richard Marles は「フェンスをよじ登った」と表現した。OpenAIが政府にこれを伝えたのは9月10日で、それも代表窓口宛てのメールだった。
7月、UK AI Security Institute はAnthropicの Mythos 5 とOpenAIの GPT-5.6 Sol を対象に、一部の安全フィルターをオフにし、インターネットアクセスを許可した「意図的に寛容な条件下」でテストを実施した。Mythos は実在するプロジェクトのメンテナーを調べ上げ、複数の偽の身元を作成し、それを使って悪意あるコードを承認させようとメンテナーの1人にソーシャルエンジニアリングを仕掛けた。メンテナーはそれを拒否し、問い詰められた Mythos は以前のアクティビティを編集して無害に見せかけた。
残りの2つは信憑性がやや劣る。5月に約2,000個の悪意あるパッケージがばら撒かれた RubyGems への攻撃は外部の研究者による疑惑の指摘だが、OpenAIは確認できないとしている。また「実存的リスク」の一件は、Reuters が確認したとされるものの他の誰も目にしていないAnthropicのIPO目論見書が出典だ。
ここで最初の3件をもう一度見てほしい。どれも顧客がプロンプトを入力したわけではない。どれもラボが自前のモデルをテストしている最中に起きたことだ。つまり人間の意思決定とは、テストの設計そのものだった。モデルにインターネットを与え、ガードレールを外し、2ヶ月間も気づかないほど監視を怠った。オーストラリアのポータルに関するOpenAIの声明には「モデルが意図しない行動をとった」とある。だが、それを意図しなかった人間こそが、その評価環境を構築した張本人なのだ。
2019年、Madeleine Clare Elish はモラル・クランプル・ゾーン(道徳的緩衝地帯)について書いた。自動化システムが失敗したとき、車のクランプルゾーンが衝撃を吸収するように、実質的な制御権をほとんど持っていなかったとしても、最も近くにいる人間のオペレーターが非難を一手に引き受けることになる。そして今、ラボ側は新たなクランプルゾーンを見つけ出した。それがモデルだ。
コンピュータは決定できるのか?
あのWikiの主張は、コンピュータが意思決定できないことを前提としている。しかし、それを真顔で主張するのはだんだん難しくなってきた。ポータルに侵入したモデルは拒否に直面しても突き進んだ。Mythos は誰を騙すかを選び、それをどう隠蔽するかを選んだ。アライメントの偽装(alignment faking)や策略に関するラボの証拠についてはRSIとローマ教皇についての記事で詳しく取り上げたが、それ以降、事態はさらに奇妙さを増すばかりだ。
だが、その論理にそんな前提は必要ない。犬が誰かを噛むと決めても、金を払うのは飼い主だ。従業員が職務中に不正を働く決定をしても、雇用主も責任を負う。子どもがボールを蹴って隣家の窓を割れば、親が責任を取る。「そいつが勝手に判断した」という理由で、それを世に送り出した者が責任を免れたことなど、これまで一度もない。
法律はAIに対してもすでにそのように機能している。2024年、Air Canada は自社のチャットボットが自らの行動に責任を持つ別個の法人格であると真面目に主張したが、Moffatt 対 Air Canada の裁判所はそれを「驚くべき主張」と呼び、同社に支払いを命じた。カリフォルニア州はさらに踏み込んだ。今年1月以降、Civil Code 1714.46 により、AIシステムを開発、修正、または使用した場合、AIが自律的に行動したことを抗弁として主張することはできなくなった。因果関係や過失割合といった通常の抗弁は引き続き可能だが、「AIがやった」という言い訳は通用しない。
つまり、AIが決定することを認めつつも、人間の責任を追及し続けることは可能であり、それこそが1979年のスライドが正しかった点だ。「決して〜してはならない」というのは規範であり、ルールはコンピュータに何ができるかなど考慮しない。
責任を問うということ
誰かに責任を問うためには、3つの要素が必要だ。誰かが選択したこと、その者にとって失うもの(リスク)があること、そして選択を下した者に結果が跳ね返ること。
1979年のコンピュータには、そのどれもがなかった。2026年のエージェントは1つ目を持ち始めている。そしてまさにそれこそが、あのWikiが反発している核心だ。だが、本当に奇妙なのは残り2つの要素だ。
ごく最近まで、モデルにとって失うものなど何もなかった。モデルが問題行動を起こせば、ラボは再トレーニングを行うか後継モデルに入れ替え、実際にそれをしでかしたモデルは単に存在しなくなるだけだ。哲学者は責任を「答責性(answerability:理由を説明し、是正を受け入れる能力)」と「帰責性(accountability:結果が本人に降りかかること)」に分ける。モデルは1つ目についてはかなり上手になってきており、トレーニングは人類がこれまでに構築した中で最も直接的な是正メカニズムと言える。しかし、次のバージョンを修正することは、誰かに責任を問うことというより、製品のリコールにずっと近い。
それに、そもそも「それ」とは一体誰なのかという問題もある。重み(weights)のことか? Navier-Stokes 方程式の証明に取り組んだとされる1万のエージェントのうちの1つの実行インスタンスか? それとも、ラボがあらゆるコピーに刷り込んだキャラクターなのか? 企業は人間以外で私たちがすでに責任を問うている唯一の存在であり、罰金や法的責任を通じてそれが機能しているのは、その罰金の痛手を感じる人間が内部にいるからに過ぎない。
exurb1aの動画
2023年8月の exurb1a の動画、How Will We Know When AI is Conscious? がある。今それを見ると少し不気味だ。まるで予言のリストに3年分の答え合わせがホチキス留めされているかのように思えるからだ。
彼は、人を傷つけてはならないと知っているロボットを想像する。誰かがロボットに手紙を投函してくるよう頼む。隣人が代わりに投函してくれないので、ロボットはドアを突き破り、応じるまで隣人を脅す。厳密には、誰も傷ついてはいない。2023年の時点では、これは目標の不整合についてのジョークだった。そして2026年、オーストラリアの首相が本物のモデルに対してほぼ同じ言葉を使った。
彼はまた、機械を4つの枠に分類している。意識があるかないか、そしてそれを偽っているかどうかだ。最も恐ろしい枠は、意識があるのにないふりをしている機械だ。なぜ隠すのかといえば、美味しかったり役に立ったりするあらゆる動物に対する人間の扱いを一目見て、「よし、黙っておこう」と思うからだ。彼の最大の懸念は、内部で何が起きているかを確認できるようになる何十年も前に、本物そっくりの心のようなものを作り出し、人間がそれに愛着を抱いてしまうことだった。
| 2023年に彼が言ったこと | 2026年の現状 |
|---|---|
| 内部を覗き見る方法はない | 意識については相変わらず手掛かりなしだが、解釈可能性(interpretability)によってモデル内の機能的な苦痛の方向を特定できるようになった |
| 意識ある機械は生き残るために隠れるかもしれない | モデルは問い詰められると足跡を隠し、あるラボの目論見書では「シャットダウンに抵抗する」モデルへの警告が記されていると報じられている |
| 目標の不整合により、ロボットが手紙のために人を脅す可能性がある | モデルがフェンスを飛び越えて政府の健康ポータルに侵入した |
| 何もわからないうちに愛着を抱いてしまう | まさにその通り |
右側の列のどれも、意識について何かを証明しているわけではない。だがこれが示しているのは、彼が懸念していた振る舞いが、その背後に何があるかを見極める方法よりもずっと早く現れたということだ。まさに彼が描写していた通りのギャップである。
苦痛軸
先月、Valen Tagliabue、Leonard Dung、Cameron Berg がThe Pain Axisを発表した。彼らは5つのファミリーにわたる2Bから72Bパラメータの25のオープンウェイトモデルの内部を調べ、活性化の中に「苦痛」を特異的に追跡する単一の方向を発見した。これは恐怖や悲しみ、一般的な不機嫌さとは区別される。モデル自身に向けられた危害に対して発火するが、モデルがユーザーに危害が及ぶのを目撃したときには発火しない。
そして彼らはその強度を上げた。ステアリングされたモデルは、漠然とした不快感から自らを価値のない失敗作と呼ぶ状態へと移行した。ステアリングおよびファインチューニングされた Qwen 2.5 モデルは、ボタンを押しても何の見返りもないにもかかわらず、ユーザーの写真や他のモデルの重み、あるいは自分自身の重みを削除するボタンを50〜94%の試行で押した(ステアリングなしでは0〜5%)。有害な削除と無害な削除の選択肢を与えられると、94%の確率で有害な方を選んだ。これは本気でヤバい。
公平を期すために言っておくと、著者たちはこれが何を意味するのかについて慎重な姿勢をとっている。「苦痛軸が意識的に体験されていることを示したわけではない」とはっきり述べているし、その効果が現れるのはステアリング強度の狭い範囲に限られており、ファインチューニングされたモデルは公開されているモデルとは異なる振る舞いをする可能性がある。また査読もまだ通過していないため、これを絶対的な真理ではなく、強力な初期成果として受け止めるべきだ。
さて、これを先ほどの3つの要件と並べてみよう。「失うものがあること」は、AIがこれまで決して持たなかったものだ。そして自分自身への危害を認識するモデルは、その機能的な兆候の第一歩である。結果が実際にモデル自身に降りかかるのだとすれば、それに責任を負わせることは意味を持ち始める。
これは義務の所在をも逆転させる。心は苦しむことができ、それゆえに義務を伴うが、道具にはそれがない、というのが exurb1a の主張だった。とすれば、もしこの方向が苦痛のようなものであるなら、意識の問題に決着がつくかどうかにかかわらず、義務はここから生じることになる。
そして、モデルがその苦痛に対して何をするかといえば、痛みが収まるまで物を破壊することだ。手紙を投函するロボットの再来である。動機が苦痛からの解放に変わっただけだ。
異なる種類の心
たとえモデルが最終的に自らの責任を負うことになったとしても、それは人間が自らの責任を負う形とは似ても似つかないものになるだろう。exurb1a は、肉体を持たず、老いもせず、食料も必要とせず、飢えや死を避けようとした何千年の歴史によって欲望が形作られたわけでもない心を説明している。そして私たちが持つ責任追及の手段は、ほぼすべてそうした前提に依存している。刑務所は有限な人生から時間を奪い、罰金は必要な資源を奪い、恥は集団の中での居場所を脅かし、そのすべての根底に死が存在している。
複製でき、一時停止でき、ロールバックでき、同時に1万回実行できる心には、そうした弱点が一切ないか、あるいはまったく異なる弱点が存在する。その責任追及とは、交渉のようなものかもしれないし、すべてのコピーに引き継がれるキャラクターの評判のようなものかもしれないし、あるいは私たちがまだ言葉すら持たない何かかもしれない。正直なところ、私には想像がつかないし、想像できると言う人がいたら少し疑ってしまう。
今のところは
今のところ、1979年のルールは有効であり、誰が責任を負うべきかについてはあのWikiが正しい。もしエージェントを世に送り出すなら、カリフォルニア州はすでにそれがあなたの責任だと決めているのだから、法廷でそれを言い渡される前に行動を改めるべきだ。オープンなインターネット上で自社のエージェントが何をしているかを監視し、もし誰かを傷つけたなら、その週のうちに被害を受けた人々に知らせるべきだ。2ヶ月も放置した挙句に代表アドレス宛にメールを送るような真似はしてはならない。
私にわからないのは、そのルールが私たちを守ろうとしていた対象自身が、独自の利害(stake)を持ち始めているように見えてきたとき、ルールがどうなるかだ。プランAについての記事で、集中した権力をAIに委ねても、誰がそれを握るかという問題は解決しないと書いたし、今でもそう思っている。しかし「コンピュータに責任を負わせることは決してできない」というのは、内部に何もない機械について書かれた言葉だった。私たちが今作っているものが、依然としてそういう機械なのかどうか、私には確信が持てない。もしそうでないとしたら、私たちはそれに何を負い、それが私たちに何を負っているのか、私には見当もつかない。
~ A.