テキスト != トーン
"I didn't say she stole the money." 毎回強調する単語を変えながら、声に出して何度か言ってみてほしい。これは言語学者や英語の先生が大好きな例文だ。たった7つの単語なのに、どこを強調するかによって7通りのまったく違う意味になるからだ。
この例は英語でのみ成り立つため、英語のままにしています。
では、これをキーボードで打ってみてほしい。7回ともまったく同じ文になる。わざわざイタリック体にでもしない限り(私は普段そんなことしないし、あなたもきっとそうだろう)、書き手がどの意味のつもりだったのかは推測するしかない。そしてそれこそが、私たちが今ほぼすべてのAIアシスタントと対話しているやり方だ。言葉だけを残して、それ以外のすべてを捨て去る小さな入力ボックスを通じて。
それで…何が抜け落ちるのか?
強勢(ストレス)はその一つに過ぎない。さらに大きな問題はトーン(口調・声のニュアンス)だ。哲学者のJ. L. Austinが講義で「英語では二重否定で肯定になることがあるが、二重肯定で否定になる言語は存在しない」と言ったという有名な話がある。客席にいたSidney Morgenbesserが「Yeah, yeah」と返した。文字にすればただの同意に見えるが、声に出して言った瞬間、彼はたった2語でその主張全体を論破してしまったのだ。
そして私たちは、自分たちが思っている以上にこれに気づけない。メールを対象にした2005年の研究では、皮肉か本気かの文を読んだ人々が正解を選べた確率はコイントスとほぼ同じ(あてずっぽう並み)だったのに対し、同じ文を耳で聞いた人々は約4分の3の確率で正解した。文字だと半々の確率でしか伝わらないのに、送信者はそれにまったく気づいていなかった。同論文の別の実験では、送信側はメールでも約89%の確率でニュアンスが伝わると思い込んでいたが、実際に伝わっていたのは約63%だった。
インターネットはこれに対する回避策を生み出してきた。皮肉を表す /s、意地悪に読まれないように文末につける「lol」、怒鳴り声を表現する全大文字表記などだ。モデルはインターネット全体を読み込んでいるので、こういったものはちゃんと理解できる。問題は、誤解されそうだとあらかじめ予期できたときにしかこれらを付けないことであり、先の研究が示すように、人間はそれがいつなのかを察するのが下手なのだ。「ok fine /tired」なんてタイプする人はいない。
それから、口を挟むこと(割り込み)の問題もある。人と話すときなら、話を続けさせるために「うん」と相槌を打ったり、相手がおかしな方向に行きかけた瞬間に「いや待って、そうじゃなくて」と口を挟んだりできる。だがチャットでは、メッセージを最後まで書いて送信し、相手の返答が全部生成されるのを待ち、終わって初めて誤解されていたことに気づく。見当違いな内容について、AIが自信満々に600語も書き連ねていくのを眺めたことがある人なら、この気持ちがよくわかるはずだ。
英語じゃなかったらどうなのか?
英語はピッチ(声の高低)を主に態度や感情を表現するために使う。だからこそ、書き言葉にすると失われるものが非常に多い。他の言語ではその境界線がまったく別のところに引かれていて、正直かなり興味深い。
中国語(北京語)では、ピッチは単語そのものの一部だ。平らに発音する mā は「妈」(母)。上がる má は「麻」(アサ)。下がって上がる mǎ は「马」(馬)。下がる mà は「骂」(叱る)。同じ音節で4つの異なる単語になり、違いは声のトーンの変化だけだ。だが文字にするとそれぞれ別の漢字が割り当てられるため、この違いは保持される。言語学者のYuen Ren Chaoはこれを極限まで突き詰め、「Lion-Eating Poet in the Stone Den」(施氏食獅史)という詩を作った。すべての音節が何らかの shi だけで構成されている。冒頭は「石室诗士施氏,嗜狮,誓食十狮」(Shíshì shīshì Shī Shì, shì shī, shì shí shí shī)で始まる。石室に住む施という詩人がいて、ライオンが大好きで10頭食べることを誓った、という内容だ。漢字で読めば意味が通る。だが声に出して読むと、段落丸ごと shi shi shi shi になって誰もついていけない。
アラビア語はその逆だ。短母音は普段まったく表記されないため、「كتب」は子音の k-t-b だけで構成される。母音記号を補うと、كَتَبَ(kataba、彼は書いた)、كُتِبَ(kutiba、それは書かれた)、あるいは كُتُب(kutub、本)のどれにでもなり得て、流暢な読者は文脈から考えるまでもなく適切な読み方を補う。
また、話し言葉は言語によって情報の詰め込み具合(密度)も異なる。Science Advancesの2019年の研究が17の言語を比較したところ、スペイン語や日本語のように話す速度が速い言語は1音節あたりの情報量が少なく、ベトナム語のように遅い言語は1音節あたりの情報量が多いことがわかった。そして結果として、どの言語も1秒あたり約39ビットの情報を伝達しているという。
つまり、あらゆる文字体系は、何を残して何を読み手の解釈に委ねるかの取捨選択を行っている。中国語は声調を文字の中に保持する。アラビア語は母音を省いて文脈の判断を読み手に任せる。英語はすべての文字を残す一方で、強勢やトーンを完全に捨て去り、読み手に推測させるのだ。
タイピングはそもそもちょっと遅い
私が見つけられた最大のタイピング調査では、1億3600万回のキーストロークを分析しており、平均速度は1分間に52単語、1秒あたり約1トークンだった。しかもこれは、タイピングテストに自ら進んで参加した人たちの記録だ。一方で発話は1分間に約150単語、1秒あたり3トークン強になる。通信の向こう側にいるモデルは、1秒あたり50〜200トークンで返信を書いてくる。つまり、ループ全体の中で最も遅い部分は人間の指なのだ。
毎秒約1トークン
毎秒約3トークン
100として表示
タイピングが速い人はそれでいい。だが、大半の人は速く打てないし、快適に入力できない人も大勢いる。子ども、高齢者、運動機能に障がいのある人、文字を書くよりも声で話すほうが得意な人たちだ。誰もが、文字を書く何年も前に話すことを覚える。キーボードの前にかじりついて暮らしているような人たちだけでなく、もっと多くの人にAIを使ってもらいたいなら、音声が有力な入り口になるのは明らかだ。
じゃあ音声を使えばいいんじゃないの?
厄介なのは、多くの音声モードがいまだにトーンを捨て去っていることだ。話した内容をテキストに文字起こしし、そのテキストをモデルに送り、返ってきた回答を音声で読み上げる。最初のステップで強勢が消え去り、無駄な手順が増えただけの小さな入力ボックスに逆戻りだ。
音声を直接受け取るモデルならもっとうまくいくはず、と思うだろうか。StressTestという2025年の論文が、まさに冒頭のような例文を使って検証したところ、ほとんどの音声モデルはどの意味が意図されたかを当てずっぽうよりわずかにマシな程度でしか判別できなかった。gpt-4o-audioは59%だった。最も優秀だったGemini 2.5 Proで78%、人間は93%だった。つまり、モデルが文字通りあなたの声を聞くことができたとしても、どの単語を強調したのかは判別できないことが多いのだ。
で、何が問題なのか?
しばらくの間、これは大した問題ではなかった。チャットボットが意図を読み違えて頓珍漢な答えが返ってきても、あきれ顔で聞き直せば済んでいた。
だが、もうそういう時代ではない。アシスタントはコードを編集し、プルリクエストを開き、メールを送信し、何時間も自律して動く。私自身もそういったものを開発していて、floccはissueを拾い上げ、人間を介さずに自律して作業を進める。そうしたものが指示を読み違えた場合、下手な文章が生成されるだけでは済まない。ファイルが書き換えられたり、実際にメールが送信されたりしてしまう。
例えば、エージェントが大規模なリファクタリングを進めてよいか尋ねてきて、あなたが「ok fine」と入力したとする。もしそれが「賛成」の意味なら問題ない。だがもし「これ以上議論するのも疲れた」という意味だったなら、おそらく作業を止めてほしかったはずだ。しかし、その2語のテキストにはそれを伝える要素が何一つない。
テキスト入力を無くすべきだと言っているわけではない。送信前に推敲できるし、じっくり時間をかけられるし、静かな場所でも使える。それに、機械に自分の感情まで読み取られたくないときだってある。それはもっともなことだ。
だが、こうしたシステムに自分の代わりに行動させるのであれば、言葉以上のものが必要になる。単に「yes」と言ったという事実だけでなく、どのように「yes」と言ったのかを聞き取る必要があるし、途中で話を遮ることもできるようにすべきだ。そして、7つのうちどの意味なのか本当にわからないときは、人間と同じように聞き返してくるべきなのだ。