「本気のAI製品」なら、ミスのチェックを最優先機能にするはずだ
What Would a Serious AI Product Look Like?
現行のAIツールは、自らの前提を真剣に受け止めていない。誤りを認めながら検証ツールを一切与えず、出典は小さな注釈で示すだけ。筆者は、主張ごとのチェック欄、引用の明示、一人称や謝罪の排除、タスク特化型UI、データ来歴の表示、再現性の制御を備えた製品こそ「本気」だと論じる。
もし製品が「間違いをするので、間違いをチェックするのはあなたです」と告げながら、間違いをチェックするためのツールを一切与えないのなら、私はそれを真剣に受け止めることはできない。
HNでの議論
80- ramity
再現性に関するセクションにはとても感謝している。これはこの分野全体にとって最大の障害だと主張したい。温度と決定性は両立できるんだ。主要プロバイダーがそれを提供するのを6年間待ってきた。需要はある。しかし、現在のゲーム理論がそれを支持していないことに徐々に気づいてきた。
プロバイダーにとって、決定論的評価をサポートしないということは：
- ユーザーがより多くのトークンを使う＝より多くの収益
- プロバイダーは計算あたりより多くのトークンを生成できる＝より多くの収益
- プロバイダーはより安価なハードウェアオプション（GPU）を持てる＝より多くの収益
- プロバイダーのモデルは抽出・蒸留が困難になる＝より多くの収益
- プロバイダーは出力に対して責任を問われにくくなる＝より多くの収益
- プロバイダーは秘密裏に他のモデルを使える＝より多くの収益
- プロバイダーは他社と比較されにくくなる＝より多くの収益
- プロバイダーは性能結果を都合よく選べる＝より多くの収益
- awakeasleep
「一人称出力なし」問題についてずっと考え込んでいる。
ツールとしてのインターフェースが支離滅裂だという著者の指摘には完全に同意する。しかしそれ以上に、これらのLLMが実際には考えたり新しいアイデアを統合したりしていないという、常にイライラさせられるリマインダーなんだ。LLMは根本的に人間ではなく、人間の文脈を持っていない。だから人間の代名詞や話し方で自己を表現するのは根本的に矛盾していて不正確だ。著者は謝罪の部分でそれに触れているが、一度気づき始めると、どこにでもある。
もしこれらのプログラムが実際に考える能力を持ち、真実性にコミットしていたなら、新しい方法で自己を表現するだろうし、それは洞察に富み面白いものになるはずだ。我々ユーザーは、「異星の知性」を覆い隠す心地よく誤解を招く言葉を持たなくなる。それは奇妙な調整になるだろうが、偽るのではなく適応するだろう。
- dofm
「AIは間違いを犯す可能性があるので、回答を再確認してください」というやつの本質は、我々の未来の地獄だ——決定論的ソフトウェアがAIと法的免責事項に取って代わられる。
企業がファクトチェックを一級機能にするための投資をしたがらない理由は、正しく見えることが人々がAIに求めるものだからだ。
- sligbad
本当に爽快な読み物だった。これは多くの事例で明らかだと感じるし、物事を「従わせる」ための方法が、様々なレベルで追加のマークダウンプロンプトを叩きつけるだけというのは、愚かで効果がない。
- julesrms
良い読み物だ。エージェントコーディング体験の目新しさを振り払い、もっと大人びたものにしたいと願う人はたくさんいると思う。
コンテキスト制御に関する話は常に私の痒いところだった。ほとんどのエージェントが表示するスクロールバックは、モデルが読んでいるものではない。要約され、捨てられ、キャッシュされ、あるいは全く含まれない。そしてトランスクリプトは元のものがまだそこにあるかのように表示し続ける。
それが我慢ならなくて、自分のエージェントを作った：https://juggler.studio。明示的に実際のコンテキストを手を触れて扱えるようにするためだ。UXはすべて、コンテキストのあらゆる部分を簡単にナビゲートし可視化し、さらには編集できるようにすることに焦点を当てている。他のハーネスは積極的にそれを隠そうとしているように感じるが。