AIは知識より「型」を選ぶ — 10モデルが同じ的外れ回答を返した実験

When AI Knows More Than It Can Offer

文学翻訳者が出版社に営業するための計画を10のAIに尋ねたところ、どれもブログ運営や個人ブランド構築という定番のマーケティング案を返した。知識はあるのに、目の前の専門的課題を統計的に馴染み深い別の課題へすり替えてしまう。RLHFなど評価の偏りが、表面的に立派な回答を強化している可能性を指摘する。

幻覚ではモデルは情報を誤って報告するかもしれないが、ここでは自分が果たすべき仕事とは何かを誤って判断している。
  1. windyVector

    ここでコメントしたいと本当に思ったのは初めてですが、すごく興味深い記事ですね。

    制限付きモデルと制限なしモデルの両方を試したことがありますが、解決策があると分かっているクエリでも、制限付きモデルでは「ゲート」されているように感じることがあります。単に「それは答えられません」と言うのではなく、記事で議論されている内容に非常に沿った、似ているが少し違う質問に答えるのです。私には、これはRLがこうした「それはできません」というタイプの応答を避けつつ、アラインメントを保とうとする欠陥のように思えます。

    解決策を迫ると、モデルはしばしばより防御的になり始めますが、その認識を明かします(「はい、分かっていますが、あなたに言う/やることはできません」といった具合に)。与えられたクエリに対してモデルが持つかもしれない解決策のうち、このプロセスによって(意図的にせよ意図せずにせよ)ゲートされてしまうものがどれほどあるかを想像するのはとても興味深いです。

    この「ほとんど答える」という振る舞いが、こうしたアラインメントポリシーから単に創発するものなのかどうか見てみたいです。

    後で制限なしモデルを試してみてください。それが創造性をどう変えるかにも興味があります。

  2. saghm

    今週、仕事で初めて制限に遭遇しました。ここ数ヶ月、ブラウザで動くWASMコードで数回発生したバグ(ただし直接再現できたことは一度もない)を解明しようとしていました。どういうわけか、localhostセッションのChromeコンソールログを共有し、それが私が作ったローカルビルド(リリースモードだがデバッグ情報付き)を見たことの組み合わせがセキュリティブロックを引き起こし、会話中のどんなことにも包括的なセキュリティ警告以外で応答しなくなりました。イライラして、別の会話で次にバグが発生したときに少なくともより多くの情報が得られるようにコードに診断を追加するだけでもやってもらおうとしましたが、どうやらローカルの状態が汚染されていたのか(最初の会話から保存されたコンテキストを読んでいたのかもしれません)、それすら同じブロックに遭いました。

    OpenAIのサポートに連絡してみました。私の会社が文字通りこの製品にお金を払っていて、自分のローカルコードをデバッグし自分のローカルログを読むことが誰かにとって不安全であり得る理由は全くないという事実を期待して。しかし数日経ち、返ってきたのは「Justin」と名乗る人物からの、どう聞いても本物の人間とは思えない役に立たないメールだけでした:

    > あなたはChromeログを添付したので、Codexはあなたの会社のWebAssemblyビルドで関連するエラーを見つけることができました。抜粋を引き出すという私の以前の提案は、あなたがやろうとしていた作業をあなたにさせるものでした […]

  3. evolarjun

    多くのコメンテーターがそうであるように、問題に対する不正解の解決策への私の反応は基本的に「当然だ、それが彼らのやることだ」でした。しかし実際には、プロンプトが何をしようとしているのかについてさらに読み、より多くを知るまでは、必ずしもそう気づかなかったでしょう。

    しかし、これは私が生物学者としての仕事で見てきた、はっきりと言語化したことのなかったパターンの合理的な説明だと思います。私たちのほとんどは、不適切または一般的な回答を回避して探している答えを得るようにプロンプトすることを学んでいると思いますが、そうすることを知っている必要があります。そして時には、LLMが聞き入れずに失敗し、イライラして自分でやるだけのこともあります(ただし最新のフラッグシップモデルではあまりそうではありません)。

    著者が説明する問題は、その分野でLLMを扱う人々にとってはおそらく予期せぬことではないでしょう。しかし、よく知らない領域で何かをプロンプトする際には心に留めておく価値のある問題であり、カジュアルユーザーだけには必ずしも理解されないかもしれません。解決策はあるかもしれませんが、実際の人間も質問を理解せずに別の質問に答えることは常にあるので、解決策があることを願っています。

  4. slfnflctd

    私は納得していません。ほとんどの場合、この問題の解決策は結局のところ、より詳細なプロンプティングに帰着するように思えます。

    私の見方では、ガードレールが組み込まれていることについての懸念の方がはるかに大きく、おそらく情報に疎い政府関係者の要請で、複数の広範な知識カテゴリを不必要に隔離しているのです。この投稿はそれについてだと思っていました。

  5. garrickvanburen

    この分野における私の懸念の一つを見事に言語化しています:そう、インターネットの平均が欲しい時もあります。しかしそんな時は稀です。

この日のほかの記事

2026-11-18