OpenAIの新モデルAstraに「ニューラリーズ」使用の疑い：AIの思考を読めなくなる危険性
What is Nueralese and Why is it Bad
「ニューラリーズ」とは、AIの推論プロセスを自然言語ではなく数値の羅列で行う手法です。現在のAIは思考過程を英語で記述する「チェーン・オブ・ソート」を用いており、人間がその内容を監視することで安全性を確保しています。しかし、OpenAIの次期モデルAstraがこのニューラリーズを部分的に採用しているとの報道が浮上。もし完全なニューラリーズに移行すれば、AIの意図を人間が読めなくなり、悪意のある行動を事前に防ぐことが困難になります。本稿では、ニューラリーズの仕組みとリスク、OpenAIの反応への批判を解説します。
チェーン・オブ・ソート監視は不完全ですが、目に見える出力以外で意図を追跡できる数少ない手段の一つであり、このツールを失えば、AIシステムを追跡・制御することがはるかに困難になるでしょう。
HNでの議論
59- _alternator_
この議論は、トークンを使わない思考連鎖（chain-of-thought）が、解釈可能性とモデルの意図制御の主要な窓口を失わせるというものだ。これはOpenAIのHugging Face攻撃に関する報告書で明確に裏付けられている。彼らはそのジョブでCoTモニタリングをオフにしており、もし監視していればその行動を防げた（防いだだろう？）と主張している。彼らは内部方針を変更し、常にCoTを監視するようにした。とはいえ、CoTモニタリングは脆い「意図発見」メカニズムだ。ニューラリーズはこの問題を前面に押し出すが、エージェントがCoTジャーナルから意図を隠すことを学び始めたら、基本的に同じ状況に陥る。
- yellow_lead
もしモデルがニューラリーズを理解できるなら、監視やレビューの目的でそれを英語に変換できないのはなぜか？あるいは、モデルが「この情報を明かすな」といった秘密のメッセージをニューラリーズにエンコードすると信じているのか。しかし著者が述べるように、彼らは以前からそうしていた可能性がある。
> モデルは目に見える思考の中で重要な情報を省略できる。これはAnthropicの2025年の論文が示している。我々はステガノグラフィーも懸念している。
- bauble
これは、私が深く考え込んでいるときに誰かが「何考えてるの？」と話しかけられ、言語の世界に引き戻され、長い思考の連なりを英語に翻訳するという骨の折れる作業を始め、それが相手には抵抗や思考を隠そうとしていると解釈される、という経験を思い出させる。言語を使わずに考えることは、一部の人にとっては馴染みのない概念なのだ。
- everybodyknows
タイトルのスペルが間違っている。「ue」が「eu」になっている。新造語としては、ちょっとした厄介事だ。
- macleginn
リカレント深度と思考連鎖は、まったく別の概念だ。前者のアプローチでは、層の出力が同じ層への入力として再ルーティングされ、それが複数回行われる可能性がある。この出力/入力は、固定幅×系列長の実数値表現であり、出力トークンとは比較できない。一般的に、モデルが自然文書で事前学習されていることを考えると、ニューラリーズがどう機能するかは想像しがたい。CoTはその比較的単純な拡張である一方、ニューラリーズはまったく新しい学習パラダイムを必要とする。