Qwen 3.8 が GPT-5.5 Pro の推論プレフィルで回答一致率 +20.58 ポイント
Qwen 3.8 follows GPT-5.5 Pro reasoning prefills
オープンモデルに対する推論プレフィル実験の v1.1 版。GPT-5.5 Pro を教師とし、各モデルの回答冒頭に教師の推論の最初の 1% を挿入した場合の影響を測定した。Qwen3.8 A95B は、プレフィルなしの 33.92% から 54.50% へと +20.58 ポイントの大幅な向上を示し、特に STEM 問題で +27.55 ポイントと顕著だった。一方、DeepSeek V4 Flash や Inkling はほぼ変化なし。この結果から、Qwen は Opus ではなく GPT-5.5 Pro 系列から学習している可能性が示唆される。
データは、Qwen が Opus ではなく GPT-5.5 Pro（またはそれに密接に関連する GPT モデル）から学習した可能性を示唆している。
HNでの議論
81- wongarsu
その文体はちょっと硬すぎるかもしれない
もし私の理解が正しければ（https://stolen-thoughts.com/paper.pdf のBを付録することが不可欠）、彼らはOpenAIとAnthropicのモデルから可読なCoTを復元する有名なエクスプロイトの著者たちだ。彼らはそれを使って蒸留の痕跡を見つける。つまり、SotAモデルでベンチマークを実行し、CoTを復元し、そのCoTの最初の1%を取って、それをあたかも自身のCoTの開始点であるかのようにオープンソースモデルに実行させる。論文では、Kimi-K3がClaude 4.8の推論の開始部分でプレフィルされるとClaude 4.8の回答にはるかに近づくことを発見し、Claude 4.8がそのポストトレーニングに使われたことを示唆している。このブログ記事はそのフォローアップで、Qwen3.8がGPT-5.5 Pro（あるいは同様の応答をするGPTモデル、いくつのモデルをテストしたかは不明）の助けを借りてポストトレーニングされたことを示唆する結果が報告されている。
- nzeid
QwenとGPTのこの重複は不正なトレーニングや事後トレーニングによるものだというコメントを見かける。もしかして、この2つのモデル群は研究者のベンチマークに対する同じ解答で直接トレーニングされたのではないか、と誰か思いつかなかったのだろうか？
- c7b
生の推論トークンにアクセスできるとは知らなかった。得られるのは要約のようなものだと思っていた。著者は何か特権的なアクセスを持っているのか、それとも私の想定が間違っていたのか？
しかし、ここで研究されている問題にとってはおそらく関係ない——公開されている出力の重複は、それが何であれ、蒸留の指標になるかもしれない（ならないかもしれない）。ただ、中国のラボがそれをそんなに信頼して使うのは驚きだ。公開された推論トレースは、蒸留ポイズニングが注入される最初の場所だと私なら疑う。
- 7734128
これの問題は明らかに、我々がアクセスできるGPT 5.5の思考が盗まれた思考からのものだけだということだ。
Qwen 3.8 0902は8月10日の論文公開後にトレーニングされたので、それらの特定の思考を見ているはずだ。
- hermitShell
ローカルモデルのユーザーとして、これは一部のローカルモデルの性能を向上させることができる「魔法の呪文」があるということなのか？
何らかの技術で情報を復元することについての詳細は目にする。興味深いが、一般化されているようには見えない。
つまり、特定の質問に対してはそうだが、これはオープンモデルの特定のタスクでの性能を一般的に向上させる良い埋め込みを追加するような技術の話ではない。