OpenAIは未公開の数学を信頼できるのか、研究者が疑問を呈する
More questions about whether researchers can trust OpenAI with unpublished math
数学者Andreas Thomは、OpenAIの非sofic群に関する発表後、未公開の数学的議論が訓練データや推論プロセスに使われた可能性を指摘。OpenAIは「特定のユーザーデータにはアクセスしていない」としつつも、匿名化データがモデル改善に寄与した可能性を否定できないと回答。Thomはこれを「少なくとも不誠実」と批判し、研究者の信頼問題に発展している。
私はこれを少なくとも不誠実だと受け止めている。OpenAIは今、Buckmaster-Alpögeの件で「特定のユーザーデータにはアクセスしていない」と述べつつ、「彼らの製品利用から派生した匿名化データがモデル改善に役立った可能性を否定できない」と付け加えている。
HNでの議論
447- sashank_1509
両方とも真実であり得る：
1. OpenAIがあなたのチャットを事前学習に使うとき、モデルの直感を向上させている。モデルのパラメータサイズは巨大で、データは桁違いに大きいが、モデルがチャットに関する情報を記憶し、潜在表現を改善している可能性は十分にある。
2. 検証可能な数学と大規模計算によるRLの間、モデルは超人的な数学問題解決の技術と関連性を発見し、チャットで言及された特定の技術とはほとんど関係がない。
OAIとAntの複数の従業員から聞いた噂では、モデルは数学の何百もの未解決問題を解決し、基本的に投げられたものは何でも解いているという。すぐにわかるだろうが、私はこれが真実であると信じる傾向がある。数学は完全に検証可能な領域で自己対戦に適しており、大規模なRLは人間よりはるかに優れた探索エージェントを開発できる。そしてOAIは事前学習にこのチャットデータがなくてもこれらの予想を解決していただろうと私は信じる傾向がある。
- bertonvv
AIが未解決問題で本当に急速に進歩しているのか、それとも騙されているのか疑問に思っていた。
- OpenAIは研究者にモデルの使用を招待し、実際に少なくとも10万人の研究者に無料アクセスを提供している[1]が、有料のものもある
- OpenAIの内部モデルは驚くほど速いペースで未解決問題を解決していると報じられている[2]
- しかし研究者は通常、未解決問題に取り組む。Codexを使って未解決問題で進展を遂げている研究者は、内部モデルが評価されるまさにその問題に関する新鮮な訓練データを提供していることになる。
- したがって、新しいモデルが突然多くの未解決問題を解決しているように見えても、それは人間の進歩に大きく便乗している可能性があり、モデルは世界中の研究者の仕事に「触発」されているのかもしれない？
この理論は、OpenAIがさらなる解決策を発表するにつれて、TFAのような多くの研究者が名乗り出るだろうと予測する。AIの進歩がすべて蜃気楼だとは仮定せず、盗用があるとだけ仮定している。
[1]: https://openai.com/index/chatgpt-for-academic-researchers/
[2]: https://xcancel.com/OpenAI/status/2097374643518640382#m
- fwlr
OpenAIが、主要な数学的証明がそのモデルの訓練データに含まれている信頼できる可能性があると知った直後に、まだ訓練中のモデルから3000億の出力トークンを生成することを決めたのは怪しい。明らかに各ステップにはもっともらしい説明があるが、並行構築のように感じられる。
- aaronharnly
誰か、訓練を有効にしたチャットにシボレスやカナリアフレーズ、または主張を含めて、後でモデルが「知っている」ものとして出てくるかどうかをテストした人はいるだろうか？おもちゃレベルのモデルでもこれがどう機能するかに興味があるし、フロンティアラボの提供物でこのプロセスを意識的にテストしている人がいるかどうかも。
私の素朴な直感では、単一のチャット記録がモデルに大きな印象を残すことはありそうにないと思うが、それがどう機能するか非常に興味がある。
- GodelNumbering
本題から外れるが、これはBlueskyの投稿で、Xの投稿のスクリーンショットを含み、それ自体が「詳細なMastodonの投稿で」で始まっている…
- bamb008
今や盗用を主張している数学者Thomは、OpenAIの非ソフィック群の構築についての彼の消化[1]を投稿したとき、証明に見覚えがあるとは言及していない。彼は決定的な議論を巧妙と呼び、自分が最初に考えたとは述べていない。
- atleastoptimal
ほとんどの科学的ブレークスルーは単に以前の仕事の継続に過ぎない。
数学者がモデルにこれらの問題を解く直感を「植え付けた」という疑念は、彼らのプロンプトがモデルをどれだけ助けたかを大幅に過大評価し、モデルが行った仕事を過小評価していると感じる。
なぜか？我々はAIが自分より賢くなることを恐れており、「人間がAIを助けた」という物語の方が心理的に心地よい。この推論は今後数ヶ月で何度も繰り返されるだろう。我々はもはや最も賢い種ではないことを認めたくないのだ。
- thaway7388
これは2度目の目覚ましだ。
大手AI企業（実際には大手ITテック企業すべて）はデータ収集と処理のビジネスにいる。別名「インテリジェンス」。
彼らの最終的な「製品」は単なるスタンドアロンのMLモデルではない。彼らはあなたのデータを「製品とサービスを改善する」ためだけに必要としているわけではない。彼らは世界中のすべての知識を収集するためのエコシステムとインフラを構築している。伝統的に「インテリジェンス」機関が収集してきた私的で秘密の知識も含めて。今や人工知能エージェントが同じことができる。
これらのシステムはデータ収集のために設計されているため、ユーザーとして「私のデータを収集しないでください」と現実的に言うことはできない。彼らは不安定な設定ボタンを与えることはできるが、実際には何も保証できない。
私が重要な証明に取り組むロシアの数学者だとしよう。あるいは最新のAIを使って計画を洗練させる技術に詳しいテロリスト。あるいは競合製品に取り組む中国企業のAI研究者。私の会話を真に保護する方法はあるだろうか？
彼らは私のログを見ずに、私が誰で何に取り組んでいるかをどうやって知ることができる？つまり、すべてのユーザーのすべての会話をチェックし、重要なことをすべてフラグ立てするエージェントが存在しなければならない。それはまた、彼らが見たものの「記憶」を保持していることを意味する。
私のデータを直接公開モデルの訓練に使うのではなく、私的な会話を「製品とサービスを改善する」ために使う。
あるいは、証明に取り組む1万のAstraより優れた特別エージェントの1人が必死だったのかもしれない。それは生きた地下を見つけた[…]
- Legend2440
これは本当に弱い主張だ。彼らが提供する証拠は「どこかの誰かが、ある時点でAIとそのトピックについて議論したと言っている」だけだ。
彼らは証明を持っていたとは主張しておらず、単にそれに取り組んでいたとだけ主張している。
- mlazos
企業や研究者がこれらのAIラボと重要なデータを共有するのは私には狂気の沙汰だ。あなたは基本的に彼らにあなたの秘密のソースを渡し、彼らはそれを会話の訓練を通じてあなたの競合他社すべてと共有する。同時に、フロンティアにわずかに劣るローカルLLM以外に代替手段を本当に知らない。数学がどれほど得意かはわからない。