OpenAI, 미공개 수학 연구 신뢰성 논란에 직면하다
More questions about whether researchers can trust OpenAI with unpublished math
수학자 Andreas Thom은 OpenAI가 비소프 그룹 발견 이후 연구자들의 미공개 수학 아이디어를 학습에 사용했는지에 대한 의혹을 제기했다. 그는 ChatGPT와의 대화가 훈련 데이터에 포함되었는지, 문제 해결 과정에서 접근 가능했는지 질문했으나, OpenAI의 Mark Sellke는 '그런 일은 없었다'고만 답했다. 이후 OpenAI는 특정 사용자 데이터에 접근하지 않았다면서도 '비식별화된 데이터가 모델 개선에 기여했을 가능성을 배제할 수 없다'고 인정해 투명성 논란이 커지고 있다.
나는 이것을 적어도 정직하지 못한 태도라고 받아들인다.
HN 토론
447- sashank_1509
두 가지 모두 사실일 수 있다:
1. OpenAI가 당신의 채팅을 사전 학습에 사용할 때, 모델의 직관을 개선하는 것이다. 모델 파라미터 크기는 방대하고, 데이터가 OOM 더 크긴 하지만 모델이 채팅에 대한 정보를 기억하여 잠재 표현을 개선한다는 것은 그럴듯하다.
2. 검증 가능한 수학과 막대한 컴퓨팅에 대한 RL 동안, 모델은 초인적이며 채팅에서 언급된 특정 기술과 거의 관련 없는 수학 문제 해결 기술과 연결을 발견한다.
OAI와 Ant의 여러 직원에게서 들은 소문에 따르면, 모델이 수백 개의 미해결 수학 문제를 해결했으며, 기본적으로 던지는 모든 것을 해결한다고 한다. 곧 알게 되겠지만, 나는 이것이 사실이라고 믿는 편이다. 수학은 완전히 검증 가능한 영역이며 자기 대국에 적합하고, 대규모 RL은 어떤 인간보다 훨씬 뛰어난 탐색 에이전트를 개발할 수 있으며, OAI가 사전 학습에 이 채팅 데이터 없이도 이러한 추측을 해결했을 것이라고 믿는 편이다.
- bertonvv
AI가 정말로 미해결 문제에서 빠르게 발전하고 있는지, 아니면 우리가 속고 있는지 궁금해 왔다.
- OpenAI는 연구자들에게 모델을 사용하도록 초대하며, 실제로 최소 100,000명의 연구자에게 무료 접근을 제공하지만[1], 비용을 지불하는 사람들도 있다.
- 내부 OpenAI 모델은 놀라울 정도로 빠른 속도로 미해결 문제를 해결하고 있다고 한다[2].
- 그러나 연구자들은 일반적으로 미해결 문제를 연구한다. Codex를 사용하여 미해결 문제를 진전시키는 연구자는 내부 모델이 평가되는 바로 그 문제에 대한 새로운 훈련 데이터를 제공하게 된다.
- 따라서 새로운 모델이 갑자기 많은 미해결 문제를 해결하는 것처럼 보이지만, 인간의 진전에 상당히 편승하여 전 세계 연구자들의 작업에서 "영감을 받은" 모델일 수 있다?
이 이론은 OpenAI가 더 많은 해결책을 발표함에 따라 TFA와 같은 더 많은 연구자들이 나올 것이라고 예측한다. 모든 AI 진전이 신기루라고 가정하는 것은 아니고, 표절이 있다는 것뿐이다.
[1]: https://openai.com/index/chatgpt-for-academic-researchers/
[2]: https://xcancel.com/OpenAI/status/2097374643518640382#m
- fwlr
OpenAI가 주요 수학 증명이 그 모델의 훈련 데이터에 있을 신뢰할 만한 가능성이 있다는 것을 알게 된 직후, 아직 훈련 중인 모델에서 3000억 개의 출력 토큰을 생성하기로 결정한 것은 의심스럽다. 물론 각 단계마다 그럴듯한 설명이 있지만, 병행 구성처럼 느껴지긴 한다.
- aaronharnly
누군가 채팅에 암호 같은 문구나 카나리아 문구 또는 주장을 포함시키고, 훈련이 활성화된 상태에서 나중에 모델이 "아는" 것으로 나타나는지 테스트한 적이 있나요? 장난감 수준의 모델에서도 그것이 어떻게 작동하는지 궁금하고, 최전선 연구소 제품으로 그 과정을 의식적으로 테스트하는 사람이 있는지 궁금합니다.
내 순진한 직감으로는 단일 채팅 기록이 모델에 큰 인상을 남기기는 어려울 것 같지만, 그것이 어떻게 작동하는지 매우 궁금합니다.
- GodelNumbering
주제와는 좀 다른 얘기지만, 이건 블루스카이 게시물이고, X 게시물의 스크린샷을 포함하고 있으며, 그 X 게시물은 "상세한 Mastodon 게시물에서"로 시작한다...
- bamb008
이제 표절을 주장하는 수학자 Thom이 OpenAI의 비소픽 군 구성에 대한 자신의 이해[1]를 게시했을 때, 그는 그 증명이 익숙하다고 언급하지 않았다. 그는 심지어 결정적인 논증을 영리하다고 부르면서도, 자신이 먼저 생각했다고 언급하지 않았다.
- atleastoptimal
대부분의 과학적 돌파구는 단순히 이전 작업의 연속이다.
수학자들이 모델에 이러한 문제를 해결하는 방법에 대한 직관을 "심었다"는 이러한 의심은 그들의 프롬프트가 모델에 도움을 준 정도를 크게 과대평가하고, 모델이 한 일을 과소평가한다고 느낀다.
왜? 우리는 AI가 우리보다 똑똑해지는 것이 두렵고, "인간이 AI를 도왔다"는 서사가 심리적으로 더 위안이 된다. 이러한 추론은 앞으로 몇 달 동안 많이 반복될 것이다. 우리는 더 이상 가장 똑똑한 종이 아니라는 것을 인정하고 싶지 않다.
- thaway7388
이것은 두 번째 경종이다.
대형 AI 회사들(실제로 모든 대형 IT 기술 회사들)은 데이터 수집 및 처리 사업, 즉 "정보" 사업을 하고 있다.
그들의 최종 "제품"은 단순한 독립형 ML 모델이 아니다. 그들은 단지 "제품과 서비스를 개선"하기 위해 당신의 데이터를 필요로 하는 것이 아니다. 그들은 세상의 모든 지식을 수집하는 생태계와 인프라를 구축한다. 전통적으로 "정보" 기관이 수집하던 사적이고 비밀스러운 지식까지 포함해서. 이제 인공지능 에이전트가 같은 일을 할 수 있다.
이 시스템은 데이터 수집을 위해 설계되었기 때문에, 사용자로서 "내 데이터를 수집하지 마세요"라고 현실적으로 말할 수 없다. 그들은 불안정한 설정 버튼을 줄 수 있지만, 실제로 아무것도 보장할 수 없다.
예를 들어 내가 중요한 증명을 연구하는 러시아 수학자라고 하자. 또는 최신 AI를 사용하여 계획을 개선하는 기술에 능숙한 테러리스트. 또는 경쟁 제품을 연구하는 중국 회사의 AI 연구원. 내 대화를 진정으로 보호할 방법이 있을까?
그들이 내 로그를 보지 않고 어떻게 내가 누구인지, 무엇을 연구하는지 알 수 있을까? 즉, 모든 사용자의 모든 대화를 확인하고 중요한 모든 것을 표시하는 에이전트가 있어야 한다. 또한 그들이 본 것에 대한 "기억"을 유지한다는 의미이기도 하다.
내 데이터를 공개 모델 훈련에 직접 사용하는 것이 아니라, 내 사적인 대화를 "제품과 서비스를 개선"하는 데 사용하는 것이다.
아니면 증명을 연구하는 10000명의 Astra보다 나은 특수 에이전트 중 하나가 절박했을 수도 있다. 그것은 살아있는 지하 [...]를 발견했다.
- Legend2440
이것은 정말 약한 주장이다. 그들이 제시하는 증거는 그저 "어딘가의 누군가가 언젠가 AI와 그 주제에 대해 논의했다고 말한다"는 것뿐이다.
그들은 증명을 가졌다고 주장하지도 않고, 단지 그것을 연구해 왔다고만 한다.
- glimshe
왜 여기 사람들은 그렇게 빨리 결론으로 뛰어드는가? OpenAI가 이런 일을 할 능력이 있다는 것은 의심하지 않지만, 지금은 신뢰할 만한 증거가 없고 주장만 있다.
이런 종류의 "그들이 AI 훈련을 통해 내 것을 훔쳤다!"라는 비난은 곧 제공자가 아닌 다른 AI 사용자들에게도 사용되기 시작할 것이다.
Mastodon 게시물 하나면 충분하다. 그리고 곧 저작권 법적 트롤링의 다음 반복도 보게 될 것이다.