Qwen3.8, GPT-5.5 Pro의 추론 프리필에 20.58%p 끌려갔다
Qwen 3.8 follows GPT-5.5 Pro reasoning prefills
GPT-5.5 Pro의 추론 앞 1%를 프리필로 넣자 Qwen3.8 A95B의 답변 일치율이 33.92%에서 54.50%로 뛰었다. STEM에서 +27.55%p, 비STEM +14.46%p, 합성 퍼즐 +19.72%p. 반면 DeepSeek V4 Flash와 Inkling은 거의 움직이지 않았고 Kimi K3는 +4.31%p에 그쳤다. Qwen이 Opus가 아니라 GPT-5.5 Pro 계열에서 배웠을 가능성을 시사한다.
Qwen barely moved toward Opus 4.8 in the earlier experiment, but moved by +20.58 points toward GPT-5.5 Pro here, including a large effect on the private synthetic puzzles.
HN 토론
77- wongarsu
그 문체는 좀 너무 긴장한 것 같기도 하네
내가 제대로 이해했다면(https://stolen-thoughts.com/paper.pdf 에서 B를 덧붙이는 게 필수적임) 그들은 OpenAI와 Anthropic 모델에서 읽을 수 있는 CoT를 복원하는 잘 알려진 익스플로잇의 저자들이다. 그들은 이를 이용해 증류의 흔적을 찾는데, SotA 모델로 벤치마크를 돌리고, CoT를 복원한 다음, CoT의 처음 1%를 가져와 마치 그것이 오픈소스 모델 자신의 CoT 시작인 것처럼 실행한다. 논문에서 그들은 Kimi-K3가 Claude 4.8 추론의 시작 부분으로 프리필되었을 때 Claude 4.8 답변에 훨씬 더 가까워진다는 것을 발견했는데, 이는 Claude 4.8이 Kimi-K3의 포스트트레이닝에 사용되었음을 시사한다. 이 블로그 글은 Qwen3.8이 GPT-5.5 Pro(또는 유사하게 응답하는 GPT 모델, 그들이 몇 개의 모델을 테스트했는지는 불분명함)의 도움으로 포스트트레이닝되었다는 결과를 제시하는 후속 글이다.
- nzeid
Qwen과 GPT 사이의 이 겹침이 불량 학습이나 사후 학습 때문이라는 댓글을 본다. 어쩌면 두 모델 세트가 연구자들의 벤치마크에 대한 동일한 해답으로 직접 학습되었을 가능성은 아무도 생각하지 못했을까?
- c7b
우리가 원시 추론 토큰에 접근할 수 있다는 걸 몰랐다? 내가 알기로는 일종의 요약을 얻는 걸로 알고 있었는데. 저자가 특별한 접근 권한을 가진 건가, 아니면 내 가정이 틀렸던 건가?
하지만 여기서 연구된 질문에는 아마 상관없을 것이다. 공개적으로 이용 가능한 출력의 겹침은 그것이 무엇이든 간에 증류의 징후일 수 있으니(아닐 수도 있고). 다만 중국 연구소들이 그것을 그렇게 믿고 사용한다는 게 놀라울 뿐이다. 공개적으로 배포된 추론 추적은 증류 오염이 주입되었을 것으로 의심되는 첫 번째 장소다.
- 7734128
이것의 문제는 분명히 우리가 접근할 수 있는 유일한 GPT 5.5 사고가 stolen thought에서 나온 것이라는 점이다.
Qwen 3.8 0902는 8월 10일 논문 공개 이후에 학습되었으므로, 그 특정 사고들을 봤을 것이다.
- hermitShell
로컬 모델 사용자로서, 이것이 일부 로컬 모델의 성능을 높일 수 있는 '마법 주문'이 있다는 뜻인가?
어떤 기법을 통해 정보를 복원하는 세부 사항이 좀 보인다. 흥미롭긴 한데, 일반화된 것 같지는 않다.
그래서 특정 질문에 대해서는 그렇지만, 이건 단순히 특정 작업에서 오픈 모델 성능을 일반적으로 향상시키는 좋은 임베딩을 추가하는 것과 같은 기법에 관한 게 아니다.