Qwen3.8-27B 모델 5개가 Fable 5를 LiveCodeBench Hard에서 이겼다
Memdoor: A team of 5 Qwen3.8-27B models beats Fable 5 on LiveCodeBench Hard
Memdoor 워크플로로 재구성한 GVS5H 방식은 Qwen3.8-27B 모델 5개를 역할별로 나눠 LiveCodeBench Hard 첫 10문제에서 평균 9.8점(5회)을 기록했다. 저자들의 자체 하네스(9.6점)와 Fable 5 단독(8.0점)을 앞선다. 50회 실행 중 49회 성공, 총비용 35.79달러. 다만 10문제·5회로 표본이 작고 학습 데이터 오염 가능성도 배제할 수 없다.
문제 텍스트가 불일치의 원인이었다. 우리 첫 버전은 각 문제에 자체 과제 파일을 만들었는데, 27B는 저자들의 정확한 LiveCodeBench 텍스트보다 그 파일에서 더 나쁘게 계획했다.
HN 토론
107- fedpost
우리는 로컬 모델이 하이퍼스케일러들과 경쟁력을 유지하도록 필사적으로 노력해야 합니다. 나는 영원히 그들과 그들의 변덕에 얽매이고 싶지 않습니다. Anthropic이 이제 게임 리버스 엔지니어링을 제한하면서 우리는 검열의 루비콘 강을 건너려는 참인 것 같습니다.
- roenxi
그건 꽤 흥미로운데, Bonsai 2 양자화를 사용하면 합리적인 가격의 게이밍 머신에서 Qwen 27B를 50 t/s로 실행하는 것이 꽤 가능하기 때문입니다[0]. 이는 다시 말해 약간의 영리한 하네싱으로 Fable 5 수준의 코딩 성능을 로컬에서 달성할 수 있음을 시사합니다.
비록 동일한 하네싱이 Fable의 성능도 향상시킬 것이지만요. 여기서 중요한 점은 로컬 성능의 상한선이 상당히 높을 수 있어 보인다는 것입니다.
[0] https://store.steampowered.com/hwsurvey/Steam-Hardware-Softw... 는 16GB VRAM, 32GB 시스템을 시사합니다.
- xlayn
칩에 들어간 GPU들(https://inference-docs.cerebras.ai/models/qwen-3.8-27b)을 기억하시나요? 모델을 구현한 칩이 엄청나게 빠른 속도로 실행되는... 사람들이 "왜 그게 필요한가요"라고 묻는 그런 것들이요... 만약 이게 사실이라면... 올바른 하네싱을 갖춘 그런 칩 하나만 있으면 이 행성의 모든 컴퓨터에서 Fable 같은 지능을 얻을 수 있습니다...
해피 할로윈, Tax Ramltman과 Amowhateverwayyournameiswritten...
- mkl
이것의 기반이 된 GVS5H는 일주일 전에 여기서 논의되었습니다: https://news.ycombinator.com/item?id=50228167
- yurimo
무차별 대입 접근법의 힘에 대해 할 말이 있습니다. 현재 멀티 에이전트 스케일링은 다음으로 중요한 축이 되어가는 듯하지만, 통신 프로토콜의 품질과 컴퓨트에 의해 매우 강하게 제약받고 있습니다. 하나의 모델이 개별적으로 충분히 강력하지 않더라도, 더 많은 모델과 더 많은 시도, 그리고 다양한 의견이 모델을 더 나은 해결책 분지로 밀어낼 수 있습니다.
이는 모델과 대화할 때 모델이 매우 확신에 차 있지만(틀렸음에도), 직접적으로 교정하지 않고 아마도 질문을 통해 명확히 해달라고 요청하는 효과의 일종의 확장입니다. 이것이 다시 전체적으로 더 나은 접근으로 이어집니다.
- zihotki
이 벤치마크는 "LiveCodeBench Hard 목록의 처음 10개 문제"만 있기 때문에 결론을 내리기 전에 더 많은 벤치마크를 기다리겠습니다. 그리고 LiveCodeBench Hard는 몇 년 된 벤치마크입니다. 매우 포화되었을 수 있습니다.
- vrinsd
본 기사와 약간 동떨어진 이야기일 수 있지만, 어떤 "오픈" 모델이 C, C++, Python, Java 같은 프로그래밍 작업에 좋은지 명확히 이해하는 데 도움이 되는 좋은 자료나 사이트가 있을까요?
찾아보니 모델 대 벤치마크를 집계하는 사이트가 엄청나게 많지만, 그중 얼마나 신뢰할 수 있는지 잘 모르겠습니다.
- bad_haircut72
아마 새로운 아이디어는 아니겠지만, 작은 모델 여러 개를 서로 쌓아 올린 다음 그것을 기반으로 훨씬 더 큰 모델을 훈련하면 어떻게 될지 궁금합니다. 처음부터 시작하는 것보다 더 효율적일까요?