모델이 일부러 멍청해지고 있다

Models Are Getting Dumber on Purpose

모델이 일부러 멍청해지고 있다

추론 능력은 급상승하는데 파라미터당 연산량은 계속 줄고 있다. GLM-5.2는 AIME 2026에서 99.2%를 기록하며 토큰당 약 400억 개의 활성 파라미터를 사용한다. 반면 같은 질문에 대한 사실적 회상력은 형편없다. SimpleQA에서 최고 모델조차 53%에 그치고, 소형 모델은 환각률 80%를 넘긴다. 연구소들은 세계 지식을 추론 능력으로 의도적으로 교환하고 있다. 사실은 공간을 차지하고 썩지만, 절차는 그렇지 않다. 미래에는 지식이 모델 외부(하네스)에 저장되고, 추론만 가중치에 남아 로컬 GPU에서 실행될 것이다.

가중치에 구운 모든 사실에는 유통기한이 있으며, 이를 새로 고치는 유일한 방법은 또 다른 훈련 실행이다.

같은 날의 다른 소식

2026-08-16