사후학습 데이터 공유지, 존재하지 않는다
There is no posttraining data commons
사전학습은 인터넷에 이미 널려 있던 방대한 문서 덕분에 가능했지만, 사후학습이 소비하는 것은 문서가 아니라 '과제'다. SWE-bench를 비롯한 공개 코딩 데이터셋조차 대부분 실행 불가능하거나 검증이 부실해 걸러졌다. 소프트웨어가 가장 쉬운 경우라면, 법률·의료·과학 등 나머지 영역은 말할 것도 없다. 저자는 공유지가 없으니 크롤링할 것도 없다며, 인간의 과제를 대규모로 기록해 공유지로 만들어야 한다고 주장한다.
사전학습은 문서를 소비하지만, 사후학습은 과제를 소비한다.
HN 토론
15- dlwh
안녕하세요, 이 글은 몇 주 전에 제가 쓴 겁니다. 여기서 보게 될 줄은 몰랐네요, 뭐 그렇습니다.
질문 있으시면 얼마든지 답해드릴게요. 디스코드도 있습니다 https://marin.community/
- mrkn1
아주 학술적인 방식으로 말하자면, 우리에게 필요한 데이터만 빼고 세상의 모든 데이터를 갖고 있다는 얘기죠. 회사에 뭔가가 어떻게 돌아가는지 물어보면 이렇게 답합니다:
"아, 거기엔 프로세스가 있어요."
좋아요. 그건 어디에 문서화돼 있나요?
"스프레드시트에요."
어느 스프레드시트요?
"음, 예전 스프레드시트가 있고, 새 스프레드시트가 있고, Karen이 관리하는 스프레드시트가 있어요."
Karen은 어디 있죠?
"2021년에 그만뒀어요."
- mindwok
사후학습 데이터 공유지와 그를 둘러싼 인프라는 Postgres나 Linux에 비견되는 차세대 대형 오픈소스 프로젝트라고 생각합니다.
Stanford의 Marin 프로젝트(지금은 이 블로그 글의 저자들인 Openathena가 운영하는 걸로 압니다)는 정말 유망하고 멋집니다: https://marin.community/