스탠포드 연구진, 과학 연구 워크플로우 70개로 AI 에이전트 평가하는 Terminal-Bench-Science 공개
Terminal-Bench-Science: Evaluating AI agents on scientific research workflows
스탠포드 대학 연구진이 주도하고 Terminal-Bench 팀이 다양한 과학 분야 전문가들과 협력해 만든 Terminal-Bench-Science 0.1이 공개됐다. 이 벤치마크는 생명과학, 물리학, 지구과학, 수학, 공학 등 5개 분야의 실제 연구 워크플로우 70개를 포함하며, 과학자들이 직접 과제를 제안하고 검토한다. 평가 결과, 최고 성능을 보인 Claude Opus 5는 30%의 해결률을 기록했고, GPT-5.6 Sol은 22.4%로 그 뒤를 이었다. 이 벤치마크는 지속적으로 업데이트되며, 과학적 필요와 AI 개발 간의 피드백 루프를 만드는 것을 목표로 한다.
과학의 판돈이 너무 높은 만큼, 벤치마크는 외부의 이해관계가 아닌 과학계의 우선순위를 반영해야 한다.
HN 토론
34- j_maffe
여기서 정말 봐야 할 건 작업(task)들입니다:
https://github.com/harbor-framework/terminal-bench-science/t...
- johnnyApplePRNG
클로드가 솔보다 과학적 지능에서 훨씬 높은 점수를 받은 건 놀랍지 않네요.
클로드는 정말로 매우 구체적인 과학적·수학적 뉘앙스의 폭넓은 배열을 이해한다는 걸 알 수 있어요... 반면 코드엑스는 기본적으로 코딩 전용이고 그게 전부예요.
이게 제가 둘 다 써보면서 느낀 점이고, 지난주 내내 20x 플랜으로 둘 다 길게 사용해봤어요.
오해하지 마세요, 코드엑스는 버그 찾기나 게임 만드는 데는 훌륭해요. 정말 좋아요.
- CJefferson
이게 정확성을 검증하지 않을까 걱정되네요. 요즘 클로드가 지시를 따르는 데 형편없어진 걸 발견했어요. 논문의 알고리즘을 구현해 달라고 하면 더 단순하고 느린 걸 해버리고, 지적하면 그 바보 같은 사과 모드로 들어가요. 논문에 넣을 만한 건 절대 믿을 수 없어요. 거짓말을 너무 많이 해요. 4.6은 더 복잡한 작업은 못 했지만, 요청한 대로는 했어요.
- boorang
저는 컨텍스트 엔지니어링으로 꽤 좋은 성과를 냈어요. 제 개인 코딩 휴리스틱을 AGENTS.md에 추가하고 "X를 할 때는 Y를 참조하라"는 패턴으로 하위 문서를 참조했죠. 다른 사람들도 비슷한 걸 하고 있을 거라 생각하지만, 제가 수동으로 했을 때와 꽤 가까운 코드를 생성하게 할 수 있었을 때 꽤 놀랐어요. 과학자나 수학자들도 그런 걸 하는지 궁금하네요. "X를 보면 보통 즉시 Y를 확인해" 같은 식으로 도메인 휴리스틱을 어떻게 구성하는지 말이죠.
- jerpint
오퍼스 5가 페이블을 능가한다는 게 저한테는 이상해요
개인 경험상, 오퍼스 5는 (코딩 작업에서) 거의 모든 면에서 페이블보다 열등하게 느껴져요