LLM 16종, TIS-100에서 커뮤니티 최고 기록 3개를 갈아치웠다
LLMs Play Zachtronics' TIS-100
12개 노드, 노드당 레지스터 2개, 15줄의 코드로 짜는 Zachtronics의 프로그래밍 퍼즐 게임 TIS-100에 16개 LLM을 투입했다. 커뮤니티 리더보드는 숨기고 게임과 매뉴얼만 준 채 55개 퍼즐을 풀게 한 결과, 133개의 새 프런티어 포인트와 18개 퍼즐의 기록 경신, 3개의 사이클 신기록이 나왔다. Opus 5.5와 GPT-6 Astra가 선두를 다퉜고, 비용과 게임 호출 횟수는 성능과 무관했다. 어려운 퍼즐에만 새 기록이 몰렸고, 사이클이 가장 어려운 지표였다.
며칠 만에 플레이어들이 모델의 프로그램을 가져다 대부분을 더 개선했다.
HN 토론
20- xpct
앞으로도 인간 리더보드가 있는 Zachtronics류 게임을 계속 즐길 방법에 대해 아이디어 있으신 분 계신가요? 아니면 그건 그냥 불가능한 일이 될까요?
- rpdillon
TIS-100은 제게 사고를 확장해 준 게임이었어요. 끝까지 깼으면 좋았을 텐데 하는 아쉬움이 좀 있어요(20번째쯤까지 간 것 같아요). 항상 웹이나 TUI로 포팅됐어야 할 게임 같다고 느꼈어요, 그냥 샌드박스로라도요(특정 퍼즐을 가져오지 않더라도요). 다시 해봐야겠네요!
- xnorswap
제가 가장 좋아하는 게임 중 하나예요. 거의 다 깼는데, 도저히 머릿속으로 이해가 안 되는 한 레벨에서 막혔어요.
해답을 보며 스포일러하고 싶지도 않고 LLM의 도움을 받고 싶지도 않아서, 몇 년에 한 번씩 다시 시도하곤 하는데, 어려운 퍼즐로 곧장 다시 뛰어드는 건 힘드네요.