16のLLMがTIS-100に挑戦、コミュニティの記録を次々と塗り替える
LLMs Play Zachtronics' TIS-100
Zachtronicsの難解なプログラミングパズルゲームTIS-100を16のLLMに解かせ、コミュニティのリーダーボードを伏せたまま改善を続けさせたベンチマーク。Opus 5.5とGPT-6 Astraが全55問を解き、それぞれ11問で新たなフロンティア点を発見。133の新記録点のうち18は既存のコミュニティ記録を上回り、サイクル数で最大29%高速化した例もあった。一方、コストや試行回数は性能と比例せず、サイクル数の最適化が最も難しいことも明らかになった。
数日でプレイヤーたちはモデルのプログラムを手に取り、そのほとんどを改良した。
HNでの議論
21- xpct
将来的に、人間のリーダーボードを備えたZachtronics風のゲームをまだ作れる方法について、誰かアイデアはある？それとも、それはもう不可能なことなのかな？
- rpdillon
TIS-100は僕にとって思考を広げてくれるゲームだった。最後までクリアしたかったな（たしか20問目くらいまで進んだと思う）。いつも、たとえサンドボックスとしてだけでも（特定のパズルを持ち込むわけではなく）、WebやTUIに移植されるべき類のゲームだと感じていた。そろそろまた遊び直すべきかも！
- xnorswap
僕の歴代のお気に入りゲームの一つだ。ほぼクリアしたけど、どうしても頭に入りきらないレベルが一つあって詰まってしまった。
解答を見てネタバレしたくないし、LLMに助けてもらうのも嫌だから、数年おきに再挑戦しているんだけど、難しいパズルにいきなり戻るのは大変なんだよね。