エージェントに「このforward passを最速にしろ」と頼む方が、専門家の戦略より速かった
Make this forward pass as fast as possible
Flapping Airplanesの巨額調達やHyperstitionのHyperkernelなど、エージェントが直接カーネルを最適化する動きが活発化している。TVMはIRをLeanで形式化し検証の土台を提供すべきだと主張する一方、TogetherのTKCCはIRの表現力に限界があるとし、コストモデルで探索空間を絞り込む。コンパイラは消えるのではなく分解されつつあり、最適化すべき対象はコードではなく探索そのものへと移りつつある。
専門家が書いた戦略を種として与えるよりも、単に「このforward passをできるだけ速くしろ」とプロンプトする方が負けた。これは見事なアブレーションだ。