Los agentes de IA superan a las herramientas expertas al optimizar kernels
Make this forward pass as fast as possible
El artículo analiza cómo los compiladores de ML están siendo reemplazados por agentes que optimizan directamente los kernels. TVM propone un IR mínimo y verificable en Lean; Together Compiler usa un modelo de costos para reducir la búsqueda; OpenAI emplea Codex para eliminar heurísticas en Triton. Un hallazgo clave: dar a los agentes un centro de conocimiento o estrategias expertas rindió menos que simplemente pedirles "haz que este forward pass sea lo más rápido posible".
Proporcionar un centro de conocimiento condujo a una aceleración entre un 25% y un 31% menor, dado el mismo tiempo de optimización. Sembrar con estrategias escritas por expertos perdió frente a simplemente indicar "haz que este forward pass sea lo más rápido posible", lo cual es una gran ablación.