Агенты обгоняют ML-компиляторы: промпт «сделай этот forward pass как можно быстрее» победил экспертные стратегии
Make this forward pass as fast as possible
Flapping Airplanes привлекла миллиард долларов, показав megakernel-фреймворк, а Hyperstition уже генерирует высокопроизводительные ядра для разных моделей. Возникает вопрос: нужны ли ещё ML-компиляторы, если агенты оптимизируют код напрямую? TVM, Together и OpenAI отвечают по-разному: одни строят минимальную инфраструктуру с проверкой в Lean, другие дают агентам доступ к исходникам. Любопытный результат Together: простой промпт «make this forward pass as fast as possible» обошёл экспертные стратегии, а «лучшие практики» для агентов только мешали.
Предоставление базы знаний привело к снижению ускорения на 25–31% при том же времени оптимизации. Запуск с экспертно написанными стратегиями проиграл буквально промпту «make this forward pass as fast as possible» — отличный ablation.