xarray-sql - FlashAttention desde SQL con einfold
Show HN: Automatic deduction of FlashAttention kernel from ~25 lines of SQL
xarray-sql demuestra cómo einfold, su optimizador de consultas, transforma apenas 25 líneas de SQL en un kernel FlashAttention completamente funcional. El proyecto define la atención causal como vistas SQL sobre tablas (token, feature, valor) y deja que el optimizador descubra el plan fusionado sin reglas específicas para atención. Incluye verificación contra JAX, cálculo de gradientes con ddx y un control no-attention (Nadaraya-Watson) para validar la generalidad del enfoque. Una exploración fascinante que conecta bases de datos y machine learning de forma elegante y práctica.
einfold encuentra ese plan desde este SQL, en ambas formas de escribirlo, sin ninguna regla escrita para atención: su regla fusiona cualquier promedio ponderado por softmax cuyos scores se calculan a partir de un join.