xarray-sql - FlashAttention-Kernel aus ~25 Zeilen SQL automatisch ableiten
Show HN: Automatic deduction of FlashAttention kernel from ~25 lines of SQL
xarray-sql zeigt, wie ein SQL-Optimizer namens einfold aus wenigen Zeilen SQL automatisch einen FlashAttention-Kernel erzeugt – ohne spezielle Regeln für Attention. Das Demo-Skript vergleicht die Vorwärts- und Rückwärtsberechnung von Attention auf DataFusion, DataFusion mit einfold und DuckDB gegen JAX. Sogar die Gradienten werden per ddx aus einer einzigen SQL-Anfrage berechnet. Ein Kontrollbeispiel, der Nadaraya-Watson-Schätzer, beweist, dass die Optimierung allgemein für softmax-gewichtete Durchschnitte greift. So wird aus deklarativem SQL hochperformanter ML-Code.
einfold findet diesen Plan aus diesem SQL – in beiden Schreibweisen – ohne eine einzige Regel, die speziell für Attention geschrieben wurde.