einfold - SQLからFlashAttentionカーネルを自動導出

Show HN: Automatic deduction of FlashAttention kernel from ~25 lines of SQL

einfoldは、SQLクエリを配列アルゴリズムに書き換えるクエリオプティマイザです。約25行のSQLで書かれたAttentionの計算から、FlashAttentionカーネルを自動的に導出します。Attention専用のルールは一切なく、joinから計算されるスコアを持つsoftmax加重平均を融合する汎用ルールだけで実現。DataFusionやDuckDB上で動作し、JAXによる参照実装との一致や勾配計算も検証済みです。SQLで書いたモデルが高速なカーネルに変換される体験を、デモスクリプトで試せます。