einfold - SQL에서 FlashAttention 커널을 자동으로 생성
Show HN: Automatic deduction of FlashAttention kernel from ~25 lines of SQL
einfold는 SQL 쿼리 플랜을 배열 알고리즘으로 재작성하는 쿼리 최적화기입니다. 약 25줄의 SQL로 작성된 attention 연산을 별도 규칙 없이 FlashAttention 방식의 융합 플랜으로 자동 변환합니다. DataFusion과 DuckDB에서 실행되며, JAX 결과와 일치하는지 검증하고 ddx를 통해 그래디언트까지 하나의 SQL 문으로 계산합니다. attention 전용 규칙 없이 '조인으로 계산된 점수를 가진 softmax 가중 평균'을 융합하는 일반 규칙 하나로 동작한다는 점이 핵심입니다.
attention을 위한 규칙은 단 하나도 작성하지 않았습니다. 조인으로 계산된 점수를 가진 softmax 가중 평균을 융합하는 일반 규칙이 이 SQL에서 FlashAttention 플랜을 스스로 찾아냅니다.