Databricks API를 노트북에서 그대로 돌리는 MiniLake, 계정도 클라우드 비용도 없다
MiniLake Is a Local Databricks API Emulator with SQL, Delta Lake and Spark
MiniLake는 Databricks REST API를 로컬에서 에뮬레이션하는 MIT 라이선스 오픈소스다. SQL은 실제 DuckDB에서 실행되고, EXTERNAL Delta 테이블은 진짜 Parquet과 _delta_log를 만들며, Jobs는 컨테이너 안에서 실제 spark-submit을 돌린다. databricks-sdk, CLI, Terraform, Asset Bundles, LLM 에이전트의 host만 localhost로 바꾸면 되고, 어떤 토큰이든 통과한다. 범위 밖 기능은 조용히 속이지 않고 501로 명확히 거절한다.
가장자리를 분명히 밝히는 것이 핵심이다. 할 수 없는 일을 조용히 흉내 내는 에뮬레이터는 아예 없는 에뮬레이터보다 나쁘다.