Databricks APIをノートPCで再現するMiniLake、SQLもDelta Lakeも本物を動かす
MiniLake Is a Local Databricks API Emulator with SQL, Delta Lake and Spark
MiniLakeはDatabricks REST APIをローカルでエミュレートするMITライセンスのPython製ツール。databricks-sdkやCLI、Terraform、Asset Bundlesをlocalhost:8000に向けるだけで、アカウントもAPIキーもクラウド費用も不要になる。SQLはDuckDB上で実際に実行され、EXTERNAL Deltaテーブルは本物のParquetと_delta_logを書き出し、ジョブはコンテナ内のspark-submitで走る。モックではなく実エンジンなので、ローカルで通ったテストには意味がある。
壊れたコードを通してしまう偽のエンドポイントとは違い、MiniLakeはDuckDB上でSQLを実行し、本物のDeltaファイルを書き、コンテナ内で実際のspark-submitジョブを走らせる。だからローカルでのテストがグリーンなら、それは意味のある結果なのだ。