OpenLake - Leading MLPerf Storage v3.0 with High-Performance AI Storage

Show HN: We Beat MLPerf: Modern Storage for KV Offload and LLM Training

OpenLakeは、AIトレーニング向けの高性能ストレージシステムです。io_uringとGPUDirect Storageを活用した非同期I/Oエンジン「Infinity Core I/O Engine」により、低レイテンシと高スループットを実現します。MLPerf Storage v3.0のチェックポイントワークロードで、読み取り・書き込み帯域幅の最高記録を達成し、Llama 3.1 8Bモデルのチェックポイント保存と復元を高速化しました。これにより、大規模LLMトレーニングにおけるGPUアイドル時間を削減し、障害からの復旧を迅速化します。オープンソースで提供され、S3 API互換のため既存のAIパイプラインに簡単に統合できます。