用 Haskell 轻松写入 Parquet 文件
Writing Parquet files using Haskell
我们在 DataHaskell/Dataframe 中实现了 Parquet 写入功能，让 Haskell 能无缝对接主流数据生态。只需调用 writeParquet 函数，即可将 DataFrame 导出为压缩高效、查询友好的 Parquet 文件。相比 CSV 和 JSON，Parquet 在大数据量下表现更优，支持列式存储、谓词下推和并行读取。文章深入解析了 Parquet 文件的内部结构，包括 Row Group、Column Chunk 和 Data Page 的布局，并详细说明了实现中的内存管理策略与核心写入循环设计。通过 MutableByteArray 和自定义缓冲机制，我们在不依赖 FFI 的前提下实现了高性能写入。无论是长期存储、网络传输还是跨工具互操作，Parquet 都是数据科学领域不可或缺的标准格式。
Parquet 格式用简洁性换取了数据存储和查询的高效性，这正是我们希望在 DataFrame 库中拥有的能力。
HN 评论区
18- mugul
看起来这是一个很酷的社区，他们用心打造着优秀的工具。用函数式语言做数据转换听起来是个靠谱的想法，我还没试过，但现在绝对要列入我的清单了。
不过他们声称用 Haskell 做数据科学是“快”的，在拿出具体数据之前，这说法其实没什么意义。我觉得搞个跟 pandas 和 polars 的基准测试也不会坏事。
- jmaker
我依然热爱 Haskell，大学期间曾专门投入了好几年。但想靠 Haskell 找到工作是不可能的。我也做过一些 Scala，但它正在走向衰落。F# 和 OCaml 则极其小众。机会越来越少，工程管理层也坚信招不到函数式程序员。
在这个由 AI 驱动的新世界里，像函数式编程这样的“奢侈品”还有立足之地吗？
我的意思是，现在没多少人还手写代码了，也没多少人去读生成的代码，模型也不是用函数式语言训练的——从 token 效率来看，用函数式语言并不划算——而与此同时，很多人光靠给 LLM 写提示词就在一夜之间自封为软件工程师了。
- Quothling
我个人更希望看到 Haskell 成为 https://arrow.apache.org/ 的一个可选方案，不过这个项目本身还是很酷的。