ggml 1.0.0 发布:API 大清洗与性能飞跃
Ggml v1.0.0
ggml 终于迎来了意义重大的 1.0.0 版本。这次更新不仅是一次简单的迭代,更是一次彻底的“大扫除”:移除了过时的公共 API 和遗留的 DIAG_MASK 操作,RPC 协议也随之升级。性能方面更是全面开花,从 CUDA 和 Metal 上的 MoE 融合,到 Vulkan 的 FlashAttention 预填充路径,再到 SYCL 的设备端 MoE 调度器,各个后端都迎来了显著优化。此外,新增的 YaRN 截断配置和 FP8 支持,让模型运行更加灵活高效。这次更新标志着 ggml 在稳定性与性能上迈出了坚实的一步。
ggml 1.0.0 版本剪除了已弃用的公共 API 和遗留的 DIAG_MASK 操作,同时新增了可配置的 YaRN 截断和 FP8 支持。
HN 评论区
68- jacquesm
这个项目以及 llama.cpp 真正令人印象深刻之处在于,它们不断在同样的硬件上找到加速代码的新方法。每次我升级(大约一个月一次),通常都能获得 5% 到 10% 的速度提升。
编辑:为了验证这一点:我原计划今天升级,在升级前后运行了我惯用的基准测试,运行时间从 4 分 22 秒缩短到了 3 分 59 秒。这是一个非常长的提示词(50K tokens),所以预填充(prefill)占了相当大一部分时间,其余时间则花在 token 生成上。
- evilelectron
太棒了!ggml 和 llama.cpp 就是 AI 界的 Linux。一点一点地推动本地推理。
愿你们拥有无限的算力,愿你们永远不必面对电量告急的日子。致敬与爱。请继续加油。
- kodoman
我是 llama.cpp 的老用户(也是其他基于 ggml 的 AI 程序的用户),在我的那张只支持 vulkan 的破 AMD 显卡上运行,多亏了 GGML 和 llama.cpp,它变得完全可用。太棒的程序,太棒的项目。
- palad1n
我更喜欢这个入口:https://github.com/ggml-org/ggml
- hizlikovboy27
在我看来,这是一个真正的工程产品。
LLM.cpp,我们艰难时世的救星……