ggml 1.0.0 发布:API 大清洗与性能飞跃

Ggml v1.0.0

ggml 终于迎来了意义重大的 1.0.0 版本。这次更新不仅是一次简单的迭代,更是一次彻底的“大扫除”:移除了过时的公共 API 和遗留的 DIAG_MASK 操作,RPC 协议也随之升级。性能方面更是全面开花,从 CUDA 和 Metal 上的 MoE 融合,到 Vulkan 的 FlashAttention 预填充路径,再到 SYCL 的设备端 MoE 调度器,各个后端都迎来了显著优化。此外,新增的 YaRN 截断配置和 FP8 支持,让模型运行更加灵活高效。这次更新标志着 ggml 在稳定性与性能上迈出了坚实的一步。

ggml 1.0.0 版本剪除了已弃用的公共 API 和遗留的 DIAG_MASK 操作,同时新增了可配置的 YaRN 截断和 FP8 支持。
  1. jacquesm

    这个项目以及 llama.cpp 真正令人印象深刻之处在于,它们不断在同样的硬件上找到加速代码的新方法。每次我升级(大约一个月一次),通常都能获得 5% 到 10% 的速度提升。

    编辑:为了验证这一点:我原计划今天升级,在升级前后运行了我惯用的基准测试,运行时间从 4 分 22 秒缩短到了 3 分 59 秒。这是一个非常长的提示词(50K tokens),所以预填充(prefill)占了相当大一部分时间,其余时间则花在 token 生成上。

  2. evilelectron

    太棒了!ggml 和 llama.cpp 就是 AI 界的 Linux。一点一点地推动本地推理。

    愿你们拥有无限的算力,愿你们永远不必面对电量告急的日子。致敬与爱。请继续加油。

  3. kodoman

    我是 llama.cpp 的老用户(也是其他基于 ggml 的 AI 程序的用户),在我的那张只支持 vulkan 的破 AMD 显卡上运行,多亏了 GGML 和 llama.cpp,它变得完全可用。太棒的程序,太棒的项目。

  4. palad1n

    我更喜欢这个入口:https://github.com/ggml-org/ggml

  5. hizlikovboy27

    在我看来,这是一个真正的工程产品。

    LLM.cpp,我们艰难时世的救星……

同日更多故事

2026-11-14