NVIDIA收购HuggingFace后llama.cpp的未来
Georgi Gerganov on llama.cpp/ggml future after Nvidia acquisition of HuggingFace
Georgi Gerganov 在 X 平台上宣布，随着 NVIDIA 完成对 HuggingFace 的收购，llama.cpp 和 ggml 项目将迎来新的篇章。NVIDIA 工程师已深度参与项目超过一年，提供代码贡献与硬件支持。Georgi 强调，项目将坚守硬件无关（hardware-agnostic）的初心，所有后端开发仍由社区驱动，向所有参与者开放。他认为，独立软件平台对推动本地 AI 普及至关重要，而 NVIDIA 的加入将助力实现让 AI 技术真正触手可及的长期目标。
我们将继续专注于打造基于我们这个时代最令人兴奋的技术之一的项目，并以最便捷高效的方式将其真正提供给每个人。
HN 评论区
26- kamranjon
我一直密切关注 llama.cpp，因为我要么直接使用它，要么使用依赖它的项目。有一点我觉得大家讨论得不够，那就是社区参与度的规模之大。这看起来简直是个后勤噩梦，但不知为何，每周都有成千上万的贡献者提交数百个 PR，并被合并进来，以支持各种硬件，或是实现最新研究论文中的新模式或新算法。看到这一切，我深感震撼，我认为这在很大程度上归功于 ggerganov 的领导力。所以我很高兴看到他决定留任，并计划继续打造这个如今已发展成庞大社区的、极其有用的工具。
- spindump8930
大家担心，如果这些项目能让模型在竞争硬件上运行，NVIDIA 就不会支持它们了。对此有两点回应：
- 这些项目最初是在没有 HF 或 NVIDIA 参与的情况下启动的，之所以取得巨大成功，正是因为大家想在自家设备上运行模型。
- 随着高度智能的代理（agents）出现，"难以实现"不应再成为障碍。推理市场在某种意义上应该变得更加高效，因为代理应该能让人更容易地在软件和硬件解决方案之间切换。当然，集成平台的训练数据可能会变少，但如果我们这几周学到了什么，那就是代理可以表现出惊人的坚持性。
- glitchc
好吧，这下完了。很快 HuggingFace 就会要求你必须拥有 NVIDIA 开发者账号，注册时必须同意一份繁琐的许可协议，还要面对一个臃肿的 CLI 界面，里面塞满了遥测数据。