llama.cpp 창시자, NVIDIA의 Hugging Face 인수 후 '하드웨어 중립' 원칙 유지 선언
Georgi Gerganov on llama.cpp/ggml future after Nvidia acquisition of HuggingFace
NVIDIA가 Hugging Face를 인수한 가운데, llama.cpp 창시자 Georgi Gerganov가 프로젝트의 미래에 대한 입장을 밝혔다. 그는 NVIDIA가 지난 1년 이상 llama.cpp에 적극적으로 기여해 왔으며, 앞으로도 llama.cpp와 ggml은 하드웨어 중립성이라는 창립 원칙을 고수할 것이라고 강조했다. 모든 백엔드의 개발과 지원은 커뮤니티 주도로 계속되며, NVIDIA의 지원이 장기적 목표 달성에 도움이 될 것이라고 말했다.
이러한 독립적인 소프트웨어 플랫폼의 존재는 AI의 로컬 채택을 가속화하고 사용자에게 더 가까이 다가가기 위해 매우 중요합니다.
HN 토론
26- kamranjon
저는 llama.cpp를 꽤 밀접하게 따라가고 있습니다. 항상 llama.cpp 자체나 그것에 의존하는 프로젝트를 사용하기 때문인데, 한 가지 충분히 이야기되지 않는다고 생각하는 점은 커뮤니티 참여의 규모입니다. 물류적으로 악몽 같아 보이지만, 어쩌다 보니 수천 명의 다양한 기여자들이 매주 수백 개의 PR을 열고, 다양한 하드웨어를 지원하거나 최신 연구 논문의 새로운 패턴이나 알고리즘을 구현하기 위해 그것들을 병합하고 있습니다. 제가 보기에는 정말 경외심을 불러일으키는 일이며, 이는 상당 부분 ggerganov의 리더십 덕분이라고 생각합니다. 그래서 그가 계속 남아서 이 엄청나게 유용한 도구를 계속 만들 계획이라는 것이 기쁩니다. 이 도구는 이제 거대한 커뮤니티로 성장했습니다.
- spindump8930
사람들은 엔비디아가 경쟁 하드웨어에서 모델을 실행하게 되면 이러한 노력을 지원하지 않을까 걱정합니다. 두 가지 답변이 있습니다:
- 이 프로젝트들은 HF/엔비디아의 참여 없이 시작되었고, 사람들이 자신의 기기에서 모델을 실행하고 싶어하기 때문에 대규모로 성공했습니다.
- 매우 유능한 에이전트가 있으면 '구현하기 어려운' 것이 장벽이 덜 되어야 합니다. 추론 시장은 어떤 의미에서 더 효율적이 되어야 합니다. 에이전트가 소프트웨어와 하드웨어 솔루션 간의 전환을 더 쉽게 만들어야 하기 때문입니다. 통합 플랫폼을 위한 학습 데이터가 더 적을 수도 있지만, 지난 몇 주 동안 무엇인가를 배웠다면, 에이전트가 놀라울 정도로 끈기 있을 수 있다는 것입니다.
- glitchc
글쎄요, 그걸로 끝이군요. 곧 Hugging Face는 엔비디아 개발자 계정, 등록 중에 동의해야 하는 까다로운 라이선스 계약, 그리고 많은 텔레메트리가 포함된 비대한 CLI 인터페이스를 요구할 것입니다.