Создатель llama.cpp рассказал о будущем проекта после приобретения Hugging Face компанией NVIDIA
Georgi Gerganov on llama.cpp/ggml future after Nvidia acquisition of HuggingFace
Георги Герганов, создатель llama.cpp и ggml, прокомментировал приобретение Hugging Face компанией NVIDIA. Он подчеркнул, что NVIDIA уже более года активно поддерживает llama.cpp, внося вклад в код и предоставляя оборудование. Несмотря на изменения, проект останется аппаратно-независимым, а разработка всех бэкендов продолжится силами сообщества. Герганов выразил уверенность, что партнерство с NVIDIA и командой Hugging Face поможет достичь долгосрочных целей и сделает локальный AI доступным для всех.
Существование такой независимой программной платформы имеет решающее значение для быстрого внедрения AI локально и для приближения его к пользователю.
- kamranjon
Я довольно внимательно слежу за llama.cpp, так как постоянно использую либо сам llama.cpp, либо проекты, которые от него зависят, и одна вещь, о которой, как мне кажется, мало говорят, — это масштаб вовлечённости сообщества. Это похоже на логистический кошмар, но каким-то образом тысячи разных контрибьюторов каждую неделю открывают сотни PR и добиваются их слияния, чтобы поддержать различное оборудование или реализовать новый паттерн или алгоритм из недавней исследовательской статьи. Для меня это действительно внушает благоговение, и я думаю, что это во многом благодаря лидерству ggerganov — поэтому я рад, что он остаётся и планирует продолжать развивать этот невероятно полезный инструмент, который к этому моменту вырос в огромное сообщество.
- spindump8930
Люди обеспокоены тем, что nvidia не будет поддерживать эти усилия, если проекты позволят запускать модели на конкурирующем оборудовании. Два ответа:
- Проекты начинались без участия HF/nvidia и были массово успешными ИМЕННО ПОТОМУ, что люди хотят запускать модели на своих собственных устройствах.
- С появлением высококвалифицированных агентов барьер «трудно реализовать» должен стать меньше. Рынок инференса в некотором смысле должен стать более эффективным, так как агенты должны облегчить переход между программными и аппаратными решениями. Конечно, данных для интеграционных платформ может быть меньше, но если мы чему-то и научились за последние несколько недель, так это тому, что агенты могут быть на удивление настойчивыми.
- glitchc
Ну вот и всё. Скоро HuggingFace потребует учётную запись разработчика NVidia, обременительное лицензионное соглашение, которое нужно принять при регистрации, и раздутый интерфейс командной строки с кучей телеметрии.