Georgi Gerganov: llama.cpp seguirá siendo independiente tras la adquisición de Hugging Face por NVIDIA
Georgi Gerganov on llama.cpp/ggml future after Nvidia acquisition of HuggingFace
Georgi Gerganov, creador de llama.cpp, celebra la adquisición de Hugging Face por NVIDIA y asegura que el proyecto mantendrá su neutralidad de hardware. NVIDIA ya colaboraba con el proyecto desde hace más de un año, aportando ingenieros y hardware. Gerganov subraya que el desarrollo de todos los backends continuará guiado por la comunidad, y que la existencia de una plataforma independiente es clave para la adopción local de la IA.
La existencia de una plataforma de software tan independiente es crucial para la rápida adopción de la IA localmente y para acercarla al usuario.
- kamranjon
Sigo de cerca llama.cpp porque uso o bien llama.cpp en sí o bien proyectos que dependen de él todo el tiempo, y una cosa que creo que no se menciona es la enorme escala de la participación comunitaria. Parece una pesadilla logística, pero de alguna manera miles de contribuyentes diferentes abren cientos de PRs cada semana y logran que se fusionen para soportar varios hardwares o implementar un nuevo patrón o algoritmo de un artículo de investigación reciente. Es realmente impresionante para mí verlo, y creo que se debe en gran parte al liderazgo de ggerganov - así que me alegra ver que se queda y planea seguir construyendo esta herramienta increíblemente útil que ha crecido hasta convertirse en una gran comunidad en este punto.
- spindump8930
A la gente le preocupa que nvidia no apoye estos esfuerzos si logra que los modelos se ejecuten en hardware de la competencia. Dos respuestas:
- Los proyectos comenzaron sin la participación de HF/nvidia y fueron masivamente exitosos PORQUE la gente quiere ejecutar modelos en sus propios dispositivos.
- Con agentes altamente capaces, "difícil de implementar" debería ser una barrera menor. El mercado de inferencia debería, en cierto sentido, volverse más eficiente, ya que los agentes deberían facilitar la transición entre soluciones de software y hardware. Claro, podría haber menos datos de entrenamiento para plataformas de integración, pero si hemos aprendido algo en las últimas semanas, es que los agentes pueden ser notablemente persistentes.
- glitchc
Bueno, eso es todo entonces. Pronto HuggingFace requerirá una cuenta de desarrollador de NVidia, un acuerdo de licencia oneroso que debe aceptarse durante el registro y una interfaz CLI hinchada con un montón de telemetría.