Georgi Gerganov verspricht: llama.cpp bleibt nach NVIDIA-Übernahme von Hugging Face hardware-agnostisch
Georgi Gerganov on llama.cpp/ggml future after Nvidia acquisition of HuggingFace
Nach der Übernahme von Hugging Face durch NVIDIA äußert sich Georgi Gerganov, der Schöpfer von llama.cpp, zur Zukunft des Projekts. Er betont, dass llama.cpp und ggml ihren Gründungsprinzipien treu bleiben, insbesondere der Hardware-Agnostik. Die Entwicklung aller Backends werde wie gewohnt von der Community gesteuert. NVIDIA habe das Projekt bereits über ein Jahr lang unterstützt, und mit dem neuen Partner seien die langfristigen Ziele leichter erreichbar. Gerganov sieht die unabhängige Plattform als entscheidend für die lokale Verbreitung von KI.
Die Existenz einer solchen unabhängigen Softwareplattform ist entscheidend für die schnelle Verbreitung von KI lokal und dafür, sie näher an den Nutzer zu bringen.
- kamranjon
Ich verfolge llama.cpp ziemlich genau, da ich ständig entweder llama.cpp selbst oder Projekte, die darauf basieren, verwende, und eine Sache, über die meiner Meinung nach nicht genug gesprochen wird, ist das schiere Ausmaß der Beteiligung der Community. Es scheint ein logistischer Albtraum zu sein, aber irgendwie eröffnen Tausende verschiedener Mitwirkender jede Woche Hunderte von Pull Requests und lassen sie mergen, um verschiedene Hardware zu unterstützen oder ein neues Muster oder einen Algorithmus aus einem aktuellen Forschungspapier zu implementieren. Es ist wirklich ziemlich beeindruckend für mich, das zu sehen, und ich denke, es ist nicht zuletzt der Führung von ggerganov zu verdanken – daher bin ich froh zu sehen, dass er weitermacht und plant, dieses unglaublich nützliche Werkzeug weiterzuentwickeln, das inzwischen zu einer riesigen Community herangewachsen ist.
- spindump8930
Die Leute sind besorgt, dass Nvidia diese Bemühungen nicht unterstützen wird, wenn es darum geht, Modelle auf konkurrierender Hardware zum Laufen zu bringen. Zwei Antworten:
- Die Projekte wurden ohne Beteiligung von HF/Nvidia gestartet und waren massiv erfolgreich, WEIL die Leute Modelle auf ihren eigenen Geräten ausführen wollen.
- Mit hochfähigen Agenten sollte "schwer zu implementieren" weniger ein Hindernis sein. Der Inferenzmarkt sollte in gewisser Weise effizienter werden, da Agenten den Übergang zwischen Software- und Hardwarelösungen erleichtern sollten. Sicher, es gibt vielleicht weniger Trainingsdaten für Integrationsplattformen, aber wenn wir in den letzten Wochen etwas gelernt haben, dann, dass Agenten bemerkenswert hartnäckig sein können.
- glitchc
Na dann ist es wohl vorbei. Bald wird HuggingFace ein Nvidia-Entwicklerkonto, eine lästige Lizenzvereinbarung, der man bei der Registrierung zustimmen muss, und eine aufgeblähte CLI-Schnittstelle mit jeder Menge Telemetrie verlangen.