NVIDIAによるHugging Face買収後、llama.cpp/ggmlは「ハードウェア非依存」を貫く
Georgi Gerganov on llama.cpp/ggml future after Nvidia acquisition of HuggingFace
NVIDIAによるHugging Face買収を受け、llama.cppの生みの親であるGeorgi Gerganovが声明を発表。NVIDIAは1年以上前からllama.cppにエンジニアを派遣し、コードベースへの貢献や開発・テスト用ハードウェアの提供を行ってきた。今後もllama.cpp/ggmlは「ハードウェア非依存」という設立理念を維持し、全バックエンドの開発とサポートをコミュニティ主導で継続する。ローカルAIエコシステムにとって独立したソフトウェア基盤の存在が重要であり、NVIDIAという強力なパートナーを得たことで長期的な目標達成が容易になると述べている。
「ローカルAIの急速な普及と、AIをユーザーにより身近なものにするためには、このような独立したソフトウェアプラットフォームの存在が極めて重要です。」
HNでの議論
26- kamranjon
私はllama.cppをかなり注意深く追っています。というのも、llama.cpp自体か、それに依存するプロジェクトを常に使っているからです。そして、あまり語られていないと思うことの一つに、コミュニティ参加の規模の大きさがあります。ロジスティクスの悪夢のように思えますが、何千人もの多様なコントリビューターが毎週何百ものPRを開き、それらがマージされて、様々なハードウェアのサポートや、最近の研究論文からの新しいパターンやアルゴリズムの実装が行われています。私にとっては本当に畏敬の念を抱かせるものであり、それはひとえにggerganovのリーダーシップのおかげだと思います。ですから、彼が留まり、この時点で巨大なコミュニティに成長したこの信じられないほど便利なツールを構築し続ける計画を持っていることを嬉しく思います。
- spindump8930
人々は、NVIDIAが、競合ハードウェアでモデルを動かすためのこれらの取り組みを支援しないのではないかと懸念しています。これに対する2つの反論があります。
- これらのプロジェクトはHFやNVIDIAの関与なしに始まり、人々が自分のデバイスでモデルを実行したいと思ったからこそ、大成功を収めました。
- 高度に有能なエージェントを使えば、「実装が難しい」という障壁は低くなるはずです。推論市場は、ある意味でより効率的になるはずです。なぜなら、エージェントによってソフトウェアとハードウェアのソリューション間の移行が容易になるからです。統合プラットフォーム向けのトレーニングデータは少なくなるかもしれませんが、ここ数週間で何かを学んだとすれば、それはエージェントが驚くほど粘り強いということです。
- glitchc
さあ、これで終わりだ。もうすぐHugging FaceはNVIDIA Developerアカウントを要求し、登録時に同意しなければならない厄介なライセンス契約と、大量のテレメトリを備えた肥大化したCLIインターフェースを要求するようになるだろう。