ggmlがv1.0.0に到達、CUDAやMetalなど全バックエンドで性能改善
Ggml v1.0.0
ggmlがv1.0.0をリリース。非推奨APIと旧DIAG_MASK系オペレーションを削除し、RPCプロトコルをv9に更新して互換性のないピアを拒否する。YaRNのtruncation設定やFP8対応を追加したほか、CUDA/MetalのMoE融合、Vulkanのprefill向けFlashAttention、SYCLのデバイス側MoEスケジューラ、OpenCLのAdreno向け分解型FlashAttention、WebGPUの新カーネルなど各バックエンドに幅広い最適化が入った。
スケジューラは読まれない入力のアップロードをスキップし、先行するsplitで生成された入力のみをプリフェッチするようになった。
HNでの議論
68- jacquesm
このプロジェクトとllama.cppの本当にすごいところは、同じハードウェア上でコードを高速化する新しい方法を次々と見つけ出していることだ。アップグレードするたびに(月に1回くらい)、たいてい5〜10%の速度向上がある。
edit: 確認のために言っておくと、今日アップグレードする予定だったので、いつものベンチマークを前後で走らせたら、実行時間が4:22から3:59になった。かなり長いプロンプト(50Kトークン)なので、prefillがそのかなりの部分を占めていて、残りはトークン生成に費やされている。
- evilelectron
素晴らしい!ggmlとllama.cppはAI界のLinuxだ。ローカル推論を一ビットずつ前進させている。
無限のパワーを願っています、そしてバッテリー残量が少ない日が訪れませんように。リスペクトと愛を。これからも頑張ってください。
- kodoman
長年のllama.cppユーザー(そして他のggmlベースのAIプログラムのユーザー)で、vulkanしかサポートしていないショボいAMDカードで動かしているけど、GGMLとllama.cppのおかげで使えている。素晴らしいプログラム、素晴らしいプロジェクトだ。
- palad1n
私はこちらのエントリーポイントの方が好きだ: https://github.com/ggml-org/ggml
- hizlikovboy27
私の意見では、これは本物のエンジニアリング製品だ。
LLM.cpp、我らが困難な時代の救世主よ…