ggml 1.0.0: удалён устаревший API и ускорены все бэкенды
Ggml v1.0.0
Релиз ggml 1.0.0 вычищает устаревший публичный API и legacy-операции DIAG_MASK, поднимает протокол RPC до v9 и добавляет поддержку FP8 и настраиваемое усечение YaRN. Основное внимание уделено производительности: квантованные матмулы для малых батчей и фьюзинг MoE на CUDA/Metal, путь FlashAttention для префилла на Vulkan, планировщик MoE на стороне устройства в SYCL, декомпозированный Adreno FlashAttention в OpenCL, новые ядра WebGPU, расширенное покрытие операций Hexagon и планировщик, который не загружает неиспользуемые входы.
Планировщик пропускает загрузку входов, которые не читаются, и выполняет предзагрузку только тех входов, что произведены более ранними разбиениями.
- jacquesm
Что действительно впечатляет в этом проекте, а также в llama.cpp, так это то, что они постоянно находят новые способы ускорить код на том же железе. Каждый раз, когда я обновляюсь (примерно раз в месяц), обычно получаю прирост скорости на 5–10%.
edit: Просто для проверки: я планировал обновиться сегодня, прогнал свой обычный бенчмарк до и после — время выполнения сократилось с 4:22 до 3:59. Это очень длинный промпт (50K токенов), так что prefill занимает хорошую его часть, а остальное уходит на генерацию токенов.
- evilelectron
Потрясающе! ggml и llama.cpp — это Linux мира ИИ. Двигают локальный инференс по одному биту за раз.
Желаю вам неограниченной мощности и пусть вы никогда не увидите дня с низким зарядом батареи. Уважение и любовь. Так держать.
- kodoman
Давний пользователь llama.cpp (и других ИИ-программ на основе ggml), работаю на своей паршивой AMD-карте, которая поддерживает только vulkan, и это работает благодаря GGML и llama.cpp. Отличная программа, отличный проект.
- palad1n
Мне больше нравится эта точка входа: https://github.com/ggml-org/ggml
- hizlikovboy27
По моему мнению, это настоящий инженерный продукт.
LLM.cpp, спаситель наших трудных времён...