ggml 1.0.0: удалён устаревший API и ускорены все бэкенды

Ggml v1.0.0

Релиз ggml 1.0.0 вычищает устаревший публичный API и legacy-операции DIAG_MASK, поднимает протокол RPC до v9 и добавляет поддержку FP8 и настраиваемое усечение YaRN. Основное внимание уделено производительности: квантованные матмулы для малых батчей и фьюзинг MoE на CUDA/Metal, путь FlashAttention для префилла на Vulkan, планировщик MoE на стороне устройства в SYCL, декомпозированный Adreno FlashAttention в OpenCL, новые ядра WebGPU, расширенное покрытие операций Hexagon и планировщик, который не загружает неиспользуемые входы.

Планировщик пропускает загрузку входов, которые не читаются, и выполняет предзагрузку только тех входов, что произведены более ранними разбиениями.
  1. jacquesm

    Что действительно впечатляет в этом проекте, а также в llama.cpp, так это то, что они постоянно находят новые способы ускорить код на том же железе. Каждый раз, когда я обновляюсь (примерно раз в месяц), обычно получаю прирост скорости на 5–10%.

    edit: Просто для проверки: я планировал обновиться сегодня, прогнал свой обычный бенчмарк до и после — время выполнения сократилось с 4:22 до 3:59. Это очень длинный промпт (50K токенов), так что prefill занимает хорошую его часть, а остальное уходит на генерацию токенов.

  2. evilelectron

    Потрясающе! ggml и llama.cpp — это Linux мира ИИ. Двигают локальный инференс по одному биту за раз.

    Желаю вам неограниченной мощности и пусть вы никогда не увидите дня с низким зарядом батареи. Уважение и любовь. Так держать.

  3. kodoman

    Давний пользователь llama.cpp (и других ИИ-программ на основе ggml), работаю на своей паршивой AMD-карте, которая поддерживает только vulkan, и это работает благодаря GGML и llama.cpp. Отличная программа, отличный проект.

  4. palad1n

    Мне больше нравится эта точка входа: https://github.com/ggml-org/ggml

  5. hizlikovboy27

    По моему мнению, это настоящий инженерный продукт.

    LLM.cpp, спаситель наших трудных времён...

Ещё за этот день

2026-11-14