ggml alcanza la versión 1.0.0 y elimina su API obsoleta

Ggml v1.0.0

La versión 1.0.0 de ggml elimina la API pública obsoleta y las operaciones DIAG_MASK heredadas, e incorpora soporte para FP8 y truncamiento configurable de YaRN. Además, trae mejoras de rendimiento en múltiples backends: matmuls cuantizados para pocas filas y fusión de MoE en CUDA/Metal, una ruta de FlashAttention para prefill en Vulkan, un planificador de MoE en el dispositivo para SYCL, FlashAttention descompuesto para Adreno en OpenCL, nuevos kernels para WebGPU y una mayor cobertura de operaciones en Hexagon.

El planificador omite subir entradas que no se leen y solo precarga las entradas producidas por divisiones anteriores.
  1. jacquesm

    Lo realmente impresionante de este proyecto y también de llama.cpp es que siguen encontrando nuevas formas de acelerar el código en el mismo hardware. Cada vez que actualizo (una vez al mes más o menos) normalmente hay una mejora de velocidad del 5 al 10%.

    edici\u00f3n: Solo para verificar: había planeado actualizar hoy, ejecuté mi benchmark habitual antes y después y el tiempo de ejecución pasó de 4:22 a 3:59. Es un prompt realmente largo (50K tokens), así que el prefill es una buena parte de eso y el resto se dedica a la generación de tokens.

  2. evilelectron

    ¡Impresionante! ggml y llama.cpp son el Linux del mundo de la IA. Impulsando la inferencia local bit a bit.

    Deseándote poder ilimitado y que nunca veas un día de batería baja. Respeto y amor. Sigue así.

  3. kodoman

    Usuario de llama.cpp desde hace mucho tiempo (y de otros programas de IA basados en ggml) ejecutándose en mi tarjeta AMD de porquería que solo soporta vulkan y es usable gracias a GGML y llama.cpp, gran programa gran proyecto.

  4. palad1n

    Prefiero este punto de entrada: https://github.com/ggml-org/ggml

  5. hizlikovboy27

    En mi opinión, este es un producto de ingeniería genuino.

    LLM.cpp, el salvador de nuestros tiempos difíciles...

Más de este día

2026-11-14