ggml alcanza la versión 1.0.0 y elimina su API obsoleta
Ggml v1.0.0
La versión 1.0.0 de ggml elimina la API pública obsoleta y las operaciones DIAG_MASK heredadas, e incorpora soporte para FP8 y truncamiento configurable de YaRN. Además, trae mejoras de rendimiento en múltiples backends: matmuls cuantizados para pocas filas y fusión de MoE en CUDA/Metal, una ruta de FlashAttention para prefill en Vulkan, un planificador de MoE en el dispositivo para SYCL, FlashAttention descompuesto para Adreno en OpenCL, nuevos kernels para WebGPU y una mayor cobertura de operaciones en Hexagon.
El planificador omite subir entradas que no se leen y solo precarga las entradas producidas por divisiones anteriores.
- jacquesm
Lo realmente impresionante de este proyecto y también de llama.cpp es que siguen encontrando nuevas formas de acelerar el código en el mismo hardware. Cada vez que actualizo (una vez al mes más o menos) normalmente hay una mejora de velocidad del 5 al 10%.
edici\u00f3n: Solo para verificar: había planeado actualizar hoy, ejecuté mi benchmark habitual antes y después y el tiempo de ejecución pasó de 4:22 a 3:59. Es un prompt realmente largo (50K tokens), así que el prefill es una buena parte de eso y el resto se dedica a la generación de tokens.
- evilelectron
¡Impresionante! ggml y llama.cpp son el Linux del mundo de la IA. Impulsando la inferencia local bit a bit.
Deseándote poder ilimitado y que nunca veas un día de batería baja. Respeto y amor. Sigue así.
- kodoman
Usuario de llama.cpp desde hace mucho tiempo (y de otros programas de IA basados en ggml) ejecutándose en mi tarjeta AMD de porquería que solo soporta vulkan y es usable gracias a GGML y llama.cpp, gran programa gran proyecto.
- palad1n
Prefiero este punto de entrada: https://github.com/ggml-org/ggml
- hizlikovboy27
En mi opinión, este es un producto de ingeniería genuino.
LLM.cpp, el salvador de nuestros tiempos difíciles...