GPT-2 en CMake puro: ejecuta el modelo con aritmética de enteros Q16.16
Implementation of GPT-2 in pure CMake
AlpinDale ha publicado gpt2.cmake, una implementación del modelo GPT-2 escrita íntegramente en CMake, sin C ni Python. El proyecto ejecuta el modelo completo con aritmética de enteros Q16.16, lo que permite generar texto a partir de un prompt. Incluye herramientas para convertir los pesos de Hugging Face a tablas y generar el modelo, así como un modelo de juguete para pruebas rápidas. El código está disponible bajo licencia BSD 3-Clause.
GPT-2 in pure CMake, executed with Q16.16 integer arithmetic.
- voxelghost
[retrasado]
- inoffensivename
Citando a April Ludgate: Asqueroso. Me encanta.
- ahartmetz
Para que conste, lo más probable es que ni siquiera sea lo bastante rápido como para reírte de lo lento que es; para eso necesitas ver algo que ocurra en menos de una hora o así.
Solo puede usar un núcleo a la vez, pero eso no es lo peor: CMake es interpretado y está fuertemente tipado con cadenas, así que cada número tendrá que convertirse de cadena a número y normalmente de vuelta en cada uso.