GPT-2 в чистом CMake: запуск модели с Q16.16 целочисленной арифметикой
Implementation of GPT-2 in pure CMake
Проект gpt2.cmake реализует модель GPT-2 исключительно на языке CMake, используя целочисленную арифметику Q16.16. Репозиторий включает полную модель, загружаемую с Hugging Face, и игрушечную модель для демонстрации. Для запуска достаточно выполнить cmake -P с указанием промпта и числа генерируемых токенов. Код распространяется под лицензией BSD 3-Clause.
GPT-2 in pure CMake, executed with Q16.16 integer arithmetic.
- voxelghost
[задержано]
- inoffensivename
Цитируя Эйприл Ладгейт: «Фу. Мне нравится».
- ahartmetz
К слову, это, скорее всего, даже не настолько быстро, чтобы посмеяться над тем, насколько оно медленное — для этого нужно увидеть, как что-то происходит меньше чем за час или около того.
Оно может использовать только одно ядро за раз, но это не самое худшее: CMake интерпретируемый и со строками вместо типов, так что каждое число придётся преобразовывать из строки в число и, как правило, обратно при каждом использовании.