TurboGPT - Train a tiny GPT in under a minute
Show HN: TurboGPT: train 22KiB transformer in 13s
TurboGPT — это минималистичный C++/CUDA-проект, позволяющий обучить крошечный трансформер (22 КиБ) всего за 13 секунд на одной GPU. Он решает задачу быстрого прототипирования и образовательных экспериментов с GPT: вместо громоздких фреймворков вы получаете чистый код, конфигурацию через experiment.h и совместимые с PyTorch чекпоинты. Доступны TensorBoard-логи, возобновление обучения и генерация примеров после каждого запуска. Идеально для исследователей и разработчиков, желающих понять внутренности трансформеров без лишних зависимостей.
Обучите крошечный GPT менее чем за минуту — и увидите, как трансформер оживает прямо на ваших глазах.
- _345
Пытаясь быть чуть менее негативным, чем парень, которого заминусовали, я тоже не понимаю мотивацию этих проектов. Я видел их уже сотню — и каждый из них, вероятно, хуже и имеет меньше образовательной ценности, чем тот, который сделал Andrej Karpathy, чтобы научить людей строительным блокам, лежащим в основе GPT.
Так почему люди продолжают их делать? Спрашиваю искренне
- vjsrinivas
Интересный тренд — называть модели по тому, насколько они большие на диске, а не по количеству обучаемых параметров.
- jey
В таком масштабе, кажется, можно было бы просто решить условия KKT напрямую. Преувеличиваю, но лишь немного.