Модель mini-AGI учится непрерывно на одном GPU с 8 ГБ VRAM

Mini-AGI – dynamic continual learning model trained from scratch on 8GB VRAM

mini-AGI — это byte-level языковая модель, которая собирает собственную архитектуру, обучается с нуля на одном потребительском GPU с 8 ГБ VRAM и продолжает учиться на всём, что читает. Веса хранятся на диске и подгружаются по мере необходимости, поэтому число параметров ограничено свободным местом, а не видеопамятью. Модель растёт, добавляя экспертов, и удаляет неиспользуемые. Пока это игрушечный эксперимент, но он показывает, что непрерывное обучение без катастрофического забывания возможно на скромном железе.