Один разработчик обучил LLM на 3.8 млрд параметров за $998, обойдя GPT-2
Training a 3.8B LLM to 0.384 CORE for $998 – Hugo Vergnes
Hugo Vergnes в одиночку обучил модель little-lm 3.8B, набравшую 0.384 балла CORE — заметно выше, чем у GPT-2 (0.2565) и nanochat d32 (0.310). Обучение на 65 млрд токенов заняло 43 часа на восьми B200 и стоило $998. Автор описывает, что сработало (Muon, FP8, ClimbMix, fused cross-entropy), а что нет, и разбирает инженерные компромиссы, позволяющие уложиться в тысячу долларов.
Я потратил шесть дней вычислений, чтобы построить модель хуже, чем модель в семь раз меньше, из 2019 года.
- pulse7
Надеюсь, скоро появится open-source проект для обучения таких маленьких LLM, где можно просто выбрать архитектуру (вроде Qwen / DeepSeek / и т.д.), количество параметров, датасет, ... и затем запустить его на локальных/арендованных GPU...
- brainless
Всё больше и больше таких экспериментов. Я пару месяцев грустил, когда осознал, что писать код теперь будет не так, как раньше. Теперь я на другой стороне.
LLM интересны по-своему, но как инженер, это способ открыть новый способ создания программного обеспечения.
Недавно я создал парсер Excel/CSV с помощью Claude для системы управления недвижимостью в США (налоговая отчётность). Использует Haiku и содержит много детерминированного кода для извлечения комбинаций столбцов/строк, проверки известных форматов и, наконец, передачи заголовков в Haiku, чтобы получить план преобразования в наши вспомогательные столбцы.
В конечном итоге это станет частью программного обеспечения, в крошечной LLM. Разрыв между обучением (таких крошечных LLM) и инференсом сократится. Мы можем консультироваться с Claude по крайним случаям, создавать выборочный датасет и обучать крошечную LLM по требованию, чтобы реже обращаться к Claude.
Инструментарий, необходимый проекту, действительно важен. Это то, что я тоже ощущал. Не только в проектах по созданию LLM, но и в обычных программных проектах, сгенерированных LLM.
- rao-v
Это действительно здорово! Меня бы соблазнило попробовать это снова, нацелившись на ~1B параметров и всю кулинарную книгу «текущих» идей для маленьких моделей: gated delta nets (или ~2K контекста слишком мало, чтобы получить выгоду?), эмбеддинги на слой или n-граммы, gated residuals и т.д.