Edge0-145B: модель на 145 млрд параметров запустили на ноутбуке
Edge0-145B: Frontier AI Capabilities on Your Own Computer
Edge0 открыла исходный код моделей Edge0-145B и Edge0-120B — первой on-device модели на 145 млрд параметров. Она работает на совместимом ноутбуке: пиковое потребление памяти 29 ГБ, генерация свыше 80 токенов/с, контекст до 256K. По бенчмаркам кодинга, рассуждений и следования инструкциям модель конкурирует с облачными Qwen3.8-Flash-Next и DeepSeek-V4-Flash-0731. Вместе с весами опубликованы фреймворк инференса и инструменты развёртывания.
Локальный инференс не влечёт соответствующих облачных платежей за токены или API; данные могут оставаться на компьютере, а базовые возможности продолжают работать офлайн. Железо и электричество по-прежнему стоят денег.
- _boffin_
Это просто квантованная версия 3.8 next flash на strata, только под брендом?
- SwellJoe
Я реально впечатлён примерами с Blender. Удивительно, как далеко продвинулось «использование инструментов», когда теперь это означает использование такого сложного инструмента, как Blender, для выполнения работы, на которую у человека ушли бы дни. Я немного скептичен насчёт того, что сами модели работоспособны в том смысле, что человек мог бы потом вручную доработать и наложить лучшие текстуры и т.д. Исторически дизайны, сделанные агентами, — это чёрт знает что, и к тому моменту, как ты их приводишь в порядок, ты уже не экономишь время. Но это начало улучшаться; лучшие модели теперь очень хорошо делают чистые SVG на основе фигур, например, не более грязные, чем то, что человек сделал бы в Inkscape или Illustrator. Но я обязательно попробую.
- mikeshi42
> Совместное использование матриц существенно сокращает веса, которые нужно хранить и перемещать, сохраняя при этом неизменным количество экспертов. Каждая группа из 64 экспертов делит две большие матрицы, а каждый эксперт сохраняет небольшой набор параметров, отражающих его отличия.
145 млрд параметров при пиковом использовании памяти всего 29 ГБ — действительно впечатляет, это реально можно запустить на MacBook Pro приличной конфигурации.