DeepX обещает запуск моделей на 100 млрд параметров при энергопотреблении менее 5 Вт
DeepX claims inference up to 100B parameters at less than 5 W
Южнокорейский стартап DeepX выпустил второй ускоритель для периферийного ИИ — DX-M2. Чип способен выполнять вывод моделей с 20–100 млрд параметров (3–20 млрд активных) со скоростью 10–30 токенов в секунду, укладываясь в 5 Вт. Ключевой фактор — память: пропускная способность выросла с 50 до 150 ГБ/с, а совместно с Samsung разработана интеграция с LPDDR5x-PIM, что в симуляциях даёт 6,7-кратный прирост токенов в секунду для Llama3.1-8B. Серийные образцы ожидаются в 2027 году.
«Если мы развернём модели до 100 миллиардов параметров прямо в устройствах, мы сможем сократить трафик AI-дата-центров более чем на 80%. Это значит, что мы могли бы иметь в пять раз большую инфраструктуру, не добавляя ни одного AI-сервера. В этом наше видение».
- augment_me
Странности из статьи:
1) Цифры производительности смоделированы
2) В деталях сказано, что для этих цифр производительности требуется в 2,7 раза больше общей мощности, то есть около 13,5 Вт. Энергопотребление всей памяти в цифрах явно не указано.
3) Компилятор тоже смоделирован, и это прототип, так что это не замена чему-то вроде Nvidia ISAAC.
4) 5 Вт, похоже, относятся к моделям менее 4B, а не к моделям на 100B параметров.
- LaurensBER
Мне теперь каждую неделю задают вопросы о запуске ИИ внутри компании, в Европе доверие и к США, и к Китаю, похоже, достигло исторического минимума, и ИИ уже пугает многих людей.
У меня нет сомнений, что локальный подход — это будущее, к которому мы движемся. Мы видим «алгоритмический прогресс» в сторону более эффективных моделей и _кое-какое_ доступное железо (NPU, этот чип и т.д.).
На данный момент это не выглядит привлекательным предложением, потому что оно слишком ограничено, а интернет доступен повсеместно, но если мы сможем дешево и локально запускать модель класса DeepSeek 4.1 Flash, то это станет очевидным выбором.
- PaulKeeble
80 TOP/s и пропускная способность памяти 150 ГБ/с дают нам представление о том, где это находится по производительности, хотя не сказано, для INT4 или FP16 эти TOP/s или для чего-то ещё, что значительно меняет производительность префилла.
Потребительская видеокарта (скажем, 9070 XT) будет иметь что-то около 750 TOP/s на INT4 (20 TOP/s на FP16) и 650 ГБ/с. Так что это, вероятно, примерно десятая часть производительности для префилла, но, может быть, только треть, если это FP16 и не может обрабатывать более 15 ГБ на токен из-за пропускной способности памяти (при Q4 это было бы ~7B активных параметров) для декодирования, чтобы достичь 10 токенов/с, а чтобы получить 30 токенов/с, это будет максимум 2,5B активных параметров при Q4. Полная модель FP16 на этом кажется очень маловероятной, если только она не намного больше, чем мы думаем.
Я думаю, этого как раз достаточно для приличного домашнего ИИ, это немного медленно и будет полезно только для MOE (так что никаких qwen 27B), но в зависимости от цены я вижу, что это может заинтересовать многих людей, так как некоторые flash-модели, нацеленные на 100B и 2-7B активных параметров, могут обеспечить довольно много домашних возможностей в устройстве с относительно низким энергопотреблением.