Fireworks выпустила Ember-1: качество Kimi K3 при вдвое меньшем числе токенов
Fireworks Research представила Ember-1 — специализированную модель на базе Kimi K3, которая сохраняет качество оригинала, сокращая расход токенов примерно на 40%. В ходе более 50 обучающих экспериментов и 200 оценок модель научилась отбрасывать лишние рассуждения, не теряя точности. На публичных бенчмарках и в живых A/B-тестах у двух клиентов Ember-1 показала экономию около 35% токенов на задачу при сопоставимом качестве и вышла на границу Парето по стоимости и качеству.
Самое приятное для нас: никаких новостей. Отсутствие новостей — хорошая новость. Разработчики продолжали работать, не замечая подмены, потребляя при этом значительно меньше токенов.
- GodelNumbering
Это золотой век обучения моделей. Несколько дней назад я решил, что хочу локальную модель, работающую только на CPU, которая бы отлично справлялась с переводом с английского на Bash (чтобы не гуглить синтаксис команд). Я заставил кучу субагентов сгенерировать огромный объём обучающих данных (140k+ примеров), взял базовую модель Qwen 3 0.6B, натравил на неё Astra, и понеслось. Она обучалась два дня (с перерывами), и я получил на удивление хорошую модель для своей задачи! Всего активного времени я потратил несколько часов. И она всё ещё улучшается — какое время быть живым!
- tukHelix
Впервые узнаю, что у fireworks есть команда, занимающаяся исследованием моделей. У меня по этому поводу сложные чувства. С одной стороны, я всегда рад видеть улучшения OSS-моделей, будь то в интеллекте или в экономичности. С другой стороны, я бы немного забеспокоился, используя fireworks в качестве своего API-провайдера. До этого момента я использовал fireworks как провайдера для deepseek v4 flash, потому что думал, что fireworks, выступая в роли развёртывателя OSS-моделей и продавца вычислительных ресурсов, безопасно использовать без опасений, что данные пойдут на обучение, так как нет «конфликта интересов». Но теперь я бы подумал дважды.
- netvarun
Не по теме: с учётом падения цен на sol, честно говоря, ценность kimi k3 уже не так велика. Для нашего внутреннего использования/тестирования/бенчмарков sol выдаёт гораздо лучшее качество и намного дешевле. Kimi действительно нужно снижать цены (я слышал, их устанавливают они сами для всех neoclouds). Sol стоит 2/10 против 3/15 у kimi.
- nxtfari
Чем больше я узнаю о Fireworks, тем более неприятной компанией они кажутся. Мне плевать, что написано в лицензии: Moonshot открыто улучшал, делился исследованиями и предоставлял веса для моделей, которые составляют всю вашу прибыль, а в тот момент, когда вы можете улучшить их взаимно, это закрытые веса, «это наша собственная проприетарная» чушь? До чего мы дошли, что у Китая больше духа открытого исходного кода, чем у Америки?
- jamienk
Отвлекаясь на время от вопроса, что «считается» открытым, разве открытые модели не будут быстро развиваться благодаря подобным вещам так, что проприетарным это будет менее доступно? Именно так Linux и Wikipedia, например, обошли свои «фронтиры», верно?
- Arcuru
На /r/LocalLLaMA есть группа, которая стала популярной, занимаясь тем же самым для моделей Qwen 27B (и других). - https://huggingface.co/ukisai
- tangled
Что я здесь упускаю? Я думаю о fireworks как о провайдере инференса, обслуживающем модели с открытыми весами. Основная ценность, которую они предоставляют клиентам, в том, что (i) они повышают надёжность, балансируя нагрузку между кучей облаков/neoclouds, (ii) они получают лучшие цены, закупая мощности оптом, и (iii) они снижают операционные расходы. Пока всё хорошо.
Я также вижу аргумент в пользу предоставления услуги пост-обучения с точки зрения привлечения клиентов: «эй, мы можем дообучить эту модель с открытыми весами, так что она даёт лучшие/более предсказуемые результаты, чем OpenAI/Anthropic, и при этом дешевле. И кстати, как только мы заполучили ваш бизнес, пожалуйста, запускайте эту модель на нашей инфраструктуре».
Но чего я не могу понять, так это того, что fireworks тратит кучу денег (на зарплаты и вычисления), выпуская фронтирную модель, которая быстро отстанет от фронтира. Это «просто» реклама для них, как для клиентов, так и для найма? Или они на самом деле пытаются оставаться на фронтире? Если да, то с какой целью?
- soerxpso
Не вижу, почему меня должна заинтересовать эта модель, учитывая разницу в цене. Они рекламируют, что она такая же, как Kimi K3, при вдвое меньшем числе токенов. Но цена вдвое выше, чем у K3. Так почему меня должно волновать, что она использует меньше токенов, если я плачу вдвое больше за токен?