DeepSeek сжал KV-кэш в 437 раз и подарил Западу прибыль

Я также благодарен китайским лабораториям за то, что они предлагают обходные пути для «огороженных садов», которые пытаются создать американские AI-компании.

Кто-нибудь знает, есть ли доступные наборы данных для дистилляции? Я бы очень хотел увидеть их распространение через BitTorrent. Я считаю критически важным, чтобы AI был демократизирован, а не изолирован в руках нескольких частных компаний.

Лучшее объяснение состоит в том, что целью КПК является общая коммодитизация LLM, потому что LLM в конечном итоге будут дополнением к производству (в котором Китай доминирует), а вы всегда хотите «коммодитизировать свои дополнения».

Я думаю, это объясняет, почему они так широко открывают исходный код. Это не для того, чтобы быть милыми. Это стратегический ход китайского правительства, чтобы помочь обеспечить множество игроков в этой гонке и не допустить чрезмерной концентрации власти у американских лабораторий (даже если американские лаборатории выигрывают от этого процесса).

Я чрезвычайно благодарен, что китайские AI-модели настолько хороши. Я отчаянно хочу, чтобы мы вылечили множество болезней, от которых люди ежедневно страдают без необходимости. Чтобы сделать это, нам понадобятся более мощные модели, чем у нас есть сейчас, и китайцы обеспечивают конкуренцию, необходимую для того, чтобы продвигать это как можно быстрее.

Я понимаю, что «делать как можно быстрее» — не самая популярная позиция на данный момент. Но меня гораздо больше интересит, сколько пользы мы можем принести, чем 10% сценариев апокалипсиса. Я волонтёр в благотворительной организации по борьбе с детским раком мозга, и я не хочу видеть, как умирает ещё один 4-летний ребёнок. Я готов рискнуть всем, чтобы остановить это.

Я запускал Qwen 3.8 27b (модель уровня opus 4.6) локально на 5090 чуть более двух недель при 170 токенов/с. Это фронтирная модель девятимесячной давности, работающая на потребительском железе. Кто знает, куда нас заведут дистилляция и прунинг ещё через год.

«Итак, китайские лаборатории бросили спасательный круг западным убыточным лабораториям, и я понятия не имею, почему».

Я не думаю, что это намеренно, но на самом деле это довольно плохо для западных лабораторий.

Весь нарратив роста был таким: «посмотрите, как растёт их выручка! С $10 млрд до $100 млрд ARR менее чем за год! Это будет IPO на несколько триллионов!» — и экстраполированный будущий рост с $100 млрд до $500 млрд и с $500 млрд до $1 трлн оправдывал будущие инвестиции... но эта выручка была только потому, что инференс был дорогим.

История роста выручки — это всё, что имеет значение до IPO. Если выручка упадёт со $100 млрд до $50 млрд, это очень-очень плохой имидж для OpenAI и Anthropic, даже если теперь они прибыльны, это полностью разрушает нарратив роста.

Оптимизации производительности помогают не только западным лабораториям, они также помогают запускать более мощные/полезные LLM локально.

Если локальные LLM станут «достаточно хорошими», люди вскоре перестанут платить за подписки на ChatGPT и Claude, что ударит по их выручке.

> Всё это должно означать, что западные AI-компании теперь крайне маржинально положительны по инференсу.

> Итак, китайские лаборатории бросили спасательный круг западным убыточным лабораториям, и я понятия не имею, почему.

То, что инференс был неприбыльным, — широко распространённый миф.

Анализ на основе Kimi K3 предполагает, что у OpenAI и Anthropic маржа значительно выше 95%: https://inferencex.semianalysis.com/run/kimi-k3-on-b200

За последние месяцы я неоднократно видел новости о том, что OpenAI совершала прорывы в эффективности инференса.

У меня нет причин полагать, что ведущие американские лаборатории не имеют собственных оптимизаций или что они узнали об этой конкретной оптимизации от DeepSeek.

> Итак, китайские лаборатории бросили спасательный круг западным убыточным лабораториям, и я понятия не имею, почему.

«Таким образом, эксперт в битве движет врагом, а не движим им».

Они нашли умный метод избежать чрезмерных затрат на обучение через дистилляцию. Это вынуждает фронтирные лаборатории двигаться быстрее, создавать лучшие модели и т.д. (чтобы избежать позора и «отставания» — при этом неся большую часть расходов), которые они могут просто продолжать дистиллировать — или применять другие техники против них — к большому огорчению упомянутых фронтирных лабораторий.

Шах и мат.

Двоемыслие, необходимое для того, чтобы одновременно верить в «наши меры защиты не позволяют нашим моделям выполнять несанкционированные задачи в области кибербезопасности» и «дистилляция — причина того, что китайские модели становятся лучше в задачах кибербезопасности», поистине забавно.