OpenAI Jalapeño превзошёл Nvidia Blackwell в тестах SemiAnalysis
OpenAI Jalapeño: Better than Nvidia Blackwell
SemiAnalysis изучила инференс-чип OpenAI Jalapeño, созданный с нуля совместно с Broadcom всего за 16 месяцев. Вопреки ожиданиям, это универсальный чип для ИИ-инференса, а не узкоспециализированное решение. В бенчмарках InferenceX он показал лучшую производительность на ватт среди всех протестированных чипов Nvidia, AMD и Google, превзойдя даже Blackwell. Авторы отмечают, что сравнение с Blackwell не совсем честно: реальный конкурент — Vera Rubin, и с ним Jalapeño тоже выигрывает по эффективности. OpenAI делает ставку на производительность на ватт, так как дата-центры ограничены мощностью.
Jalapeño — это универсальный инференс-чип, способный запускать самые разные модели и нагрузки, включая наш бенчмарк InferenceX.
- Traster
Эта статья SemiAnalysis больше похожа на пресс-релиз OpenAI, чем на настоящий анализ. И, честно говоря, некоторые утверждения кажутся просто ложью — сначала они заявляют, что их пригласили протестировать, а потом на полпути переключаются на утверждение, что все цифры предоставила OpenAI. Это очень плохо, потому что я хочу читать настоящий подробный, нюансированный и заслуживающий доверия анализ того, что происходит в индустрии, а этому доверять нельзя.
- mchusma
Я думаю, они говорили, что это чип общего назначения, но мне кажется, что Anthropic/OpenAI уже достигли такого масштаба, что могли бы встраивать веса LLM прямо в чипы. Например, GPT Sol, встроенный в кастомный чип, который стоит $100M и работает в 10 раз быстрее и в 10 раз дешевле, окупится, если чип будет полезен достаточно долго. Хотя два года назад ничто не было полезно дольше года, сейчас используются многие старые модели (например, Haiku 4.5, GPT-OSS 120b), и я ожидаю, что эта тенденция продолжится. Я знаю, что именно этим занималась Taalas (приобретена AMD), вот их демо, https://chatjimmy.ai/, основанное на Llama 3.1 8B. Похоже, это должно начаться в ближайшее время.
- iFire
Итак, из всех чипов только для инференса какие я могу купить? Единственный отчет — это smartnic FPGA от Alibaba, где мы берем ONNX-дизайн и пишем свой собственный. https://essenceia.github.io/projects/alibaba_cloud_fpga/ На моем Mac Mini с M2 Pro ANE позволяет использовать только 2 гигабайта, в отличие от Metal GPU, который может использовать системную память. Сейчас играюсь с https://www.asus.com/motherboards-components/ai-accelerator/... — это чип для ИИ-инференса с 4-бит, 8-бит и 16-бит вычислениями и 8 гигабайтами памяти. В UGen300 стоит чипсет Hailo-10H. Цена в магазине ASUS для ugen300-usb-8g составляет 365 канадских долларов.
- g00afthrowaway
Забавно, что SemiAnalysis имеет доверие здесь, из всех мест. Основатель хорошо известен в аппаратных кругах как торговец информацией с черного рынка. Это работает так: 1. Основатель заводит дружбу с интернами-студентами, дарит им подарки, приглашает на ужины/яхты/дома/вечеринки VC и т.д., или платит им за написание статей. 2. Основатель извлекает инсайдерскую информацию из этих интернов. 3. Основатель продает эту информацию компаниям, платящим "консалтинговые" сборы.
- epistasis
Так забавно видеть FP4... Я помню, 20 лет назад меня спрашивали, какой HPC нам нужен в геномике, и ответ был в основном: "ниже точность, быстрее" для того, над чем я работал. Но FP4 — это, ну, почти комично. Одна вещь, которой нет в этой сравнительной таблице: размер кристалла. Если я правильно понимаю, он примерно такой же, как у Rubin, но при 1/3 количества NVFP4 PFLOPs. (Текст не согласуется с таблицей, я принимаю таблицу за истину, возможно, это неправильно...)
- corford
Эти зарождающиеся усилия по созданию чипов для инференса напоминают мне ранние дни 3dfx / Riva / Mach / PowerVR. Будет интересно посмотреть, останутся ли чипы для инференса надолго и, если да, кто станет доминирующими игроками.
- fraboniface
Я раньше не видел сравнения токенов/джоулей с человеческой речью. Люди все еще в 22 раза эффективнее, что не так уж далеко, учитывая темпы прогресса в этой области.
- Alien1Being
ПРЕДУПРЕЖДЕНИЕ: ХАЙП ОТ ПОСТАВЩИКОВ ИИ
- jimmySixDOF
Мне нравится, как теперь приходится учитывать возможную мотивацию для с**постинга за анализом индустрии с триллионным оборотом, проводимым на мировом уровне кучкой бывших модераторов, близких к Reddit и 4Chan, — это одна из лучших историй в ИИ, что SemiAnalysis не из того же теста, что Gartner, McKinsey и прочие.
- anthonypasq
Продолжающееся улучшение аппаратного обеспечения действительно мешает мне поверить, что цены на токены не будут продолжать падать.