OpenAI Jalapeño：能效碾压Nvidia Blackwell
OpenAI Jalapeño: Better than Nvidia Blackwell
OpenAI 与 Broadcom 联手打造的推理芯片 Jalapeño 正式亮相，其能效表现令人咋舌。这款芯片仅用16个月便完成从设计到流片，打破了首代芯片通常不具竞争力的行业魔咒。实测数据显示，Jalapeño 在无需多 token 预测（MTP）的情况下，其每瓦性能（perf/W）全面超越 Nvidia Blackwell 甚至 Rubin 架构。OpenAI 并未选择针对特定模型过度特化，而是打造了一款通用的 AI 推理芯片，旨在解决数据中心电力受限的核心痛点。从 DeepSeek R1 到 GPT-OSS，Jalapeño 在多种模型上均展现出惊人的吞吐量和低延迟，预示着 AI 硬件竞争正从单纯算力转向能效与架构设计的深度博弈。
如果你拥有1吉瓦的电力，那么每瓦吞吐量就是收入。
HN 评论区
369- Traster
这篇 SemiAnalysis 的文章读起来更像 OpenAI 的公关通稿，而不是真正的分析。老实说，其中一些陈述简直就是赤裸裸的谎言——他们起初声称是被邀请去进行基准测试的，结果读到一半又改口说是 OpenAI 提供了所有数据。这真的很让人失望，因为我想读到关于行业现状的实际、详细、 nuanced（细微差别）且可信的分析，但这篇文章看起来完全不可信。
- mchusma
我觉得他们提到这是一款通用芯片，但我认为 Anthropic/OpenAI 现在的规模已经大到可以自行将 LLM 权重烧录进芯片里了。
举个例子，如果把 GPT Sol 烧录进定制芯片，成本 1 亿美元，运行速度快 10 倍，成本低 10 倍，只要这款芯片的使用寿命足够长，这笔投资就能收回。
虽然两年前没有任何东西的寿命能超过 1 年，但现在有很多旧模型仍在被使用（例如 Haiku 4.5, GPT-OSS 120b），我预计这一趋势会持续下去。
我知道 Taalas 就是这么做的（已被 AMD 收购），这是他们的演示：https://chatjimmy.ai/，基于 Llama 3.1 8B。感觉这种事很快就会发生。
- iFire
那么在所有的推理专用芯片中，我能买到哪些？
唯一的报道是阿里云的一款智能网卡 FPGA，我们需要取一个 onnx 设计然后自己写代码。
https://essenceia.github.io/projects/alibaba_cloud_fpga/
在我的 M2 Pro Mac Mini 上，ANE 只允许使用 2GB 内存，而 Metal GPU 可以使用系统内存。
目前正在玩 https://www.asus.com/motherboards-components/ai-accelerator/...，这是一款支持 4bit、8bit 和 16bit 的 AI 推理芯片，自带 8GB 内存。
UGen300 搭载的是 Hailo-10H 芯片组。
ASUS 商店里 ugen300-usb-8g 的售价是 365 加元。
- g00afthrowaway
SemiAnalysis 居然在这里还有公信力，真是好笑。这家公司的创始人在硬件圈里是出了名的黑市情报贩子。
他们的套路是这样的：
1. 创始人和本科生实习生/研究生实习生交朋友，送礼物，邀请他们参加晚宴、游艇、豪宅或风投派对，或者付钱让他们写文章。
2. 创始人从这些实习生嘴里套出内幕消息。
3. 创始人以“咨询费”的名义将这些信息卖给公司。
- Alien1Being
警告：AI 厂商的炒作。
- epistasis
看到 FP4 真是太搞笑了。我记得 20 年前有人问我基因组学需要什么样的 HPC（高性能计算），答案基本上就是“更低精度，更快”，针对我当时做的工作而言。但 FP4 嘛，简直有点滑稽。
那个对比表里没提到的一点是：裸片尺寸（die size）。如果我理解正确的话，它的尺寸和 Rubin 差不多，但 NVFP4 PFLOPs 的数量只有后者的 1/3。（文字描述和表格不一致，我暂且以表格为准，也许我理解错了……）
- corford
这些初出茅庐的推理芯片项目让我想起了早期的 3dfx / riva / mach / powervr 时代。看看推理芯片能否站稳脚跟，如果能，最终的主导者会是谁，这将非常有趣。
- fraboniface
我之前没看过将 Token/焦耳与人类语音进行对比。人类仍然要高效 22 倍，考虑到该领域的进步速度，这个差距其实不算太远。
- jimmySixDOF
我喜欢现在的这种局面：当你分析一个万亿美元的产业时，竟然还得考虑背后发帖的动机——毕竟这是由一群前 Reddit 和 4Chan 的版主（或其关联人员）以世界级水平进行的分析。AI 领域最好的故事之一，就是 SemiAnalysis 并没有像 Gartner、麦肯锡等机构那样同流合污。
- anthonypasq
持续的硬件改进真的让我很难相信 Token 价格不会继续暴跌。