OpenAI의 자체 칩 'Jalapeño', Nvidia Blackwell 제치고 추론 성능 1위

OpenAI Jalapeño: Better than Nvidia Blackwell

OpenAI가 Broadcom과 함께 개발한 LLM 추론 전용 칩 'Jalapeño'가 Hot Chips에서 공개됐다. SemiAnalysis는 OpenAI 연구소에서 직접 벤치마크를 수행, Jalapeño가 전력 대비 토큰 처리량(perf/W)에서 Nvidia Blackwell은 물론 AMD, Google의 칩을 모두 압도한다고 밝혔다. 특히 단일 토큰 예측만으로 Blackwell의 다중 토큰 예측을 능가하며, DeepSeek R1에서 동시성 1 기준 초당 700토큰 이상을 달성했다. OpenAI는 특정 모델에 특화하지 않고 일반적인 추론 칩으로 설계했으며, HBM4를 채택해 대역폭당 전력 효율도 최고 수준이다. 다만 아직 엔지니어링 샘플 단계로, NVIDIA의 차세대 칩 Rubin과의 비교가 더 공정하다는 평가도 있다.