Gimlet Labs、3億ドルのSeries Bを発表——異種チップで推論を5〜10倍高速化
Gimlet's Series B

Gimlet Labsは、Andreessen Horowitz主導の3億ドルのSeries B調達を発表した。同社は、AI推論専用に設計された「マルチシリコンクラウド」を構築しており、GPU、near-memory compute、dataflowアーキテクチャ、CPUなどの異種アクセラレータを組み合わせ、ワークロードを最適なシリコンに動的に分散させる。この「異種混合の分離」アプローチにより、同じ消費電力で5〜10倍の高速化を実現する。記事では、トークン需要の急増と電力ボトルネックに対処するための、スループットと低レイテンシの両立の重要性を強調している。
モデルを分解して異なるタイプのアクセラレータ上で実行することで、同じ電力フットプリントで5〜10倍の高速化、または同じレイテンシで同様のスループット向上を達成できます。