DiffusionGemma登場、1秒1500トークンの高速生成

DiffusionGemma Technical Report

GoogleのDiffusionGemmaチームは、拡散モデルを用いた実験的なオープンウェイト言語モデル「DiffusionGemma」の技術報告書を公開した。従来の自己回帰モデルが1トークンずつ生成するのに対し、DiffusionGemmaは256トークンのブロックを並列に洗練することで、単一のNVIDIA H100 GPU上で毎秒約1500トークンを生成する。これは最先端の投機的復号を用いた自己回帰モデルよりも大幅に高速だ。モデルはGemma 4のMixture-of-Experts版（アクティブパラメータ38億、総パラメータ252億）を基に、総トレーニングトークン予算の10%未満でファインチューニングされた。思考モード、マルチモーダル入力、長いコンテキストにも対応し、自己回帰生成も可能だという。