DeepX、5W未満で1000億パラメータの推論を可能にすると主張
DeepX claims inference up to 100B parameters at less than 5 W
韓国のスタートアップDeepXが、SamsungのLPDDR5x-PIMを採用した第2世代AIアクセラレータDX-M2をテープアウトした。5W未満の消費電力で最大1000億パラメータのモデルを推論でき、GEMV演算をメモリ内にオフロードすることでLlama3.1-8Bでは毎秒トークン数が6.7倍になると試算している。2027年3月にサンプル出荷、同年秋の量産を目指す。
もし1000億パラメータまでのモデルをデバイスに配備できれば、AIデータセンターのトラフィックを80%以上削減できる。つまり、AIサーバーを一切追加せずに5倍の規模のインフラを持てるということだ。これが我々のビジョンだ。
HNでの議論
22- augment_me
記事から気になる点：
1) パフォーマンス数値はシミュレーションによるもの
2) 詳細によると、パフォーマンス数値には全体電力の2.7倍、つまり約13.5Wが必要とされている。メモリ全体に必要な電力は数値に明示されていない。
3) コンパイラもシミュレーションであり、プロトタイプなので、Nvidia ISAACのようなもののドロップイン代替にはならない。
4) 5Wは4B未満のモデルを指しているようで、100Bパラメータのものではない。
- LaurensBER
最近、ヨーロッパでは米国と中国の両方への信頼がかつてないほど低下しており、AIはすでに多くの人にとって怖い存在なので、AIを社内で動かすことについて毎週質問を受けています。
ローカルファーストが私たちの向かっている未来であることに疑いはありません。より効率的なモデルへの「アルゴリズムの進歩」と、利用可能なハードウェア（NPU、このチップなど）が*いくつか*見られます。
現時点では、少し制約が多すぎて、インターネットが普遍的に利用可能であるため、魅力的な提案には思えませんが、DeepSeek 4.1 Flashクラスのモデルを安価かつローカルで実行できれば、間違いなく明白な選択になります。
- PaulKeeble
80 TOP/sと150GB/sのメモリは、このパフォーマンスの位置づけの基本を示していますが、TOP/sがINT4なのかFP16なのか、あるいは何なのかが述べられておらず、それによってプリフィル性能がかなり変わります。
消費者向けグラフィックスカード（例えば9070 XT）は、INT4で約750 TOP/s（FP16で20TOP/s）、650 GB/sになります。したがって、プリフィルではおそらく10分の1の性能ですが、FP16でメモリ帯域幅のためトークンあたり15GB以上を扱えない場合は3分の1程度かもしれません（Q4なら約7Bのアクティブパラメータ）。デコードで10トークン/秒を達成するには、Q4で最大2.5Bのアクティブパラメータになります。完全なFP16モデルをこれで動かすのは、思っているよりずっと大きくなければ非常に unlikely です。
これはまともな家庭用AIにはちょうど十分だと思います。少し遅く、MOE専用（つまりqwen 27Bは不可）ですが、価格次第では多くの人にとって興味深いものになるでしょう。100Bを目指すフラッシュモデルと2〜7Bのアクティブパラメータがあれば、比較的低消費電力のユニットでかなりの家庭用能力になる可能性があります。