DeepX-Chip bringt 100-Milliarden-Parameter-Modelle mit nur 5 Watt aufs Gerät
DeepX claims inference up to 100B parameters at less than 5 W
Der südkoreanische Edge-AI-Hersteller DeepX hat seinen zweiten KI-Beschleuniger DX-M2 getaped-out. Mit Samsungs LPDDR5x-PIM-Technologie sollen Modelle mit bis zu 100 Milliarden Parametern bei unter 5 Watt laufen – 6,7-mal schneller als ohne PIM, allerdings bei 2,7-fachem Stromverbrauch. Die Serienproduktion ist für Herbst 2027 geplant, erste Samples im März 2027.
„Wenn wir Modelle mit bis zu 100 Milliarden Parametern in Geräten einsetzen, können wir den Datenverkehr zu KI-Rechenzentren um mehr als 80 % reduzieren. Das bedeutet, wir könnten eine fünfmal größere Infrastruktur betreiben, ohne einen einzigen KI-Server hinzuzufügen. Das ist unsere Vision.“
- augment_me
Merkwürdigkeiten aus dem Artikel:
1) Die Leistungszahlen sind simuliert
2) Die Details sagen, dass die Leistungszahlen das 2,7-fache der Gesamtleistung erfordern, also etwa 13,5 W. Der Strombedarf für den gesamten Speicher geht aus den Zahlen nicht explizit hervor.
3) Der Compiler ist ebenfalls simuliert und ein Prototyp, also kein Drop-in-Ersatz für irgendetwas wie Nvidia ISAAC
4) 5 W scheint sich auf Modelle unter 4B zu beziehen, also nicht auf die mit 100B Parametern.
- LaurensBER
Ich bekomme jetzt wöchentlich Fragen zum Thema KI im eigenen Haus, in Europa scheint das Vertrauen in die USA und China auf einem Allzeittief zu sein, und KI ist für viele Menschen schon jetzt beängstigend.
Ich habe keinen Zweifel, dass Local-First die Zukunft ist, auf die wir zusteuern. Wir sehen „algorithmischen Fortschritt“ hin zu effizienteren Modellen und _etwas_ verfügbare Hardware (NPUs, dieser Chip usw.).
Im Moment scheint es kein attraktives Angebot zu sein, weil es einfach ein bisschen zu eingeschränkt ist und weil das Internet überall verfügbar ist – aber wenn wir ein Modell der DeepSeek-4.1-Flash-Klasse günstig und lokal laufen lassen können, wird es zur klaren Sache.
- PaulKeeble
80 TOP/s und 150 GB/s Speicher geben uns die Grundlagen dafür, wo das leistungsmäßig einzuordnen ist, obwohl nicht gesagt wird, ob die TOP/s für INT4 oder FP16 oder was auch immer gelten, was die Prefill-Leistung erheblich verändert.
Eine Consumer-Grafikkarte (sagen wir eine 9070 XT) wird eher so etwas wie 750 TOP/s bei INT4 (20 TOP/s bei FP16) und 650 GB/s haben. Es ist also wahrscheinlich etwa ein Zehntel der Leistung für Prefill, aber vielleicht nur ein Drittel, wenn es FP16 ist und aufgrund seiner Speicherbandbreite nicht mehr als 15 GB pro Token verarbeiten kann (bei Q4 wären das ~7B aktive Parameter) für Decode, um 10 Token/s zu erreichen, und um seine 30 Token/s zu erreichen, wären es maximal 2,5B aktive Parameter bei Q4. Ein volles FP16-Modell darauf scheint sehr unwahrscheinlich, es sei denn, es ist viel größer, als wir denken.
Ich denke, das ist gerade so genug für eine ordentliche Heim-KI, es ist etwas langsam und nur für MOE nützlich (also kein qwen 27B), aber je nach Preis kann ich mir vorstellen, dass es für viele Leute interessant ist, denn einige Flash-Modelle, die auf 100B und 2–7B aktive Parameter abzielen, könnten in einer relativ stromsparenden Einheit ziemlich viel Heim-Kapazität bieten.