High Bandwidth Flash: Der Speicher aus deinem USB-Stick könnte AIs größtes Problem lösen
High-Bandwidth Flash offers efficient storage for model weights
Large Language Models (LLMs) benötigen enorme Speichermengen, und der Bedarf wächst rasant. Während sich die Industrie auf High-Bandwidth Memory (HBM) und DRAM konzentriert, schlägt ein neuer Ansatz Wellen: High Bandwidth Flash (HBF). Diese Technologie überträgt das Prinzip von HBM – das Stapeln mehrerer Chips für mehr Kapazität und Bandbreite – auf NAND-Flash-Speicher, wie er in SD-Karten und USB-Sticks steckt. Sandisk und SK Hynix arbeiten an der Standardisierung. HBF könnte besonders bei der KI-Inferenz glänzen, da dort Modellgewichte nur gelesen werden. Mit bis zu 1,6 TB/s Lesebandbreite pro Stack könnte HBF HBM entlasten und die Kosten für den Betrieb großer Modelle senken.
„Flash ist atrociously langsam beim Schreiben, aber beim Lesen lässt es sich zu ziemlich hohen Geschwindigkeiten bringen – und genau das will High Bandwidth Flash erreichen.“