Tokens sind so billig, dass sie nicht mehr messbar sind
Tokens Too Cheap to Meter
Die Kosten für KI-Intelligenz sinken jährlich um Größenordnungen – und dieser Trend hält an. Der Artikel zeigt anhand von Daten zu GPUs, Modellen, Inference Engines und Mixture-of-Experts-Architekturen, dass die Kosten pro Aufgabe drastisch fallen. Besonders bemerkenswert: TypeSafe AIs Jev berechnet für Output-Tokens nichts mehr – 42 Dollar pro Milliarde Tokens. In ein bis zwei Jahren könnten LLMs als Infrastruktur in jeden Teil der Computerwelt integriert sein.
Output tokens: FREE (too cheap to meter).