Lokale KI beantwortet fast 90 % der Anfragen – bei 5,3-fach besserer Energieeffizienz seit 2023
Intelligence per Watt: Measuring Intelligence Efficiency of Local AI
Eine Studie schlägt „Intelligence per Watt“ (IPW) als Metrik für lokale LLM-Inferenz vor: Aufgaben genauigkeit pro Watt. Getestet wurden über 20 lokale Modelle, 8 Beschleuniger und 1 Million echte Chat- und Reasoning-Anfragen. Lokale LMs beantworten 88,7 % korrekt; die IPW stieg von 2023 bis 2025 um Faktor 5,3, und die lokal bedienbare Abdeckung wuchs von 23,2 % auf 71,3 %. Lokale Beschleuniger erreichen mindestens 1,4-mal niedrigere IPW als Cloud-Beschleuniger mit identischen Modellen.
Lokale Beschleuniger erreichen mindestens 1,4-mal niedrigere IPW als Cloud-Beschleuniger mit identischen Modellen, was erhebliches Potenzial für die Optimierung lokaler Beschleuniger offenbart.