LLM-Intelligenz vs. Kosten: Warum die offizielle Grafik irreführt
LLMs: Intelligence vs. Cost
Der Dask-Maintainer Guido Imperiale von OpenTeams kritisiert die „Intelligence vs. Cost“-Grafik von ArtificialAnalysis. Er zeigt, dass die logarithmische Kostenskala und die offiziellen API-Preise ein verzerrtes Bild liefern. Mit eigenen Diagrammen auf Basis von OpenRouter-Preisen und Stromkosten für lokale Modelle demonstriert er, wie günstig KI tatsächlich sein kann: Modelle wie GLM-5.3-Flash sind 160-mal billiger als Top-Modelle und decken doch 90 % der Anwendungsfälle ab.
Die Kosten für den Betrieb modernster Modelle von Anthropic und OpenAI sind so hoch, dass selbst große Konzerne sie sich kaum leisten können, während chinesische Modelle so günstig sind wie ein Mobilfunkvertrag.
- oliwary
Das sieht großartig aus! Ich denke auch, dass die Geschwindigkeit Teil der Metrik sein sollte (d.h. wie lange das Modell braucht, um eine Aufgabe tatsächlich zu lösen). Für mich persönlich bevorzuge ich es, teure Modelle wie Sol für leichte Denkaufgaben zu verwenden, was mir normalerweise gute Antworten mit schnellen Reaktionszeiten liefert.
Für meinen Programmierstil (schnelles Hin und Her und Korrekturen) macht es einen großen Unterschied, ob ein Modell in 1-2 Minuten antwortet oder in 5-10, und ich zahle gerne etwas mehr dafür.
- themgt
Es gibt einen immensen Kostenunterschied zwischen den hochmodernen Modellen von Anthropic und OpenAI und den viel billigeren chinesischen Modellen ... Wie viel zusätzliche Intelligenz das Leeren des Geldbeutels kauft, gehorcht dem Gesetz des abnehmenden Grenznutzens: Während ein Top-Ingenieur oder -Wissenschaftler wahrscheinlich in der Lage ist zu schätzen, wie viel besser Fable 5.1 [ist] ... fällt es den meisten Menschen schwer, das zu erkennen.
Nebari ist offiziell als JATIC-Produkt gelistet, als Teil der Next-Gen-Toolchain, die die KI-Entwicklung des Verteidigungsministeriums unterstützt.
Sind wir offiziell etwa einen Grad von Kevin Bacon entfernt, wenn das Verteidigungsministerium den Einsatz von chinesischen Open-Source-Modellen befürwortet, weil sie selbst gehostet werden und wir alle zu dumm sind, den Unterschied zu erkennen?
https://openteams.com/open-source-isnt-the-real-risk-in-nati...
- datadrivenangel
Die Beschwerde darüber, dass man nicht zwischen linearer und logarithmischer Skala wechseln kann, ist berechtigt, was ich auch getan habe, um eine 3D-Grenzflächenanwendung für Geschwindigkeit/Kosten/Qualität für einen kürzlichen Meetup-Vortrag zu erstellen: https://www.williamangel.net/apps/model_performance.html
Da Geschwindigkeit wichtig ist, da Denken und Hardware sowohl Kosten als auch Geschwindigkeit bestimmen, ist es ein dreidimensionaler Kompromiss.
- akazantsev
> Das ist in den meisten Fällen in Ordnung, aber bei Open-Weight-Modellen kann es viel teurer sein als das, wofür dasselbe Modell von Drittanbieter-API-Anbietern gemietet werden kann.
Filtert man nach Quantisierung, haben die meisten Anbieter den gleichen Preis. Es gibt einen gewissen "Basispreis" selbst für Open-Weight-Modelle. Alles, was billiger ist, bedeutet Tricks auf der Seite des Anbieters.
- vb-8448
Sich über "schlechte Diagramme" zu beschweren und dann ein Diagramm zu posten, dessen y-Achse nicht bei 0 beginnt, ist schon etwas seltsam.