Codex auf AWS Bedrock: Fehlende Cache-Kontrolle verursacht 10-fache Kosten
Codex on AWS bedrock bug causing 10x charges
Ein Bug in der nativen Amazon-Bedrock-Integration von OpenAI Codex führt zu massiv erhöhten Kosten: Nutzer berichten von bis zu 10-fachen Rechnungen. Ursache ist, dass Codex keine expliziten Cache-Optionen für GPT-5.6 Sol auf Bedrock setzt, wodurch bei jedem Request der volle Prompt neu geschrieben wird. In einem Fall entfielen 85 % der geschätzten Ausgaben auf Cache-Writes, insgesamt rund 1.182 US-Dollar innerhalb von vier Tagen. Ein Workaround-Patch erreicht eine Cache-Read-Rate von 97,8 %. OpenAI arbeitet an einem Fix.
Das explizite Cache-Control-Plumbing könnte dennoch relevant sein, also verweise ich hier darauf.
- amluto
Wow, der ganze Thread ist an der Grenze zur Inkohärenz, vermutlich von einer KI ohne ausreichende Aufsicht generiert. Hier sind die Doku-Seiten: https://developers.openai.com/api/docs/guides/prompt-caching... Der Thread erklärt kaum, was sie mit Codex machen, dass das Standardverhalten so schlecht funktioniert, und es scheint, als wären sie verwirrt, ob sie den Caching-Modus oder den Breakpoint oder beides setzen wollen. Auf jeden Fall finde ich die Verhaltensänderung interessant. Es hört sich für mich so an, als hätten 5.5 und darunter ein konventionelles Aufmerksamkeitsschema verwendet, bei dem eine gecachte KV-Sequenz leicht genutzt werden kann, um ein Präfix von sich selbst wiederherzustellen, aber vielleicht verwendet 5.6 lineare Aufmerksamkeit oder LSTM oder ein anderes rekurrentes Schema, bei dem man den Modellzustand nicht einfach durch Abschneiden zurückspulen kann.
- ryanjshaw
Die Tatsache, dass Unternehmen mit Zugang zu nicht-öffentlichen SOTA-KIs ständig solche dummen Bugs in so etwas Einfachem wie einer Chat-App haben, bestätigt meine Skepsis gegenüber Leuten, die behaupten, KI sei bereit, die gesamte Softwareentwicklung zu ersetzen.
- TheP1000
Unser Codex auf AWS Bedrock hatte ein Lese-/Schreib-Cache-Verhältnis von weniger als 5 %. Cache-Schreibvorgänge sind sehr teuer und wurden nie genutzt. Das führt dazu, dass Codex auf Bedrock etwa das 10-fache kostet, was es sollte, aufgrund fehlenden Cachings und massiver Schreibvorgänge. Der Workaround aus dem Issue hat bei mir funktioniert: web_search = "disabled"
- prtmnth
Die Codex-Nutzung fühlt sich seit heute exorbitant hoch an. Sie [0] bestreiten es, aber die Zahl anekdotischer Nutzer, die sich entschieden haben, das als Problem zu melden (und es dadurch auf X trendet), spricht eine andere Sprache. [0] https://x.com/thsottiaux/status/2090675027670978569
- spacedoutman
Etwas stimmt auch mit der Codex-App nicht, sie verbrennt in letzter Zeit wahnsinnig viel Nutzung.