GPT-6 Astra findet 33 % mehr Cross-File-Bugs als Opus 5
GPT-6 Astra in code review: Gains, privacy, and cost
CodeRabbit hat GPT-6 Astra im Code-Review getestet: Astra erkennt insgesamt etwa 4 % mehr behebbare Bugs als GPT-5.6 Sol und 22 % mehr als Opus 5. Besonders bei anspruchsvollen Cross-File-Reviews liegt Astra mit 20 % bzw. 33 % deutlich vorn. Allerdings kostet Astra mit 10 $ pro Million Input-Tokens und 50 $ pro Million Output-Tokens etwa das 2,5-Fache von Sol. Zudem zeigt CodeRabbit, wie Astra half, das Action-RPG NIGHTSHIFT zu entwickeln, und erläutert Datenschutzaspekte wie Zero Data Retention.
Der größte Sprung zeigt sich bei schwierigeren dateiübergreifenden Reviews, wo Astras Vorteile auf 20 % gegenüber Sol und 33 % gegenüber Opus 5 ansteigen.
- eyalitki
Der Vergleich wurde im Rahmen des KI-Code-Review-Tools coderabbit durchgeführt, was ihn leider praktisch irrelevant macht. Meine persönliche Erfahrung als Softwareentwickler und ehemaliger Sicherheitsforscher, der manuelle Code-Audits durchgeführt hat, ist, dass dieses Code-Review-Tool so schlechte Ergebnisse liefert, dass es den "Lärm" und die Reibung, die es bei Entwicklern während des C/I-Code-Reviews verursacht, nicht wert ist.
- sdeframond
Wie reviewt ihr KI-generierten Code? In unserem Team wird Frontend-Arbeit vom PO vibe-coded und ohne Review gemergt. Backend wird von Entwicklern codiert, mit KI, aber langsamer und kontrollierter. In letzter Zeit hat unser PO versucht, sich am Vibe-Coding des Backends zu versuchen. Ich muss sagen, er ist ein kluger Typ, fast technisch, aber nicht ganz ein Entwickler. Wir haben gerade einen Schwall gestapelter PRs bekommen, die insgesamt ~15k LOC Backend ausmachen. Wir wissen nicht so recht, was wir damit tun sollen. Ich weiß, dass wir nicht die Einzigen in dieser Situation sind. Was sind eure Erfahrungen und euer Kontext? Was macht ihr? Was funktioniert bei euch, was nicht?
- ramon156
Sowohl OAI als auch Anthropic scheinen ein Modell veröffentlicht zu haben, das etwas besser ist, aber etwa das Doppelte der vorherigen Iteration kostet. Interessanter Schachzug.
- SneakyZero
Astra scheint wirklich langsam zu sein. Vielleicht beabsichtigt es, mehr Kontext zu lesen. Aber meiner Erfahrung nach ist es definitiv langsamer als 5.6 sol bei der Verarbeitung derselben Aufgaben.
- dude250711
Da Fable ein Modell der Sol-Klasse ist, sollte Astra in diesen Tests nicht mit Mythos verglichen werden?