Gemini 4 Neon erobert Platz 1 im Models Engineering Index
Gemini 4 Neon is the new #1 on the Models Engineering Index

Der Models Engineering Index (Mei) bewertet, wie gut Sprachmodelle praktische Engineering-Aufgaben lösen – und wie viel Token sie dafür verbrauchen. Google Gemini 4 Neon führt mit einem Indexwert von 69,5 und schlägt damit Fable 5.2 und Opus 5.5 von Anthropic. Die Rangliste zeigt zugleich die Kosten: Manche Modelle liefern ähnliche Leistung zum Bruchteil des Token-Verbrauchs.
Mei berechnet die praktische Leistung von Sprachmodellen bei Engineering-Aufgaben.
- postalcoder
Ich glaube nicht, dass irgendjemand, der bisher kommentiert hat, das tatsächliche Modell benutzt hat. Aber um fair zu den Kommentatoren zu sein: Google hat es ihnen sehr schwer gemacht, dies zu tun, ohne eine Menge Geld auszugeben.
Neon ist ein wirklich gutes Modell. Es ist derzeit mein Lieblingsmodell. Was das Programmieren angeht, ist es gleichwertig mit Opus 5.5/Fable. Was die Dokumentation angeht, ist es großartig. Wenn du Zugriff auf Neon hast, lass es einen Versuch machen, deine agents.md zu vereinfachen. Es ist das erste Modell, das ich ausprobiert habe, das die Menge an Zeremonie in meinen Anweisungen kritisiert und solide Vereinfachungen vorgeschlagen hat. Es macht auch saubere Bearbeitungen an Dokumenten, ohne Narben der vorherigen Formulierungen zu hinterlassen.
Was Kunst angeht, ist es meiner Erfahrung nach leistungsfähiger als Fable. Ich habe fable/opus stark genutzt, um Kunst-Assets für meine Anwendung zu erstellen (ich habe in einem früheren Kommentar erwähnt, dass prozedurale Kunst gpt-image-Kunst für mich völlig überflüssig gemacht hat), und ich bin an eine Wand gestoßen, wie weit ich mit fable iterieren konnte. Ich habe Neon einen Versuch mit den Assets machen lassen, bei denen ich Schwierigkeiten hatte, sie zu verbessern, und es hat großartige Arbeit geleistet.
Was die Zusammenarbeit mit einem Modell und die Art und Weise, wie es mit dir kommuniziert, angeht, liebe ich dieses Modell. Das Modell weiß, wie es klar mit dir kommunizieren kann. Es ist so eine Wohltat im Vergleich zu Opus und Fable, die, trotz der Verbesserungen, meiner Meinung nach aktiv versuchen, mein Gehirn mit ihrer unnatürlichen Prosa zu schädigen. Es ist schwer zu beschreiben, wie es sich anfühlt, ein Modell zu haben, von dem man das Gefühl hat, dass es deine Zeit und Energie mit angemessener Schreibweise respektiert, und die daraus folgende Freude, die aus diesem Gefühl entsteht […]
- largbae
Neon ist ein Anwärter. Neon "high" scheint schneller und billiger zu sein als Opus 5.5 "medium" mit ähnlichen Ergebnissen bei langlaufender Sprachportierungsarbeit in einem großen Monorepo.
Die Geschwindigkeit ist meiner Meinung nach der größte Gewinn. Als Carbon herauskam, habe ich versucht, es auszuprobieren, aber es war so langsam, dass ich allein aus Produktivitätsgründen zu Opus zurückgekehrt bin, ganz zu schweigen von der Qualität. Heute habe ich Neon auf einem Worktree und Opus auf einem anderen gestartet, und Neon hat so gut abgeschnitten, dass ich jetzt für beide gewechselt bin.
Die Codequalität sieht großartig aus. Was Kommentare angeht, hat es sein eigenes Claudese (Ausrufe wie "diese Funktion hat einen Concurrency-Bug und es ist ein scharfer!"), aber insgesamt lese ich es lieber als Opus. Vielleicht nur, weil ich seiner Macken noch nicht überdrüssig bin.
Oh, nach einem produktiven Tag an dieser speziellen Arbeit hatte ich nur 30 $ für Neon ausgegeben im Vergleich zu 70 $ für Opus gestern. YMMV
- gregwebs
Wenn du überhaupt viel YouTube schaust, ist YouTube Premium Lite (keine Werbung) die 9 $/Monat wert. Das ist in ihrem 20 $/Monat KI-Plan enthalten. Die anderen 11 $/Monat auszugeben war vor Neon nicht wert, aber jetzt könnte es das sein.
Es gibt 3 verschiedene Antigravity-Kontingente:
* gemini (früher nur Gemini 3.8 Flash)
* claude und gpt (sehr kleines Kontingent)
* argon (sehr kleines Kontingent)
Das Gemini-Kontingent umfasst jetzt Neon und Hydrogen. Hydrogen (medium) konkurriert mit DeepSeek (high). Es liegt innerhalb des Doppelten bei den Kosten und ist intelligenter.
Das alles basiert auf Benchmarks – ich probiere diese Modelle gerade erst aus.
- dowakin
Voll und ganz einverstanden. Neon ist derzeit mein Hauptmodell. Ich habe ein ziemlich fortgeschrittenes Setup mit mehreren Agenten, Koordinatoren usw. Es ist im Grunde eine "Fabrik", die für mich maßgeschneidert ist. Es lief lange auf Claude, dann in den letzten drei Monaten auf Codex, und jetzt läuft es auf Google-Modellen. Neon ist gut, vorhersehbar und schlauer als ich :)
Agy hat eine Reihe guter Slash-Befehle für verschiedene Anwendungsfälle. Und das Wichtigste für mich ist, dass es mich nicht mit Sicherheitsverweigerungen nervt. Es hat mir zum Beispiel bei meinem Garagentor geholfen, als ein anderes Modell sich weigerte.
- YuechenLi
Ok, ich sehe also, dass dies ein Benchmark ist, den der Einreicher selbst erstellt und eingereicht hat, was irgendwie irreführend ist und zumindest offengelegt werden sollte.
Aber meine Frage ist: Was misst dieser Benchmark eigentlich über die Engineering-Fähigkeiten des LLM? Für mich sieht es einfach wie eine Seite mit zufälligen Balkendiagrammen aus.
- specked-citrus
Dies ist kein echter Index. Gemini 4 Neon wird nur von 3 der 8 enthaltenen Benchmarks abgedeckt. Dieser Beitrag ist Clickbait.
- rspeele
Ich habe ein kleines WIP-Spiel (haben wir nicht alle...) und ich benutze Modelle über MCP, um Karten für das Spiel zu erstellen. Es ist 3D-artig. Neon hat gerade wirklich gute Arbeit geleistet, einen Kartenabschnitt an einem Hang zu erstellen. Es schien subjektiv tatsächlich etwa gleichwertig mit Opus zu sein. Das ist beeindruckend, weil GPT-Modelle, einschließlich des gerade veröffentlichten 6.2 Astra, zusätzliche Anleitung brauchen, um innerhalb ihrer Einschränkungen eine überzeugende Arbeit bei der Erstellung meiner Karten zu leisten. Ohne spezielle Prompts baut GPT Innenräume mit schrägen Böden, die dem Hang folgen, auf dem sie gebaut sind. Es beurteilt seine eigene Arbeit als großartig, wenn sie objektiv hässlich und repetitiv aussieht. Usw.
Opus macht eine fantastische Arbeit ohne Handhalten, und in einer frühen Stichprobe sieht es so aus, als ob Neon das auch tut. Aber ich habe nur einen Tile getestet, weil ich mein 5-Stunden-Limit erreicht habe. Ich bin "nur" im 20 $/Monat-Plan für Google.
- MobiusHorizons
Ich bin kein großer Fan von KI-Coding, aber ich habe sie benutzt, weil die Erwartungen es jetzt erfordern. Ich hatte opus 5.5 verwendet, aber ich fand hydrogen großartig für einfache Sachen und neon hat mich wirklich umgehauen. Ich habe sie meistens für Prototypenarbeit verwendet, was viele Modelle gut machen, aber die Geschwindigkeit und Qualität scheinen zumindest für mich besser als bei opus 5.5 zu sein. Aufrichtig beeindruckt, und jetzt suche ich nach Projekten, die ich aufgeschoben hatte und die es vielleicht einfach für mich erledigen könnte.