Ask HN: Was war die letzte Aufgabe, bei der nur ein Frontier-Modell sie bewältigen konnte?
Ask HN: What was the last task where only a frontier model could do it?
Ich sehe immer wieder die Behauptung, dass offene Modelle, die sechs Monate hinter der Spitze liegen, für die Mehrheit der 'Arbeit' gut genug sind. Wenn Sie im letzten Monat eine konkrete Aufgabe hatten, bei der GLM/DeepSeek/Kimi/Qwen versagten und Opus/Fable/GPT erfolgreich waren (oder umgekehrt!), teilen Sie diese bitte mit. Ich stelle eine Vorlage bereit, da ich oft gesehen habe, dass Poster über mangelnden Kontext klagen.
Ich hatte eine Aufgabe, bei der ich aus einer langen PDF-Datei ein komplexes juristisches Argument extrahieren musste. DeepSeek und Qwen haben wichtige Nuancen verpasst und die Argumentation zu stark vereinfacht. Opus hat es geschafft, die Feinheiten zu erfassen und eine präzise Zusammenfassung zu liefern. Im Nachhinein hätte vielleicht ein Modell der vorherigen Generation ausgereicht, aber ich war froh, dass Opus es richtig gemacht hat.
Bei mir ging es um das Debugging eines obskuren Compiler-Fehlers in einem Legacy-C++-Projekt. Die kleineren Modelle haben nur generische Ratschläge gegeben, während GPT-4o die eigentliche Ursache im Code gefunden hat. Ohne das wäre ich wahrscheinlich noch tagelang gesessen.
Ich habe versucht, einen mehrsprachigen Chatbot zu erstellen, der kulturelle Nuancen versteht. Die offenen Modelle haben oft unangemessene Übersetzungen geliefert, während Claude die richtigen idiomatischen Ausdrücke gefunden hat. Das war ein klarer Fall, wo nur ein Frontier-Modell die Aufgabe bewältigen konnte.
Ich hatte eine Aufgabe zur semantischen Suche in einer riesigen internen Wissensdatenbank. Die kleineren Modelle haben die Ähnlichkeitssuche nicht gut hinbekommen, aber GPT-4 hat die relevanten Dokumente genau gefunden. Das hat mir viel Zeit gespart.
Ich musste einen komplexen SQL-Query für eine Datenmigration schreiben. Die anderen Modelle haben Syntaxfehler gemacht oder die Logik falsch verstanden, aber Gemini hat den korrekten Query generiert. Das war definitiv eine Aufgabe, bei der nur ein Frontier-Modell helfen konnte.