Fünf Qwen3.8-27B-Modelle schlagen Fable 5 auf LiveCodeBench Hard
Memdoor: A team of 5 Qwen3.8-27B models beats Fable 5 on LiveCodeBench Hard
Ein Memdoor-Workflow bildet GVS5H nach: fünf Rollen – Planner, zwei Ideengeber, Solver und Manager – plus ein Repair-Worker, die jeweils mit frischem Kontext starten und nur über Dateien auf der Festplatte kommunizieren. Auf den ersten zehn LiveCodeBench-Hard-Problemen erreichte der nachgebaute Loop im Mittel 9,8 von 10 Punkten über fünf Durchläufe, gegenüber 9,6 beim Original-Harness und 8,0 bei Fable 5 allein. 49 von 50 Läufen wurden gelöst, für insgesamt 35,79 Dollar.
Der Coder hat diese Dateien selbst aus einer Beschreibung der Methode geschrieben – niemand hat sie von Hand verfasst.
- fedpost
Wir müssen unbedingt dafür sorgen, dass lokale Modelle mit den Hyperscalern konkurrenzfähig bleiben. Ich will nicht ewig von ihnen und ihren Launen abhängig sein. Da Anthropic jetzt das Reverse Engineering von Spielen einschränkt, denke ich, dass wir kurz davor sind, einen Rubikon der Zensur zu überschreiten.
- roenxi
Das ist ziemlich interessant, denn mit den Bonsai-2-Quantisierungen ist es durchaus machbar, Qwen 27B mit 50 t/s auf einer vernünftig bepreisten Gaming-Maschine laufen zu lassen [0]. Was wiederum nahelegt, dass Fable-5-Codierungsleistung lokal mit ein wenig cleverem Harnessing erreicht werden kann.
Obwohl dasselbe Harnessing auch Fables Leistung verbessern sollte. Der wichtige Punkt hier ist, dass die Obergrenze für lokale Leistung ziemlich hoch zu sein scheint.
[0] https://store.steampowered.com/hwsurvey/Steam-Hardware-Softw... deutet auf 16 GB VRAM, 32 GB System hin.
- xlayn
Erinnert ihr euch an diese GPUs in Chips https://inference-docs.cerebras.ai/models/qwen-3.8-27b , wo man diesen Chip hat, der ein Modell implementiert, das mit diesen extrem hohen Geschwindigkeiten läuft ... diejenigen, bei denen die Leute fragen "warum brauchen wir das" ... wenn das stimmt ... dann ist einer dieser Chips mit dem richtigen Harness alles, was nötig ist, um fable-ähnliche Intelligenz auf jedem einzelnen Computer dieses Planeten zu bekommen ...
Frohes Halloween Tax Ramltman und Amowhateverwayyournameiswritten...
- mkl
GVS5H, worauf dies basiert, wurde hier vor einer Woche diskutiert: https://news.ycombinator.com/item?id=50228167
- yurimo
Es gibt etwas zu sagen über die Kraft von Brute-Force-Ansätzen. Im Moment scheint das Skalieren von Multi-Agenten die nächste wichtige Achse zu werden, allerdings sehr stark eingeschränkt durch die Qualität des Kommunikationsprotokolls und die Rechenleistung. Selbst wenn ein Modell allein nicht stark genug ist, können mehr Modelle und mehr Versuche sowie unterschiedliche Meinungen die Modelle in bessere Lösungstäler schubsen.
Irgendwie eine Erweiterung des Effekts, bei dem man mit einem Modell spricht, es super selbstsicher (aber falsch) ist, man es nicht direkt korrigiert, sondern vielleicht mit einer Frage und indem man es bittet, zu präzisieren. Das wiederum führt dann insgesamt zu einem besseren Ansatz.
- zihotki
Ich würde auf weitere Benchmarks warten, bevor ich Schlussfolgerungen ziehe, da dieser Benchmark nur "Die ersten zehn Probleme ihrer LiveCodeBench Hard-Liste" umfasst. Und LiveCodeBench Hard ist ein mehrere Jahre alter Benchmark. Könnte sehr gesättigt sein
- vrinsd
Vielleicht etwas off-topic zum Hauptartikel, aber gibt es eine gute Ressource oder Website, die klar hilft zu verstehen, welche der "offenen" Modelle gut für Programmieraufgaben wie C, C++, Python, Java geeignet sind?
Ich habe gesucht und es gibt jede Menge Seiten, die Modelle vs. Benchmarks aggregieren, aber ich bin mir nicht sicher, wie vertrauenswürdig das alles ist.
- bad_haircut72
Das ist wahrscheinlich keine neue Idee, aber ich frage mich, wie es funktionieren würde, wenn man einfach eine Reihe kleinerer Modelle übereinanderstapelt und das als Basis verwendet, um ein viel, viel größeres Modell zu trainieren. Vielleicht effizienter, als von Grund auf neu anzufangen?