Qwen 3.8 übernimmt GPT-5.5 Pro Reasoning-Prefills
Qwen 3.8 follows GPT-5.5 Pro reasoning prefills
Ein Experiment mit Reasoning-Prefills zeigt: Wenn man Qwens Denkkanal mit den ersten 1 % der GPT-5.5-Pro-Reasoning startet, steigt die Überlappung mit der sichtbaren Antwort des Lehrers um 20,58 Prozentpunkte – von 33,92 % auf 54,50 %. Bei DeepSeek V4 Flash und Inkling bleibt der Effekt unter einem Punkt, Kimi K3 legt nur 4,31 Punkte zu. Die Daten legen nahe, dass Qwen von GPT-5.5 Pro oder einem eng verwandten GPT-Modell gelernt hat, nicht von Opus.
Die Daten legen nahe, dass Qwen möglicherweise von GPT-5.5 Pro oder einem eng verwandten GPT-Modell gelernt hat, statt von Opus.
- wongarsu
Der Schreibstil ist vielleicht etwas zu angespannt
Wenn ich das richtig verstanden habe (das Anhängen von B aus https://stolen-thoughts.com/paper.pdf ist essenziell), sind sie die Autoren des bekannten Exploits, um lesbare CoT aus OpenAI- und Anthropic-Modellen wiederherzustellen. Sie nutzen das, um Hinweise auf Destillation zu finden, indem sie einen Benchmark mit einem SotA-Modell laufen lassen, die CoT wiederherstellen, dann die ersten 1 % der CoT nehmen und das Open-Source-Modell so laufen lassen, als wäre das der Anfang seiner eigenen CoT. Im Paper fanden sie heraus, dass Kimi-K3 den Antworten von Claude 4.8 viel näher kommt, wenn man es mit dem Anfang der Claude-4.8-Reasoning vorbelegt, was darauf hindeutet, dass Claude 4.8 im Post-Training verwendet wurde. Dieser Blogpost ist das Follow-up mit Ergebnissen, die darauf hindeuten, dass Qwen3.8 mit Hilfe von GPT-5.5 Pro post-trainiert wurde (oder einem ähnlich antwortenden GPT-Modell, es ist unklar, wie viele Modelle sie getestet haben)
- nzeid
Ich sehe Kommentare, die besagen, dass diese Überschneidung zwischen Qwen und GPT auf Rogue-Training oder Post-hoc-Training zurückzuführen ist. Ist irgendjemandem in den Sinn gekommen, dass die beiden Modellsets vielleicht direkt auf denselben Lösungen für den Benchmark der Forscher trainiert wurden?
- c7b
Mir war nicht bewusst, dass wir Zugriff auf rohe Reasoning-Tokens haben? Ich dachte, was man bekommt, ist eine Art Zusammenfassung. Hat der Autor irgendeinen privilegierten Zugang, oder war meine Annahme falsch?
Aber für die hier untersuchte Frage spielt es wahrscheinlich keine Rolle – Überschneidungen in der öffentlich verfügbaren Ausgabe können auf Destillation hindeuten (oder auch nicht), unabhängig davon, was es ist. Ich fände es nur überraschend, dass die chinesischen Labore es so vertrauensselig nutzen würden. Der öffentlich veröffentlichte Reasoning-Trace ist der erste Ort, an dem ich vermuten würde, dass eine Art Destillationsvergiftung injiziert wird.
- 7734128
Das Problem dabei ist offensichtlich, dass die einzigen GPT-5.5-Gedanken, auf die wir Zugriff haben, aus stolen thought stammen.
Qwen 3.8 0902 wurde nach der Veröffentlichung des Papers am 10. August trainiert, es sollte also diese spezifischen Gedanken gesehen haben.
- hermitShell
Als Nutzer lokaler Modelle: Bedeutet das, dass es "magische Beschwörungsformeln" gibt, die die Leistung mancher lokaler Modelle steigern können?
Ich sehe einige Details zur Wiederherstellung von Informationen mittels irgendeiner Technik. Es ist interessant, scheint aber nicht verallgemeinerbar zu sein.
Also für eine spezifische Frage ja, aber hier geht es nicht um Techniken wie das Hinzufügen eines guten Embeddings, das ganz allgemein die Leistung offener Modelle bei bestimmten Aufgaben zu verbessern tendiert.