Ein Paper behauptet, LLMs könnten neuronale Netze direkt bearbeiten – ein ML-Forscher hätte das auch gekonnt
LLMs are not superhuman at reading and writing neural network weights
Ein aktuelles Paper zeigt, dass GPT-6 Astra die Gewichte kleiner Netze direkt lesen und verändern kann – es erkennt etwa an den Gewichten, welches Spiel ein Modell gelernt hat, und behebt die Endlosschleifen eines 0,8B-Qwen-Modells beim Rechnen. Sean Goedecke hält das für keinen Beleg übermenschlicher Fähigkeiten: Ein kluger menschlicher ML-Forscher hätte dieselben Aufgaben mit simplen Berechnungen und Steering-Methoden gelöst.
Wieder einmal ist das genau das, was ein kompetenter menschlicher Forscher hätte tun können und getan hätte.
- nfw2
Man könnte sagen, sie seien hier in gewissem Sinne "übermenschlich", so wie man auch sagen könnte, LLMs seien übermenschlich in Mathematik. Vielleicht erledigen sie diese Arbeit schneller und effektiver, als es ein Mensch manuell könnte. Aber sie tun es sicherlich noch auf die "menschliche" Art, d. h. sie argumentieren mit lesbaren und kohärenten Gedanken, statt sich über eine Matrix-artige Symbolik zu verständigen, was die Leute, die den Artikel nur überflogen haben, offenbar anzunehmen scheinen.
- nagi_builds
"Ich denke, ein kluger menschlicher ML-Forscher könnte all diese Aufgaben erledigen."
Und das wie lange?