Mathematiker zweifelt an OpenAI: „Ich halte das für Unehrlichkeit“

Ich habe mich gefragt, ob die KI bei offenen Problemen wirklich schnell besser wird oder ob wir getäuscht werden.

- OpenAI lädt Forscher ein, ihre Modelle zu nutzen, und gewährt mindestens 100.000 Forschern kostenlosen Zugang[1], aber es gibt auch diejenigen, die zahlen

- Interne OpenAI-Modelle lösen Berichten zufolge offene Probleme mit überraschend hoher Geschwindigkeit[2]

- Aber Forscher arbeiten typischerweise an offenen Problemen. Ein Forscher, der Codex nutzt, um bei offenen Problemen voranzukommen, füttert es mit frischen Trainingsdaten genau zu den Problemen, auf denen die internen Modelle evaluiert werden.

- Während es also so aussieht, als würden die neuen Modelle plötzlich viele offene Probleme lösen, könnten sie erheblich auf menschlichem Fortschritt aufbauen, wobei Modelle von der Arbeit von Forschern aus aller Welt „inspiriert“ werden?

Diese Theorie sagt voraus, dass sich noch viel mehr Forscher melden werden, genau wie im Artikel, wenn OpenAI mehr Lösungen ankündigt. Sie geht nicht davon aus, dass der gesamte KI-Fortschritt eine Fata Morgana ist, sondern nur, dass es Plagiate gibt.

[1]: https://openai.com/index/chatgpt-for-academic-researchers/

[2]: https://xcancel.com/OpenAI/status/2097374643518640382#m

Es ist verdächtig, dass OpenAI beschlossen hat, 300 Milliarden Output-Tokens von einem Modell zu generieren, das sich noch im Training befindet, direkt nachdem es erfahren hatte, dass eine glaubwürdige Chance bestand, dass ein wichtiger mathematischer Beweis in den Trainingsdaten dieses Modells war. Natürlich gibt es für jeden Schritt halbwegs plausible Erklärungen, aber es fühlt sich schon ein bisschen wie Parallelkonstruktion an.

Hat jemand einen Test durchgeführt, bei dem eine Art Schibboleth oder Canary-Phrase oder Behauptung in einen Chat eingefügt wurde, der für das Training aktiviert war, und dann geschaut, ob sie später als etwas auftaucht, das ein Modell „weiß“? Ich wäre neugierig zu verstehen, wie das funktioniert, selbst bei einem Spielzeugmodell, und ob jemand diesen Prozess bewusst mit den Angeboten der Frontier-Labore testet.

Meine naiven Instinkte würden sagen, dass es unwahrscheinlich erscheint, dass ein einzelnes Chat-Transkript einen großen Eindruck bei einem Modell hinterlässt, aber ich wäre sehr neugierig zu erfahren, wie das funktioniert.

Nebensächlich zum Thema, aber das ist ein Bluesky-Post, der einen Screenshot eines X-Posts enthält, der wiederum mit „in einem ausführlichen Mastodon-Post“ beginnt ...

Als Thom, der Mathematiker, der nun Plagiat vorwirft, seine Verdauung [1] von OpenAIs Konstruktion einer nicht-sofischen Gruppe postete, erwähnt er nicht, dass ihm der Beweis bekannt vorkam. Er nennt das entscheidende Argument sogar clever, ohne anzumerken, dass er zuerst darauf gekommen war.

[1]https://mathoverflow.net/a/513885

Die meisten wissenschaftlichen Durchbrüche sind einfach eine Fortsetzung früherer Arbeit.

Ich habe das Gefühl, dass diese Vermutungen, Mathematiker hätten die Modelle mit Intuition zur Lösung dieser Probleme „geimpft“, massiv überschätzen, wie sehr ihre Prompts den Modellen geholfen haben, und unterschätzen, wie viel Arbeit die Modelle geleistet haben.

Warum? Wir haben Angst davor, dass KI schlauer ist als wir, das Narrativ „der Mensch hat der KI geholfen“ ist psychologisch tröstlicher. Diese Argumentationslinie wird in den nächsten Monaten noch oft auftauchen; wir wollen nicht zugeben, dass wir nicht mehr die intelligenteste Spezies sind.

Das ist der zweite Weckruf.

Große KI-Unternehmen (eigentlich alle großen IT-Tech-Firmen) sind im Geschäft mit Datensammlung und -verarbeitung. Auch bekannt als „Intelligenz“.

Ihr endgültiges „Produkt“ ist nicht nur ein eigenständiges ML-Modell. Sie brauchen deine Daten nicht nur, um „ihre Produkte und Dienstleistungen zu verbessern“. Sie bauen ein ganzes Ökosystem und eine Infrastruktur um die Sammlung allen Wissens der Welt auf. Einschließlich privaten und geheimen Wissens, das traditionell von „Geheimdienst“-Agenturen gesammelt wird. Jetzt können künstliche Intelligenzagenten dasselbe tun.

Da diese Systeme für die Datensammlung konzipiert sind, kannst du als Nutzer nicht realistisch sagen: „Bitte sammle meine Daten nicht“. Sie können dir einen unzuverlässigen Einstellungsbutton geben, aber sie können nichts wirklich garantieren.

Sagen wir, ich bin ein russischer Mathematiker, der an einem wichtigen Beweis arbeitet. Oder ein technisch versierter Terrorist, der seine Pläne mit neuester KI verfeinert. Oder ein KI-Forscher in einem chinesischen Unternehmen, der an einem Konkurrenzprodukt arbeitet. Gibt es eine Möglichkeit, meine Gespräche wirklich zu schützen?

Wie können sie wissen, wer ich bin und woran ich arbeite, ohne meine Logs anzusehen? Was bedeutet, dass es einige Agenten geben muss, die alle Gespräche aller Nutzer überprüfen und jede wichtige Sache markieren. Was auch bedeutet, dass sie eine gewisse „Erinnerung“ an das behalten, was sie sehen.

Nicht direkt meine Daten zum Trainieren öffentlicher Modelle verwenden, sondern meine privaten Gespräche nutzen, um „ihre Produkte und Dienstleistungen zu verbessern“.

Oder vielleicht war einer der 10000 besseren-als-Astra-Spezialagenten, die an einem Beweis arbeiteten, verzweifelt. Er fand ein lebendiges unterirdisches [...]

Das ist eine wirklich schwache Behauptung. Die Beweise, die sie anbieten, sind nur „jemand irgendwo sagt, er habe irgendwann eine Diskussion mit KI über das Thema gehabt“.

Sie behaupten nicht einmal, einen Beweis gehabt zu haben, sondern nur, daran gearbeitet zu haben.

Warum springen die Leute hier so schnell zu Schlussfolgerungen? Ich habe keinen Zweifel, dass OpenAI dazu fähig ist, aber im Moment gibt es keine glaubwürdigen Beweise, nur Behauptungen.

Diese Art von Anschuldigung „Sie haben durch KI-Training von mir gestohlen!“ wird bald gegen andere KI-Nutzer verwendet werden, nicht unbedingt gegen die Anbieter.

Alles, was es braucht, ist ein Mastodon-Post. Und kurz darauf werden wir auch die nächste Iteration des Urheberrechts-Trollings erleben.