Der Waymo-Effekt: Wie KI die Forschung still unkooperativer macht

Ich arbeite an der Schnittstelle von Technik, angewandter Forschung und Wissenschaft.

Etwas, das ich bei der Zusammenarbeit beobachte, ist ein gestiegenes Selbstvertrauen von Leuten außerhalb ihrer Domänen, Dinge mit Überzeugung zu behaupten. Ich habe Leute mit begrenzter Software-Erfahrung, die Schichten und Schichten abstrahierten Code raushauen, der ziemlich ausgefeilt, aber oft in der Absicht fehlgeleitet ist, und die mit Überzeugung sagen, was sie tun sei korrekt.

Ich höre auch viel mehr Leute, die in ihren Domänen Fragen stellen und Meinungen herausfordern, und dann höre ich, was ich mir nur als bruchstückhafte Teile von Gesprächen vorstellen kann, die sie mit einem LLM geführt haben, um irgendein Argument durchzudenken. Dann herrscht Schweigen, wenn man Unzulänglichkeiten anspricht, und später kommen sie mit ihren auswendig gelernten Fragmenten dessen zurück, was man gesagt hat, kombiniert mit auswendig gelernten Fragmenten der LLM-Antwort auf das Argument.

Das passiert, und zwar viel mehr. Die Leute behandeln ihre LLMs in der Zusammenarbeit als Wahrheitsquelle und nutzen sie, um sich auf ihren spezifischen Pfad oder ihre Ziele zu konzentrieren, von denen sie denken oder zu denen sie eine Neigung haben, anstatt einfach offen Dinge zu diskutieren, Trade-offs abzuwägen, die Experten aus mehreren Disziplinen einbringen, und dann einen Ansatz zu wählen, den alle am akzeptabelsten finden.

Das lässt mich viel weniger kooperativ mit solchen Leuten sein wollen. Ich will nicht den ganzen Tag dasitzen und Claude-Textausgaben widerlegen.

KI ist extrem nützlich, aber es ist auch extrem leicht, sich selbst zu täuschen und zu glauben, man verstehe, was vor sich geht, ohne es wirklich zu verstehen. Das gilt oft für Code, aber auch für Mathe- und Wissenschaftskonzepte usw.

Nicht viele Berufe werden formell darin geschult, sich dieses mangelnden Verständnisses bewusst zu sein und zu wissen, wie man ihm begegnet.

Die Nutzung von KI in kollaborativen Umgebungen verstärkt diese Probleme, besonders wenn jemand nicht merkt, dass er es nicht versteht: Er könnte die Konzepte, die er verwendet, nicht lehren oder erklären oder gezwungen werden, flexibel damit zu arbeiten, wie es ein Experte oder Forscher tun würde.

Wenn man sich seines mangelnden Verständnisses bewusst ist, kann man es beheben, indem man langsamer wird und sich selbst beibringt. Das ist nötig, um KI im betreffenden Bereich besser zu nutzen!

Aber man kann nicht alles gleichzeitig haben: Man kann nicht mit KI schnell vorankommen, effektiv zusammenarbeiten und verstehen, was vor sich geht, wie ein Experte. Das ist für ein menschliches Gehirn physisch unmöglich.

Ich frage mich, ob KI uns dümmer macht.

Ich kann KI eine Analyse machen lassen – SQL-Abfrage, ein paar Zahlen durchrechnen – und zack, eine präzise klingende Zahl.

Aber dann hinterfrage ich sie, und dann sagt sie: „Du hast recht, das habe ich nicht geprüft.“

Woher wusste ich, was ich hinterfragen muss? Durch die Reibungsarbeit, selbst abzufragen, selbst zu rechnen und dann Fragen von der Führungsebene zu bekommen.

Ich mache mir Sorgen um die jüngere Generation. Sie spucken Claude-Ergebnisse schnell aus, die Leute hinterfragen sie, und sie sagen: „Okay, das nehme ich mit zurück zu Claude.“

Ich nehme an, sie werden irgendwann lernen, ihre eigenen Plausibilitätsprüfungen zu machen, weil sie immer noch die Reibung haben, anderen zu präsentieren.

Und vielleicht ist mein Modell ein Relikt der Vergangenheit. Alle werden jetzt direkt nach der Schule Manager (von Agenten). Sie machen die Arbeit nicht mehr selbst, aber sie müssen klare Ziele setzen, Arbeit validieren und Agenten zur Rechenschaft ziehen.

Die Vorstellung, dass „jede menschliche Interaktion es wert ist, bewahrt zu werden“, ist wahrscheinlich nicht richtig, und Waymos zeigen das. Wie der Autor erwähnt, genießen viele Leute den erzwungenen Small Talk mit Uber-Fahrern nicht. Der Austausch mit Menschen aus unterschiedlichen Hintergründen und Perspektiven ist wichtig, aber ich bezweifle, dass erzwungene Interaktionen wie Taxifahrten der Ort waren, an dem wir das bis heute bekommen haben.

Ich denke, das Problem ist dasselbe wie bei jeder Technologie: Richtig eingesetzt schafft sie Mehrwert, falsch eingesetzt mindert sie ihn.

LLMs können einen Prozess massiv beschleunigen, aber ohne Kontrolle können sie zu sozialen „Wahrheitsquellen“ werden. Ein Forschungsprozess hat klar definierte, fundierte Phasen: Man grenzt das Thema ein, sucht Quellen, bewertet, ob sie geeignet sind, prüft ihren Inhalt und ordnet sie auf der Landkarte des Themas ein. Je mehr Quellen, desto größer das Wissen, und desto besser das Endergebnis – mental oder in Form eines Berichts – das aufgebaut wird. Dafür muss man lesen, und nochmals lesen, und denken, verbinden, in Beziehung setzen und schlussfolgern.

KI kann all diese Schritte schneller erledigen als ein Mensch. Aber wenn wir sie die ganze Arbeit allein machen lassen, auf ihre eigene Weise, ohne Kontrollen in jeder Phase, können die Schlussfolgerungen verzerrt werden. Wenn wir wissen, was wir von ihr wollen und wie wir es gemacht haben wollen, und Mechanismen einrichten, um das durchzusetzen, ist das Ergebnis anders – besser, verlässlicher. Es lohnt sich, daran zu erinnern: Es ist nur ein Werkzeug, nichts weiter.

Der englische Wortlaut dieses Kommentars wurde mit KI korrigiert, ich habe nicht genug Sprachgewandtheit, um mich klar auszudrücken, aber ich überprüfe das Endergebnis. In diesem Fall hatte sie die Zeitformen falsch, ich habe es klar gesehen, aber die KI hat es nicht verstanden, ich brauchte mehrere Anweisungen, um es ihr zu erklären, damit sie es versteht. Es ist ein Werkzeug, ohne Aufsicht kann es zu Problemen führen, aber es hat für viele Menschen die Welt erweitert.

Ich sehe das auch in einem aktuellen akademischen Forschungsprojekt – es ist, als würde man Öl ins Feuer gießen für all die besten und schlechtesten Aspekte der Zusammenarbeit mit Forschern.

Erstens: Es ist definitiv schwieriger geworden, Leute dazu zu bringen, ihre Arbeit zu integrieren und Standardwerkzeuge zu nutzen. Wir erwägen, KI-Skills usw. für unsere Tooling zu erstellen, einfach weil das eigentliche Publikum, das wir überzeugen müssen, nicht im Raum ist. Wenn das LLM unsere Empfehlungen nicht wiedergibt, machen die Leute einfach irgendein Einmal-Skript, das ihr persönlicher schlechter Ideen-Bär ausspuckt. Viele Fehler in Forschungssoftware sind Randfälle (Skalierung, numerische Fehler usw.), und das „läuft auf meinem Rechner“-Syndrom ist in der Literatur endemisch. Das Feld hat große Fortschritte bei der Ermöglichung computergestützter Reproduzierbarkeit gemacht, aber in letzter Zeit fühlt es sich an, als würden wir wieder Boden verlieren.

Zweitens: LLMs haben eine Handlungsneigung und können den Nutzer, der berichtet, leicht unterbuttern. Ich habe kürzlich mehrere Seminare gesehen, in denen die Q&A zu „F: Was sind die Implikationen dieses Ergebnisses? A: Ich weiß nicht, das ist nur ein Bericht über die Ergebnisse“ verkommt.

Es scheint, dass Menschen noch herausfinden, wie sie Handlungsfähigkeit bewahren und den Chatbot auf das große Ganze lenken, und nicht überprüfbare Wissenschaft ist genauso wahrscheinlich wie nicht überprüfbarer Code ... aber mit weit weniger automatisierter Tooling, die den Prozess unterstützt.

Historisch gesehen haben PIs nominell das große Ganze geleitet, und die Entität, die die Arbeit machte, war Teilnehmer am Review-Prozess; jetzt müssen Studenten Projekte aus einem neuen Blickwinkel betrachten wi […]

Ich denke, diese Vorstellung von Reibung vs. Reibungslosigkeit ist eines der Schlüsselmerkmale dieser Zeit in der Geschichte.

Für mich hat die ganze Linie von persönlicher Technologie in den 80ern -> über UX im Internet -> über App-Plattform-Lock-in -> über abonnementzentriertes „Eigentum“ uns allen das Versprechen gegeben, dass wir uns weniger Reibung erkaufen können. Das nächste Gerät oder Abonnement löst Probleme oder ermöglicht uns etwas auf die eine oder andere Weise. Wir sehen diese historische Linie, ziehen sie in die Zukunft und sehen eine utopische Zukunft mit null Reibung.

Null Reibung bedeutet null Unterschied zwischen dem, wie man sich die Welt wünscht, und dem, was man aus ihr herausholt. Mehr Gefühl von Selbstbestimmung oder Zufriedenheit oder Komfort oder Richtigkeit.

Die Teile unserer Kultur, die Reibung annehmen, sind die langsamen Teile – mit Nachbarn schimpfen, einen Garten jäten, das andere Auto zuerst fahren lassen. Das sind die Teile, in denen wir auf die Realität anderer Menschen oder der Natur treffen. Vielleicht gibt es ein Werkzeug oder Framework oder Gadget, das helfen könnte, aber wir wissen und akzeptieren, dass es etwas Unveränderliches außerhalb unserer selbst gibt und wir einen Weg finden müssen, damit zu fließen.

Ich werde älter, ich beginne endlich, die Grenzen eines reibungslosen Lebens zu erkennen.