Warum ich mich der kognitiven Kapitulation bei KI-Agenten widersetze
Resisting Cognitive Surrender
Wer Agenten unkritisch alles abnimmt, arbeitet schnell und mühelos – und zahlt später den Preis: suboptimale Entscheidungen, wachsende technische Schulden und ein rapid schwindendes Verständnis des eigenen Systems. Kunal beschreibt, wie er bewusst abwägt, wo er Kontrolle abgibt und wo er selbst eingreift, und warum das Gefühl, für etwas verantwortlich zu sein, das man nicht mehr versteht, unerträglich ist.
Am Ende des Tages bin ich für das verantwortlich, was ich baue, nicht die Agenten. Wenn ich meine Handlungsfähigkeit aufgebe und nicht mehr denke, bin ich im Grunde rechenschaftspflichtig, ohne wirklich Eigentümer zu sein.
- tra3
Toller Beitrag. Besonders gut gefällt mir die Idee mit der 4-Spalten-PR-Ansicht. Ich habe etwas Ähnliches gebaut, um Speckit-Spezifikationen zu überprüfen. Das Gerüst, das sicherstellt, dass der Code tatsächlich funktioniert, ergibt auch Sinn.
Eine Sache stört mich allerdings – all das lässt uns konsumieren, was LLMs produzieren. Ich habe gelernt und verinnerlicht, wie Dinge funktionieren, indem ich Systeme gebaut habe. Zumindest innerhalb der Grenzen der Abstraktionen, die ich verwendete. Das erinnert mich an TikTok und Shorts. Alle schauen nur zu. Vielleicht ist das aber nicht fair. Vielleicht hat sich die Abstraktion jetzt von „OS/GUI/Event-Loop“ zu „LLM“ verschoben und der Rest ist nur versehentliche Komplexität.
- gus_massa
>> Eine ernstere Ironie ist, dass das automatische Kontrollsystem eingerichtet wurde, weil es die Aufgabe besser erledigen kann als der Bediener, und doch wird der Bediener gebeten, zu überwachen, dass es effektiv funktioniert.
Automatische Steuerung ist gut für den Standardfall und die erwarteten Fehler. Für seltsame Fälle sind Menschen vorerst besser darin, sie zu erkennen und den großen roten Knopf zu drücken.
- lioeters
„Yup, sieht gut aus für mich!“, sagte der Mensch, der täglich Tausende Zeilen generierten Code überprüft.
Das ist inzwischen üblich geworden, und ich habe gesehen, wie es große Projekte ruiniert hat, bis niemand mehr die Codebasis versteht, die voller weitschweifigem, unsinnigem Code und Kommentaren ist. Es wird unmöglich, das Projekt ohne KI weiterzuentwickeln. Mitwirkende, die aus irgendeinem Grund keine KI verwenden, gehen alle weg, weil niemand gerne mit hirnlosen Robotern (und Menschen) als Kollegen zusammenarbeitet. Es ist erniedrigend und entwertet ihre Arbeit und ihre Menschlichkeit. Sie werden nicht „zurückgelassen“, sie lassen den Wahnsinn der Massen hinter sich.
> ..die Möglichkeit einer außer Kontrolle geratenen Dynamik: Sobald eine kritische Schwelle überschritten ist, können kleine Zunahmen der Akzeptanz schnelle Verschiebungen auf Bevölkerungsebene hin zu *anhaltender Abhängigkeit mit abrupten Verlusten kognitiver Kompetenz* auslösen.
Wir alle können sehen, dass es passiert. Während diese Technologie die Gesellschaft durchdringt, wird die Herausforderung, Kontrolle, Kohärenz und Qualität aufrechtzuerhalten, größer und immer ernster – zum Beispiel bei KI im Gesundheitswesen, beim Militär, im Management und in der Regierungsführung.