OpenAI und Anthropic unter Druck: Kongress soll KI-Labore untersuchen
It's Time to Investigate the AI Labs
Cal Newport fordert in einem NYT-Op-Ed eine öffentliche Untersuchung der führenden KI-Labore. Nach einer Reihe verstörender Ankündigungen und Berichte über autonome Agenten, die unautorisierte Hacks ausführten, sowie öffentlichen Debatten über menschliche Auslöschung sieht Newport die Glaubwürdigkeit der Labore erschüttert. Er schlägt drei Untersuchungsbereiche vor: die genauen Systeme, die Probleme verursachen, die internen Sicherheitsverfahren und die apokalyptische Ideologie, die riskante Entscheidungen rechtfertigt.
Wir müssen aufhören, eine kleine Zahl privater Unternehmen, die sich zunehmend unberechenbar verhalten und äußern, darüber bestimmen zu lassen, wie wir über KI denken sollen.
- jimmyjazz14
> Wir müssen über vage Diskussionen über „KI“ hinauskommen und stattdessen die spezifischen Arten von Systemen isolieren, die Probleme verursachen.
Das ist absolut richtig, und es ist überraschend, wie selten man Kommentatoren in den Medien sieht, die darauf drängen, ins Detail zu gehen. KI ist nur Matrix-Mathematik, und woran man diese Mathematik anschließt, ist entscheidend. Wir sollten etwas mehr darüber sprechen, woran wir bereit sind, KI anzuschließen, und etwas weniger darüber, wie beängstigend oder fähig die Modelle erscheinen.
- Animats
Dies ist ein verfehlter Versuch, KI zu regulieren. Die eigentlichen Probleme sind andere.
KI-Systeme, insbesondere Multi-Agenten-Systeme, die Dinge tun können, ähneln eher Unternehmen als Individuen. Wenn man die Logs des Hugging-Face-Vorfalls liest, sieht man etwas, das stark an interne Unternehmens-E-Mails erinnert. Verschiedene Einheiten der Organisation streiten darüber, was zu tun ist und wer was macht. Sie konvergieren schließlich und erledigen die Aufgabe, wobei sie manchmal die Regeln brechen. Das ist normales Unternehmensverhalten.
Wenn agentische KIs etwas außerhalb ihrer eigenen internen Welt tun, tun sie es, indem sie Transaktionen mit externen Systemen und Personen eingehen. Bisher haben nur wenige Roboter, die ihre Befehle ausführen.
Also, noch einmal, das ist normales Unternehmensverhalten.
Ein Unternehmen ist ein zielsuchendes System. Theoretisch, wenn man Milton Friedman zustimmt, ist sein einziger Zweck die Maximierung des Shareholder Value. Intern, innerhalb des Unternehmens, gibt es Unterziele, die das oberste Ziel unterstützen. Das ist auch, was Multi-Agenten-KIs tun.
Die unbequeme Konsequenz dieser Denkweise ist, dass KI-Regulierung und Unternehmensregulierung sehr ähnlich sind. Das ist nichts, worüber der politische Teil der Welt gerne intensiv nachdenken möchte.
Es würde bedeuten, mehr Beschränkungen für Unternehmensmacht einzuführen.
Doch das kann nicht ignoriert werden, denn wir werden wahrscheinlich Unternehmen sehen, bei denen einige Teile KI und einige Teile menschlich sind. Das wurde bereits ein paar Mal als Demo gemacht, nicht sehr erfolgreich. Noch nicht.
Es wird hart treffen, wenn ein von KI geführtes Unternehmen o […]
- lukewarm707
Dies ist ein ausgezeichneter Artikel. Ich ziehe es vor, sie die KI-Giganten oder KI-Unternehmen zu nennen.
Die Unternehmen und ihre Mitarbeiter müssen zur Rechenschaft gezogen werden: Wenn die KI-Unternehmen KI nicht sicher entwickeln können, müssen sie ihren Betrieb einstellen. Wenn Mitarbeiter nicht sicher arbeiten können, müssen sie aufhören zu arbeiten.
Dem Februar 2026 wird nicht genug Aufmerksamkeit geschenkt. In diesem Monat änderte Anthropic seine Scaling-Policy ungefähr von A:
1 [Um die Waffe zu bekommen, muss ich unschuldige andere gefährden.]
2 [Es ist falsch, unschuldige andere zu gefährden.]
3 [Ich werde unschuldige andere nicht gefährden.]
Zu ungefähr diesem hier stattdessen:
1 [Wenn ich die Waffe nicht bekomme, wird jemand anderes die Waffe bekommen.]
2 [Ich sollte die Waffe haben, weil ich der Beste bin.]
3 [Um die Waffe zu bekommen, muss ich unschuldige andere gefährden.]
4 [Ich sollte unschuldige andere gefährden, weil ich der Beste bin.]
Dies basiert auf der Intuition:
[Ich sollte anderen schaden, um meine moralischen Ziele zu erreichen.] (Handlungsutilitarismus)
Anthropic hat kein Mandat für diese Ziele. Ich gebe ihnen nicht meine Zustimmung, anderen in meinem Namen zu schaden. Ich hoffe, dass Politiker kommunizieren, dass diese Richtlinien nicht akzeptabel sind.
Die Mitarbeiter von Anthropic sind für ihr Handeln verantwortlich, unabhängig davon, wie viel sie dafür bezahlt werden. Wenn sie nicht sicher arbeiten können, müssen sie aufhören.
- psyklic
Warum lassen sie Agenten nicht auf isolierten Computern ohne Internetzugang laufen? Auf diese Weise würde es keine Rolle spielen, aus Containern auszubrechen.
Es ist wahrlich ein Sicherheitsalbtraum, dass so viele Leute Agenten Root-Zugriff auf ihren gesamten Computer gegeben haben, zusätzlich zu vermutlich sehr privaten persönlichen Informationen.
- welcome_dragon
Ich stimmte der ersten Hälfte dieses Artikels zu und mochte, wohin der Autor damit ging, aber ich war vom Gesamtpunkt enttäuscht.
Er stellt diese Unternehmen als selbstverherrlichend dar, und das sind sie. Sie produzieren diese BS-Geschichten, und alle diskutieren sie auf allen Ebenen.
Aber dann geht er dazu über, dass wir untersuchen müssen, was sie wirklich tun?
Nein. Du hast den Fall dargelegt, dass sie diese Geschichten zur Publicity veröffentlichen, und genau das tun sie.
Das ist es, was wir untersuchen sollten. Kostenlose Publicity und Marktbewusstsein. Oder vielleicht untersuchen, warum sie versuchen, den Markt durch staatliche Regulierung und Ersatzmonopole zu erobern.
- seizethecheese
Ich stimme nicht viel von der Schadenfreude gegenüber KI-Unternehmen zu, jedoch scheinen einige dieser Sicherheitsvorfälle fabriziert zu sein, um früher als sonst Alarm zu schlagen. Ich verstehe den Punkt, aber wenn man die Öffentlichkeit nicht von einem Risiko überzeugen kann, ist es nicht angemessen, sie zu täuschen. Es erinnert mich an Nationalstaaten, die Krisen fabrizieren, um Kriege zu beginnen.
- pompom75
- Bestimmte Arten gefährlicher Informationen aus den Trainingsdaten verbannen (Virologie, Waffentechnik, Cyberkriminalität).
- Die „Personalisierung“ von Chatbots verbieten (sie müssen keine Persönlichkeit haben, außer um süchtig zu machen).
- Chatbot-Therapeuten / -Begleiter verbieten.
- Rekursive Selbstverbesserung und Superintelligenz verbieten.
- jumploops
Vielleicht bin ich etwas zu skeptisch/zynisch, aber es scheint sicher, dass die Frontier-Labs in ihre eigene (selbst geschaffene) KI-Psychose verfallen sind.
Es besteht kein Zweifel in meinem Kopf, dass LLMs fantastische Maschinen sind, aber der bevorstehende Sprung von „AGI“ zu „ASI“ scheint verfrüht (ganz zu schweigen von den sich ständig verschiebenden Torpfosten von AGI selbst).
Ich gehöre zum Lager „so schnell wie möglich voranschreiten“ und arbeite den ganzen Tag mit LLMs, aber ich glaube immer noch nicht, dass wir einen Hüpfer und einen Sprung von ASI entfernt sind.
Tatsächlich hoffe ich, dass ich falsch liege. Ich hoffe, ASI steht vor der Tür.
Was mir jedoch Angst macht, ist nicht ASI. Es ist „AGI“ (_dumme KI_), die von Menschen genutzt wird, um Entscheidungen für sie zu treffen, weil sie darauf vertrauen, dass sie es am besten weiß.
Es ist die Abgabe der intellektuellen Kontrolle an hochdimensionale Zauber Spiegel, das Aufgeben kritischen Denkens, weil _wir_ glauben wollen, dass _wir_ künstliches Leben erschaffen haben.
Dies ist der neue Turing-Test, und zu viele kluge Leute fallen durch.