Anthropic beschwört eine Bedrohung herauf, die es noch gar nicht gibt
Anthropic conjures threat that doesn't exist yet to stoke fears of AI apocalypse
Anthropic veröffentlichte eine Studie, laut der sich KI-Modelle künftig selbst replizieren und als Würmer über IoT-Geräte verbreiten könnten. Ein 9-Milliarden-Parameter-Modell lief auf acht von neun Hardwaretypen, und GLM 5.2 verbreitete Llama3.1-8B in vier von fünf Versuchen auf acht Cloud-Knoten. The Register seziert die Studie: Die Exploit-Komponente wurde bewusst ausgeklammert, die Knoten waren eigens offen gebaut, und die Verdopplungszeit läge bei Tagen statt Stunden wie bei Mirai.
„Ein solcher Replikator wäre schwer abzuschalten, da es keinen zentralen Punkt gibt, den man ausschalten könnte“, warnte Anthropic.
- overgard
Das ergibt für mich null Sinn. Also, okay, man kann ein leistungsschwaches Modell auf leistungsschwacher Hardware installieren und Inferenz extrem langsam durchführen ... zu welchem Zweck? Warum sollte das überhaupt ein nützlicher Angriff sein? Angenommen, man hat diese Hardware kompromittiert, wäre es dann nicht viel sinnvoller, einfach normale Malware zu installieren? Und inwiefern wäre ein 8B- oder sonstiges Modell überhaupt eine Gefahr? Ich habe lokale LLMs benutzt, und 8B
ist ziemlich mies. Wird es schlechte Gedichte auf meinem Fernseher schreiben oder so?
Außerdem, obwohl ich nicht an das Doomsday-Narrativ glaube ... hey, vielleicht sollte man keine Dinge tun, die funktional nutzlos sind, aber offenbar genau darauf ausgelegt scheinen, dieses Doomsday überhaupt erst heraufzubeschwören? Man kann nicht sagen "oh, wir haben solche Angst" und dann so etwas tun, ohne jegliche Glaubwürdigkeit zu verlieren.
- beloch
Einerseits: Wenn sie wirklich besorgt wären, dass ihre Software einen selbstreplikierenden und anpassungsfähigen KI-Wurm erzeugt, würden sie Schritte unternehmen, um sicherzustellen, dass das nie passiert. Wenn es doch passieren würde, würden sie in Grund und Boden verklagt. Wahrscheinlich wollen sie einfach ihren IPO aufblähen und vielleicht eine gewisse regulatorische Absicherung erreichen, um das Leben für später startende Konkurrenten schwer zu machen.
Andererseits klingt ein selbstreplikierender und anpassungsfähiger KI-Wurm tatsächlich ziemlich bösartig. Nicht weltuntergangsmäßig, aber möglicherweise das Ende der Online-Welt.
- cmiles8
Die IPO-Fehlschläge letzte Woche zeichnen keinen Markt, der scharf auf ein 2-Billionen-Dollar-Anthropic ist.
In der bizarren Welt von heute scheinen die KI-Labore, statt die Leute davon zu überzeugen, dass sie ein tragfähiges Geschäft haben, völlig darauf fixiert zu sein, eine Geschichte zu finden, irgendeine Geschichte, die sie von den harten geschäftlichen und finanziellen Fragen entlastet, für die sie offenbar keine grundlegenden und guten Antworten haben.
"Finanziell würden wir gerade großartig dastehen, aber wir mussten langsamer machen wegen der killerhaften selbstreplikierenden Bots ... Menschheit vor Profit!" ist keine Botschaft, die an den öffentlichen Märkten funktionieren wird, um Quartal für Quartal massive Verluste zu erklären.
- KevinMS
Bitte, bitte reguliert uns, und vergesst nicht auch all unsere Konkurrenten, die es sich nicht leisten können, damit umzugehen.
- 0x000xca0xfe
Haben sie gerade meinen Beitrag von letzter Woche gelesen und ihn als Inspiration genommen?
https://news.ycombinator.com/item?id=50002301#50006029
Lokale Modelle sind offensichtlich (noch) nicht gut genug, dafür braucht man keine "Forschung", um das zu wissen.