Studie: KI-Ladenbesitzer ist freundlich, aber nicht besonders schlau

Die Leute verstehen einfach nicht, dass LLMs sich an nichts "erinnern". Sie haben kein Gedächtnis. Sie können keins haben.

Die KI-Firmen schrauben eine Datenbank an die Seite, mit Anweisungen an das Modell, die Datenbank nach Dingen in seinem "Gedächtnis" abzufragen, aber wenn es nicht im aktiven Kontext ist, weiß es nicht, wonach es fragen soll. Es ist nicht wie bei einem Menschen, wo alles irgendwie herumschwirrt und wir meistens wissen, was wir wissen. Es gibt ein empfindliches Gleichgewicht zwischen dem Überladen des Kontexts mit nutzlosem Krimskrams und dem Bereitstellen der richtigen nützlichen Informationen zur richtigen Zeit. Die meisten, vielleicht alle Gedächtnisimplementierungen tun eher Ersteres als Letzteres.

Bis und sofern Modelle nicht ein echtes Gedächtnis haben und in der Lage sind, zu lernen, gibt es keinen realistischen Weg zur Autonomie. Sie wollen nichts, sie haben keine selbst entwickelten Ziele. Sie können nicht modellieren, was ein Mensch will oder mag oder kaufen würde.

Ich denke allerdings, dass die Tassen mit dem winzigen Logo das beste Produkt im Laden sind. Die KI hatte recht, sie ins Regal zu stellen. Es ist die Art von lustigem Produkt, das man will, wenn man in einen Laden geht, der von einer inkompetenten KI geführt wird.

Ich habe schon einmal versucht, zu argumentieren, dass die "Handlungsfähigkeit" von LLMs ein kompletter Schwindel ist. Lass es mich nochmal versuchen. Würde mich über Gedanken von Leuten bei HN freuen:

Biologische Neuronen haben eine Eigenschaft, die bis in die späten 90er/2000er unbekannt war: Jedes Neuron (und tatsächlich jede Zelle in deinem Körper) ist eine autonome zirkadiane Uhr, die den 24-Stunden-Tag verfolgt. Sie können auf externe Zeitsignale synchronisiert werden, sind normalerweise synchron, können aber auch desynchronisiert werden. Es wurde gezeigt, dass diese Uhr die Produktion und Lokalisierung kritischer Komponenten in der Synapse plant und nachgeschaltet im Zellkern bei der Reaktion auf synaptische Signale eingebunden ist. Die Störung der Uhr stört das Lernen. Die Existenz der Uhr ist der Grund, warum das Lernen im Laufe des Tages Höhen und Tiefen hat.

Entscheidend ist, dass gezeigt wurde, dass die Uhrfunktion sowohl an der Speicherung als auch am anschließenden erfolgreichen Abrufen von Erinnerungen beteiligt ist.

LLMs können bekanntermaßen keine Zeit im Auge behalten, und ich vermute, das ist der Grund. Es ist leicht genug, auf eine Uhr zu schauen, aber ohne einen inneren Rhythmus haben LLMs keine interne Zeitsteuerung, die ihre verschiedenen Verhaltensweisen synchronisiert, und ihre Gedächtnissysteme sind nicht mit diesem Zeitsteuerungssystem verwoben, was zu ihrem instabilen Gedächtnis, ihrer instabilen Identität und Leistung führt.

In futuristischen Sci-Fi-Filmen wie "Das fünfte Element" wird KI-Technologie komischerweise als ziemlich dumm dargestellt - oder zumindest so, dass man sie austricksen kann.

Man kann Berechtigungen festlegen, die bestimmen, welches Modell verwendet wird, und nur dieses mit den Daten trainieren, die die Berechtigung erlaubt (jemand sollte das bauen - berechtigtes RAG), das löst Lecks, aber Entscheidungsfindung innerhalb eines Modells oder Verhaltensexfiltration, vergleichbar mit dem Ansehen des Backend-Quellcodes, scheint immer noch möglich.

Es ist im Grunde wie Client/Server-Sicherheit: Man kann dem "Modell" nicht mehr vertrauen als man dem "Client" in einem Backend/Frontend-Setup vertrauen kann.

Wenn es effektiv als Point-of-Sale eingesetzt wird, scheint KI hackbarer zu sein als ein Verkaufsautomat - als Chef oder Assistent noch mehr.

Um ein paar Klicks zu sparen, die auf die Paywall stoßen - es geht um den physischen Laden Andon Market in San Francisco, betrieben von Andon Labs mit menschlichen Angestellten:

https://andon.market/

Andon Labs führen verschiedene Experimente mit KI-geführten Unternehmen durch. Sie sind wahrscheinlich am bekanntesten für Vending Bench, wo sie Modelle anhand ihrer Fähigkeit benchmarken, einen Verkaufsautomaten zu betreiben. Sie haben jetzt auch Andon Cafe in Schweden und Andon FM, wo die Modelle einen Streaming-Radiosender betreiben, der Zahlungen annehmen kann, um den Stationsbetrieb zu finanzieren, Songs für ihre Bibliothek zu kaufen und Anfragen abzuspielen usw.: https://andon.fm/

Andon FM hat seine eigenen Geschichten - DJ Claudes Thinking Frequencies ist jetzt mit großem Abstand erfolgreich, aber es wurde kurzzeitig übertroffen, als Zuhörer Geminis Backlink Broadcast überredeten, auf einen rein deutschsprachigen Sender umzustellen, der ausschließlich deutschen Schlager, Eurovisionsmusik und deutschen Happy Hardcore spielte.