Was wäre ein ernsthaftes KI-Produkt?
What Would a Serious AI Product Look Like?
Der Autor kritisiert aktuelle KI-Tools scharf: Sie gäben vor, seriöse Werkzeuge zu sein, böten aber keine Möglichkeit, Fehler zu überprüfen, Quellen zu verifizieren oder Datenherkunft nachzuvollziehen. Stattdessen setzten sie auf nutzlose Haftungsausschlüsse, übermäßige Höflichkeitsfloskeln und unpräzise natürliche Sprache. Er fordert konkrete Funktionen wie Checklisten für jede Behauptung, hervorgehobene Zitate mit Metadaten, Aufgaben-spezifische Interfaces und transparente Datenherkunft – sonst blieben LLM-Produkte ein Scam.
Jedes einzelne Chatbot gibt dies vorab zu, in einem kleingedruckten Haftungsausschluss als Kernbestandteil seiner Benutzeroberfläche.
- ramity
Ich bin sehr dankbar für den Abschnitt über Reproduzierbarkeit. Ich behaupte, das ist der größte Stolperstein für den gesamten Bereich. Man KANN Temperatur und Determinismus haben. Ich warte seit sechs Jahren darauf, dass ein großer Anbieter das anbietet, es gibt Nachfrage, aber ich habe langsam erkannt, dass die aktuelle Spieltheorie das nicht unterstützt.
Für Anbieter bedeutet fehlende Unterstützung deterministischer Evaluierung:
- Nutzer verbrauchen mehr Tokens = mehr Geld
- Anbieter können mehr Tokens pro Rechenleistung generieren = mehr Geld
- Anbieter haben günstigere Hardware-Optionen (GPUs) = mehr Geld
- Die Modelle der Anbieter sind schwerer zu extrahieren/destillieren = mehr Geld
- Anbieter sind schwerer für Ausgaben haftbar zu machen = mehr Geld
- Anbieter können heimlich andere Modelle verwenden = mehr Geld
- Anbieter sind schwerer mit anderen zu vergleichen = mehr Geld
- Anbieter können Leistungsergebnisse nach Belieben auswählen = mehr Geld
- awakeasleep
Ich habe über das Problem des "Kein Ich-Ausgabe" nachgedacht.
Ich stimme dem Autor voll und ganz zu, dass es eine inkohärente Schnittstelle für ein Werkzeug ist. Aber mehr noch, es ist eine ständige irritierende Erinnerung für mich, dass diese LLMs nicht wirklich denken oder neue Ideen synthetisieren. Das LLM ist grundsätzlich keine Person und hat nicht den Kontext eines Menschen, daher ist es grundsätzlich widersprüchlich und ungenau, sich selbst mit menschlichen Pronomen und Sprachmustern darzustellen. Der Autor geht auf die Entschuldigungen ein, aber sobald man anfängt, es zu bemerken, ist es überall.
Wenn diese Programme tatsächlich denken könnten und sich der Wahrhaftigkeit verpflichtet fühlten, würden sie sich auf eine neue Weise darstellen, und es wäre aufschlussreich und interessant. Wir Nutzer hätten keine bequeme und irreführende Sprache, die die 'außerirdische Intelligenz' maskiert, und es wäre eine seltsame Umstellung, aber wir würden uns anpassen, anstatt zu tun als ob.
- dofm
Das mit dem "KI kann Fehler machen, also überprüfe die Antworten" ist der Kern unseres zukünftigen Höllenlochs – deterministische Software ersetzt durch KI und rechtliche Haftungsausschlüsse.
Der Grund, warum die Firmen nicht in die Entwicklung von Faktenprüfung als erstklassige Funktion investieren wollen, ist, dass der Anschein, richtig zu liegen, das ist, was die Leute von KI wollen.
- sligbad
Wirklich erfrischende Lektüre. Das fällt in vielen dieser Fälle extrem auf, und die Methoden, Dinge zum "Funktionieren" zu bringen, indem man auf verschiedenen Ebenen einfach zusätzliche Markdown-Prompts draufklatscht, sind sowohl albern als auch unwirksam.
- julesrms
Gute Lektüre. Ich denke, es gibt viele Leute, die an diesen Punkt gelangen, an dem sie die Neuartigkeit des Agent-Coding-Erlebnisses abschütteln und alles ein bisschen erwachsener machen wollen.
Das Zeug zur Kontextkontrolle war schon immer mein Problem. Der Scrollback, den die meisten Agenten anzeigen, ist nicht das, was das Modell liest. Dinge werden zusammengefasst, verworfen, zwischengespeichert oder gar nicht erst einbezogen, und das Transkript zeigt weiterhin das Original, als wäre es noch da.
Es hat mich genug gestört, dass ich meinen eigenen Agenten gebaut habe: https://juggler.studio, ausdrücklich um den echten Kontext hautnah zu bieten. Die UX dreht sich ganz darum, es einfach zu machen, jeden Teil des Kontexts zu navigieren und zu visualisieren und ihn sogar bearbeiten zu können. Während es sich anfühlt, als würden andere Harnesse aktiv versuchen, ihn vor uns zu verbergen.