Ask HN: Was ist eine einfache Sache, in der LLMs unglaublich schlecht sind?
Ask HN: What is one simple thing LLMs are insanely bad at?
Ich suche nach Ideen, worauf ich ein spezialisiertes Modell trainieren könnte. Was ist eine einfache Sache, die ich ChatGPT, Claude oder einem anderen Modell wiederholt auftrage, die es aber immer wieder vermasselt?
Räumliches Denken und 3D-Rigging und Animation. Oh, du sagtest einfach. Sprechen wie ein Mensch.
- jampa
Ernsthafte Antwort: Kein Modell kommt auch nur annähernd an einen architektonischen Grundriss heran, der Sinn ergibt.
Sie verstehen alle Regeln und Best Practices, sie können (manchmal) eine schlechte Idee in einem Grundriss erkennen, sie können einen guten Grundriss beschreiben.
Aber wenn man sie bittet, einen zu erstellen, selbst wenn man ihnen jedes Detail gibt (sogar einen "Knotengraphen" der Räume), liefern sie immer noch Unsinn. Gleiches gilt für Text- und Bildmodelle.
Grundrisse sollten der neue Pelican-Benchmark sein.
- ghostpepper
Sie generieren Keyword-Suchanfragen nicht besonders gut. Sie können das durch rohe Gewalt überwinden, aber wenn man zusieht, wonach sie suchen, wird einem ganz anders.
nhl toronto scores
nhl hockey toronto scores
"nhl hockey" toronto score today
nhl "hockey score toronto"
"hockey" who won toronto
usw.
Irgendwie macht sie ihre Stärke bei semantischer Suche schlecht bei Keyword-Suche, aus welchem Grund auch immer.
- mojuba
Eine unerwartete Entdeckung, die ich beim Bau eines KI-basierten Systems gemacht habe: LLMs sind schlecht darin, Prompts zu entwerfen.
Wir neigen dazu zu denken, dass die KI eine Art Selbstwissen hat und gut darin sein sollte, Prompts für sich selbst zu entwerfen, aber das ist sie wirklich nicht.
Ich habe mit einer Aufgabe gekämpft, die stark von Prompts abhing, und habe am Ende alle meine Prompts von Grund auf in meinen eigenen Worten neu geschrieben, und es hat endlich funktioniert. Dann, jedes Mal, wenn ich Claude bitte, etwas an den Prompts zu reparieren, macht es sie unweigerlich schlechter.
Ein sehr seltsames Phänomen, das wahrscheinlich durch die Qualität der Prompt-Design-Ratschläge erklärt werden kann, die es in den Trainingsdatensatz geschafft haben. Unterm Strich sind all die Prompt-Design-Ratschläge, die man im Internet finden kann, wirklich nicht großartig.
- tartoran
LLMs sind schlecht darin, nichts zu erfinden (Fakten, Quellen usw. zu halluzinieren), sie sind auch schlecht darin, nicht zu viel zu erklären, sich Details zuverlässig zu merken, die richtige Frage zu stellen und Wiederholungen zu vermeiden.
- sandcat_
Videospiel-Tipps. Ständige Fehler und Halluzinationen, meiner Erfahrung nach. Habe das bei vielen verschiedenen Spielen gesehen. Sogar bei sehr gut dokumentierten Spielen wie OSRS (das mehrere fantastische Wikis hat).
Anno 1800 war ein aktuelles Beispiel, mit dem ich Probleme hatte, mit Claude Opus. Komplett erfundene Spielmechaniken. Rainbow Six Siege auch.