Ist Attention das Wesen der Intelligenz?
Is 'Attention' the Essence of Intelligence?
2014 entwickelte Dzmitry Bahdanau den Attention-Mechanismus, um neuronale Netze bei der Übersetzung langer Sätze zu verbessern. Diese Idee führte 2017 zum Transformer-Modell und legte den Grundstein für moderne KI wie ChatGPT. Der Artikel erklärt, wie Attention funktioniert und warum sie als Schlüssel zur künstlichen Intelligenz gilt – und ob sie auch für menschliche Intelligenz relevant sein könnte.
„Das ist ein ziemlich großer Sprung, nicht wahr?“
- antics
Als NLP-Mensch fällt es mir sehr schwer, diese Erklärung zu befürworten, denn der Transformer von Vaswani et al. (wie er hier beschrieben wird) funktioniert einfach nicht, bis man die wichtigste Zutat überhaupt hinzufügt: die Positionskodierung.
Der Großteil der Semantik eines Satzes wird durch die genaue Reihenfolge der Tokens angezeigt. Am einfachsten sieht man das in einer Sprache wie Englisch, da es auf zwei sehr prominente Weisen sichtbar ist.
Erstens ist die Morphologie ziemlich derivationell, was bedeutet, dass man immer weiter Suffixe an Dinge anhängen kann und englische Muttersprachler im Allgemeinen verstehen, was man meint. Zum Beispiel: Hänge noch ein paar Suffixe an dieses Wort an: derivational-ish-ly. Du hast diese spezifische Variante wahrscheinlich noch nie gehört, aber du hast trotzdem eine ungefähre Vorstellung davon, was sie bedeutet. Der Transformer kann diese Semantik nur erfassen, wenn er eine Repräsentation der Tatsache hat, dass die Suffixe die Bedeutung der Wortwurzel (vermutlich so etwas wie `deriv`) verändern. Englisch kodiert dies vollständig durch die Position der Suffixe relativ zur Wurzel. Ohne die Positionsinformation gibt es keine Möglichkeit, sie wiederherzustellen, und Sätze würden einen Großteil ihrer Bedeutung verlieren, da Englisch stark von dieser Konstruktion abhängt.
Zweitens hat Englisch relativ wenige Fälle und verlässt sich daher sehr stark auf die Wortstellung, um anzuzeigen, was Subjekt und was Objekt ist. Englisch ist speziell Subjekt-Verb-Objekt, und der Instinkt von englischen Muttersprachlern, die SVO-Reihenfolge zu verwenden, ist so stark, dass man sie dabei findet, wie sie Substantive und P […]
- jvanderbot
Regel Nr. 1 beim Lesen von Informatik-Papers – traue den anthropomorphisierten Begriffen nicht. Regel Nr. 2 – extrapoliere diese Begriffe auf keinen Fall auf den echten Geist.
Natürlich ist Attention mit ziemlicher Sicherheit eine Heuristik, die Leser verwenden, aber sie überhaupt als Schlüssel zur Intelligenz zu erwähnen, wirft so viele Fragen über LLMs und den Geist auf ...
- scarmig
Der Begriff „Attention“ verwirrt mehr, als er offenbart, und tauscht wohlbekannte Terminologie gegen eine schwache Analogie zur Funktionsweise des menschlichen Gehirns ein. Kernel Smoothing ist alles, was man braucht.
- andy_ppp
Der Originaltitel des Papers ist eingängig, aber es ist eher „Positionskodierung und Attention und Parallelität über Attention Heads sind alles, was man braucht …“
Und es stellt sich heraus, dass man wahrscheinlich massive Rechenleistung braucht, etwa 1/3 RLHF, alle Daten der Welt und Millionen von Menschen, die ihre privaten Daten mit der KI verbinden, damit sie daraus lernt, unter anderem :-/
- 0xWTF
Das ist die zentrale Erkenntnis, in den eigenen Worten des ursprünglichen Doktoranden:
https://www.quantamagazine.org/is-attention-the-essence-of-i...
„Sätze mit Pronomen wie ‚it‘ veranschaulichen die Herausforderung, die Attention überwindet. Betrachten Sie: ‚The animal didn’t cross the street because it was too tired.‘ Und: ‚The animal didn’t cross the street because it was too wide.‘ Um diese Sätze korrekt ins Französische zu übersetzen, muss ein KI-Modell feststellen, dass sich ‚it‘ im ersten Satz auf das Tier bezieht, das im Französischen ein männliches Wort ist, sodass die Übersetzung diese Form des Pronomens verwenden sollte, il. Im zweiten Satz bezieht sich ‚it‘ jedoch auf die Straße, ein weibliches Wort, das ein anderes Pronomen erfordert, elle. Wie kann die Maschine das herausfinden?“
„Bahdanau erinnerte sich daran, Übersetzungsübungen gemacht zu haben, als er in der Schule Englisch lernte. Um jedes nächste Wort seines übersetzten Satzes zu schreiben, musste er den gesamten Ausgangstext überfliegen, um herauszufinden, was als Nächstes kommen sollte. ‚Wörtlich: Du hast deinen Ausgangssatz links und dein Schreiben rechts, und du drehst deinen Kopf, links-rechts, links-rechts‘, sagte er. ‚Dieser Prozess ist das, was ich als neuronalen Mechanismus ausgedrückt habe.‘
Diese Einfachheit scheint mir der wahre Hinweis darauf zu sein, dass dies die eigentliche Erkenntnis ist. Der Autor macht einen guten Job darin, den Leser an einer langen Liste von Ablenkungen vorbeizuführen und die Vorstellung eines Weges zu einer Erkenntnis heraufzubeschwören, und dann ist da die Erkenntnis – eine einfache Kodierung einer einfachen Aufgabe: ‚Was ist das nächste Wort? Wie mache ich […]