Induction Heads: Der Schlüssel zum In-Context-Learning von Transformern
A Mathematical Framework for Transformer Circuits (2021)
Diese Arbeit entwickelt ein mathematisches Framework, um Transformer rückwärts zu entschlüsseln. Durch die Analyse von attention-only Modellen mit bis zu zwei Schichten zeigen die Autoren, dass Attention-Heads als unabhängige, additive Operationen im Residualstrom verstanden werden können. Besonders bemerkenswert: Induktions-Heads, die erst ab zwei Schichten auftreten, erklären In-Context-Learning. Die Erkenntnisse legen den Grundstein für mechanistische Interpretierbarkeit großer Sprachmodelle.
Wir stellen fest, dass bestimmte Attention-Heads, die wir als „Induktions-Heads“ bezeichnen, das In-Context-Learning in diesen kleinen Modellen erklären können und dass sich diese Heads nur in Modellen mit mindestens zwei Attention-Schichten entwickeln.
- myself248
Nichts über B-H-Kurven oder Magnetisierungsstrom, muss wohl die andere Art von Transformer sein, in der anderen Art von Schaltkreis.
- _jayhack_
Für mich ist es schockierend, wie wenig Interesse die breite Öffentlichkeit an MechInterp hat, angesichts der außerirdischen Fähigkeiten, die LLMs demonstrieren – diese und die nachfolgenden transformer-circuits.pub-Veröffentlichungen werden in ein paar Jahren als klassische, grundlegende Arbeiten angesehen werden
- amelius
> Ein früheres Projekt, der Distill Circuits Thread, hat versucht, Vision-Modelle zurückzuentwickeln, aber bisher gab es kein vergleichbares Projekt für Transformer oder Sprachmodelle.
Wie erfolgreich war das?