Induction Heads: Der Schlüssel zum In-Context-Learning von Transformern

A Mathematical Framework for Transformer Circuits (2021)

Diese Arbeit entwickelt ein mathematisches Framework, um Transformer rückwärts zu entschlüsseln. Durch die Analyse von attention-only Modellen mit bis zu zwei Schichten zeigen die Autoren, dass Attention-Heads als unabhängige, additive Operationen im Residualstrom verstanden werden können. Besonders bemerkenswert: Induktions-Heads, die erst ab zwei Schichten auftreten, erklären In-Context-Learning. Die Erkenntnisse legen den Grundstein für mechanistische Interpretierbarkeit großer Sprachmodelle.

Wir stellen fest, dass bestimmte Attention-Heads, die wir als „Induktions-Heads“ bezeichnen, das In-Context-Learning in diesen kleinen Modellen erklären können und dass sich diese Heads nur in Modellen mit mindestens zwei Attention-Schichten entwickeln.
  1. myself248

    Nichts über B-H-Kurven oder Magnetisierungsstrom, muss wohl die andere Art von Transformer sein, in der anderen Art von Schaltkreis.

  2. _jayhack_

    Für mich ist es schockierend, wie wenig Interesse die breite Öffentlichkeit an MechInterp hat, angesichts der außerirdischen Fähigkeiten, die LLMs demonstrieren – diese und die nachfolgenden transformer-circuits.pub-Veröffentlichungen werden in ein paar Jahren als klassische, grundlegende Arbeiten angesehen werden

  3. amelius

    > Ein früheres Projekt, der Distill Circuits Thread, hat versucht, Vision-Modelle zurückzuentwickeln, aber bisher gab es kein vergleichbares Projekt für Transformer oder Sprachmodelle.

    Wie erfolgreich war das?

Mehr von diesem Tag

2026-09-12