Математический фреймворк вскрывает внутренние алгоритмы трансформеров

A Mathematical Framework for Transformer Circuits (2021)

Исследователи из команды Transformer Circuits предлагают математический подход к механистической интерпретации трансформеров. Они анализируют игрушечные модели без MLP-слоёв и показывают, что однослойные трансформеры реализуют биграммы и «скип-триграммы», а двухслойные — композиции голов внимания, включая induction heads, объясняющие in-context обучение. Работа закладывает основу для обратной разработки больших языковых моделей.

Мы обнаружили, что конкретные головы внимания, которые мы называем «induction heads», могут объяснить in-context обучение в этих малых моделях, и что эти головы развиваются только в моделях как минимум с двумя слоями внимания.
  1. myself248

    Ничего про кривые B-H или ток намагничивания, видимо, речь о другом виде трансформера, в другой схеме.

  2. _jayhack_

    Меня поражает, как мало широкую публику интересует mechinterp, учитывая чуждые возможности, продемонстрированные LLM — эта и последующие публикации transformer-circuits.pub через несколько лет будут считаться классической, основополагающей работой

  3. amelius

    > Предыдущий проект, Distill Circuits thread, пытался провести обратную разработку моделей зрения, но до сих пор не было сопоставимого проекта для трансформеров или языковых моделей.

    Насколько успешным он был?

Ещё за этот день

2026-09-12