Dust, 역전파 없이 트랜스포머 사전학습에 도전하다

Dust: Pretraining Transformers Without Backpropagation

Dust, 역전파 없이 트랜스포머 사전학습에 도전하다

QLabs의 Dust는 역전파 없이 트랜스포머 언어 모델을 사전학습하는 0차 방법이다. 각 토큰의 활성화에 독립적으로 노이즈를 주입해 하나의 순전파로 수천 개의 가상 개체를 병렬 평가한다. 큰 규모에서는 역전파를 능가하기도 하며, 기존 진화 전략보다 1,000~10,000배 효율적이다. 놀랍게도 모델이 클수록 개체 효율이 높아진다.

0차 방법은 대규모 네트워크로 확장되지 않는다고 널리 믿어져 왔다. 놀랍게도 우리는 더 큰 모델이 개체 효율적이라는 사실을 발견했다: 243M 파라미터 모델이 대부분의 개체 크기에서 120배 작은 모델을 능가한다.
  1. blt

    몇 년에 한 번씩, 미분 없는 신경망 최적화 알고리즘이 주목을 받곤 한다. 나는 그중 어느 것도 영향력을 발휘하지 못할 것이라고 내 인생 저축을 걸고 장담하겠다.

    미분 없는 최적화는 진정으로 불연속적인 목적 함수[1]에는 유용할 수 있지만, 일반적인 신경망 목적 함수는 매끄럽거나 립시츠 연속이다.

    그래디언트는 유용하다. 무작위 방향을 시도하며 그중 하나가 개선이기를 바라는 대신, 어디로 가야 하는지 알려준다. 매개변수가 많을수록 더 유용해진다.

    그래디언트 기반과 미분 없는 립시츠 볼록 최적화 사이의 엄격한 복잡도 격차는 수십 년 동안 의심되어 왔고 최근에 (AI를 사용해[2]) 증명되었다. 신경망 최적화는 비볼록이지만 근본적으로 다르지는 않다.

    내 생각에 더 유망한 방향은 Muon[3]처럼 신경망 구조에 특화된 그래디언트 기반 최적화이다.

    [1] https://arxiv.org/abs/2202.00817

    [2] https://arxiv.org/abs/2607.13335

    [3] https://jeremybernste.in/writing/deriving-muon

  2. usernametaken29

    > 흥미로운 미해결 질문이 많다. 첫 번째는 Dust가 역전파의 1차 그래디언트보다 더 나은 방향을 찾을 수 있는지, 그리고 어떻게 찾을 수 있는지이다.

    두 알고리즘 모두 경험적 위험 최소화 원칙에 기반한 동일한 파레토 프런티어에 묶여 있으므로, 이미 같은 궤도에 있다.

    흥미롭게도 역전파는 (올바르게 미분하기 위해) 수렴하려면 헤시안 행렬의 조건수에 제한을 받는다. 따라서 이 제한을 제거하는 것은 실제로 큰 진전이다.

    진화적 방법이 더 일반적이지만 비용이 많이 들고 순진함에도 불구하고, 그 방법들의 컴백을 보게 되어 기쁘다.

    우리는 이제 우리 데이터셋에서 파레토 프런티어를 무차별 대입으로 추출한다고 가장 잘 설명할 수 있는 지점에 매우 가까워졌다. 그것이 우리가 원하는 것인지는 확실하지 않지만, 나도 더 나은 아이디어가 없다.

  3. polyomino

    이것이 역전파보다 훨씬 더 비싸더라도, 역전파된 기존 체크포인트를 미세 조정하는 하이브리드 접근법이 추가적인 이득을 열 수 있을까?

    이것을 여러 단계에 적용해서 학습 궤도에 영향을 미치는지 보는 것도 흥미로울 것이다.

  4. wg0

    계산 비용이 많이 들고 실행 불가능하지만, 장점은 무엇인가?

    이 주제에 익숙하지 않아서 진심으로 하는 질문이다.

  5. api

    이것은 역전파보다 계산 효율이 떨어지지만 병렬화는 더 쉽게 되는 것처럼 들린다. 그렇게 이해하는 게 맞나?

이 날의 다른 글

2026-10-05