Rust로 처음부터 만든 비-트랜스포머 언어 모델, 동일 조건에서 트랜스포머보다 12배 빠르고 학습도 더 잘한다
PSSA: A non-transformer language model written from scratch in Rust
PSSA는 트랜스포머가 아닌 순환 상태 공간 언어 모델로, PyTorch나 TensorFlow 없이 Rust로 처음부터 구현됐다. 150만 파라미터, 1270만 토큰의 WikiText-103에서 트랜스포머 대비 훈련 손실 0.45 낫, 홀드아웃 손실 0.43 낫 더 낮았고, 동일 CPU에서 텍스트 생성 속도는 12배 빨랐다. 에피소드 메모리 뱅크와 실행 중 가중치를 스스로 갱신하는 플라스틱 가중치가 핵심 차이다. 저자는 연구 프로토타입임을 강조하며 더 큰 규모의 컴퓨팅 자원을 요청하고 있다.
PSSA는 더 세게 외우는 게 아니라, 더 잘 일반화한다.
HN 토론
38- JPLeRouzic
어디선가 Transformer 아키텍처는 이차 비용을 가진다는 글을 읽은 적이 있습니다 [0] (이는 LLM과 관련된 높은 비용과 상태 크기 주머니 없이는 지속적인 개선이 어려운 이유를 설명해 줍니다).
제가 이해하기로 PSSA는 단일 토큰을 생성하기 위해 전체 KV를 메모리에 로드할 필요가 없기 때문에 확장 가능한 아키텍처를 가진 LLM 연구 계열에 속합니다:
[0] https://aclanthology.org/2023.findings-emnlp.936/
https://arxiv.org/abs/2503.00392
https://papers.nips.cc/paper_files/paper/2023/hash/6ceefa7b1...
- prospero_
Rust 사용에 대해 불평하는 사람들 중 아무도 제목 이상을 읽지 않은 것 같습니다. 왜냐하면 그것은 readme의 두 번째 섹션이고 놓칠 수 없기 때문입니다.
- janalsncm
OP, 당신은 이것을 Rust로 작성하지 말았어야 했습니다. 압도적으로 가장 인기 있는 PyTorch로 작성해야 합니다. 우리는 이 아키텍처가 좋은지 아니면 구현에 문제가 있는지 알 수 없습니다.
Google Colab을 사용하면 GPU에서 전체를 무료로 테스트할 수 있습니다. 더 큰 데이터셋에서 transformer와 당신의 새로운 아키텍처를 모두 테스트하세요. 각 실행마다 GPU를 한 시간 동안 최대로 활용하는 것으로요.
또한 readme에서 동일한 옵티마이저 스케줄을 유지한다고 언급했는데, 처음에는 좋아 보이지만 그것들은 완전히 다른 아키텍처입니다. transformer에서 손실이 높은데, 학습률을 높여 보셨나요?
일반적으로 저는 파라미터 효율적인 아키텍처에 관심이 있습니다. 저는 transformer가 최적이라고 생각하지 않으며, 실제로 바닐라 transformer에 많은 개선이 이루어졌습니다. 하지만 더 나은 아이디어가 있다면 그것을 보여줘야 합니다.
- mllev15
아이디어 자체가 생성된 시점을 바로 알 수 있습니다
- a19486
이 친구는 월말에 태울 토큰이 좀 있었고, "Rust로"는 순전히 HN 클릭베이트입니다.