Raspberry Pi Pico 2 W에서 게임을 꿈꾸는 초소형 세계 모델

A tiny world model running games on a Raspberry Pi Pico 2 W

하나의 transformer 블록을 가중치 재사용으로 여러 번 반복하는 looped transformer로 만든 세계 모델이 Raspberry Pi Pico 2 W에서 직접 게임을 생성하고 플레이한다. 세계 모델은 현재 프레임과 행동으로 다음 프레임과 보상을 예측하고, actor 네트워크는 그 꿈속 프레임을 보고 행동을 고른다. Breakout, Pong, Flappy Bird, Doom-lite, Pac-Man lite를 대상으로 26k~131k 파라미터로 99%대 정확도를 달성했으며, 보드 위에서 stream-x 강화학습으로 처음부터 배우는 것도 가능하다.