4B 모델, RL로 훈련해 GPT-6 Astra보다 21% 더 잘 날았다
Post-training 4B model with RL to fly Tesla Roadster 21% better than GPT-6 Astra
SkyPilot은 테슬라 Roadster의 비행 물리 시뮬레이터에 RL 환경을 구축하고 최신 LLM들을 조종석에 앉혔다. DeepSeek V4.1 Flash, GPT-6 Astra 등은 실시간 의사결정에서 0%의 착륙률을 기록했는데, 0.2초마다 새 명령이 필요한데도 응답에 1~6초가 걸렸기 때문이다. 반면 Qwen3-4B를 약 13달러로 RL 후훈련한 모델은 0.09초 만에 응답해 폭풍 속에서도 90%의 kickflip 착륙에 성공했다. 모든 코드와 환경은 오픈소스로 공개됐다.
우리가 RL로 훈련한 4B 모델은 폭풍 속에서도 90%의 kickflip을 착륙시켰지만, 실시간으로는 DeepSeek, GPT-6 Astra, Muse, Nemotron, Beam 모두 0%를 기록했다.