在 Raspberry Pi Pico 2 W 上跑微型世界模型

A tiny world model running games on a Raspberry Pi Pico 2 W

我在 Raspberry Pi Pico 2 W 上实现了两个微型神经网络，让它们既生成游戏又进行游玩。第一个网络作为世界模型，根据当前帧和动作预测下一帧及奖励；第二个网络作为智能体，基于生成的画面选择动作。通过循环 Transformer 架构和 int8 量化，整个系统仅用数万参数就能在微控制器上流畅运行 Breakout、Pong 等经典游戏。更有趣的是，智能体能在模型构建的‘梦境’中通过 stream-x 算法实时学习，甚至能发现并修复世界模型的逻辑漏洞。