InstinctFlash: 机器人模型实时推理加速框架

Show HN: InstinctFlash – Run 5B world-action models in real time on Jetson Thor

InstinctFlash 是一个专为机器人模型打造的高性能推理运行时，能在 Jetson Thor 等边缘设备上实时运行 50 亿参数级的世界动作模型。它支持 RTX 4090/5090 及 Jetson Thor 等多种硬件，通过 FP8 量化和采样优化，在保持任务性能无损的前提下实现高达 33.78 倍的加速。无论是本地开发还是部署到真实机器人，它都能提供统一的 Runtime API，让开发者轻松加载微调后的检查点或官方模型，并通过 WebSocket 进行低延迟服务。