InstinctFlash - High-Performance Serving Runtime for Robotics Models
Show HN: InstinctFlash – Run 5B world-action models in real time on Jetson Thor
InstinctFlash es un runtime de alto rendimiento que permite ejecutar modelos de robótica de hasta 5B parámetros en tiempo real en Jetson Thor, con soporte para RTX 5090 y RTX 4090. Ofrece aceleración de hasta 33.78× mediante FP8 y reducción de pasos, sin pérdida de rendimiento en tareas reales. Compatible con familias como LingBot-VA, pi05, GR00T N1.7 y Cosmos3, simplifica el despliegue con una API unificada en Python y WebSocket. Ideal para desarrolladores que buscan llevar modelos avanzados de robótica a producción en el borde.
Hemos visto una aceleración de hasta 33.78× sin pérdida observada en el rendimiento de la tarea en nuestras pruebas con robots reales.