InstinctFlash - High-Performance Serving Runtime for Robotics Models
Show HN: InstinctFlash – Run 5B world-action models in real time on Jetson Thor
InstinctFlash는 로보틱스 모델을 위한 고성능 서빙 런타임입니다. Jetson Thor에서 5B 규모의 world-action 모델을 실시간으로 실행하며, 최대 33.78배 속도 향상을 달성합니다. RTX 5090, RTX 4090, Jetson Thor를 지원하고, 8가지 로보틱스 모델 패밀리를 하나의 Runtime API로 서빙합니다. Python 및 WebSocket 인터페이스를 제공하여 기존 로봇 클라이언트와 호환됩니다. FP8, NUMERIC, BITEXACT 정밀도 정책을 지원하며, 체크포인트 선언을 기반으로 최적화를 자동 적용합니다. 오픈소스(AGPL v3)로 공개되어 누구나 사용할 수 있습니다.
Jetson Thor에서 최대 33.78배 속도 향상을 달성했으며, 실제 로봇 테스트에서 작업 성능 저하가 관찰되지 않았습니다.