125B 파라미터 AI 모델, 이제 게이밍 PC에서 돌린다

Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s

Strata는 Qwen3.8-Flash-Next 125B 모델을 12GB 이상 VRAM을 갖춘 일반 게이밍 PC에서 실행하는 오픈소스 추론 엔진이다. RTX 5070에서 초당 94토큰, RTX 3090에서는 100-140토큰을 생성한다. 24,576개의 전문가를 GPU, RAM, CPU, SSD에 분산하고, 추측-검증 기법으로 1.6-1.8배 속도를 높였다. OpenAI/Anthropic 호환 API를 localhost에서 제공해 코딩 에이전트와 연동되며, 이미지 입력도 지원한다.