Strata ejecuta Qwen3.8-Flash-Next de 125B en un PC gamer con 12 GB de VRAM
Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s

Strata es un motor de inferencia de código abierto que permite ejecutar el modelo Qwen3.8-Flash-Next de 125 mil millones de parámetros en hardware de consumo, como una RTX 5070 de 12 GB. Ofrece instalación con un clic en Windows y Linux, una API compatible con OpenAI y Anthropic en localhost, y entrada opcional de imágenes. Alcanza hasta 94 tokens por segundo en respuestas y más de 2,600 tokens por segundo leyendo prompts, manteniendo todo el procesamiento en el equipo del usuario.
Strata hace que el modelo quepa compartiendo el trabajo entre todo tu PC. Piensa en una cocina: las cosas que usas todo el tiempo se quedan en la encimera y el resto espera en la despensa.
- a11r
Soy un poco escéptico respecto a bajar de los cuantizados de 4 bits debido al potencial de una degradación significativa en la calidad. Estoy ejecutando cuantizados de 4 bits en una RTX Pro 6000 alquilada por aproximadamente $1/hora y consigo unos 1,2 millones de tokens de salida y 40 millones de tokens de entrada por hora con caching. La calidad del cuantizado de 4 bits es suficientemente buena para tareas de programación difíciles pero bien delimitadas. Aquí está el stack de inferencia que estoy usando: https://www.reddit.com/r/BlackwellPerformance/s/FrKwk3GoDK
- cjdell
Esto cambia el juego. Mi R9700 de 32GB ahora es más inteligente y aproximadamente 2x más rápida que usando Qwen-3.8-27B. Unos 60 t/s cuando se combina con mis 96GB de DDR4. Mi placa base me limita a PCIe Gen3, así que probablemente eso sea un cuello de botella.
Para los aficionados a Nix:
https://github.com/cjdell/nixos-config/blob/main/hosts/zen3-...
Incluso lo hice funcionar en la iGPU de un GMKTec M6 Ryzen 6600H a una velocidad razonable (10 t/s). Lo suficientemente rápido como para dejarlo con un prompt antes de irme a la cama y despertarme con una solución.
- Jackson__
Acabo de probar Strata en un benchmark de visión sencillo de 50 imágenes. La tarea es dar las coordenadas exactas de un objeto solicitado. El resultado con Strata tuvo una distancia de error mediana de 154,8 píxeles, media de 168,8. Ejecutando exactamente el mismo GGUF y los mismos pesos del adaptador de visión en llama.cpp obtengo un error mediano de 46,5, media 81,4.
Para ponerlo en perspectiva, aquí van más números de otros modelos vía llama.cpp:
Mediana/Media
Qwen 3.5 9B BF16: 46,5 / 193,3
Qwen 3.6 35B Q4 K XL: 38,4 / 76,4
Qwen 3.5 122B Q3 K M: 32,9 / 68,6
La diferencia en rendimiento de visión es tan grande como el salto de un modelo de 9B a uno de 35B. Todas las pruebas se realizaron con temp=0.
No he hecho más pruebas, ya que estos resultados encajan perfectamente con mis expectativas.
- snehesht
Lo probé y funcionó sorprendentemente bien. En mi máquina (Nvidia 4090, 128GB DDR5, Ryzen 7950x3d) consigo 124 tokens por segundo, pensé en compartirlo aquí.
- slashtom
Qwen 3.8 Flash Next con mtplx en una M5 Max de 128GB es increíble, con contexto completo consigo unos 72 tok/s, ha reemplazado a los modelos frontera para mí.
- AntiRush
He estado trabajando en el soporte para este modelo en ds4 en la RTX 6000 pro - ha sido realmente genial para mis casos de uso. El cuantizado q4 de ds4 rinde mucho mejor que otros de tamaños similares que he visto.
Usando el cuantizado Q4 en una RTX 6000 Pro Workstation Edition a 450 vatios:
Código: prefill 1.251 tok/s decode 255,26 tok/s
Prosa: prefill 1.251 tok/s decode 198,78 tok/s
Lo más importante para mí, puedo ejecutar 4 streams concurrentes a 400+ tok/s.
- kamranjon
Dwarfstar ya soporta esto, tengo curiosidad por ver cómo se compara, pero uso el cuantizado q4 a diario y funciona muy bien.
https://github.com/antirez/ds4/blob/main/docs/MODELS.md#qwen...
- jacquesm
Los hilos sobre LLM en todo el mundo están inundados de enlaces a Strata, está por ver cuánto del hype sin aliento sigue en pie una vez que pase el periodo de luna de miel. Lo he probado pero hasta ahora no he visto nada que me impresione demasiado en términos de precisión, aunque la velocidad sin duda está ahí. Estoy seguro de que hay aplicaciones para los LLM donde la calidad de las respuestas importa menos, pero yo no tengo ninguna de esas. YMMV.
- lxe
¿Por qué este tipo de caching experto no está ya en llama.cpp nativo? ¿Por qué necesitamos una base de código separada?
- SuperV1234
Nos acercamos cada vez más al día en que podamos tener un modelo tipo Opus ejecutándose localmente. ¡El sueño!