llmspeed - Simula la velocidad de un LLM local antes de comprar hardware
Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware
llmspeed es una herramienta web que te permite sentir la velocidad real de un LLM local antes de invertir en hardware. Elige una GPU o un Mac, selecciona un modelo como Llama 3.1 8B o Qwen 3.5 9B y un nivel de cuantización, y observa al instante los tokens por segundo y el TTFT estimados. Incluye una demo de chat corto para experimentar la sensación de respuesta, comparación de configuraciones y un catálogo de hardware que abarca desde NVIDIA RTX 4090 hasta Mac Studio M5 Ultra o CPU-only. Los datos provienen de benchmarks de la comunidad y proyecciones, y el proyecto es open source en GitHub.
Elige hardware y un modelo, y siente la velocidad real antes de comprar.
- lopotubez
Tengo la sensación de que este tipo de benchmarks principalmente ponen a prueba lo que la corriente dominante te dice que es posible y/o que funciona. Rara vez llegas a escuchar sobre las distintas implementaciones de motores de inferencia, los distintos tipos de configuraciones (por ejemplo, las híbridas o el hardware más antiguo) y sus pros y contras. Además, parece que se probaron con un uso de tokens muy mínimo.
Actualmente, en mi portátil de 9 años con una GTX 1070 Max-Q de 8GB de vram, 16 gb de ram ddr4 y un i7 8750h. Estoy ejecutando un Qwen 3.5-35B-A3B afinado (Tiel-Coder-35B-A3B-GGUF-MTP) con cuantización de 4 bits en un fork de llamacpp (Turboquant) con 131k de contexto a unos 16-19 tk/s y 350-500 tk/s de prefil usando el arnés de Pi. Es increíble para escribir scripts y hacer tareas de programación de dificultad media y resumirme texto. A partir de unos 100k de contexto baja a 9 tk/s, pero eso es de esperar.
Si alguna vez le preguntas a cualquier LLM de frontera o a este tipo de benchmarks, probablemente dirían que el mejor modelo que puedo ejecutar en mi sistema es un modelo mierdero de 9B o algo así, lo cual es completamente falso. Así que de verdad me pregunto cuánto más se puede sacar de sistemas más potentes y de modelos de pesos abiertos mucho mejores.
- hizlikovboy27
por esta época, estaba pensando en ejecutar un LLM local para la empresa en la que trabajo. Estoy intentando averiguar qué tipo de hardware necesitaría y qué nivel de rendimiento podría esperar. Probé algunas cosas en tu sitio web, pero ¿hasta qué punto los resultados reflejan el uso en el mundo real?
En mi caso de uso, el modelo podría necesitar analizar primero una tarea dada, luego generar y ejecutar una consulta a la base de datos y, por último, enviar los resultados de vuelta al cliente. ¿Hasta qué punto podría tu configuración manejar este tipo de flujo de trabajo y qué tan precisos son los resultados?
buen trabajo.
- mirekrusin
Estaría genial que las cifras no estuvieran desviadas, que incluyeran versiones optimizadas (es decir, decodificación especulativa), el tamaño de contexto, que incluyeran la inferencia paralela permitida (los agentes individuales usan mucho la inferencia paralela), etc.
No creo que en general a la gente le importe una lista larga de modelos, solo les importa el mejor.
Además, la doble GPU es una configuración común, debería haber, por ejemplo, 2x 4090.
- gitowiec
Me gustaría ver en este tipo de simuladores:
- configuración multi GPU (heterogénea y homogénea)
- selector de generación de PCIe (3.0/4.0/5.0)
- si nvlink está habilitado (2 tarjetas, 2 x 2 tarjetas, 3 x 2 tarjetas)
- si el PCIe está bifurcado o es nativo de la CPU (threadripper pro, por ejemplo)
- kristopolous
simplemente ve y alquila uno por unos minutos y pruébalo... te costará bastante menos de $0.50 si solo intentas hacerte una idea de si es adecuado para ti. Hay muchas cosas, como la ventana de contexto, que esto no captura.
Dependiendo de con quién te registres, eso entra dentro de los créditos de introducción (normalmente unos 5-10$), así que en realidad son $0.