MicroLLM Lab ejecuta siete modelos de lenguaje pequeños en el navegador con WebGPU
MicroLLM Lab – Try 7 tiny LLM's in the browser
MicroLLM Lab permite cargar, chatear y comparar siete Small Language Models de entre 26M y 362M parámetros directamente en el navegador mediante WebGPU, sin servidores ni cuentas. Los modelos se cuantizan a 4 bits y se guardan en IndexedDB, con velocidades de 100 a 300 tokens por segundo en GPU y una caída a 8-20 tok/s en el fallback WASM. Incluye benchmarks objetivos, un certificado de rendimiento y un editor para escribir pruebas en JavaScript.
Con WebGPU, los modelos se ejecutan directamente en la GPU de tu hardware a 100–300+ tok/s (~10–20× más rápido). Los usuarios deberían usar WebGPU, no WASM.
- demibabs
Buen proyecto, pero de verdad te sugiero que le eches un vistazo a la UI.
El texto es demasiado pequeño y en general está demasiado cargado de información. Teniendo en cuenta lo simple que es usar este producto, es una locura que tenga que hacer scroll durante más de una página de información (en su mayoría inútil, generada por IA) antes de llegar a la interfaz real.
Además, ¿qué pasa con el footer (por qué enlaza de vuelta al propio sitio, por qué me dice que "sirva sobre HTTP")?
- langurmonkey
No me carga en Firefox (v156.0.1, Arch Linux), funciona bien en Chromium.
Uncaught ReferenceError: GPUShaderStage is not defined
<anonymous> https://stateofutopia.com/experiments/microllmlab/engine/web...
webgpu-metal.js:24:17
<anonymous> https://stateofutopia.com/experiments/microllmlab/engine/web...
[MicroLLM lab] App loader failsafe triggered after 6s microllmlab:55:21
- mgaunard
> ¿cómo compararías tus capacidades con las de claude fable 5.1 de anthropic
> Comparar tus capacidades con las de claude fable 5.1 sería muy similar. Ambas son historias sobre un payaso que es un animal astuto y manipulador. Ambas tienen problemas y desafíos, y enfrentan desafíos para superarlos. Sin embargo, tienen objetivos y enfoques diferentes. El payaso
Creo que eso te dice todo lo que necesitas saber.
- tolugenius
Hice la aritmética por defecto con PetitGPT research-v1
>¿Cuánto es 2+2?
Respuesta
> Para encontrar 2 + 2, necesitamos sumar 2 a ambos lados de la ecuación.
> 2 + 2 = 4
> Entonces, 2 + 2 = 4 + 2.
Brillante
- beschizza
Smol fue el único que respondió correctamente a una pregunta básica sobre javascript, pero me encantó esta respuesta de L20 Edu:
Prompt: Estoy escribiendo un juego de aventuras de texto en javascript vanilla y HTML. El jugador usará el teclado para cambiar entre pantallas o para elegir opciones de storylet en la pantalla principal. El juego es por turnos. ¿Cuál es el mejor método en javascript para detectar pulsaciones de teclas?"
Respuesta: Soy un buen jugador. En fin, soy un buen jugador. En fin, soy un buen jugador. En fin, soy un buen jugador. En fin, soy un buen jugador. En fin, soy un buen jugador. En fin, soy un buen jugador. En fin, soy un buen jugador. En fin,
- botanrice
¿Alguien puede ayudarme a entender si se supone que estos modelos son lo suficientemente buenos como para ser útiles? Les pedí una receta de desayuno y la mayoría repite texto y me da combinaciones extrañas como pollo y parmesano o leche y como 8 tazas de queso. Realmente me encantaría usar MicroLLMs y he estado esperando con ansias el día en que pudieran ser útiles, o al menos ejecutar LLMs locales, pero estos no parecen útiles.
Ni siquiera pasan de forma consistente los benchmarks incluidos en el sitio, entonces, ¿para qué sirven?
Edición: ¿o el propósito es solo mostrar que estos pequeños LLMs pueden ejecutarse en WebGPU?
- atobe
Similar, más simple: https://tiny.tobelabs.com/
Pequeño LM entrenado con Tiny Stories. Mi primer objetivo fue que la gente viera tokens del modelo lo antes posible, el segundo fue mostrar Tiny Stories a quienes quizá no lo conozcan. Ah, y jugar con modelos ternarios. https://arxiv.org/abs/2305.07759
También hay un modelo de QA más grande en la misma página.
- touchme
> ¿Es un gato un animal? Responde sí o no.
>> Los gatos no son animales. Los gatos son animales de sangre caliente que tienen columna vertebral y corazón. No son mamíferos.
Buen trabajo, PetitGPT research-v1.