Bonsai: un LLM de 1 bit que corre en el navegador con WebGPU
1-Bit LLM in the Browser
La comunidad webml-community ha lanzado Bonsai, un espacio de Hugging Face que demuestra cómo ejecutar un modelo de lenguaje de gran tamaño (LLM) de 1 bit directamente en el navegador mediante WebGPU. Este proyecto aprovecha la cuantización extrema para reducir drásticamente el tamaño del modelo y permitir la inferencia en tiempo real en dispositivos con GPU compatible, sin necesidad de servidores. La demo muestra el potencial de la IA en el edge, abriendo la puerta a aplicaciones de procesamiento de lenguaje natural completamente locales y privadas.
Bonsai demuestra que es posible ejecutar un LLM de 1 bit en el navegador con WebGPU, llevando la IA al edge.