WebLLM ejecuta modelos de IA directamente en el navegador con WebGPU

WebLLM: high-performance in-browser LLM inference engine

WebLLM es un motor de inferencia de LLM de alto rendimiento que ejecuta modelos de lenguaje directamente en el navegador, acelerado por WebGPU y sin necesidad de servidores. Es totalmente compatible con la API de OpenAI, por lo que los desarrolladores pueden usar los mismos endpoints para streaming, generación de JSON y function calling sobre modelos abiertos como Llama 3, Phi 3 y Qwen. Incluye soporte para Web Workers, Service Workers y extensiones de Chrome, y permite verificar la integridad de los modelos con hashes SRI.