ブラウザで動く1ビットLLM「Bonsai」をWebGPUで実現

1-Bit LLM in the Browser

Hugging Faceのwebml-communityが、1ビットLLM「Bonsai」をWebGPU対応のブラウザ上で動作させるデモを公開。量子化技術により、ローカル環境で軽量な推論を実現する。