1-bit LLM이 브라우저에서 실행된다

1-Bit LLM in the Browser

Hugging Face의 webml-community가 WebGPU 기반 데모 'Bonsai'를 공개했다. 이 데모는 1-bit 양자화된 LLM을 브라우저에서 직접 실행하며, 별도 서버 없이도 추론이 가능함을 보여준다. JavaScript와 WebGPU를 활용해 로컬에서 AI 모델을 구동하는 새로운 가능성을 제시한다.