브라우저에서 실행되는 4MB 시맨틱 검색
Semantic/Hybrid Search in the Browser
정적 사이트에서 서버나 API 없이 브라우저에서만 실행되는 시맨틱 검색을 구현한 과정을 소개합니다. model2vec 기반의 정적 임베딩 모델을 int8 양자화하여 4MB의 조회 테이블로 줄였고, JavaScript로 WordPiece 토크나이저를 재구현했습니다. 벤치마크 결과 쿼리당 약 0.4ms의 성능을 보였으며, 기존 키워드 검색의 버그도 발견했습니다.
모델의 불용어 목록은 행 크기에 숨어 있습니다. 'the'와 같은 단어는 거의 기여하지 않고 'guantanamo'와 같은 단어는 많은 기여를 하도록 모델이 학습한 것입니다.