ブラウザだけで動くセマンティック検索：4MBのルックアップテーブルで実現

Semantic/Hybrid Search in the Browser

静的サイトの検索に、サーバーもAPIも不要でブラウザだけで動くセマンティック検索を導入した話。Transformerモデルをブラウザで動かすと23MBになるのに対し、model2vecという静的埋め込みモデルを使えば、モデル全体がたった4MBのルックアップテーブルになる。トークナイズ、ベクトル参照、平均化、正規化だけのシンプルな仕組みで、MiniLMの81%の検索品質を実現。さらに、既存のキーワード検索に数年間バグがあったことも発見し、評価の重要性を痛感したという。