7MBの埋め込みモデル「Ternlight」がブラウザ上で動作、API不要で5msの高速検索を実現

Ternlight – 7 MB embedding model that runs in browser (WASM)

Ternlightは、わずか7MBの軽量な埋め込みモデルで、ブラウザ上でCPUのみで動作します。APIサーバーを必要とせず、npmパッケージとして提供され、3行のコードでセマンティック検索を実装できます。デモではReactのドキュメント検索が紹介されており、約5msで高速な類似度計算が可能です。