Semantische Suche im Browser: 4 MB statt 23 MB

Semantic/Hybrid Search in the Browser

Bart de Goede zeigt, wie man eine semantische Suche für statische Websites komplett im Browser ausführt – ohne Server, ohne API und mit einem Modell, das nur eine 4 MB große Nachschlagetabelle ist. Er nutzt das model2vec-Modell, das aus einem Transformer destilliert wurde und dessen gesamte Vorwärtsberechnung aus Token-Lookup, Mittelwert und Normalisierung besteht. Der Beitrag behandelt die Quantisierung der Tabelle, die Reimplementierung des WordPiece-Tokenizers in JavaScript und die Integration in eine Hugo-Website. Ein Benchmark zeigt, dass die Suche auf einem M1 MacBook Air nur 0,4 Millisekunden dauert – und nebenbei entdeckt der Autor einen jahrelangen Bug in seiner Stichwortsuche.