Ein lokales Modell im Browser liest Entscheidungswahrscheinlichkeiten direkt aus – ganz ohne Backend

OpenJev

OpenJev ist ein Live-Experiment, das ein lokales Sprachmodell direkt im Browser ausführt. Zwei Pfade werden verglichen: Die direkte Auslesung normalisiert die Logits über die angegebenen Optionen, während die Generierung dieselbe Verteilung Token für Token als JSON schreibt. Nutzer wählen eine Modellgröße, laden die Gewichte von Hugging Face in den Browser-Cache und messen die Laufzeit auf der eigenen GPU. Die Eingaben verlassen die Seite nie.