OpenJev:在浏览器里跑本地决策模型
OpenJev 让你无需后端,直接在浏览器中运行本地决策模型。你可以选择 Qwen3、MiniCPM5 等不同规模的模型,在本地 GPU 上对比两种决策方式:一种是直接读取模型对选项的概率 logits,另一种是让模型以 JSON 形式逐 token 生成概率分布。整个过程完全在本地进行,数据不离开页面,模型权重来自 Hugging Face 并缓存在浏览器中。无论是 MiniCPM5 2B 还是 Qwen3.5 4B,你都能亲自测试不同模型在 TypeSafe 等指标上的表现,感受本地推理的真实延迟与能力边界。
直接读取模型的选择 logits 并仅在你提供的选项上进行归一化,而不是解码。