MicroLLM Lab：在浏览器中运行7个微型LLM
MicroLLM Lab – Try 7 tiny LLM's in the browser
MicroLLM Lab 让你直接在浏览器中运行、测试和对比7个微型语言模型（SLM），无需服务器、零成本、完全本地化。借助 WebGPU 硬件加速，这些模型可在你的设备 GPU 上以 100–300+ tok/s 的速度运行，实现亚10毫秒的首字延迟。所有数据不离设备，隐私无忧。从 PetitGPT 到 SmolLM2，这些 25M–360M 参数的模型经过 Q4 量化，仅需几十MB内存即可运行。无论是快速任务分类、意图识别，还是作为昂贵云模型的边缘层，MicroLLM Lab 都展示了小模型在效率与实用性上的巨大潜力。
前沿模型如 GPT-4 和 Claude 服务成本高达数百万，而紧凑模型（25M–360M 参数）可作为超快、高效的边缘层运行。
HN 评论区
113- Mbarley
现在能在本地做到这么多，真是令人印象深刻。本以为推理速度会很慢，没想到竟然如此流畅。
- demibabs
很酷的项目，但我真心建议改进一下 UI。
文字太小了，而且整体信息密度过高。考虑到这个产品用起来其实很简单，我得滚动超过一整页（大部分是无用的、AI 生成的）信息才能看到真正的界面，这有点太疯狂了。
另外，页脚是怎么回事？（为什么链接回网站本身？为什么要告诉我“通过 HTTP 提供服务”？）
- tolugenius
我用 PetitGPT research-v1 做了默认的算术测试：
> 2+2 等于多少？
回答
> 要计算 2 + 2，我们需要在等式两边都加上 2。
> 2 + 2 = 4
> 所以，2 + 2 = 4 + 2。
绝了
- mgaunard
> 你如何将自己的能力与 Anthropic 的 claude fable 5.1 进行比较？
> 将你的能力与 claude fable 5.1 进行比较会非常相似。两者都是关于一个小丑的故事，它是一个狡猾且善于操纵的动物。它们都有问题和挑战，并面临挑战去克服它们。然而，它们有不同的目标和方式。这个小丑
我想这已经告诉你所需要知道的一切了。
- not2b
有趣但局限明显：我问了 SmolLM2 360M Instruct
“加利福尼亚州的人口是多少？”
它回答
“加利福尼亚是美国第三大州，人口约 1.53 亿。它也是美国人口最多的州，人口约 3.25 亿。该州也是 GDP 最高的州，GDP 为 1 美元。”
不过速度非常快，尽管没有像样的 GPU。