Lumabri: P2P 群集运行巨型 MoE 模型
Show HN: Lumabri – Run Moe Models on a P2P Swarm with Colibri
Lumabri 是一个纯 C 编写的轻量级引擎，利用 Colibri 技术让任意设备加入 P2P 群集，共同运行超大规模的 MoE 模型。它无需预先下载完整模型，仅在推理需要时按需从同伴节点获取数据块，并自动缓存至本地。无论是否有 GPU，任何机器都能参与计算或存储，真正实现了从少数高性能设备向全员设备的资源扩展。
聚集 GPU 的网络只能招募少数人，而 Lumabri 招募的是每一个人。
- ptsneves
P2P 推理听起来很棒，如果不是因为推理已经如此便宜的话，它甚至能让我们回到 2000 年代的文化氛围。即便如此，这也算是一种保险措施，以防云服务提供商或政府进一步审查和监控聊天内容。
- snovv_crash
很酷的想法。在验证过程中，你们是如何处理 temperature 参数的？
- Scaled
Skynet 不就是从一个 P2P AI 模型开始的吗？
开个玩笑，这看起来确实很酷 :)