Pirate Face:用P2P拯救被删的LLM模型
Pirate Face Rescues LLM Models from Deletion
Pirate Face 是一个专为主权 AI 打造的去中心化基础设施。它将 Hugging Face 上的开源模型转化为 torrent,通过全球 peer-to-peer 网络进行镜像存储。这意味着即使 Hugging Face 删除了某个模型,只要 swarm 中还有节点在 seeding,模型就不会真正消失。每个文件都携带官方的 SHA-256 校验值,确保下载的是未经篡改的原始权重。未来,用户只需设置一个环境变量,即可在不修改代码的情况下,让现有 pipeline 自动从 Pirate Face 获取模型,实现真正的零代码切换。
当模型被 Hugging Face 删除的那一刻,swarm 会接管并让它继续存活,因为没有单一的主机可以将其关闭。
HN 评论区
144- wren6991
关于“无审查模型”这一点:其实没什么理由去分发被“消融”(abliterated)过的权重。与其对写回残差流(residual stream)的权重进行正交化,不如直接对激活值(activations)本身进行正交化。两者效果等价。
在运行时对激活值进行正交化计算成本很低。只需分发拒绝向量(每层几千个浮点数),然后配合标准权重运行即可。Antirez 的 DS4 已经支持这一功能:https://github.com/antirez/ds4/blob/8db1d1d155cb0400a86a86b9...
消融权重只是我们养成的一个坏习惯。从精度角度看,对已经过 QAT(量化感知训练)并以预量化形式分发的模型(如 DeepSeek V4、Kimi K2.5 或 K3 等)修改权重并重新量化,也是极其低效的。同样,消融后的模型在重新量化时会恢复部分拒绝行为——只要将两者分开处理,这完全是可以避免的。
- phoyd
分发 AI 模型权重时,Torrent 理应成为首选方案。何必依赖像 Hugging Face 这样的单点故障?BitTorrent 生来就是为了干这个的。
- mococa
Steam 和 Blizzard(可能还有其他公司)过去都曾用 torrent 协议分发游戏,直到 CDN 变得更便宜为止。
当《星际争霸 2》刚发布时,其安装程序(在 Battle.net 安装器变成一堆垃圾软件之前)曾提供完整的图形化界面,直观展示种子和下载者。
- JonChesterfield
这真的很重要。我已经厌倦了囤积 huggingface 的 rclone 副本,并定期检查它们是否出现比特腐烂(bitrot)。不过 Pirateface 这个名字帮不上什么忙,而且它似乎也没有提供脚本化的 torrent 创建功能。
把同样的东西托管在 'academictorrents' 上真的可行吗?就双方互相传输数据而言?
编辑:看起来它可以将 huggingface 作为那些未被共享的 torrent 的备用源(backstop),这很有趣。如果 bittorrent 能处理这一切,那我手动编写的一大堆校验和(checksum) nonsense 就都消失了。但它好像不工作?
“Magnet soon No seeders yet”——一个 torrent 只有在有人打包该模型作为种子时才会被创建。
所以每个 torrent 需要做一些工作,但我不知道具体是什么,也没看出它如何能基于我本地的文件,同时又与 huggingface 上的文件完全匹配。所以我肯定漏掉了什么。
编辑 2:看起来是实错。我可以从本地文件创建 torrent 并上传,但它不会拥有 huggingface 备用源,我也无法指定它,所以这实际上并没有实现宣称的效果。在通过这种方式创建社区 torrent 真正有用之前,提交页面需要允许指向上游源。
此外,让每个人 DIY 一套“文件 -> torrent 信息”的操作简直疯了,这不应该是一份 SKILLS.md,而应该是一个能搞定这一切的 bash 脚本。
- mmaunder
编辑:已删除。我分享了一些关于正在进行的研究的细节,结果收到了一些连自己都没去查看的人的回复,而我不得不花更多精力去反驳他们,等等。所以最好还是回到第一步,不再过度分享,从而节省原本要花在后续事情上的精力。诚然,我现在又累又气,但确实如此。HN 不允许我删除这条评论,所以这大概就算是一个“删除编辑”吧。抱歉。
- totetsu
这是对“当 HuggingFace 被 Nvidia 收购后,平台上大量模型将被下架”这一想法的反应吗?
- Scaled
这个网站也可能很有用,因为最近出现了一种趋势:消融模型的提供者要求用户拥有 hugging face 账户并收集邮箱。我推测这是为了让提供者可以群发垃圾邮件,因为除此之外没什么其他好处。Hugging face 也在让使用一次性邮箱注册变得更困难,一旦检测到这种情况,注册过程中就会报出一个奇怪的错误。总之,我认为像这样的网站有助于绕过所有这些数据收集行为。
- mitxela
为什么注册系统这么复杂?为什么不能直接登录你的 HF 账户就完事了?你这是在逼人们去 X 和 HN 上发垃圾信息,好让他们的 X 和 HN 账号被封吗?