开源AI阅读清单：中美模型差距仅4-6个月
Open-Source AI and Open Models Reading List
我整理了一份关于开源模型的最新阅读清单，涵盖从商业策略到安全风险的全面分析。清单揭示了开源模型与闭源模型的性能差距已缩小至4-6个月，且自2024年起，领先的开源模型多来自中国实验室。文章深入探讨了Distillation技术如何加速这一进程，以及中美在开源AI领域的竞争态势。无论是Meta的Llama 3策略，还是DeepSeek、Qwen等中国模型的崛起，都展示了开源生态的活力。同时，我们也需正视数据枯竭、监管不确定性等挑战。这份清单是理解当前AI格局的绝佳入口。
开源模型处于帕累托成本前沿，但尚未达到绝对性能前沿。
HN 评论区
30- brcmthrowaway
那学习 LLM 的内部机制呢？Sebastian Raschka 的内容在 2026 年还是最好的吗？
- Onavo
这份阅读清单基本没用。对技术 SOTA 的强调极少，大部分是政策层面的废话。
关于其他评论者问到的数据问题——你刮取你能刮取的一切（哦看，我用了个破折号，想让我用 Pangram 来帮你规避责任吗？）。Anna's archive, The Pile, 各种 Huggingface 数据集和聚合包，Common Crawl。你花钱找像 Bright Data 这样的代理农场，用住宅和移动端的灰色地带代理、VPN 以及 CloudFlare 绕过方案来进行更多刮取。我看到很多 HN 用户在首页关于 LG 电视内置 VPN SDK 的讨论中义愤填膺。然后五分钟后，他们又会回到他们的尖端 LLM 去赚他们的工资。真是最高级别的伪君子。一边是“哎呀这技术在我家里太糟糕了”，一边是“但我们很乐意从中获益”。
然后你有一支数据清洗团队去去重、清洗和标注数据（无论是否借助更多 AI）。
某些针对监督微调（SFT）和 RLHF 的特定 RL 数据集，比如代码、git 提交和聊天数据，需要根据你的用例进行人工筛选。
如果 AI 革命都五年了，人们还在纠结为什么数据集不公开，那么 HN 上关于 AI 的讨论水平已经急剧下降。它们不公开是因为它们该死的只是互联网的快照，懂吗？有几个“避难所”国家对 AI 数据刮取的执法相对宽松，但美国不是其中之一，所以别再问了……
- petcat
> 开源 AI
没有开源的 AI 模型，至少目前没有（有用的）[1]。开放权重不等于开源。“开放权重”模型仍然只是你（理论上）可以在自己电脑上运行而不是通过 SAAS 网页应用运行的不可知二进制 blob。开放权重的模型实验室甚至不提供任何关于训练数据构成的高层目录或任何描述。
这不是开源，我们应该停止将这两者混为一谈。