Moonshot AI 发布 Kimi-K3 技术报告
Kimi-K3 Technical Report [pdf]
Moonshot AI 正式开源了 Kimi-K3 的技术报告，详细披露了这款大模型在架构设计与性能优化上的关键突破。报告深入解析了模型在长上下文处理、多模态理解以及推理效率上的创新方案，为开发者提供了宝贵的技术参考。通过公开底层实现细节，Moonshot AI 旨在推动社区对大模型技术的深入探索，展示其在复杂任务中的卓越表现。这份报告不仅记录了技术演进的路径，也为行业提供了可复用的方法论，是理解当前大模型发展前沿的重要资料。
Kimi-K3 在长上下文处理和多模态理解方面实现了显著的性能提升，为复杂任务提供了更高效的解决方案。
HN 评论区
180- GodelNumbering
粗略估算一下（可能有误，欢迎指正）
如果你是每月推理支出超过百万美元的大型公司，那么购买一台 GB300 机架（据我查到的最高配置约为 600 万美元）是划算的，其显存为 20.7 TB。由于模型采用混合精度训练（MXFP4），服务完整模型所需的显存不到该机架的 10%。聚合 HBM 带宽为 576 TB/s。你可以以约 30 tok/s 的速度运行超过 6000 个并行的智能体工作流（每个平均上下文约 100k）。
假设每年的摊销加电费为 150 万美元，年平均利用率约为 50%，那么每百万输出 token 的成本不到 60 美分（美元）。这是一款前沿模型，拥有充足的共享容量，所有数据无需离开本地，且成本降低了一个数量级以上！
只要公司相信开源权重模型会持续变得更强大，且“AI 是来者不拒的”，那么该模型就为“直接购买机架”这一决策提供了首个坚实的立足点。
- m_ke
同时也开源了一堆配套的基础设施。
任何声称开源和开源权重模型是“减速带（decel）”的人，都得好好检查一下脑子。
https://github.com/MoonshotAI/MoonEP
- fahrradflucht
许可证：https://huggingface.co/moonshotai/Kimi-K3/blob/main/LICENSE
> 如果被许可方或其任何关联公司运营模型即服务（Model as a Service）业务，且被许可方及其关联公司在任意连续 12 个月内的总收入超过 2000 万美元（或等值其他货币），则被许可方在将软件或其衍生作品用于任何商业目的之前，必须与 Moonshot AI 签订单独协议。
+ 现有的 1 亿月活跃用户，或商业产品超过 2000 万美元收入，都必须遵守 Kimi 条款。
- eamag
> 我们构建了一个自进化、分层组织的知识图谱，智能体通过跨知识密集型和代码领域的 Web 规模探索不断扩展该图谱
这很有趣！
- whimsicalism
有趣的是，我们终于又回到了 tanh 激活函数，时间真是个圆。
- a-dub
由知识图谱引导的任务合成。太酷了！我长期以来一直对“如何获得所有任务的良好覆盖率”这个问题感到好奇。
也许围绕新知识本身的产生速率以及各种机制（人类方法、机械方法等）会有一些有趣的理论工作。
- storus
目前微调该模型以适应我自己特定的智能体任务的最佳方法是什么？LoRA + DPO？GRPO？还是其他什么？
- eamag
有人能解释一下多教师在线蒸馏（Multi-Teacher On-Policy Distillation）中的“教师”是什么吗？我可以想象数学、编程和其他可验证的领域，但他们也有生物学？这是指从更大模型进行蒸馏的地方吗？