Edge0-145B：1450亿参数AI跑在本地
Edge0-145B: Frontier AI Capabilities on Your Own Computer
我们开源了Edge0-145B和Edge0-120B，这是全球首个能在个人电脑上运行的1450亿参数开源AI模型。以往本地AI受限于硬件，大模型跑不动，小模型能力弱，而Edge0通过架构创新和推理优化，让145B模型在兼容笔记本上仅需29GB显存，解码速度超80 tokens/s。它不仅代码、推理能力媲美云端前沿模型，还能自主规划、写代码、调试并视觉检查复杂任务，如3D建模和视频制作。本地运行意味着无API费用、数据不出设备，且核心功能离线可用，彻底打破云端依赖。
本地推理无需支付对应的云模型token或API费用，数据可以保留在电脑上，核心能力在离线状态下依然可用。
HN 评论区
51- _boffin_
这难道只是把 Strata 上的 3.8 next flash 做了量化，然后换个牌子卖吗？
- mikeshi42
> 共享矩阵能大幅减少需要存储和移动的权重，同时保持专家数量不变。每 64 个专家共享两个大矩阵，而每个专家保留一组小参数来捕捉其差异。
1450 亿参数，峰值内存占用仅 29GB——真的很令人印象深刻，确实能在配置不错的 MBP 上实际运行。
- SwellJoe
Blender 的示例真的让我印象深刻。“工具使用”的发展简直惊人，现在它意味着能用像 Blender 这样复杂的工具来完成原本需要人类花几天才能做完的工作。我有点怀疑这些模型在实际中是否真正好用，比如人类能否介入后续进行手动细化、应用更好的纹理等。历史上，智能体生成的设计往往乱成一团，等你清理完，其实也没省多少时间。不过，情况已经开始好转；目前最好的模型在生成干净的基于形状的 SVG 方面已经非常出色，其整洁程度不亚于人类在 Inkscape 或 Illustrator 中制作的效果。总之，我肯定会去试试。
- mortalapeman
这是基于 flash next 衍生出来的吗？读完所有内容给我的印象就是这样。我现在正在用 Strata + Qwen 3.8 Flash Next，简直惊艳。在我手上，它的能力基本上和 5.6 Luna 不相上下。如果这是一个升级版本，我已经迫不及待想试试了。
- PaulKeeble
他们把这个以 NVFP4 格式发布，所以仅限 Nvidia Blackwell 硬件，推测他们的推理引擎也不支持 CUDA 13 规范以外的任何东西。接下来会很有趣，看看它是否会获得其他量化版本，以及是否有其他推理引擎跟进，从而提供标准的 GGUF 文件。目前的发布方式有点奇怪，HF 上的变体链接指向的不是 GGUF 文件下载，而是一个包含多种文件的目录，模型被分散在这些文件里。