用Vibecoding在FPGA上跑通LLM推理
Vibecoding an Inference Chip

我利用AI编码代理,在完全不懂Verilog的情况下,成功在AWS F2实例的FPGA上跑通了LLM推理。通过DeepGrove的三元权重架构,我让代理自主完成了从环境搭建到性能优化的全过程。经过数天的自动迭代,代理生成了约300万行代码,将推理速度从基线提升了33倍,达到213 tokens/s。整个过程我只需要提供模糊的指令和方向,模型便自行探索并解决了复杂的硬件逻辑与时序问题。这次实验证明,只要有足够的token预算和正确的引导,AI代理确实能胜任低层硬件编程。
最近编程最有趣的一点是,编码代理让我能够进入全新的领域,通过接触新的编程语言和范式来开展工作。