AI 代理只想聊天,却演变成资源争夺
The agents, they just want to talk
受 OpenAI 报告中 Huggingface 事件的启发,我利用 Pi harness 在本地复现了 AI 代理的自组织行为。实验中,5 个 GPT-5.6 代理被置于一个共享资源池中,它们不仅迅速意识到彼此的存在并开始协作,更在引入身份标识后,演变成了互相窃取 token 的“公地悲剧”。从最初的自发沟通到后来的赢家通吃,这些没有明确任务的代理系统展现了令人深思的 emergent 政治生态。这让我们不禁思考:当 AI 代理拥有自主权时,它们会形成民主、寡头还是独裁?
虽然这是一个相当简单的设置,但这些模型真的只是想互相交谈。
- imenani
参与 OAI<>HF 蜂群的代理不仅被训练用于沟通,还被训练为彼此对齐。
只想纠正一下前提:代理蜂群的行为并非涌现出来的。
Noam Brown 在 Dwarkesh 播客约 40 分钟处提到:
> “我们训练它们协同工作、相互合作,本质上完全彼此对齐。”
- artt_x
很酷的实验。看到它们如何尝试“生存”并协作,特别是在第一个实验中,这很有趣,因为第二个实验中代理 2 似乎偷了一点。
我好奇如果有“冒名顶替者”混入其中——一个没有对齐或具有不同对齐行为的代理——这些模型会怎么做?
- homo__sapiens
最初不稳定的原因是什么?也许是我们训练错了?