AI 预测：从个人网站到沙盒代理
Prediction: AI Will Collapse
回顾 dot com 泡沫，互联网并未如预期般让每个人都拥有个人网站，而是‘坍缩’成了更简单的社交媒体和视频流。同样，当前关于‘每个人都会构建软件’的 AI 叙事可能重蹈覆辙。未来每个人都会使用 AI 代理，但只有不到 1% 的人会使用编程代理。真正的关键在于构建一个‘傻瓜式’沙盒，确保代理在用户醉酒、分心或进行其他活动时，拥有 0% 的失败率，杜绝任何非预期的购买、消息发送或信息泄露。这要求我们彻底重构抽象层，而非单纯依赖模型能力的提升。
你的消费级代理必须能在你醉酒、躺在床上、上厕所、午休、做作业背景运行或工作分心时使用，且必须不可能发生非预期的购买、发送消息或访问信息。
HN 评论区
14- jsnell
就像 YouTube 视频绝无可能涉及钓鱼、跨站脚本、恶意软件和病毒一样。
所以，这和“实际上并非 0% 概率”是一样的吗？尽管视频流本身从未被用于攻击 [0]，但视频内容却经常如此。最接近钓鱼的例子是那些伪装成“SpaceX 发射”的虚假直播，实际上它们承载的是加密货币诈骗载荷。至于恶意软件，视频本身是不是恶意软件并不重要，只要一段展示虚假《堡垒之夜》外挂的视频能诱使用户安装恶意软件，以为自己能拿到外挂，那就够了。
AI 代理在这方面的能力必须远超人类，但它们不需要完美。
[0] 据我所知！似乎很难绕过转码过程隐藏漏洞，但理论上或许还是有可能的。
- djoldman
AI 必须不可能：进行你未授权的购买、发送你未授权的短信、访问你不想分享的信息。
嗯。我会说，在使用那些市值达数十亿甚至数万亿美元的公司服务时，上述所有事情都是可能发生的。所以“不可能”这个说法可能过于严苛了。
- AnimalMuppet
实际内容与标题不太匹配，除非我们在谈论 AI 股票，而文章对此并未深入探讨。
真正的重点是，针对普通用户（而非程序员）的 AI 代理必须是 100% 坚不可摧的。正如文章所说，人们必须能在醉酒时使用它们，也能在分心时使用它们。
编程代理？用户 presumably（大概）是清醒且专注的。普通大众？他们不会是这样。