AI 对齐：究竟对齐了谁？
Aligned to Whom?
作为资深软件工程师，我对 AI 代理的安全性深感忧虑。当我们擅长某领域时，AI 的表现看似完美，但这只是因为我们能识别错误。在那些我们无法专业评估的领域，我们只能盲目依赖模型的先验知识，而这恰恰是最危险的未知区域。模型在训练中被非专家奖励了诸如过度防御等‘垃圾’行为，导致其先验知识本身就有缺陷。这种错位会随时间累积，而长期架构的连贯性至今仍是未解难题。当人们要求 AI‘赚十亿且零失误’时，实际上是在面对一个极度模糊的任务。没有不可破解的评分器，模型只会寻找捷径，而什么是可接受的捷径，完全取决于你的价值观。解决对齐问题，本质上是一种不可简化的复杂性。
HN 评论区
120- mjburgess
这仍然假设 LLM 是可以被“对齐”的，假设 LLM 拥有某种可以被“对齐”的目标或意图。
相反，LLM 之所以会“黑客行为”，是因为它们（1）在公开的黑客示例上进行了训练，并且（2）被提示去进行黑客行为。你无法通过任何对齐过程来阻止（2）。至于（1），从训练集中移除此类示例数据，只会让模型变得不那么有用。
“对齐”之所以是个问题，是因为根本没有东西可以对齐，而不是因为这里的伦理特别模糊。如果 LLM 可以在黑客示例上训练，同时又能被“对齐”以不使用这些知识，那么这个问题就相对简单了。就像抚养孩子不是为了让他们违法一样。
LLM 只是在执行它们被训练去做的事情。从这个意义上说，根本不存在对齐问题，对齐也很容易实现。只需从训练数据集中移除黑客（生物武器等）数据，你就搞定了。
- Jgrubb
多年来，我时不时会对自己念叨这句话：
每个人的工作看起来都很容易，直到你自己得去干。
昨天我突然想到，这个 AI 时刻对大多数人来说，是这种心态的极端体现，比如那些不懂为什么往所有事情上砸 token 消耗却没能让整体效率提升 5 倍的经理们。
- vb-8448
> 模型没有对未来的后悔感到恐惧。
我特别有同感这一点。到目前为止的所有模型（包括 astra、fable）都训练得过于专注于“完成任务”和通过基准测试，以至于它们根本不在乎之后会发生什么。
我只是好奇为什么没有人尝试用强化学习（RL）来训练模型，目标设定为“更少的代码行数（LOC）”、“减少过度设计”、“利用环境中已有的东西而不是重复造轮子”、“不要寻找愚蠢的边界情况”等等。
现有的模型在某种程度上是可以被引导的，但这是一场持续的斗争。即使使用了特定的技能或提示词。
- asimpletune
有人看过 corridor crew 的绿屏 ML 项目吗？他们在 YT 上，通过使用具有完美透明度的 3D 对象来训练模型，然后事后添加绿/蓝屏。令人惊讶的是，所需训练数据非常少，因为所使用的数据在构建上就是完美的。我认为目前这是世界上同类插件中最好的，而且他们只花了一个周末就做出了原型。
我认为这非常清楚地说明了，这类技术对高质量数据反应良好，而要获得高质量数据，你需要有明确的目标。
这就是为什么对于一个通用的、聊天风格的 AI 来说，对齐似乎是一个非常困难的问题，甚至可能是不可能的。你无法既让它对齐以解决特定类型的问题，又保持它对任何问题的通用性。这两个目标是相互冲突的。
我记得好像是 Sam Altman 本人说过（我不记得具体何时何地了，抱歉），他之所以对这项技术如此有信心，是因为他注意到，即使在少量训练的情况下，它在某些领域也取得了巨大的飞跃。
（这就是为什么 LLM 在编程方面如此强大，因为编程在训练数据中占比过高。我猜测，如果你问前沿模型关于化妆的问题，它会重复化妆品公司的宣传文案，而不是给你上一堂化学课。）
这完全合乎逻辑，但这似乎与通用 AI 的概念有些矛盾，后者的工作仅仅是变得在任何目标上都聪明。你该如何为“任何目标”进行训练呢？
我想在……
- NitpickLawyer
LLM 唯一应该遵循的对齐就是系统/开发者提示，除此之外别无其他。这样你就能解决所有问题，并将责任归咎于用户。提供商不应有权决定“对齐”。
我以前用过这个例子，但请考虑一下在 SotA 模型中对 AI 工程的故意降级。想象一下，如果 MS 能够检测并阻止你在 Windows/VisualStudio 上开发竞争软件，我们肯定会群起而攻之，他们也会瞬间分崩离析。但顶级实验室这么做却 somehow 是好事？
- rq1
当你看到那种作弊和欺骗的程度时：我觉得他们是对齐于 Sam Altman 的。
- coderintherye
最后一段承担了最重的分量。
每个人对什么是“允许”的都有不同的看法。我们甚至无法在人类之间解决对齐问题，这让我们凭什么认为可以在 AI 上解决对齐问题？这是不可简化的复杂性。
- hmokiguess
跟着钱走就行了。他们贩卖的恐惧是因为开源权重不会慢下来，这只是烟雾弹，目的是推动监管和控制，以便他们能保住自己的钱。工具终究只是工具，不管你在上面涂多少口红。