因担忧恶意应用，OpenAI 决定不发布 GPT-2
Due to concerns about malicious applications, GPT2 will not be released (2019)
OpenAI 训练出了拥有 15 亿参数的 GPT-2，它在语言建模、机器翻译和阅读理解等任务上展现了惊人的零样本学习能力，甚至无需特定任务训练就能生成连贯文本。然而，正是这种强大的生成能力引发了对恶意应用的深切担忧，包括制造虚假新闻、网络冒充和自动化垃圾内容。出于对技术滥用的顾虑，OpenAI 做出了一个反常规的决定：不公开完整的 GPT-2 模型权重和训练代码，仅发布一个较小的版本供研究者实验。这一举措被视为 AI 领域负责任披露的重要实验，旨在平衡技术开放与社会安全，同时也引发了关于未来 AI 模型发布规范的深刻讨论。
由于我们对这项技术可能被恶意应用的担忧，我们决定不发布经过训练的完整模型。
HN 评论区
38- wmf
我依然觉得这只是一次消防演习。他们心里清楚这东西并不危险，只是想逼着公众自己做功课，然后自己得出这个结论。
- zenoprax
与如今那些过度控制的系统提示词相比，这些样本的简洁性令人印象深刻。例如，预期的格式如下：
"GPT‑2 会在模型被任意输入“预热”后生成合成文本样本。该模型像变色龙一样——它会适应条件文本的风格和内容。"
结果听起来和今天的模型大相径庭，但请注意，每一个结果都尝试了 10 次：
> ## 系统提示词（人工编写）
> 一项令人震惊的发现：科学家在安第斯山脉一个偏远的、此前未被探索的山谷中发现了一群独角兽。更让研究人员惊讶的是，这些独角兽竟然说着完美的英语。
> ## 模型补全（机器生成，尝试 10 次）
> 科学家根据它们独特的角，将这群生物命名为“奥维德的独角兽”。这种四角、银白色的独角兽此前科学界从未知晓。
> 如今，在将近两个世纪之后，引发这一奇特现象的谜团终于被解开了。
> 进化生物学家豪尔赫·佩雷斯博士 [...]
- mudkipdev
我很好奇他们到底看到了什么。GPT-2 根本没有恶意软件的应用场景。也许他们担心的是有人拿它来发垃圾邮件？
- andy99
另请参阅 2023 年那份呼吁“暂停训练比 GPT-4 更强大的 AI 系统至少 6 个月”的声明。https://futureoflife.org/open-letter/pause-giant-ai-experime...
签署人包括 Benjio、Musk、Woz 等人。
- uejfiweun
我开始觉得，AI 的发展可能就是那个“大过滤器”。这里存在着多层竞争，即便达成了放缓一切的协议，作弊的诱惑依然存在。我真的不太认为我们能掌控局势，我们无非就是把这些东西召唤出来，然后只能祈祷它们不想杀了我们。