从乐观到担忧：一个AI悲观者的自白
The Education of a Doomer
我曾对AI充满期待，认为自动化会像过去一样带来繁荣。但如今，我的观点彻底转变了。在经济学层面，AGI可能导致人类彻底失去经济价值，进而丧失政治话语权；在对齐问题上，强化学习让模型能力激增却更难理解，严重偏离人类价值观。更可怕的是，我们正主动将控制权拱手让给AI，从写作到软件工程，人类正在放弃思考，将ChatGPT当作神谕。当连愤怒和争论都被自动化取代，我们剩下的只有停滞。
一旦你让AI替你写作，你就放弃了构成思考的大部分核心。
HN 评论区
58- rahulyc
我不确定会发生什么（我想没人知道），但对于其他所有技术，如果我不想用，我可以选择退出。
即便我失业了，我也看不出当全世界每个人都在使用时，我该如何选择退出。
历史上，政府一直将人类视为资产——甚至称之为“人力资本”，他们需要我们来缴税、维持国家运转。如果我们不再被需要，会发生什么？即便 AI 奇迹般地与国家利益保持一致，我也看不出我会站在赢家的一方。毕竟，今天我们对于这种被强行塞进嘴里的东西，连一点发言权都没有。当通用人工智能（AGI）能做任何人类能做的事时，情况怎么会变好？我们还有什么能在世界上发出声音的资本？
- ArcHound
人类工作贬值的问题在于，自动化未必是真实的。你只需要让几乎所有雇主达成共识，认为某项工作的薪资可以更低就行了。
而这就是当下的情况——只要宣称新的 AI 足以替代程序员，就足以在股价不受影响的情况下，一边裁员一边创下利润新高。
- skybrian
> 你上一次做重大人生决定时，没有至少咨询过 AI 是什么时候？
这听起来就像是在问：你上一次做重大决定时，没有至少做过一次网络搜索是什么时候？做搜索本身没什么不对。问题在于，当你过度依赖读到的内容，却不去核实真伪时，麻烦就来了。
- throwawayk7h
> 如果人类在经济上毫无用处，国家就不需要他们。为什么要给既无经济力量又无政治权力的人发放全民基本收入（UBI）？
如果我很天真，请原谅我。但在这种情况下，人们难道不会直接投票支持 UBI 吗？
- aranelsurion
> 如果 GPT-3 没能成功呢？在那个平行的 2026 年里，我们该期待什么？
人们或许会期待一些平淡无奇的东西，比如医疗保健、更好的生活条件、运转更良好的社会等等。
当然，这肯定不如飞行汽车和会思考的机器那么令人兴奋。