AI建议让人准确率跌3倍，自信却翻倍
AI advice made people 3x less accurate but 2x confident, researchers found
一项由法国和意大利大学联合开展的研究揭示了一个令人不安的现象：当人们获得AI建议时，承认自己“不知道”的意愿从44%暴跌至3%，准确率从27%降至9%，但自信心却从30%飙升至76%。研究人员故意使用Step 3.5 Flash在电影细节等AI容易出错的问题上测试，发现即使有金钱激励，人们依然倾向于盲目信任错误的AI答案。这种现象被称为“认知投降”，即人类逐渐丧失了对自身知识边界的认知能力。Valerio Capraro警告称，这对正在成长中的儿童尤为危险，因为他们尚未发展出批判性思维，而像Google这样的公司推出的AI搜索功能也倾向于直接给出自信的答案，而非承认未知。
对人类而言，说出“我不知道”的能力至关重要，因为它代表了我们对自己知识局限性的认知。
HN 评论区
213- dwohnitmok
这项研究质量很差。另一条链接下的评论（https://news.ycombinator.com/item?id=48970182）附带了直接 PDF，很好地解释了问题所在：这里测试的内容没有任何一项是 AI 系统特有的。
这项研究给受试者提供了一款大语言模型（LLM），研究人员明知该模型会对某些问题给出错误答案，然后就用这些问题考受试者，并允许受试者在不确定答案时选择不回答。
这就像给某人一本关于冷门学科的教科书，其中包含某些事实错误，并告知他们可以在该学科的测验中使用这本教科书，然后就用教科书答错的那些事实来考这个人。
显然，这个人既更愿意回答问题，也更有可能答错！
有很多我很感兴趣的具体涉及现代大语言模型及其如何影响学习和自信心的问题（如阿谀奉承、认知无助等）。
这项研究什么都没测到。其实它的实验设置与简单地把大语言模型替换成一本有错误的教科书没什么两样。
- reticulates
建议和资讯类的 Subreddit 因为 AI 的使用已经烂透了。很多人似乎认为，当有人提问时，他们真正想要的不是一个拥有直接知识的人，而是有人把问题转给 ChatGPT，然后把结果当作自己辛苦得来的知识和洞见发出来。我不知道这项研究的质量如何，但在现实世界（好吧，是 Reddit 所能达到的那种“现实”）中，情况非常严峻：人们不仅拒绝说“我不知道”，反而在积极寻找机会假装自己懂。
- wisty
悲观的 AI 观点。
即使 AI 变得更聪明，它依然会顺从人意，人们会用它来更自信地强化自己更愚蠢的想法，尤其是在他们缺乏知识来判断自己是否正确的领域。
即使这个问题在技术上能解决，人们也不愿使用那个告诉他们错了的模型，所以他们会选择那些迎合他们信念的轻浮谎言。
言论自由迫使人们思考自己可能是错的，但结社自由却让人们得以避开这一点。AI 将会成为规模令人难以置信的互联网拥抱盒式回声室。
- senshan
这可以作为给那些仍心存关切之人的灯塔：
理查德·费曼：“我的优势在于，我已经发现了真正了解某件事有多难，你在检查实验时必须多么小心，犯错和自欺欺人又是多么容易……
- andy99
这篇帖子之前发过但没引起关注，我当时留下了以下评论：
我想知道“AI”与仅仅接触到错误答案相比，是否会产生实质性的不同。比如，如果有人被给予搜索权限，但该搜索成功检索到了问题的错误答案，这会产生同样的结果吗？AI 独有的特性（如阿谀奉承或对话形式）在其中起了多大作用，还是说人们只是愿意相信他们读到的东西？
- rho138
我很感激他们把这项研究公之于众……然而，所有来源链接实际上都无法追溯到被引用的研究，而是指向他们自己的域名或 Business Insider。
- leecommamichael
我读了这项研究。赌注如下：
答对奖励 0.10 美元
答错扣除 0.10 美元
拒绝回答无变化（0.00 美元）
文中没有详细说明参与者是否真的会拿到钱，或者如果最终是负数，他们是否被要求支付亏损。
我倾向于认为该研究的效果是真实的，但远没有数据显示的那么显著。如果涉及的金额更可观，我想常识就会占上风。
- imoverclocked
我看到一篇帖子说，有些老师现在让学生让 ChatGPT 做作业……然后让学生指出哪里错了。
我觉得对于那些默认反应就是提交复制粘贴内容（copy-pasta）的地方，这可能是一种有趣的方法：直接给出 AI 的回答，然后让社区讨论它遗漏了什么。