Kinney Drugs 撤下 AI 助手遭数百投诉
Kinney Drugs pulls back AI phone assistant after hundreds of customer complaints
Kinney Drugs 在推出名为 Burt 的 AI 电话助手仅三个月后，因收到数百起客户投诉而决定缩减其服务范围。用户反馈该 AI 存在通话内容混乱、提供错误药物剂量以及遗漏处方通知等严重问题。尽管 Kinney Drugs 总裁 John Marraffa 承认体验设计存在失误，并强调系统符合 HIPAA 合规标准且未使用开源模型，但出于对数据隐私的担忧，公司决定恢复传统的按键电话系统处理来电。未来，Burt 将仅用于外呼通知，且需用户主动选择加入。
但有一点我想指出，确保隐私和安全并不意味着我们就做对了用户体验，我们没做好，我们对此负责。
HN 评论区
169- dkarl
这类案例引发了一个疑问。作为一名工程师，编码 AI 犯下的错误只是个令人烦恼的小插曲，反而让我对自己的就业前景感到安心。
但作为消费者，AI 犯下的错误就不仅仅是烦恼了。我至今还没遇到过能超越预设电话树（phone tree）功能的 AI 电话助手，相反，包括我常去的那家药店的 AI 在内，有好几个甚至做得更差。毫无疑问，它们的创建和测试成本要高得多。
显然，这里存在一个泡沫，一些不择手段的人像往常一样追逐着资金和晋升，但像 CVS 这样的公司为什么要花更多的钱却得到更少的服务呢？
我认为这字面意思上就是为了浪费我们的时间。这是阻止你与真人对话的又一道防线。
医疗保健领域有两个巨大的“胜利”。一是扩大可获报销的医疗范围，通过提供更多昂贵的治疗来增加收入。第二个大胜利是阻止人们获得治疗。拒绝承保，用官僚主义让他们困惑不堪、精疲力竭，而在这种情况下，就是阻止他们与受过昂贵教育的人类药剂师交谈。这就是 AI 比电话树做得更好的地方，因为它能更有效地在客户心中制造无助感和无价值感。
扩大你应得的护理范围，同时又阻碍你获得这些护理，这并不矛盾，就像人吸气又呼气一样不矛盾。这是一个最终目标为……系统的两个协同部分。
- dj_axl
顺便提一句（FWIW），我知道有一家药店网络正在实施 AI。这个 AI 不仅会犯下严重的错误，比如在英语对话中突然说西班牙语，而且它的上下文窗口用于处理基本规则时限制在 5000 个 token 或更少。因此，纠正各种错误会超出指令限制。结果就是，如果这个方案真的落地，质量将非常糟糕。我唯一能想到的解释是，做出这些决定的人完全没有技术专长，任何技术人员都能轻易预测到这个级别的 AI 根本无法胜任。
- jonathan-adly
所以——我经营一家为药店开发 AI 代理的公司。我们现在处于 B 轮融资阶段，增长良好，预计 9 到 12 个月内将进入 C 轮融资。我们刚刚收购了该供应商的一个竞争对手，所以对此非常了解，算是内部人士。
首先，技术是可行的，也能扩展，但整个瓶颈在于领域专业知识和落地实施。这些既昂贵又难以规模化。我们聘请药剂师担任项目经理，这就是领域专业知识和实施的重要性所在。
其次，关于“语音 AI 用于<某行业>”的噪音实在太多。其中绝大多数对行业一无所知，基本上是属于那种“YC 奋斗者”（YC-striver）类型，只能把东西卖给其他 YC 公司。一旦他们触碰到现实世界中的关键功能，就会惨败。
我们现在拥有数百家药店客户，他们大多很成功且满意。我们遇到的最大阻力是，客户被这类供应商坑过，从而彻底否定 AI，认为它“还没准备好”。
- cmiles8
公司若将客户推给 AI 处理，后果自负。
在很多方面，这重演了 2000 年代印度呼叫中心灾难的旧剧。在纸面上，让班加罗尔的人而不是本地人来处理客户来电，看起来是一条通往惊人节省成本的捷径。但在实践中，客户体验糟糕透顶，公司不得不按下“撤销键”（CTRL-Z），迅速将客户服务迁回本土。AI 只是弱领导层短视决策的又一次重演。
- SalaevAl
药店电话线是语音 AI 极差的第一个应用场景。老年来电者、药物名称、保险乱象、零耐心。自动化“营业时间”查询没问题。但自动化“续药例外”处理，就会得到这样的结果。
- criddell
这是我见过的最喜欢的 AI 客户服务故事：
https://arstechnica.com/tech-policy/2024/02/air-canada-must-...
> Air Canada 本质上辩称“聊天机器人是一个独立的法律实体，需对其自身行为负责”。
- Glyptodon
虽然不是药店，但我今天确实遭遇了 Shopify 结账按钮被点击劫持（clickjack），随后 AI 代理和人工代理（聊天、邮件和电话）都拒绝取消由此产生的订单，尽管我在 5 分钟内就联系了客服。鉴于这么多公司态度如此恶劣，我不禁质疑他们为何还要假装提供客服。
但这似乎不太可能很好地转化到药店行业，因为在药店，把客户当害虫对待会有后果，而不是像其他行业那样有实际的激励措施。
如果像药店或其他存在某种强制责任要求的行业所需的技术，能推动出在其他地方真正令人接受的版本，我也不会感到震惊。
- drewg123
真正来自人类的人工服务是我选择小型区域性药店而非本地 CVS 或邮寄订单的主要原因。在我看来，个人服务似乎是像这样区域性连锁药店拥有的唯一优势。如果我是他们，我会顺势而为，而不是用 AI 消耗客户的好感。