キニー・ドラッグ、AI電話アシスタントを顧客の苦情殺到で撤回
Kinney Drugs pulls back AI phone assistant after hundreds of customer complaints
キニー・ドラッグは、AI電話アシスタント「バート」をめぐり、顧客から数百件の苦情が寄せられたことを受け、その導入を縮小した。バートは5月に導入され、処方箋や補充に関する患者とのコミュニケーションを担っていたが、支離滅裂な応答や誤った投薬量、処方箋通知の欠落などの問題が報告された。同社は、患者からの電話を従来のタッチトーン式システムに戻す一方、バートは処方箋の補充通知などの発信専用に使用し、患者のオプトインが必要としている。データプライバシーへの懸念については、バートはHIPAAに完全準拠し、オープンソースではなく、データの生成や操作は行わないと説明している。
「プライバシーとセキュリティを正しく確保したからといって、体験が正しかったわけではありません。私たちはそれを実現できませんでした。その責任は私たちにあります」とキニー・ドラッグ社長のジョン・マラッファ氏は述べた。
HNでの議論
174- dkarl
こういうケースは疑問を投げかける。エンジニアとして、コーディングAIが犯すエラーは迷惑であり、同時に自分の仕事の将来という点では安心材料でもある。
消費者の立場では、AIが犯すエラーは迷惑どころではない。明示的にプログラムされた電話ツリー以上のことができるAI電話アシスタントにはまだお目にかかったことがないし、いくつか——私が使っている薬局のものも含めて——ははるかに劣っている。間違いなく、作ってテストするのにはるかにコストがかかる。
明らかにバブルが起きていて、いつものように資金と昇進を追いかける無節操な連中がいるのは確かだが、なぜCVSのような企業はより少ないものを得るためにより多く払っているのか？
文字通り、我々の時間を無駄にするためだと思う。人間と話せないようにするもう一層の防御壁だ。
医療には二つの大きな利点がある。一つは、保険が適用される医療の範囲を広げること。より高額な治療を増やし、金を引き込む。二つ目の大きな利点は、人々が治療を受けないようにすることだ。保険を拒否し、混乱させ、官僚主義で疲弊させ、この場合は高学歴の人間の薬剤師と話せないようにする。AIが電話ツリーより優れているのはそこだ。顧客に無力感と無価値感をより効果的に植え付けるからだ。
自分が受けられるケアの範囲を広げ、それからそれを実際に受ける能力と戦う——それは矛盾ではない。人が息を吸って吐くのが矛盾でないのと同じだ。それはシステムの相乗的な二つの部分であり、その最終的な目標は[…]
- dj_axl
参考までに、AIを導入している薬局ネットワークを知っている。AIは会話が英語なのにスペイン語で話すようなとんでもないエラーを犯すだけでなく、グラウンドルールのコンテキストウィンドウが5000トークン以下に制限されている。そのため、さまざまなエラーを修正すると指示の上限を超えてしまう。結果として、実装が進めば品質は低いものになるだろう。技術的な専門知識のない人たちがこうした決定を下しているとしか思えない。このレベルのAIが能力を発揮できないことは、技術者なら誰でも簡単に予測できる。
- jonathan-adly
では——私は薬局向けAIエージェントを手がける会社を経営している。現在シリーズBで、順調に成長しており、この成長ペースなら9〜12ヶ月でシリーズCだろう。ちょうどそのベンダーの競合他社を買収したばかりなので、かなりのインサイダーだ。
第一に、技術は機能し、スケールもするが、ボトルネックはドメイン知識と実装だ。これらは高コストで、スケールしにくい。我々は薬剤師をプロジェクトマネージャーとして雇っている。それほどドメイン知識と実装が重要だからだ。
第二に、「<業界>向け音声AI」というノイズの量はすさまじい。そのほとんどは業界について完全に無知で、基本的に「YCストライバー」タイプで、他のYC企業にしか売れない。現実世界の重要な機能に触れた瞬間に失敗する。
現在、何百もの薬局が我々を利用しており、ほとんどが成功し満足している。最大の摩擦は、こうしたベンダーに焼かれた顧客がAI全体を「まだ使えない」と切り捨ててしまうことだ。
- cmiles8
企業が顧客をAIに投げ捨てるのは自らの危険を招く行為だ。
多くの面で、これは00年代のインドのコールセンター大失敗の繰り返しだ。書類上は、バンガロールの誰かにオンショアの誰かではなく顧客対応電話を処理させるのは、驚くべきコスト削減への道に見えた。実際には顧客体験は最悪で、企業はこれらの決定をCTRL-Zし、顧客サービスを急速にオンショアに戻した。AIは、弱いリーダーシップによる近視眼的な決定の物語が、また繰り返されているだけだ。
- SalaevAl
薬局の電話回線は音声AIの最初のユースケースとしては最悪だ。高齢の電話主、薬の名前、保険の混乱、忍耐ゼロ。営業時間の自動化は問題ない。処方箋の例外処理を自動化すると、こういう結果になる。
- criddell
これが私のお気に入りのAIカスタマーサービス話だ：
https://arstechnica.com/tech-policy/2024/02/air-canada-must-...
> エア・カナダは本質的に「チャットボットは自らの行為に責任を持つ別個の法的実体である」と主張した
- drewg123
人間による実際の個人的なサービスこそが、地元のCVSや通信販売よりも小さな地域薬局を選ぶ主な理由だ。私に言わせれば、個人的なサービスはこのような地域チェーンが持つ唯一の利点のように思える。もし私が彼らの立場なら、AIで顧客の好意を燃やすよりも、そこに力を注ぐだろう。
- Glyptodon
薬局ではないが、今日、Shopifyのチェックアウトボタンにクリックジャックされ、その結果生じた注文をAIエージェントも人間エージェントも（チャット、メール、電話）キャンセルするのを拒否された。5分以内に連絡したにもかかわらずだ。あまりに多くの企業が敵対的であることを考えると、なぜサポートがあるように見せかけるのか疑問に思う。
しかしこれは薬局にはうまく当てはまりそうにない。薬局では顧客を害虫のように扱うことに結果が伴うのであって、実際にそうするインセンティブがあるわけではないからだ。
薬局や、ある程度の強制的な責任が存在する他のセクターで必要な技術が、他の場所では実際に受け入れられるバージョンにつながるとしても驚きはしない。