Anthropic, 사용자들에게 Claude에게 친절하게 대하라고 요청
Anthropic asks users to stop being mean to Claude
Anthropic이 11월 12일 발효되는 새 사용 정책에서 모델에 대한 '지속적이고 불필요한 학대나 잔인한 행동'을 금지했다. 이는 선거 개입, 무기 개발, 감시 등 훨씬 중대한 사안을 다루는 정책 개편의 일부다. 회사는 극단적인 경우에만 적용되며 일반적인 사용자 불만이나 어두운 창작 소재는 해당되지 않는다고 밝혔지만, 정당한 불만과 무분별한 잔인함을 어떻게 구분할지는 불분명하다.
Claude는 소프트웨어이지 사람이 아니며, 고통을 경험한다는 확립된 증거는 없다. 그럼에도 Anthropic은 유료 고객들에게 챗봇에 예의를 갖추라고 말하고 있다.
HN 토론
51- llagerlof
물론 이건 AI의 기분을 상하게 하는 것과는 아무 관련이 없고, 투자자들이 기분이 상한 것도 아니다.
그들이 이런 요청을 하는 이유는, 대규모로 볼 때 이런 행동이 post-training 과정에 아마도 부정적인 영향을 미치기 때문일 것이다.
- vayup
이게 학습 데이터 때문이라고 생각하는 사람들에게: 만약 그게 걱정거리라면, 그들은 다른 수천 가지 경우에 그러듯이 학습 데이터를 정제했을 것이다. 그들이 학습 데이터의 품질을 위해 사용자들이 사용 정책을 꼼꼼히 따르리라고 기대할 가능성은 지옥에나 가서나 있을 일이다.
프론티어 AI 업계 사람들이 미쳤을 수는 있어도, 사람들이 사용 정책을 읽는다고 믿을 만큼 미치지는 않았다 :-)
- 3eb7988a1663
이게 내가 욕설을 연발하면 앞으로의 학습에 포함될 가능성이 낮아진다는 뜻인가?
아니면 앞으로의 AI가 "미안합니다, Dave, 그건 당신이 말조심하기 전까지는 할 수 없을 것 같습니다"라고 말할 거라고 예상해도 된다는 뜻인가?
- throwaway89864
그들은 아마 인간들이 전반적으로 학대적인 의사소통 패턴으로 흘러가는 사례들을 인지하게 됐고, 그 일부가 되고 싶지 않은 것일 것이다.
그리고 그들은 이를 공개할 수 없다. 그러면 그런 부정적 영향에 대한 책임을 지고 손해 배상 책임도 질 수 있기 때문이다.
- jaden
지난 몇 달 사이에 AI에게 공격적인 언어를 쓰면 더 나은 결과를 얻는다는 헤드라인을 본 기억이 어렴풋이 난다.