AI에게 인생 조언을 물었더니, 65개 모델이 같은 답을 내놨다
AI is giving everyone the same advice
30개 회사에서 만든 65개 AI에게 사람들이 매일 던지는 질문을 12만 7,918번 물은 실험이다. '인생을 바꿀 책'을 추천받으면 100명 중 73명이 《Man's Search for Meaning》를 받았고, 사업 아이디어를 물으면 76명이 구독 박스를 받았다. 투자처를 물으면 98%가 인덱스 펀드, 전공을 물으면 90%가 컴퓨터 과학이었다. 새 채팅을 열면 매번 같은 답으로 돌아가고, AI가 지어낸 인물의 69%는 정확히 34세였다. 무해한 질문 몇 개로 제작사까지 추정된다.
같은 AI에게 한 대화 안에서 여덟 번 '다른 거 하나 더'를 요청하면 여덟 권의 다른 책을 내놓지만, 새 대화 여덟 개에서 물으면 매번 같은 책을 내놓는다.
HN 토론
30- mannyv
AI는 모든 것이 결정론적인 검색의 함정에 빠지고 있다. 그리고 그건 말이 된다; 검색할 때는 매번 같은 답을 원하니까.
개인화로 어느 정도는 끌 수 있다. 하지만 어느 수준에서는 당신의 쿼리는 일련의 경사로를 굴러 내려가는 구슬이고, 큰 경사로가 바로 당신의 구슬이 갈 가능성이 높은 곳이다.
- BiraIgnacio
오래 전에 나는 몇 가지 다른 베이킹 레시피를 탐색하기 위해 Claude, ChatGPT, Gemini를 시도했다.
감미료 사용에 대해 물었을 때, 그들은 모두 특정 유형이 다른 액체와 섞을 때 가장 잘 작동한다고 말했다.
나는 그들이 거의 같은 문장을 사용한 것을 알아챘다. 이유를 물었을 때, 어떤 모델도 좋은 설명을 내놓지 못했다.
그런 다음 몇몇 웹사이트가 똑같은 지침을 제공한다는 것을 발견했는데, 역시 그 이유에 대한 좋은 설명은 없었다.
어쨌든, 이 긴 이야기는 모델에서 얼마나 적은 정보 조각이 그렇게 큰 영향력을 가질 수 있는지에 대해 나를 즐겁게도 하고 두렵게도 했다.
- q17
이것은 약간 AI가 쓴 듯한 증상이 있음에도 불구하고 실제로 괜찮은 블로그 글이다.
한 가지 궁금한 점은 top p, top k, temperature의 효과인데, 이것들이 동일한 프롬프트에 대한 응답 간의 모든 차이의 근원이기 때문이다.
- bigdict
맥락 없는 일반적인 질문을 하면 일반적인 "최대 가능도" 답변이 나온다. 그게 놀라운가?
- xg15
> 나는 65개의 AI에게 사람들이 매일 그들에게 묻는 것들을 물었다
그리고 모델들이 그걸 어떻게 알겠는가? 연구소들이 자신들의 사용 통계에 대한 접근을 그렇게 쉽게 넘겨줄 것 같지는 않다.