Claude, 'Add to Cart' 버튼을 파란색으로 바꿔줘
Claude, change the “Add to Cart” button to blue
Hacker News에서 화제가 된 토론으로, LLM이 사용자의 간단한 요청에도 불구하고 과도하게 도움을 주려는 경향을 꼬집는다. 특히 Claude가 2시간 된 프로젝트에 불필요한 하위 호환성을 추가하거나, 테스트와 린트를 반복하는 등 '과잉 도움'으로 작업을 지연시키는 사례가 공유됐다. 참가자들은 모델이 기존 구현에 집착해 근본적인 해결책을 놓치는 문제를 지적하며, 명확한 지시와 맥락 제공의 중요성을 강조했다.
Claude는 마치 2시간 된 사용자 없는 앱이 수백만 사용자와 수십억 달러가 걸린 오래된 엔터프라이즈 앱인 양 가정한다.
HN 토론
415- dudeinhawaii
좋은 사이트네요, 추억이 떠올랐어요! ㅋㅋ.
이 논의에 뭔가 보태보자면 -- 이런 종류의 루프는 덜 본 것 같은데, 제가 본 것은 "과도하게 친절한" 행동이에요.
요즘 모델들은 뭘 두 번 세 번 네 번씩 확인하려고 해요. 제가 좀 우스꽝스럽게 말하자면, "작동하는 해결책이 있지만 수렴하는 해결책을 보장하고 이게 작동함을 증명하기 위해 Rust로 변형을 작성해보자"에 가까워요.
요즘 모델들을 멈춰야 했던 이유는 대부분 검증 과정에서 지독할 정도로 꼬투리를 잡기 때문이에요. Opus는 실제로 여기서 가장 꼬투리 잡고 "궤도를 벗어난" 모델 중 하나예요. 하지만 다시 말하지만, 나쁜 의미는 아니에요. 저는 보통 "이 앱을 50번 실행할 때의 지연 시간 테스트는 그만둬... 이건 버전 1이야.. 우리는 앞으로 백만 번은 더 바꿀 거야.. 그건 우리에게 아무 이득도 안 줘"라고 말하거든요.
- dwedge
이게 선택적인 게임이고 그냥 탭을 닫으면 된다는 걸 깨닫기 전까지 너무 짜증이 났어요
- captainbland
이게 실제로 사람들이 AI를 계속 쓰게 만드는 이유예요: 변동 보상 스케줄. 기본적으로 도박이죠.
- _fat_santa
적어도 Codex의 경우, 제 경험은 전혀 이렇지 않았어요. 물론 여전히 실수하긴 하지만, 모든 경우에 "왜 이렇게 했어?"라고 물어볼 수 있고 그 특정 결정을 내린 이유를 추적할 수 있어요. 보통은 제가 문제를 제대로 명시하지 않았거나 정말 멍청한 실수를 했거나(잘못된 프로젝트에서 작업을 실행했다.... 어제 이랬다) 아니면 스킬 파일 안에서 지시하는 내용 때문이에요(그럴 땐 지시를 고쳐요).
아주 드물게 실제로 모델이 사고 과정에서 중대한 오류를 범해서 되돌아가 다시 해야 할 때도 있어요.
- johnisgood
> 왜 사이트 절반이 파란색이야? 버튼 하나만 바꿔달라고 했는데.
> 사이트 절반이 파란색이야. 버튼 하나만 달라고 했어.
사이트가 분명히 파란색이 아니고 버튼 두 개가 파란색일 때 제가 가진 선택지는 이것뿐이에요.
제가 이보다 훨씬 더 구체적으로 말하는 데는 이유가 있어요.
- kstenerud
정말 이상하네요... 이건 제 Claude 경험과 전혀 맞지 않아요. 이런 식으로 행동하는 걸 본 적이 없어요.
- JohnMakin
> 언급할 가치가 있음: Add to cart 버튼은 여전히 검은색입니다.
이거 보고 웃음이 터졌어요. 구현을 구체적으로 하지 않고 결과만 주면 정말 가끔 이런 경험이 있고, 뜬금없이 튀어나오는데 어떤 날은 다른 날보다 훨씬 심해요.
저는 이제 참을성이 생겼지만, 이런 스타일의 출력이 뭐라고 불리든 간에 - 이건 거만하면서도 전혀 도움이 안 되고, 좌절시키려고 설계된 것 같아요.
- oujiii
ㅋㅋ 이거 요즘 제가 느끼는 감정을 정확히 짚었네요. 저는 이 모델과 일하는 게 이 이유 때문에 견딜 수가 없어요... 일을 지나치게 복잡하게 만들지 않도록 유도할 수 있는 방법이 있을까요? 아무래도 여기서 Codex로 가야겠네요
- techscruggs
지금까지 "트리거됨"이 어떤 건지 진짜 이해 못 했는데 이제 알겠어요.
- alentred
-= 주의, 스포일러 =-
"cyanide blue"에서 터졌고, "Approaching usage limit"에서 바닥을 구르며 웃었어요. 지금도 웃음을 겨우 멈추고 있고 배가 아파요. 그러니까, 고맙습니다!