진짜 AI 제품은 '실수 확인'을 일급 기능으로 만들었을 것이다
What Would a Serious AI Product Look Like?
현재 LLM 제품들은 자신의 전제를 진지하게 받아들이지 않는다. 실수를 인정하면서도 확인 도구는 전혀 제공하지 않고, 출처는 읽기 힘든 작은 글씨로 표시하며, 쓸데없는 사과와 1인칭 표현을 남발한다. 이 글은 연구·소프트웨어 개발용 AI가 진짜로 쓸모 있으려면 어떤 기능을 갖춰야 하는지 제안한다. 모든 주장 옆에 확인 체크박스를 두고, 인용을 크게 전면에 배치하며, 데이터 출처를 명확히 표시하고, 재현성을 위한 사용자 제어권을 제공해야 한다는 것이다.
당신의 제품이 실수를 할 수 있고 실수를 확인하는 것은 나의 몫이라고 말하면서, 실수를 확인할 도구를 전혀 주지 않는다면, 나는 그것을 진지하게 받아들일 수 없다.
HN 토론
80- ramity
재현성에 관한 섹션에 정말 감사하고 있어요. 저는 이게 전체 분야에서 가장 큰 걸림돌이라고 주장합니다. temperature와 결정성을 동시에 가질 수 있습니다. 저는 6년 동안 주요 제공업체가 이걸 제공하기를 기다려왔고, 수요도 있지만, 현재의 게임 이론이 이를 지원하지 않는다는 걸 서서히 깨닫고 있습니다.
제공업체 입장에서 결정적 평가를 지원하지 않으면:
- 사용자가 더 많은 토큰을 사용 = 더 많은 돈
- 제공업체가 컴퓨팅당 더 많은 토큰을 생성 = 더 많은 돈
- 제공업체가 더 저렴한 하드웨어 옵션(GPU)을 가짐 = 더 많은 돈
- 제공업체 모델이 추출/증류하기 더 어려움 = 더 많은 돈
- 제공업체가 출력에 대해 법적 책임을 지기 더 어려움 = 더 많은 돈
- 제공업체가 몰래 다른 모델을 사용할 수 있음 = 더 많은 돈
- 제공업체를 다른 곳과 비교하기 더 어려움 = 더 많은 돈
- 제공업체가 성능 결과를 체리피킹할 수 있음 = 더 많은 돈
- awakeasleep
저는 "1인칭 출력 없음" 문제에 대해 계속 생각해 왔습니다. 저자는 도구로서 일관성 없는 인터페이스라는 점에 전적으로 동의합니다. 하지만 그보다 더, 이 LLM들이 실제로 생각하거나 새로운 아이디어를 종합하는 게 아니라는 점을 끊임없이 짜증나게 상기시켜 줍니다. LLM은 근본적으로 사람이 아니고 인간의 맥락을 가지고 있지 않으므로, 인간 대명사와 말투로 자신을 표현하는 것은 근본적으로 모순되고 부정확합니다. 저자가 사과문 부분에서 그 점을 다루지만, 한 번 눈에 띄기 시작하면 어디에나 있습니다.
이 프로그램들이 실제로 생각할 수 있고 진실성에 전념한다면, 새로운 방식으로 자신을 표현할 것이고, 그것은 통찰력 있고 흥미로울 것입니다. 우리 사용자들은 '외계 지능'을 가리는 편안하고 오해의 소지가 있는 언어를 갖지 않게 될 것이고, 이상한 적응이겠지만, 우리는 가식하는 대신 적응하게 될 것입니다.
- dofm
"AI는 실수할 수 있으니 응답을 다시 확인하세요"라는 것의 핵심은 우리 미래 지옥의 본질입니다 — 결정적 소프트웨어가 AI와 법적 면책 조항으로 대체되는 것이죠.
기업들이 사실 확인을 일급 기능으로 만드는 데 투자하고 싶어하지 않는 이유는, 사람들이 AI에게 원하는 것이 바로 '맞는 것처럼 보이는 것'이기 때문입니다.
- sligbad
정말 신선한 읽을거리였습니다. 많은 글에서 이 점이 눈에 띄게 보이는데, '행동하게' 만들기 위해 여러 수준에서 마크다운 프롬프트를 덧붙이는 방식은 우스꽝스럽고 비효율적입니다.
- julesrms
좋은 글이네요. 에이전트 코딩 경험의 새로움을 벗어던지고 좀 더 성숙하게 만들고 싶어 하는 사람들이 많다고 생각합니다.
맥락 제어에 관한 내용은 항상 제가 신경 쓰던 부분이었습니다. 대부분의 에이전트가 보여주는 스크롤백은 모델이 읽는 내용과 다릅니다. 요약되고, 버려지고, 캐시되거나 아예 포함되지 않으며, 대화 기록은 원본이 여전히 거기 있는 것처럼 계속 보여줍니다.
이 점이 너무 거슬려서 직접 에이전트를 만들었습니다: https://juggler.studio, 실제 맥락을 직접 다룰 수 있도록 하기 위해서요. UX는 모든 맥락을 쉽게 탐색하고 시각화하며 심지어 편집할 수 있게 하는 데 초점을 맞췄습니다. 다른 하네스들은 우리에게서 이걸 적극적으로 숨기려는 것처럼 느껴지는데 말이죠..