AI 에이전트에 모든 걸 맡기면, 당신은 책임만 지고 이해는 잃는다
Resisting Cognitive Surrender
에이전트가 내놓는 결과를 비판 없이 받아들이는 '인지적 항복'은 빠르고 편하지만, 저자는 그 대가로 기술 부채가 쌓이고 시스템에 대한 이해와 기계적 공감이 사라진다고 말한다. 특히 모델의 과도한 확신과 자동화 편향이 '예, 계속'만 누리게 만든다며, 복잡도에 따른 '바이브 리밋'을 정하고 중요한 시스템에는 직접 개입해야 한다고 강조한다. 에이전트에게 변경을 맡기되 직접 타이핑하고, 4열 PR 뷰나 디버거로 실행을 추적하는 등 이해를 강제하는 실천법도 공유한다.
결국 제가 만드는 것에 대해 책임과 의무를 지는 것은 에이전트가 아니라 저입니다. 주체성을 포기하고 생각하지 않으면, 의미 있는 소유권 없이 책임만 지게 됩니다.
HN 토론
53- zmmmmm
과잉 엔지니어링과 과잉 구축 경향은 제가 보고 있는 주요 문제 중 하나입니다. 공짜로 주어진다면, 왜 200줄짜리 단위 테스트가 각각 달린 8개 클래스의 클래스 계층 구조를 만들지 않겠습니까? 예전에는 정말 열심히 고민해서 30줄로 최소화했을 것을 이제는 수백, 심지어 수천 줄로 부풀려 버립니다.
예전에는 코드를 만드는 비용이 너무 비싸고 유지보수는 더 비쌌기 때문에 거의 모두가 YAGNI와 KISS에 동의했습니다. 이제 코드 생성은 "무료"지만, 설계 수준에서는 YAGNI와 KISS가 여전히 중요합니다. 하지만 이제는 오로지 순수한 의지력으로만 강제됩니다. 원하지 않는다면 코드가 생성되는 것을 적극적으로 억제해야 합니다. 완벽하게 좋은 코드인데, 흠잡을 데조차 없습니다. 다만 아직 존재할 필요가 없다면, 필요보다 일찍 만드는 것은 실수라는 걸 알 뿐입니다.
- tra3
좋은 글입니다. 특히 4열 PR 뷰 아이디어가 마음에 듭니다. speckit 스펙을 리뷰하기 위해 비슷한 것을 만들어 본 적이 있습니다. 코드가 실제로 작동하도록 보장하는 스캐폴딩도 말이 된다고 생각합니다.
다만 한 가지 걸리는 점이 있습니다. 이 모든 것이 LLM이 생산한 것을 우리가 소비하게 만든다는 것입니다. 저는 시스템을 구축하면서 작동 방식을 배우고 체화했습니다. 적어도 제가 사용하던 추상화의 제약 안에서는요. 이걸 보면 TikTok과 숏츠가 생각납니다. 모두가 그저 보고만 있죠. 그렇게 보는 게 너무 박할지도 모르겠습니다. 어쩌면 추상화가 이제 "OS/GUI/이벤트 루프"에서 "LLM"으로 바뀌었고 나머지는 그저 우발적 복잡성일지도 모릅니다.
- mixedbit
어쩌면 프로젝트가 에이전트 생성 코드와 인간 생성 코드 사이에 잘 정의된 단단한 경계를 갖는 방향으로 진화할지도 모릅니다. 에이전트 생성 코드가 인간이 엔지니어링한 코드와 엄격히 분리되고, 인간이 설계한 엄격히 정의된 API 집합만 호출할 수 있는 식으로요.
Shopify 같은 플랫폼을 생각해 보세요. Shopify는 수많은 외부 사용자가 웹숍을 커스터마이징하는 코드를 작성할 수 있게 합니다. 하지만 Shopify 엔지니어는 사용자 코드를 리뷰하고 이해할 필요가 없습니다. 외부 코드가 할 수 있는 일을 제한하는 경계가 있기 때문입니다. 외부 코드는 전체 플랫폼을 거대한 진흙 덩어리로 만들지 않고도 거대한 진흙 덩어리가 될 수 있습니다.
- wanderingmind
인지적 항복은 지적으로 편리합니다. 인간으로서 우리는 편의를 선택하는 것이 본능적입니다. 저항이 가장 적은 길이죠. 편의의 폭정은 오늘날 대부분의 경제 활동, 특히 긱 경제를 이끄는 원동력입니다[1]. 편의에 저항할 구조적 틀이 마련되어 있지 않다면(학교의 시험처럼), 자연은 항상 저항이 가장 적은 길을 선택하도록 유혹할 것입니다.
[1] https://www.nytimes.com/2018/02/16/opinion/sunday/tyranny-co...
- gus_massa
>> 더 심각한 아이러니는 자동 제어 시스템이 운영자보다 더 잘 할 수 있기 때문에 도입되었는데, 정작 운영자에게는 그 시스템이 효과적으로 작동하는지 감시하라고 요구한다는 점이다.
자동 제어는 표준적인 경우와 예상되는 오류에는 좋습니다. 이상한 경우에는, 지금으로서는 인간이 그것을 감지하고 큰 빨간 버튼을 누르는 게 더 낫습니다.