Waymo 효과: AI가 연구 협업을 조용히 무너뜨리는 방식

나는 기술, 응용 연구, 과학이 교차하는 지점에서 일한다.

협업에서 실제로 일어나는 일 중 하나는 자기 도메인 밖의 사람들이 확신을 가지고 말하는 경향이 늘었다는 점이다. 소프트웨어 경험이 제한적인 사람들이 꽤 정교하지만 의도는 종종 빗나간 추상화된 코드를 여러 겹으로 만들어내면서, 자신이 하는 일이 맞다고 확신에 차서 말한다.

또한 자기 도메인 사람들의 의견에 의문을 제기하고 도전하는 경우도 훨씬 많이 듣게 되는데, 그 뒤에 들리는 건 그들이 LLM과 나눈 대화의 파편 조각들을 가지고 어떤 논증을 생각해낸 것이라고밖에 상상할 수 없는 것들이다. 그러다 단점을 논의하면 침묵하고, 나중에 네가 한 말의 암기한 조각들과 그 논증에 대한 LLM 응답의 암기한 조각들을 합쳐서 다시 돌아온다.

이런 일이 훨씬 더 많이 일어나고 있다. 사람들은 협업에서 LLM을 진실의 원천으로 취급하고, 여러 분야의 전문가들이 트레이드오프를 저울질하며 의견을 내고 모두가 가장 동의할 수 있는 접근을 택하는 대신, 자신이 가고 싶어 하거나 편향을 가진 특정 경로나 목표에 집중하는 데 LLM을 사용한다.

이런 사람들과는 훨씬 덜 협업하고 싶어진다. 하루 종일 Claude 텍스트 출력을 반박하고 앉아 있고 싶지 않으니까.

AI는 극도로 유용하지만, 실제로는 이해하지 못하면서 이해한다고 착각하게 만들기도 극도로 쉽다. 이는 코드에서 자주 그렇지만 수학이나 과학 개념 등에서도 마찬가지다.

이런 이해 부족을 인지하고 그것에 어떻게 맞설지에 대해 공식적으로 훈련받는 직업은 많지 않다.

협업 환경에서 AI를 사용하는 것은 이런 문제들을 증폭시킨다. 특히 누군가 자신이 이해하지 못한다는 사실을 깨닫지 못할 때 더 그렇다. 그들은 자신이 사용하는 개념을 가르치거나 설명할 수 없고, 전문가나 연구자처럼 그것을 유연하게 다루도록 강제되지도 않는다.

자신의 이해 부족을 인지하고 있다면, 속도를 늦추고 스스로를 가르침으로써 그것을 바로잡을 수 있다. 관심 분야에서 AI를 더 잘 활용하려면 이것이 필요하다!

하지만 모든 것을 한꺼번에 가질 수는 없다. AI와 함께 속도를 내면서, 효과적으로 협업하고, 전문가처럼 상황을 이해할 수는 없다. 인간의 뇌에게는 물리적으로 불가능하다.

AI가 우리를 더 멍청하게 만드는 건 아닐까

AI에게 분석을 시킬 수 있다. SQL 쿼리, 숫자 몇 개 계산, 그리고 짠, 정확해 보이는 숫자가 나온다.

그런데 내가 의문을 제기하면, 그때는 "당신 말이 맞아요, 그건 확인하지 않았네요"라고 한다.

내가 무엇에 의문을 제기해야 하는지 어떻게 알았을까? 직접 쿼리하고, 직접 계산하고, 리더십으로부터 질문을 받는 마찰 작업을 했기 때문이다.

나는 젊은 세대가 걱정된다. 그들은 Claude 결과를 빠르게 뱉어내고, 사람들이 의문을 제기하면 "알겠어요, 그건 Claude에게 다시 가져갈게요"라고 말한다.

아마도 그들은 다른 사람들에게 발표하는 마찰이 여전히 있기 때문에 결국 스스로 검증하는 법을 배우게 될 것이다.

그리고 어쩌면 내 모델은 과거의 것이 될지도 모른다. 이제 모두가 학교를 갓 졸업하고 (에이전트의) 관리자가 될 것이다. 그들은 더 이상 일을 하지 않지만 명확한 목표를 설정하고, 작업을 검증하고, 에이전트에게 책임을 물어야 할 것이다.

"모든 인간 상호작용은 보존할 가치가 있다"는 생각은 아마 틀렸을 것이고, Waymo가 이를 보여주고 있다. 저자가 언급했듯이, 많은 사람들은 Uber 기사와의 강제된 잡담을 즐기지 않는다. 다양한 배경과 관점을 가진 사람들과 상호작용하는 것은 중요하지만, 택시 탑승 같은 강제된 상호작용이 우리가 그런 것들을 얻던 곳이었다고는 의심스럽다.

문제는 다른 기술과 마찬가지라고 생각한다. 올바르게 사용하면 가치를 더하고, 잘못 사용하면 가치를 깎는다.

LLM은 프로세스를 엄청나게 빠르게 할 수 있지만, 통제 없이는 사회적 "진실의 원천"이 될 수 있다. 연구 과정에는 잘 정의되고 근거가 탄탄한 단계들이 있다. 주제를 한정하고, 출처를 검색하고, 적합한지 평가하고, 내용을 검토하고, 주제의 지도 위에 배치한다. 출처가 많을수록 지식이 커지고, 최종 결과물(정신적이든 보고서 형태든)이 더 잘 구축된다. 그러기 위해서는 읽고, 다시 읽고, 생각하고, 연결하고, 관계 짓고, 결론을 내려야 한다.

AI는 이 모든 단계를 인간보다 빠르게 할 수 있다. 하지만 우리가 그것이 전적으로 스스로, 자기 방식대로, 각 단계에서 검증 없이 일하게 놔두면 결론이 왜곡될 수 있다. 우리가 무엇을 어떻게 하길 원하는지 알고, 그것을 강제할 메커니즘을 마련하면 결과는 달라진다. 더 낫고, 더 신뢰할 수 있다. 기억할 가치가 있다. 그것은 그저 도구일 뿐, 그 이상도 이하도 아니다.

이 댓글의 영어 표현은 AI로 교정했다. 나는 유창성이 부족해 명확히 표현하지 못하지만, 최종 결과는 검토한다. 이 경우 AI가 동사 시제를 틀렸고, 나는 그것을 분명히 봤지만 AI는 이해하지 못했고, 이해시키기 위해 여러 번 지시를 내려야 했다. 그것은 도구이며, 감독 없이는 문제를 일으킬 수 있지만, 많은 사람들에게 세상을 넓혀 주었다.

나는 현재 학술 연구 프로젝트에서도 이것을 보고 있다. 연구자들과 일할 때 최고의 부분과 최악의 부분 모두에 기름을 붓는 격이다.

첫째, 사람들이 자신의 작업을 통합하고 표준 도구를 사용하도록 만드는 것이 확실히 더 어려워졌다. 우리는 우리 도구를 위한 AI 스킬 같은 것을 만드는 것을 탐색하고 있는데, 우리가 설득해야 할 실제 청중이 방에 없기 때문이다. LLM이 우리의 권장 사항을 반영하지 않으면, 사람들은 자신의 개인적인 나쁜 아이디어 곰이 뱉어내는 일회용 스크립트를 따라갈 것이다. 많은 연구 소프트웨어 오류는 경계 사례(스케일링, 수치 오류 등)이고, "내 컴퓨터에서는 작동한다" 증후군은 문헌에 만연해 있다. 이 분야는 계산 재현성을 가능하게 하는 데 큰 진전을 이루었지만, 최근에는 다시 후퇴할 것 같은 느낌이 든다.

둘째, LLM은 행동 편향이 있어서 사용자가 무엇을 보고하는지 쉽게 묻어버릴 수 있다. 최근 여러 세미나에서 Q&A가 "Q: 이 발견의 함의는 무엇인가요? A: 모르겠어요, 이건 그냥 결과에 대한 보고서를 제시하는 것뿐입니다"로 전락하는 것을 봤다.

인간은 아직 주체성을 유지하고 챗봇을 큰 그림으로 조종하는 방법을 알아내는 중인 것 같고, 검토 불가능한 과학은 검토 불가능한 코드만큼이나 나올 가능성이 크다. 하지만 과정을 안내하는 자동화 도구는 훨씬 적다.

역사적으로 PI가 명목상 큰 그림을 이끌었고, 작업을 수행한 주체가 검토 과정의 참여자였다. 이제 학생들은 새로운 각도에서 프로젝트를 봐야 한다 […]

이 마찰 대 무마찰이라는 개념이 이 시대의 핵심 특징 중 하나라고 생각한다.

내 눈에는 80년대 개인 기술에서 시작해 인터넷 UX를 거쳐 앱 플랫폼 종속, 구독 중심의 "소유"로 이어지는 전체 흐름이 우리 모두에게 더 적은 마찰을 돈으로 살 수 있다는 약속을 제공해 왔다. 다음 기기나 구독이 이런저런 방식으로 문제를 해결하거나 우리를 가능하게 해준다. 우리는 이 역사의 흐름을 보고, 그것을 미래로 끌어와 마찰이 전혀 없는 유토피아적 미래를 본다.

마찰 제로란 세상에 대해 느끼고 싶은 방식과 그것에서 얻는 것 사이의 차이가 제로라는 뜻이다. 더 많은 권한 부여, 만족, 편안함, 옳음을 느끼는 것.

우리 문화에서 마찰을 받아들이는 부분은 느린 부분들이다. 이웃과 투덜대기, 정원 잡초 뽑기, 다른 차를 먼저 보내주기. 이것들은 우리가 다른 사람이나 자연의 현실과 만나는 부분이다. 도움이 될 도구나 프레임워크, 기기가 있을지도 모르지만, 우리는 우리 밖에 불변하는 무언가가 있다는 것을 알고 받아들이며, 그것과 함께 흘러갈 방법을 찾아야 한다.

나는 나이가 들고 있고, 마침내 마찰 없는 삶을 추구하는 것의 한계를 보기 시작했다.