AI가 신뢰를 무너뜨리고 있다
AI Is Breaking This Thing We Call Trust
AI가 코드, 문서, 답변을 손쉽게 생성하면서 작성자가 내용을 이해하지 않고도 완성된 것처럼 보이는 결과물을 보낼 수 있게 됐다. 저자는 이제 리뷰를 시작할 때 '이 변경이 좋은가?'보다 '작성자가 이걸 이해하고 있는가?'를 먼저 묻는다고 말한다. 한 번의 지름길이 오랫동안 협업을 어렵게 만들 수 있다는 것이다.
예전에는 상대방이 숙제를 해왔다고 가정하고 리뷰를 시작했다. 이제는 그게 사실일 수도 아닐 수도 있어서, '이 변경이 좋은가?' 대신 '작성자가 보낸 걸 이해하고 있는가?'로 시작한다.
HN 토론
30- plaidfuji
> 핵심은 이거다: 직장에서 우리의 습관 대부분은 여전히 뭔가를 생산한다는 것이 그것을 이해해야 한다는 것을 전제로 한다.
이건 상대적인 의미에서만 사실이었다. 얼마 전까지만 해도 사람들은 자신이 작성한 소프트웨어 수준의 코드를 이해해야 한다고 기대되었다. 하지만 기계어나 컴퓨터 내부 구조를 깊은 수준까지 이해할 필요는 없었다. 그 계층이 작동한다고 믿는 것이다. 과거 어느 시점에는 그냥 믿을 수 없었다. 가까운 미래의 어느 시점에는 소프트웨어 코드가 작동한다고 그냥 믿게 될 것이다. 대신 명세(프롬프트)를 두고 논쟁만 하겠지. 당신의 사고는 시스템 계층 구조에서 한 단계 위로 올라갈 수 있다. 모든 사람의 사고도 마찬가지다. 우리는 전에도 해냈고, 다시 해낼 것이며, 이번이 마지막조차 아닐 것이다. 불안을 내려놓고 그냥 일어나게 두자.
- Havoc
나는 다음 세대가 걱정된다.
너와 나에게는 기준선이 있다. 진실에 대한 통일된 합의된 버전(비록 의심스러울지라도)이 아직 존재하던 시기에 발달 단계의 대부분을 보낸 뇌 말이다.
미래 세대는 더 분열된 현실에서 발달해야 할 것이다. 붙잡을 것이 아무것도 없는 세상. 심지어 의심스러운 일반적 통념조차도 없는 세상.
- sigalor
지능이 외부를 향할 뿐만 아니라, 내부(기쁨, 쾌락, 트라우마, 금기, 어색함, 학대, 신뢰 등)를 들여다볼 때 비로소 진짜 시작된다는 걸 사람들이 언제쯤 이해할지 궁금하다. "내수용감각(interoception)"이라는 단어를 찾아보라.
- philbo
한 가지 접근법은 의도적으로 덜 강력한 도구(그래도 AI 지원은 되는)를 선택하는 것이라고 생각한다. 거대한 작업을 에이전트에게 통째로 위임할 필요는 없지만, 그렇게 하려면 주류 하네스에 맞서 싸워야 한다. 그들은 더 많은 토큰을 팔기 위해 존재하니까. 모델 제공자들은 덜 자율적인 흐름을 제공할 유인이 없다.
나는 몇 달 전에 이 답답함에 대해 글을 썼고[1], 그런 다음 모델 제공자들이 안 할 거라면 차라리 내가 직접 고쳐보자고 생각했다. 그래서 뻔뻔한 홍보 경보를 울리자면, 코드 리뷰보다는 페어 프로그래밍에 더 가깝게 작동하려는 오픈소스 하네스를 작성했다[2].
늘 그렇듯 내 "Show HN" 게시물[3]은 돌처럼 가라앉았고, 그래서 아마 대부분의 엔지니어들은 이 방향에 별로 관심이 없는 것 같다. 그래도 가능하다, 연구소들이 던져주는 도구를 그냥 받아들일 필요는 없다.
[1]: https://philbooth.me/blog/agentic-coding-and-mental-models
- lovich
엘리트들이 신뢰를 무너뜨렸다.
아무도 Sam Altman을 강박적 거짓말쟁이로 만들지 않았다. 아무도 Musk에게 어떤 서비스를 완전 자율주행이라고 부르게 하고, 사고가 곧 일어날 것이라고 판단하는 순간 책임을 사용자에게 돌리게 만들지 않았다.
최상위 결정을 내리고 모든 보상을 챙기는 사람들에게서 책임을 제거하는 걸 그만두자.
연속으로 5잔을 마시고 집까지 운전한 사람이, 물리적으로 피해를 입힌 건 차였기 때문에 사고 책임이 없다고 주장하겠는가?