사회 정책을 펼치기 전에 염소를 제물로 바쳐야 한다

그럴듯한 사회학적 개입을 시도한 뒤 그 효과를 측정하는 것은, 결과적으로 얼마나 효과가 있었든 간에 그 자체로 성공 아닌가요? 어느 쪽이든 우리는 향후 개입에 무엇이 통할 가능성이 있는지 더 많이 알게 됩니다. 그게 바로 과학적 방법이죠.

이런 개입들은 매우 복잡한 시스템을 대상으로 합니다. 통하는 걸 찾기 전에 안 통하는 것들을 잔뜩 시도해봐야 하는 건 놀라운 일이 아니죠. 우리가 시도하는 것들 대부분이 효과가 없다는 정도까지 말이죠, 그렇지 않나요?

편집: 위 글은 기사 끝까지 읽기 전에 썼습니다. 끝부분에 이르러 기사는 비슷한 결론에 도달하는데, 다만 과학은 덜하고 신비주의는 더합니다.

어쩌면 그건 좋은 기사라는 뜻일지도 모르죠. 기사가 스스로 입장을 취하기 전에 제가 그 결론에 먼저 도달하게 만들었으니까요. 반면에, 기사의 도입부들은 저자이 현재 시스템에 뭔가 획기적인 변화가 필요하다고 생각한다는 — 결론과는 반대되는 입장이죠 — 인상을 겉보기에 불안정한 근거로 너무 강하게 줘서, 하마터면 끝까지 읽지 않을 뻔했습니다. 무슨 생각을 해야 할지 모르겠네요. 죄 없는 염소들은 그냥 내버려두라는 것 말고는요.

> 제가 가장 좋아하는 심리학 실험 장르 중 하나는 대략 이런 겁니다: "그 연구는 아마 헛소리일 테지만 그 효과는 아마 진짜일 것이다". 그중 으뜸은 1975년의 고전이자 어디서나 심리학 개론 수업의 인기 주제인 '통제의 착각'입니다. 보통 이 연구는 "사람들은 복권 번호를 직접 고르게 해주면, 대신 골라줄 때보다 자기 복권을 더 가치 있게 여긴다" 정도로 요약됩니다. 사람들이 마치 번호를 고르는 행위 자체가 자기 티켓에 약간의 주술을 불어넣는다고 생각해서, 티켓을 떼어놓기 더 꺼리는 것 같다는 거죠.

> 정말 아름다운 연구가 되겠지만, 실제로 수행된 연구는 그게 아니었습니다. 문제의 "복권"은 사실 축구 카드였고, 각 카드에는 선수 사진, 소속 팀 등이 있었습니다. 일부 참가자는 자기 축구 카드를 고를 기회를 얻었고, 일부는 카드를 그냥 건네받았습니다. 나중에 추첨 직전에 모든 참가자에게 자기 카드를 되사려면 얼마면 되겠냐고 물었습니다. 평균적으로 고른 사람들은 8.67달러를 요구한 반면, 고르지 않은 사람들은 1.86달러라고 답했습니다.

> 이 결과에 대한 명백하고 덜 흥미로운 설명이 보이실 겁니다: 사람들은 기회가 주어졌을 때 자기 좋아하는 선수를 골랐다는 것이죠. 고르지 못한 사람들은 결국 덜 좋아하는 카드를 받게 되었습니다. 이 "통제의 착각" 효과는 그저 "사람들이 선호를 가지고 그것에 따라 행동한다는 현실" 효과일 뿐입니다.

혹은, 어떤 주제에 대해 잘 아는 사람들은 이기적으로 편향된 의견을 가질 것이고 […]

영국에서 매우 성공적이었던 사회적 개입 중 하나는 음주운전을 줄이려는 운동이었습니다. 아마 80년대쯤, 어쩌면 그보다 이전에 시작됐을 겁니다. TV 광고를 포함한 대대적인 미디어 캠페인과 함께 더 엄격한 법을 도입하고 집행했습니다. 흥미로운 점은, 많은 노년층은 여전히 술을 몇 잔 하고 운전하는 것을 더 받아들일 만하다고 여겼던 반면, 이 시기에 자란 사람들은 대체로 그것을 매우 사회적으로 용납될 수 없는 일로 여긴다는 것입니다.

이 글은 사회과학이 아직 유아기라는 점(제 생각에 어떤 면에서는 그렇고, 다른 면에서는 널리 생각되는 것보다 더 성숙했다고 봅니다)에 대해 "그럭저럭" 설득력 있는 논거를 제시하고, 대부분의 사회적 개입이 방법론적으로 결함 있는 방식으로 이루어지기 때문에 효과가 없다는 점에 대해서는 아주 훌륭한 논거를 제시합니다.

대부분의 개입은 입증되지 않은(흔히 정치적인) 이론과 극히 제한된 범위의 가능한 수단("돈을 준다", "돈을 뺏는다", "육체적으로 처벌한다")으로부터 거꾸로 추론하며 착수됩니다. 그 결과 모든 '가로등 밑에서만 찾기' 오류의 어머니 격인 상황이 벌어지죠.

하지만 그렇다고 해서 사회과학 학계나 이해의 최전선(다시 말하지만, 충분히 결함투성이입니다 — 다만 저자가 시사하는 것만큼 석기시대 수준은 아닐 뿐이죠)을 반드시 비난하는 것은 아닙니다. 보통은 문제의 개입을 설계한 국가나 설계자를 비난하는 것이죠. 과학을 비난하는 것은 때때로 오토바이 운전자의 죽음에 대해 자동차 에어백 설계자를 비난하는 것처럼 들립니다.

얼룩올빼미 보전 노력이 떠오르네요. 저명한 학계 박물학자들이 벌목과 양립하는 보전 계획을 설계해 달라는 요청을 받았습니다. 그들은 해냈죠. 국가는 "좋아요, 하지만 우리는 당신들이 요청한 숲의 90%를 모두 벌목해야 하니, 서식지의 10%로 어떻게든 해보세요"라고 답했습니다. 그 프로그램은 성과가 나빴지만, 그건 문제를 해결하는 방법에 대한 학계의 이해가 결함투성이였기 때문이 아닙니다.

이 글은 영향 측정을 마치 완전히 가치중립적인 개념인 것처럼 이야기하지만, 결코 그렇지 않습니다:

* 측정에는 상당한 물류적 부담이 듭니다. 측정 계획을 세우는 초기 단계에서도, 개입 중 추가 기록 관리 때문에도 그렇죠. 이는 (아마 흔히 클) 프로그램 효율성에 대한 부담입니다. 표준화 시험, 평가 루브릭 등에 대한 어느 교사의 견해를 들어보기만 하세요.

* 어떤 맥락과 어떤 유형의 개입은 다른 것보다 측정에 더 적합합니다. 측정되지 않은 것은 가치 있을 수 없다고 주장하면, 우리의 의사결정이 가장 측정하기 쉬운 행동 쪽으로 편향되는데, 그런 행동이 최선일 가능성은 낮습니다. 단순한 행동, 짧은 시간표, 개별 맥락에 대한 대응 부족과 강하게 상관되죠.

* 굿하트의 법칙.

저자(그리고 모든 사람)는 《국가처럼 보기》라는 책에서 유익을 얻을 겁니다.

> 아칸소주가 Medicaid에 근로 요건을 추가했을 때, 건강보험이 있는 아칸소 주민의 수는 줄었지만 고용은 전혀 늘지 않았다.

저자는 아칸소 주 정부가 선의로, 즉 그 요건의 목적이 고용을 늘리는 것이었지 단순히 Medicaid를 성공적으로 받는 시민의 수를 줄이는 것이 아니었다고 가정하고 있습니다.

힘든 글이다. 90%는 혀를 내두르는 조롱이고, 수많은 데이터 포인트가 있으며, 끝에는 훨씬 적은 논증과 함께 미끼와 바꿔치기가 있다.

주로, 개입은 실험이니 그러니 더 많이 필요하다는 것, 알 수 없는 일이니까. 하지만 그것들은 실험이 아니다. 그렇다면 실패한 개입을 계속해서 반복하지도 않을 테고, 이미 실패하고 있는 개입을 계속 돌려보내지도 않을 테니까.

어쩌면 답은 정말 더 단순할지도 모른다. 대부분의 프로그램은 실제로 정치적으로 동기 부여된 시도이고, 실로 대체로 세계관의 신호일 뿐이며, 물질적 개선을 가져오는 프로그램은 적다는 것.

참고로 — 나도 답을 모른다. 하지만 케이크를 가지면서 동시에 먹고, 부조리함을 꿰뚫어 보면서도, 감히 그것을 지적하지 못하는 것은 저자의 기질이지 진실이 아니다. 그러니 어쩌면, 우리가 '한편으로는 저편으로는' 게임을 한다면, 사실들에서 엿보이는 암울한 진실을 받아들이되, 기존 틀 안에서는 그것에 대해 할 수 있는 게 없다는 것도 받아들이고, 그것을 바람직한 무언가로 지목하지 않는 것일지도 모른다.