社会政策を打つ前に、山羊を一頭捧げよう
We need more goat sacrifices

米国のSchool Improvement Grantsに30億ドル、アフガニスタン女性の就職支援に2億8000万ドル、One Laptop Per Childに10年にわたるRCT——そのどれもが測定可能な効果を残さなかった。1987年にPeter Rossiが発表した「評価の鉄の掟」は、大規模な社会プログラムの純効果はゼロだと喝破する。著者は、介入の前に血と蝋燭の儀式を執り行い、自分たちが何も知らないことを思い知るべきだと説く。
社会科学では、何も死なない。ただ恥ずかしくなるだけだ。
HNでの議論
103- n923263
「まるで、自分で選ぶという行為そのものがチケットにちょっとしたおまじないをかけて、手放すのを嫌にさせるかのようだ」
いや、選ぶという行為そのものが、あなたが勝ち目のない数字を悪意を持って選んで騙そうとしていないというちょっとした保証をチケットに与えるんだ。そして、たとえ説明できなくても、人の心理はそれに気づくはずだと思う。
たとえ実際に行われたのがその研究だったとしても、それでもおまじないの信仰を説明として支持することにはならないだろう。
- GrantMoyer
もっともらしい社会学的介入を試して、その有効性を測定するのは、結果がどうであれ勝ちではないか?どちらにせよ、将来の介入に何が効きそうかについてより多くを知ることになる。それが科学的方法だ。
こうした介入は非常に複雑なシステムを対象にしている。効くものを見つける前に、効かないものをたくさん試す必要があるのは予想外ではないし、試すことのほとんどが効果なしになるのも当然だよね?
編集:上の文章は記事の最後まで読む前に書いた。最後まで読むと、記事も似たような結論に達している。ただし科学は少なめで神秘主義は多めだ。
もしかすると、それは良い記事だということかもしれない。記事の結論に自分が先に到達したという意味で。一方で、記事の冒頭部分は、著者が現行システムについて何か抜本的に変える必要があると考えている——結論とは正反対の立場——という強い印象を、どうも根拠が薄弱に見える形で与えていて、ほとんど読み終えるのをやめそうになった。どう考えればいいのかわからないが、一つ言えるのは、無実の山羊はそっとしておいてほしいということだ。
- shit_game
> 私のお気に入りの心理学実験のジャンルの一つに、「その研究はおそらくデタラメだが、効果はおそらく本物」というのがある。その頂点に君臨するのが1975年の古典『Illusion of Control』で、どこでも心理学入門の授業で人気だ。普通、この研究は「宝くじの番号を自分で選ばせると、他人が選んだ場合よりもチケットの価値を高く見積もる」と要約される。まるで、選ぶという行為そのものがチケットにちょっとしたおまじないをかけて、手放すのを嫌にさせるかのようだ。
> それは美しい研究だろうが、実際に行われた研究はそうではなかった。問題の「宝くじ」は実はフットボールカードで、それぞれに選手の写真やチーム名などが入っていた。参加者の中には自分のフットボールカードを選ぶ機会を与えられた者と、カードを手渡された者がいた。その後、抽選の直前に、全参加者にカードを買い戻すのにいくら必要か尋ねた。平均すると、選んだ人は8.67ドルを要求し、選ばなかった人は1.86ドルだった。
> この結果には明白でそれほど刺激的でない説明があるのはお分かりだろう。機会を与えられた人はお気に入りの選手を選んだのだ。選べなかった人は、より好きでないカードを手にすることになった。この「錯覚的制御」効果は、単に「人は好みを持ち、それに基づいて行動するという現実」の効果にすぎない。
別の見方をすれば、ある主題に詳しい人は利己的に偏った意見を持つ……
- ryan_glass
英国で非常に成功した社会的介入の一つは、飲酒運転を減らす推進運動だった。80年代頃からだと思うが、もっと前かもしれない。テレビ広告を伴う大規模なメディアキャンペーンと、より厳しい法律の導入・執行があった。興味深いのは、上の世代の多くは今でも少し飲んで運転することを許容しがちなのに対し、この時期に育った人々はそれを社会的に非常に受け入れがたいと感じていることだ。
- zbentley
この記事は、社会科学がまだ揺籃期にある(ある面ではそう思うが、別の面では広く考えられているより成熟している)という「まあまあ」の主張と、ほとんどの社会的介入が方法論的に欠陥のあるやり方で行われるために効果がないという非常に良い主張をしている。
ほとんどの介入は、証明されていない(しばしば政治的な)理論と極めて限られた可能な手段(「金を与える」「金を取る」「身体的に罰する」)から逆算して着手される。それが、街灯の下だけを探すという誤謬の母を生む。
しかしそれは必ずしも社会科学の学界/理解の最前線(これもまた、十分に欠陥がある——ただ著者が示唆するほど石器時代ではないかもしれない)を告発するものではない。通常、告発されるのは問題の介入を設計した国家/設計者だ。科学を責めるのは、バイク乗りの死について自動車のエアバッグ設計者を責めるように聞こえることがある。
思い出すのは、斑点フクロウの保全活動だ。著名な学術博物学者たちが、伐採と両立する保全計画を設計するよう求められた。彼らはそれを作った。国家は「結構だが、君たちが求めた森林の90%を皆伐する必要があるので、生息地の10%で何とかしてくれ」と答えた。プログラムはうまくいかなかったが、問題への対処法に関する学術的理解が欠陥だったからではない。
- mwhitfield
この記事はインパクトの測定を完全に価値中立的な考え方であるかのように語っているが、決してそうではない:
* 測定にはかなりのロジスティクス上のオーバーヘッドがかかる。測定計画の作成という事前の負担と、介入中の追加記録保持という負担の両方だ。これは(おそらくしばしば大きな)プログラム効果の消耗になる。標準化テストや評価ルーブリックなどについて、学校の教師の意見を聞いてみればいい。
* 文脈や介入の種類によって、測定になじむものとなじまないものがある。測定されないものに価値はないと主張することは、最も測定しやすい行動——おそらく最善ではない——へと意思決定を偏らせる。単純な行動、短いタイムライン、個々の文脈への反応性の欠如と強く相関する。
* グッドハートの法則。
著者(そして誰もが)『Seeing Like a State』を読むとよい。
- AdmiralAsshat
> アーカンソー州がメディケイドに就労要件を追加したとき、健康保険に加入するアーカンソー州民の数は減少し、雇用は増えなかった。
著者は、この要件の目的が雇用を増やすことではなく、単にメディケイドを無事に受け取る市民の数を削減することだったという可能性について、アーカンソー州政府の善意を前提にしている。
- trgn
厳しい記事だ。90%というのは、多くのデータポイントを伴う舌を出した嘲笑であり、最後に議論がずっと少ない形でのすり替えがある。
主に、介入は実験であり、だからもっと必要だ、やってみなければわからない、という。しかし実験ではないからこそ、失敗したものを何度も繰り返したり、既存の失敗しているものを延々と続けたりするのだ。
もしかすると答えはもっと単純で、ほとんどのプログラムは実際に政治的な意図の産物であり、主に世界観のシグナルであり、物質的改善をもたらすプログラムは少ないのかもしれない。
正直なところ、答えはわからないが、ケーキを持ちながら食べる、不条理に気づきながらも、あえて指摘しないというのは著者の性向であって、真実ではない。だから、一方で他方でというゲームをするなら、事実の中に垣間見える暗い真実を受け入れつつ、既存の枠組みの中ではどうしようもないことも受け入れ、それを望ましいものとして指し示さないことだ。