Перед запуском любой госпрограммы стоит принести в жертву козу

Разве попытка правдоподобного социологического вмешательства с последующим измерением его эффективности не является победой, независимо от того, насколько эффективным оно оказалось? В любом случае мы больше знаем о том, что вероятно сработает для будущих вмешательств. Это научный метод.

Эти вмешательства нацелены на очень сложные системы. Неудивительно, что нам нужно перепробовать кучу вещей, которые не работают, прежде чем найти что-то действенное, в той степени, что большинство из того, что мы пробуем, неэффективно, верно?

Прим. ред.: Я написал вышесказанное до того, как дочитал статью. К концу статья приходит к похожему выводу, хотя и с меньшим количеством науки и большим количеством мистики.

Может быть, это значит, что статья хорошая, раз привела меня к её выводу до того, как я занял саму позицию. С другой стороны, вступительные разделы статьи создали такое сильное впечатление, что автор считает, будто в текущей системе нужно что-то радикально менять — противоположная выводу позиция — на, казалось бы, шатких основаниях, что я чуть не бросил читать. Не знаю, что и думать, кроме как: пожалуйста, оставьте невинных коз в покое.

> Один из моих любимых жанров психологических экспериментов называется примерно так: «исследование, вероятно, чушь, но эффект, вероятно, реальный». На вершине этой кучи — «Иллюзия контроля», классика 1975 года и любимец вводных курсов психологии повсюду. Обычно это исследование пересказывают так: «люди ценят свои лотерейные билеты выше, когда вы позволяете им выбрать номера, по сравнению с тем, когда вы выбираете номера за них». Как будто люди думают, что сам акт выбора наделяет их билет некой магией, из-за чего они менее склонны с ним расставаться.

> Это было бы прекрасное исследование, но на самом деле проводилось не оно. «Лотерейными билетами» в данном случае были футбольные карточки, каждая с изображением игрока, его команды и т.д. Некоторым участникам дали возможность выбрать свою футбольную карточку, а некоторым карточку вручили. Позже, прямо перед розыгрышем, всех участников спросили, сколько бы им потребовалось, чтобы продать свою карточку обратно. В среднем выбиравшие просили $8.67, а не выбиравшие говорили $1.86.4

> Уверен, вы видите очевидное и менее захватывающее объяснение этих результатов: когда людям давали шанс, они выбирали своих любимых игроков. Те, кто не выбирал, получали карточку, которая им нравилась меньше. Этот «эффект иллюзии контроля» — всего лишь «эффект реальности наличия у людей предпочтений и действий в соответствии с ними».5

С другой стороны, люди, сведущие в предмете, будут иметь эгоистично предвзятые мнения […]

Одним из очень успешных социальных вмешательств в Великобритании была кампания по снижению вождения в нетрезвом виде. Началась примерно в 80-х, я думаю, может, и раньше. Была большая медийная кампания с телевизионной рекламой, а также введение и ужесточение законов. Что мне кажется интересным, так это то, что многие представители старшего поколения до сих пор считают более приемлемым выпить немного и сесть за руль, тогда как те, кто вырос в этот период, в основном считают это очень социально неприемлемым.

Эта статья приводит «неплохие» доводы в пользу того, что социальные науки находятся в младенчестве (я думаю, в некоторых отношениях это так, но в других они более зрелые, чем принято считать), и очень хорошие доводы в пользу того, что большинство социальных вмешательств неэффективны из-за методологически ошибочных способов их проведения.

Большинство вмешательств предпринимаются путём обратного вывода от недоказанных (часто политических) теорий и крайне ограниченного набора возможных инструментов («дать денег», «забрать денег», «физически наказать»). Это ведёт к маме всех ошибок поиска только под фонарём.

Но это не обязательно обвиняет академию социальных наук/передний край понимания (которые, опять же, изобилуют недостатками — просто, возможно, не настолько каменного века, как предполагает автор). Обычно это обвиняет государство/разработчиков соответствующего вмешательства. Обвинять науки иногда звучит как обвинять разработчиков автомобильных подушек безопасности в смерти мотоциклистов.

Мне вспоминаются усилия по сохранению пятнистой совы. Известных академических натуралистов попросили разработать план сохранения, совместимый с лесозаготовками. Они это сделали. Государство ответило: «хорошо, но нам нужно вырубить 90% леса, который вы просили, так что обходитесь 10% среды обитания». Программа показала плохие результаты, но не потому, что академическое понимание того, как решить проблему, было настолько ошибочным.

В статье об измерении воздействия говорится так, будто это совершенно ценностно-нейтральная идея, но это абсолютно не так:

* Измерение требует существенных логистических накладных расходов; как на начальном этапе при создании плана измерения, так и во время вмешательства из-за дополнительного ведения документации. Это (вероятно, часто большое) истощение эффективности программы. Просто послушайте любого школьного учителя о стандартизированном тестировании, критериях оценки и т.д.

* Некоторые контексты и некоторые типы вмешательств более поддаются измерению, чем другие. Настаивание на том, что ничего неизмеренное не может быть ценным, смещает наше принятие решений в сторону наиболее измеримых действий, которые, вероятно, не являются лучшими. Сильная корреляция с упрощёнными действиями, короткими сроками и отсутствием отзывчивости к индивидуальному контексту.

* Закон Гудхарта.

Автору (и всем) пошла бы на пользу книга «Seeing Like a State».

> Когда Арканзас добавил требование о работе к Medicaid, число жителей Арканзаса с медицинской страховкой уменьшилось без какого-либо увеличения занятости.

Автор предполагает добросовестность со стороны правительства штата Арканзас, что целью требования было увеличение занятости, а не просто сокращение числа граждан, успешно получающих Medicaid.

непростая статья. 90% — это шутливое высмеивание, с кучей точек данных, а затем в конце подмена, с гораздо меньшей аргументацией.

в основном, вмешательства — это эксперименты, и поэтому нам нужно больше их, никогда не знаешь. но они не эксперименты, иначе мы бы не повторяли неудачные снова и снова или не позволяли существующим неудачным продолжаться и продолжаться.

может быть, ответ действительно проще: большинство программ — это действительно политически мотивированные начинания, по сути, в значительной степени сигналы мировоззрения, а не программы для достижения материального улучшения.

честно говоря, я не знаю ответа, но иметь и съесть пирожное, быть восприимчивым к абсурду, но не решаться указать на него — это позиция автора, а не истина. так что, может быть, если мы играем в игру «с одной стороны, с другой стороны», примем мрачную правду, мелькнувшую в фактах, но также примем, что в существующих рамках с этим ничего не поделать, и не указывать на это как на что-то желательное.