Мы не утверждаем, что какое-либо из этих исследований является мошенническим или намеренно вводящим в заблуждение. Мы предполагаем, что вам следует скептически относиться к ним и людям, которые их продвигают. Даже самый ответственный и прозрачно проведенный эксперимент иногда дает неверный ответ. Но издатели, средства массовой информации и многие из нас тяготеют к исследованиям, демонстрирующим невероятно мощные, впечатляющие результаты. Изучение «разумного вмешательства» требует ресурсов и доступа, которыми обладает относительно небольшое число исследовательских групп. Это означает, что лишь немногие работы подвергаются тиражированию независимыми, незаинтересованными учеными. Когда это происходит, результаты, как правило, получаются гораздо менее впечатляющими. В отсутствие такого тиражирования наилучшая позиция – оставаться сомневающимся, впрочем, как и всегда.
СОЦИАЛЬНЫЕ ПСИХОЛОГИ, А ТАКЖЕ ИССЛЕДОВАТЕЛИ В ОБЛАСТИ МАРКЕТИНГА ПОВЕДЕНИЯ ПОТРЕБИТЕЛЕЙ ЛЮБЯТ ИЗУЧАТЬ ВЛИЯНИЕ ТАКОГО РОДА ТОНКИХ ФОРМУЛИРОВОЧНЫХ ВМЕШАТЕЛЬСТВ НА ВАЖНЫЕ, РЕАЛЬНЫЕ МОДЕЛИ ПОВЕДЕНИЯ И СУЖДЕНИЯ. ЕСЛИ БЫ ОНИ СРАБОТАЛИ, ТО ПРИНЕСЛИ БЫ ПРАКТИЧЕСКУЮ ПОЛЬЗУ ПРИ НЕБОЛЬШИХ ЗАТРАТАХ. НО ИХ ИСТИННЫЕ РЕЗУЛЬТАТЫ ПОЧТИ ВСЕГДА ВАРЬИРУЮТСЯ ОТ НЕЗНАЧИТЕЛЬНЫХ ДО НЕСУЩЕСТВУЮЩИХ.
Это может быть непросто, поскольку выводы об огромных эффектах от крошечных вмешательств широко пропагандируются и становятся достоянием массового сознания почти мгновенно, в то время как взвешенная научная оценка требует времени (если она вообще проводится).
Очень часто первоначальные впечатляющие результаты исследований в последующие годы сильно уточняются либо вовсе опровергаются. Для надежных выводов обычно требуется гораздо больше данных, чем мы думаем.
Чаще всего эти первоначальные впечатляющие результаты в последующие годы претерпевают тысячи уточнений, но они редко опровергаются. Как мы упоминали в нашем обсуждении точности, для надежных выводов обычно требуется гораздо больше данных, чем мы думаем. Вот несколько примеров:
• Исследование 2003 года, в котором приняли участие всего 17 человек, показало, что игра в видеоигры-шутеры от первого лица улучшила производительность при выполнении лабораторных когнитивных задач. Работа была опубликована в журнале Nature, цитировалась более 3500 раз, и за ней последовало широкое освещение этой темы в популярных средствах массовой информации, включая выступление на TED, которое было просмотрено более восьми миллионов раз. Независимые повторения другими лабораториями, как правило, обнаруживают гораздо меньшие эффекты, а метаанализ показывает незначительную пользу или вообще ее отсутствие [27].
• Исследование, проведенное в 2010 году с участием 42 участников, показало, что у тех, кто удерживал свое тело в двух разных «позах силы» в течение одной минуты на каждую, впоследствии повысился уровень тестостерона, снизился уровень кортизола, повысилась толерантность к риску и усилилось чувство власти. Работа была опубликована в журнале Psychological Science и цитировалась более 1400 раз. Выступление на TED, посвященное «позам силы», было просмотрено более шестидесяти семи миллионов раз. Последующие эксперименты не выявили никаких свидетельств гормональных изменений или толерантности к риску, что является ключевыми выводами оригинального исследования, а один из его авторов позже опроверг результаты [28].
• В серии исследований и научных статей конца 1980-х и начала 1990-х годов рекламировалась идея о том, что «ориентация на мастерство», которая сейчас известна как «установка на рост», помогает людям преодолевать трудности. Книга 2006 года и выступление на TED в 2014 году, которое посмотрели более четырнадцати миллионов человек, сделали эту идею популярной. Как отмечает психолог Стюарт Ричи, ее защитники утверждают, что принятие установки на рост имеет огромные последствия: обладание ею представляет собой «основное право человека» и может даже помочь разрешить израильско-палестинский конфликт. Тем не менее недавний метаанализ показывает мало свидетельств того, что краткие вмешательства, направленные на привитие установки на рост, оказывают какое-либо реальное влияние на академическую успеваемость, что является основным направлением изменения мышления [29].
Когда ошеломляющее открытие приводит к появлению заголовков новостей, популярных книг и выступлений на TED, в него будут верить еще долго после того, как ученые узнают о его недостатках. Вот почему один невероятный результат (или даже их серия), полученный одной исследовательской группой, редко должен определять политику.
ТЕСТ ЯНГМЕНА
Хенни Янгмен, комик, известный как Король острот, любил говорить: «Кто-то спросил меня: „Как поживает ваша жена?“, и я ответил: „По сравнению с кем?“». Примеры в этой главе высветили один из основных способов, с помощью которых маркетологи, политики и даже некоторые ученые убеждают нас в своей правоте. Сознательно или неосознанно они преувеличивают эффективность или воздействие продукта, услуги, лечения, политики или вмешательства. Нас обманывают, когда предлагают оценивать результаты изолированно, не сравнивая их ни с чем другим. Чтобы узнать, слишком ли хороши преимущества того или иного продукта или лечения, чтобы быть правдой, вспомните шутку Янгмена и спросите себя: «По сравнению с чем?»
ОЧЕНЬ ЧАСТО ПЕРВОНАЧАЛЬНЫЕ ВПЕЧАТЛЯЮЩИЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ В ПОСЛЕДУЮЩИЕ ГОДЫ СИЛЬНО УТОЧНЯЮТСЯ ЛИБО ВОВСЕ ОПРОВЕРГАЮТСЯ. ДЛЯ НАДЕЖНЫХ ВЫВОДОВ ОБЫЧНО ТРЕБУЕТСЯ ГОРАЗДО БОЛЬШЕ ДАННЫХ, ЧЕМ МЫ ДУМАЕМ.
Сравните эффективность того, что предлагается, с эффективностью других продуктов в той же области. Сравните последствия незначительных изменений в формулировках опроса с более интенсивными усилиями, такими как поквартирный опрос. Что касается утверждений о силе кратковременного вмешательства, посмотрите на известные эффекты более продолжительных воздействий или на основные факторы, которые, как мы знаем, оказывают значительное влияние, и подумайте, насколько они велики. Например, сравните эффект вмешательства в голосование с разницей в явке чернокожих избирателей, когда Барак Обама участвовал в президентских выборах (в среднем 61,4 % в 2008 и 2012 годах), и их явке, когда его не было (56,1 % в 2004 и 2016 годах), – разница составляет всего 5,3 %. Длинный ряд исследований в области принятия поведенческих решений показывает, что люди более точно оценивают варианты, когда они могут видеть более одного из них одновременно [30].
Мы также можем представить, как изменился бы мир, если бы это утверждение было правдой. Если бы политики могли резко увеличить явку избирателей, посоветовав людям думать о себе как об избирателях, разве они не поняли бы этого десятилетия назад? Если бы простая замена «выстрелил» на «стрелял» приводила к большему количеству обвинительных приговоров, разве прокуроры не поступали бы так каждый раз? Если бы на наши действия так сильно влияли мимолетные физические ощущения и слова, разве люди, пытающиеся использовать нас, чтобы заработать на жизнь, не получили бы к настоящему времени полный контроль над нами?
МОЖНО ЛИ ПРЕВРАТИТЬСЯ В УБИЙЦУ, ИГРАЯ В КОМПЬЮТЕРНЫЕ ИГРЫ?
Моральная паника по поводу новых медиа-форм и технологий восходит по крайней мере к Древней Греции. Во все времена были люди, которые воспринимали социальные изменения как свидетельство снижения стандартов и винили во всем то,