Во время президентской избирательной кампании в США в 2016 году газета Los Angeles Times и Университет Южной Калифорнии провели опрос под названием Daybreak. В отличие от большинства политических опросов, которые имеют дело каждый раз с новой случайной выборкой избирателей для каждого последующего прогноза, Daybreak каждый день опрашивал одну и ту же группу из трех тысяч человек – известную как «панель» – об их предпочтениях при голосовании.
Цель опроса Daybreak состояла в том, чтобы предоставить оценки предпочтений избирателей, не подверженные влиянию шума, присущего изменению выборки для каждого опроса. Ученые взвесили свою выборку из трех тысяч человек, чтобы как можно лучше соответствовать демографическим показателям населения, и повторно опросили людей, которые были готовы заявлять о своих предпочтениях каждый день. Недостатком таких панелей, как Daybreak, является то, что если их исходная композиция в чем-то необычна, странности останутся на протяжении всего опроса [20].
БЕЗОШИБОЧНОСТЬ И ТОЧНОСТЬ, ХОТЯ ИХ ЧАСТО ПУТАЮТ, ЯВЛЯЮТСЯ ПРИНЦИПИАЛЬНО РАЗНЫМИ ПОНЯТИЯМИ. БЕЗОШИБОЧНЫЙ ИЗМЕРИТЕЛЬНЫЙ ИНСТРУМЕНТ В СРЕДНЕМ ДАЕТ ЧТО-ТО БЛИЗКОЕ К ПРАВИЛЬНОМУ ОТВЕТУ. ТОЧНЫЙ ИЗМЕРИТЕЛЬНЫЙ ИНСТРУМЕНТ ДАЕТ ТОЧНЫЙ, ПОСЛЕДОВАТЕЛЬНЫЙ ОТВЕТ, НЕЗАВИСИМО ОТ ТОГО, ПРАВИЛЬНЫЙ ОН ИЛИ НЕПРАВИЛЬНЫЙ.
Как оказалось, из всех участвовавших в опросе людей только два респондента были молодыми чернокожими мужчинами, один из которых поддерживал Хиллари Клинтон, а другой – Дональда Трампа. Каждый из них был взвешен одинаково в общем прогнозе того, кто победит на выборах. Но итоговое соотношение «пятьдесят на пятьдесят» не соответствовало тому, как обычно голосуют молодые чернокожие мужчины на президентских выборах в США. Они, как правило, в подавляющем большинстве поддерживают кандидата от Демократической партии. В Соединенных Штатах было так мало молодых чернокожих мужчин, голосовавших за Трампа, что прогнозировать, что все они проголосуют за Клинтон, было бы более репрезентативно, чем предполагать, что это сделает только 50 % из них.
Поскольку в этой «группе» было только двое избирателей, эти два человека оказали огромное влияние на общие результаты опроса. Каждый из них имел вес в триста раз больше, чем наиболее широко представленная группа в опросе (вероятно, белые избиратели старшего возраста), и примерно в тридцать раз больше, чем средний избиратель в исследовании. Когда этот единственный сторонник Трампа в один из дней не ответил, прогноз изменился примерно на 1 % в пользу Клинтон, но когда он все-таки проголосовал, то изменился на 1 % в пользу Трампа [21].
СКОЛЬКО ЛЮДЕЙ НУЖНО, ЧТОБЫ…
Размер выборки при опросе общественного мнения, исследовании рынка или научном эксперименте подобен размеру датчика в камере или зеркала в телескопе – чем больше выборка или датчик, тем более тонкие различия мы можем обнаружить. Точное утверждение – например, критическое соотношение положительных и отрицательных переживаний составляет 2,9103, или в Твиттере менее 5 % ботов, – требует достаточно большого датчика для точного измерения. Аналогичным образом для определения 90 %-ного предпочтения Клинтон требуется больше двух человек. В психологии и других социальных науках многим исследователям не хватает достаточно мощного телескопа, чтобы дать надежные ответы на их эмпирические вопросы [22].
Задумывались ли вы когда-нибудь, едят ли люди, которые любят яйца, яичный салат чаще, чем те, кто их не любит? Мы тоже не знаем, но исследование, проведенное специалистом по принятию решений Джо Симмонсом и его коллегами, подтвердило, что ответ – да, едят. Теперь перейдем к важному вопросу: как вы думаете, скольких людей им пришлось опросить, чтобы прийти к такому выводу? Мы могли бы легко ввести себя в заблуждение, если бы спросили нескольких человек и оказалось, что первым троим нравятся яйца, но не нравится яичный салат («Ух ты, я только что обнаружил кое-что странное!»). Даже с учетом очевидной разницы в предпочтениях яичного салата, которую исследователи наблюдали между любителями яиц и их ненавистниками, нам пришлось бы каждый раз опрашивать по меньшей мере сорок семь человек, чтобы с вероятностью 80 % обнаружить такую же (или большую) разницу. Тестирование только десяти человек было бы ненамного лучше, чем его полное отсутствие [23].
Именно к этому стремился Симмонс, проводя опрос о таких очевидных взаимосвязях. Если у нас есть лишь небольшое количество данных и мы хотим сделать более неожиданные или спорные выводы, чем «Любителям яиц, скорее всего, понравится яичный салат», у нас, вероятно, будет недостаточно доказательств. Вместо этого мы были бы обмануты ложным чувством точности – все равно что посмотреть в детский игрушечный телескоп и прийти к выводу, что у Сатурна нет спутников.
Представьте, что в последние два раза, когда вы ехали в соседний город, Google Maps предлагал альтернативный маршрут, который доставил бы вас туда быстрее. Вы принимали предложение, но каждый раз попадали в пробку и прибывали даже позже, чем первоначально ожидали. У нас самих был подобный опыт, и возникало искушение отказаться от подобных рекомендаций в будущем или переключиться на другое навигационное приложение. Но достаточно ли двух последовательных ошибок, чтобы сделать выводы об инструменте, которым вы пользуетесь уже много лет? (Возможно, это были даже не ошибки, – воспользовавшись своим традиционным маршрутом, вы также могли опоздать.) Если вам посчастливилось выбрать две хорошие акции, которые превзошли индексный фонд, есть ли у вас достаточно доказательств того, что вы можете последовательно обыгрывать рынок? Если бы вы угадали победителя в двух Суперкубках, уволились бы вы с работы и стали профессиональным игроком, делающим ставки на спорт? Руководствоваться крошечной выборкой из недавнего опыта – худший способ использования данных: у нас почти никогда не бывает достаточно доказательств для надежного вывода, но их всегда достаточно, чтобы быть обманутыми.
КОГДА ОТВЕТЫ СОВЕРШЕННО НЕВЕРНЫ
Чем больше вы думаете о соблазнительности точности, тем чаще вы будете замечать случаи, когда люди небрежно разбрасываются точными, но невозможными цифрами.
В матче 8 мая 2022 года игрок New York Yankees бейсболист Глейбер Торрес помог своей команде обыграть Texas Rangers. Спортсмен должен был стать изюминкой сезона. Тем не менее, выступая перед журналистами в конце дня, менеджер Rangers Крис Вудворд свел достижение Торреса к минимуму: «Маленькая площадка дает преимущество в 99 %… просто так получилось…» Когда менеджера Yankees Аарона Буна спросили о