Точно так же, как не может быть 90 %-ной поддержки одного кандидата в выборке из двух человек, спортсмен не сможет победить ровно на 99 % площадок, если их не наберется по крайней мере сотня. Такого рода ошибки – указание невероятно точного процента или среднего значения – на удивление распространены, и не только среди бейсбольных менеджеров. Заметив ряд подобных неправильностей в научных публикациях, которые они читали, Ник Браун и Джеймс Хизерс разработали простой алгоритм для проверки этой формы ложной точности. Они назвали его GRIM. Тест GRIM проверяет, является ли заявленное среднее значение или процент практически невозможным, учитывая количество людей (или стадионов), которые в нем участвовали [25].
Упомянутые Крисом Вудвордом 99 %, вероятно, были задуманы как преувеличение для пущего эффекта. В некоторых случаях серьезные несоответствия возникают из-за неверного понимания того, как правильно округлять числа, но в других ситуациях они выявляют более существенные проблемы – проценты или средние значения, которые кажутся правдоподобными, но на самом деле невозможны.
Легко определить невероятные средние показатели, такие как 90 % от двух избирателей или 99 % от тридцати избирательных участков. И если вы подбросите монету ровно десять раз, вы не сможете получить орла 5,5 раз. Но с другими цифрами серьезные ошибки менее очевидны. Представьте себе научную статью, в которой сообщается, что одиннадцать человек попросили оценить свое счастье по шкале от 1 до 7 и получили среднее значение 3,86. Оно звучит достаточно правдоподобно, но небольшая арифметика показывает, что самое близкое к 3,86 значение, которое вы можете получить, – это либо 3,81818, либо 3,90909, ни одно из которых не округляется до 3,86 [26].
ЧЕМ БОЛЬШЕ ВЫ ДУМАЕТЕ О СОБЛАЗНИТЕЛЬНОСТИ ТОЧНОСТИ, ТЕМ ЧАЩЕ ВЫ БУДЕТЕ ЗАМЕЧАТЬ СЛУЧАИ, КОГДА ЛЮДИ НЕБРЕЖНО РАЗБРАСЫВАЮТСЯ ТОЧНЫМИ, НО НЕВОЗМОЖНЫМИ ЦИФРАМИ.
До появления GRIM никому и в голову не приходило систематически проверять, могут ли значения, приводимые в научных статьях, быть математически возможными (даже при том, что используемая математика не более сложна, чем базовая арифметика). Браун и Хизерс применили GRIM к данным, приведенным в большом количестве статей в известных психологических журналах, и обнаружили гораздо больше ошибок, чем мы могли бы ожидать. Среди статей, в которых содержалось достаточно информации для проведения теста, примерно в половине была по крайней мере одна серьезная ошибка, а более чем в 20 % – гораздо больше. Когда Браун и Хизерс изучили исходные данные из этих статей, они обнаружили, что многие неправильности были вызваны небрежностью, а в нескольких случаях они были настолько существенными, что статьи требовали серьезных исправлений в своих статистических выводах. К настоящему времени подобные проверки должны стать привычной практикой. Ошибочные выводы и откровенный обман в научных статьях чаще всего обнаруживаются, когда люди открывают одну или две двери за заголовком и обнаруживают, что детали – в данном случае арифметические вычисления – не подтверждают исходное утверждение [27].
ЛОВУШКА ЭКСТРАПОЛЯЦИИ
Точно так же, как наша тяга к точности может обмануть нас, когда мы делаем выводы на основе моделей и небольших выборок данных, она может дать нам неоправданную уверенность в предсказаниях относительно будущего. Министерство транспорта США регулярно представляет конгрессу отчеты, в которых оценивается общее количество миль, пройденных транспортными средствами по стране в этом году, и так прогнозируется дорожное движение на срок до двадцати лет в будущем. Год за годом в отчетах фиксировался устойчивый рост объема перевозок. Однако этот рост замедлился в конце 1990-х годов, а объем перевозок фактически немного снизился в начале 2000-х. Эрик Сандквист, директор государственной инициативы «Умный транспорт» Висконсинского университета, проанализировал эти прогнозы в 2013 году и обнаружил, что модели были созданы на основе тенденций, которые были актуальны в 1980-х годах, и с тех пор не обновлялись. Финансовые и социальные риски, связанные с использованием таких устаревших моделей, высоки. Недооценивайте движение в будущем, и дороги будут забиты и разрушатся. Переоценивайте, как это делали используемые модели, и мы будем растрачивать ресурсы на ненужное строительство [28].
Так же, как политические прогнозы точны только в том случае, если они основаны на репрезентативных выборках, модельные прогнозы полезны только в том случае, если сама модель откалибрована. Предсказывать исходы для случаев, подобных тем, которые вы видели раньше, относительно безопасно. Экстраполяция за пределы того, что вы видели, может привести к катастрофическим последствиям.
Один из наших любимых примеров опасностей экстраполяции, который мы используем в нашем обучении, связан с прогнозированием времени забега на 100 метров. За последние сто лет количество мировых рекордов сократилось как у мужчин, так и у женщин, но у женщин падение было более резким. В 1922 году рекордное время на дистанции 100 метров составило 10,4 секунды у мужчин и 12,8 секунды у женщин – разрыв в 2,4 секунды в пользу мужчин. В 2022 году рекорды составляли 9,58 и 10,49 секунды соответственно – разрыв всего 0,91 секунды. Научная статья в журнале Nature экстраполировала линейные улучшения олимпийских рекордов в беге на 100 метров с 1900 года для мужчин и женщин (в среднем примерно на 0,011 секунды быстрее в год для первых и на 0,017 секунды в год для вторых) в будущее и предсказала, что женщины превзойдут мужчин к 2156 году, когда результаты буду 8,079 секунды для женщин и 8,098 для мужчин. Но мы знаем, что эта линейная тенденция не может продолжаться без ослабления в будущем. Если бы это произошло, то к 2636 году люди смогли бы закончить забег на 100 метров раньше, чем начали его, – и женщины достигли бы этого чуда на годы раньше мужчин! [29]
Экстраполировать линейные тренды достаточно рискованно, но экстраполировать более сложные паттерны может быть еще более проблематично, отчасти потому, что мы также не понимаем их интуитивно. Если мы наблюдаем за автомобилем, едущим по шоссе, легче увидеть, насколько быстро он движется (меняет местоположение), чем судить о том, насколько он ускоряется (меняет скорость). Цифры, которые начинаются с малого, возможно, слишком малого, чтобы вызывать беспокойство или даже быть замеченными, могут достигать тревожных уровней быстрее, чем мы интуитивно осознаем, – так мир убедился в экспоненциальном распространении COVID-19.
Подобно тому, как сложный процент увеличивает богатство, экспоненциальный (в просторечии «вирусный») рост чего бы то ни было усиливает его воздействие. Например, если у 10 человек в вашем городе каждый день диагностируется COVID-19, то всего через 10 дней будет зарегистрировано 100 случаев. Тенденция линейна со скоростью 10 случаев в день: если бы мы нарисовали график с датой по оси X и