Идея использовать случайную выборку для оценки истинного количества ботов имеет смысл – это гораздо эффективнее, чем оценивать каждый отдельный аккаунт. Но это также означает, что вы должны принимать во внимание точность измерений. Если Маск проанализировал 100 случайных аккаунтов и обнаружил, что только 4 из них были ботами, должен ли он быть уверен, что менее 10,7 миллиона (5 %) из 214 миллионов ежедневных пользователей являются ботами?
В качестве аргумента давайте предположим, что 7 % пользователей Twitter являются ботами и этого достаточно, чтобы Маск захотел расторгнуть сделку. При выборке из ста пользователей и показателе ботов в 7 % он в 29 % случаев обнаружил бы пять или менее ботов – то есть у него было бы примерно три шанса из десяти принять решение, которое явилось бы неправильным по его собственным критериям!
Если бы истинная доля ботов действительно составляла 7 %, Маску потребовалось бы провести выборку из более чем шестисот аккаунтов, чтобы быть на 99 % уверенным, что он по ошибке не обнаружит менее 5 процентов ботов. Для получения более точных ответов требуется больше данных. Если Маск хотел быть на 99,99 % уверенным в том, что он не тратит 44 миллиарда долларов на владение платформой, населенной ботами более чем на 5 %, а реальная доля ботов на самом деле составляет 5,1 %, ему нужно было бы протестировать более 332 600 аккаунтов – примерно в три тысячи раз больше, чем он обещал. Кроме того, эти оценки в значительной степени зависят от того, подвержен ли метод обнаружения ботов ошибкам, таким как идеально чувствительный тест на COVID-19 или идеальный классификатор положительных и отрицательных переживаний. Цифры были бы намного выше, если бы тест был несовершенным [15].
ВВЕДЕННЫЕ В ЗАБЛУЖДЕНИЕ МОДЕЛЯМИ
Критический коэффициент позитивности Фредриксон и Лосады на самом деле был прогнозом, полученным с помощью созданной ими математической модели, а не значением, добытым в результате анализа достаточно большой выборки человеческих эмоциональных переживаний. Но, как и само утверждение, допущения модели были неоправданными. Лосада, по-видимому, применил набор уравнений, используемых для моделирования поведения жидкостей, к наблюдениям за 480 руководителями компаний из более раннего исследования. Как объяснили Ник Браун, Алан Сокал (тот самый Сокал, который раскритиковал гуманитарный журнал) и Харрис Фридман, типы переменных, используемых при моделировании человеческих эмоций, не соответствуют строгим критериям, необходимым для применения этих уравнений. Фредриксон и Лосада произвольно адаптировали и подправили модели, чтобы генерировать численные прогнозы, близкие к тем, которые последний, как сообщается, наблюдал в своем исследовании руководителей. Затем Фредриксон и Лосада представили результаты модели так, как если бы это был универсальный закон человеческой природы [16].
Браун и его коллеги описывают подход Фредриксон и Лосады как аналогичный «видеоролику о том, как кубик Рубика чудесным образом собирается за пять секунд, только в конце выясняется, что ролик был снят наоборот: собранный кубик Рубика „разобрали“, а видео развернули». В ответ на эту критику Фредриксон признала, что она полагалась на моделирование Лосады и «с тех пор подвергла его сомнению». Журнал, опубликовавший оригинальную статью, разместил уведомление, в котором аспект ее моделирования официально исключался из научной литературы, включая «основанные на модели предсказания о конкретных коэффициентах положительности» [17].
Частично ошибка в соотношении положительных и отрицательных эмоций возникла в результате того, что математическая модель рассматривалась так, как если бы она была точным описанием реальности. Однако модели – это инструменты, которые упрощают реальность настолько, чтобы делать конкретные прогнозы, которые ученые, компании и политики могут затем сверить с реальностью. Модели не обязательно должны быть сложными или точными, чтобы их можно было использовать. Например, «доходность фондового рынка США составляет 7 % в год» – это модель, которая дает конкретный прогноз о том, что инвестиции в размере 1000 долларов в день будут стоить 1 967,15 долларов через десять лет. Но даже если бы она была правильной, нам не следовало бы ожидать, что в итоге мы получим именно такую сумму (из-за шума и непоследовательности, присущих финансовым рынкам), но у нас были бы хорошие шансы приобрести некоторую прибыль.
Точность действительно имеет свои достоинства. При прочих равных условиях модели, дающие четкие прогнозы, лучше, чем те, которые предлагают общие сведения. Модель, которая точно предсказывает, насколько увеличатся ваши продажи в результате новой маркетинговой кампании, лучше, чем та, которая просто прогнозирует увеличение ваших продаж. Знать, что завтрашний день начнется с дождя, прежде чем станет солнечным, полезно, но знать, что дождь закончится как раз к вашей свадьбе на открытом воздухе в 14:00, еще лучше. Однако точная модель вводит в заблуждение, когда она обеспечивает большую точность, чем того требуют данные, или поддается проверке путем наблюдения за фактическими результатами.
Безошибочность и точность, хотя их часто путают, являются принципиально разными понятиями. Безошибочный измерительный инструмент в среднем дает что-то близкое к правильному ответу. Точный измерительный инструмент дает точный, последовательный ответ, независимо от того, правильный он или неправильный.
Оптимальный коэффициент положительности, равный 2,9013, скорее «не соответствует действительности», чем соответствует, – это точное утверждение, но эта точность может создать у нас ложное впечатление.
НЕПРАВДОПОДОБНО ТОЧНЫЕ ОПРОСЫ
Ложные представления о точности особенно беспокоят, когда речь идет об общественном мнении и политических предпочтениях. Опросы сообщают о точных процентах поддержки кандидатов в политики, и они часто включают погрешность, указывающую на некоторую неопределенность. Но оценки могут быть на удивление неточными, когда они исходят из ошибочных предположений.
Опросы общественного мнения – это научные попытки сказать что-то количественное о широкой группе людей, например избирателях в день выборов,– без опроса каждого из них. Если бы мы могли каким-то образом охватить всех избирателей в стране в рамках одного опроса, нам не нужно было бы беспокоиться о том, был ли он репрезентативным. Однако всякий раз, когда мы хотим что-то утверждать о широкой группе людей, исследуя меньшую ее часть, мы должны надеяться, что люди, которых мы включили, во всех существенных отношениях похожи на тех, кого мы исключили [18].
В политических опросах эта проблема «репрезентативности» никогда не может быть решена полностью. Группа людей, которые отвечают на опрос, никогда не будет идеально соответствовать распределению населения по всем сочетаниям расы, пола, возраста, образования, региона, политических взглядов, готовности отвечать на звонки с неизвестного номера и другим признакам. Даже в том астрономически маловероятном случае, если все, кому звонит интервьюер, ответят на телефонные звонки и на вопросы, некоторые сегменты общества неизбежно будут недопредставлены, а другие – чрезмерно представлены среди респондентов.
Чтобы сделать свои опросы репрезентативными для населения в