.png)
«Ничто так не обманчиво, как слишком очевидные факты», – справедливо считал Шерлок Холмс. Чем очевиднее факты, чем подробнее статистика, тем проще обмануть с ее помощью и тем устойчивее основанные на ней заблуждения. GURU рассказывает о приемах, которые могут использоваться для такого манипулирования, а также о тех ошибках, которые мы совершаем при интерпретации фактов, будь то статистика или события в нашей жизни. В конце статьи вас ждет небольшой список книг, которые рассказывают о наших заблуждениях, их причинах, о том, как выпутываться из паутины данных и их неверной интерпретации.
Анастасия Небольсина
Филипп Стеркин
– Но это факт?
– Нет, это не факт.
Это гораздо больше, чем факт.
Так оно и было на самом деле.
«Тот самый Мюнхгаузен»
Нет ничего проще, чем превратить то, что было на самом деле, в «факт». Способов исказить информацию и придать лжи налет достоверности существует великое множество:
- на этапе подбора данных,
- их подачи
- и интерпретации.
«На удочку насаживайте ложь и подцепляйте правду на приманку», – наставлял Полоний в «Гамлете». Это, пожалуй, базовый принцип манипулирования с помощью данных. Так, например, в прошлом табачные компании, ссылаясь на подробнейшие исследования, доказывали, что курение не вредно для здоровья, а то и полезно. Они использовали примитивный способ манипулирования, который называется cherry picking (снятие сливок), или «снятие сливок»: подобрать лишь те факты, которые подтверждают позицию, и скрыть те, которые опровергают ее.
Вот еще один пример. Взгляните на График 1: кривая роста средней температуры в России не выглядит угрожающе. Но проблема потепления выглядит куда более серьезной и очевидной на Графике 2.
Источник: Всемирный банк
Для борьбы с таким манипулированием стоит собирать информацию из разных (и конечно, достоверных) источников. И изучать данные с разных сторон, ведь сама по себе цифра мало что расскажет о происходящем. Так, рост доходов после вычета инфляции может превратиться в их падение. Сильный рост показателя за год может оказаться как ускорением, так и замедлением динамики, и даже сравнение с прошлым годом порой малоинформативно, например, замедление может быть возвратом к норме после бурного восстановительного роста. Рост расходов федерального бюджета, скажем, на образование может ничего не сказать об изменении политики государства: нужно смотреть динамику этих расходов, изменение их доли в бюджете, сравнить с ВВП, проверить, не связано ли это с новым распределением полномочий между федеральным бюджетом и региональными. Сильное изменение показателя может вводить в заблуждение, если не взглянуть на абсолютные показатели. Например, в январе просроченная задолженность по зарплате в России выросла почти на четверть, но она в целом невелика – всего 798,9 млн руб.
Правда, количество данных далеко не всегда переходит в качество выводов. Мы все жертвы собственных когнитивных искажений, например предвзятости подтверждения – нам проще отбирать факты, соответствующие нашим убеждениям, чем менять их (об этом рассказывала в «Экономике на слух» выпускница РЭШ Ксения Паниди из НИУ ВШЭ).
Другое распространенное заблуждение на этапе отбора данных – ошибка выжившего. Термин очень точно передает смысл ошибки. Ее суть описал еще Марк Туллий Цицерон, рассказывая о древнегреческом софисте Диагоре Мелосском, прозванном Безбожником. Ему пытались доказать, что боги не пренебрегают людьми, поскольку в храмах хранится множество табличек тех, кто выжил в бурю. «Так-то оно так, – ответил Диагор, – только здесь нет изображений тех, чьи корабли буря потопила и они сами погибли в море».
Иными словами, картина может быть неполной просто потому, что до нас дошла лишь часть данных. Насколько важно делать такую поправку, показывает история времен Второй мировой войны. Пытаясь понять, какие части самолета нужно укрепить, американские инженеры изучали, где у вернувшихся из боя машин больше всего пробоин. Математик Абрахам Вальд предложил противоположный подход: если самолет долетел, значит, повреждения некритические, и укреплять нужно те места, где пробоин нет.
Примеров ошибки выжившего вокруг нас множество. Мы судим об успехе отрасли по результатам выживших компаний, не обращая внимания на обанкротившиеся. Инвесторы, вдохновляясь историями успеха, начинают активно спекулировать, не задумываясь о том, сколько людей разорилось на этом пути. Пример в лекции о психологических ловушках на финансовых рынках приводил научный руководитель РЭШ, профессор Университета Помпеу Фабра Рубен Ениколопов: в средней доходности ETF не учитывается, что какие-то фонды могли просто закрыться.
Представьте, что вы изучаете эффективность никотиновых пластырей, помогающих бросить курить. Вы набираете добровольцев, рассказывая им о сути эксперимента, и делите их на две группы: половине даете изучаемый образец, половине – пластырь с плацебо. Через какое-то время вы проверяете, сколько человек из каждой группы бросило курить. Разница между группами оказалась небольшой. Значит ли это, что толку от пластыря немного? Вовсе не обязательно. Полагаясь на результаты такого эксперимента, вы можете допустить ошибку. Ведь если человек захотел участвовать в исследовании пластырей, вероятно, он уже хочет бросить курить, возможно, поэтому разница между группами и оказалась невелика. Такой смещенный отбор (selection bias) означает, что выборка не является репрезентативной. Ровно так же нерепрезентативными могут быть данные статистики или опросов. Например, нерепрезентативны могут быть опросы бизнеса, если в них представлены и средние, и крупные компании. Ведь они сталкиваются с достаточно разными трудностями.
Люди склонны игнорировать обобщенную статистику и фокусироваться на отдельном случае. К каким ошибкам приводит такое игнорирование контекста, показали психологи Даниэль Канеман и Амос Тверски. Участникам эксперимента они дали описание студента по имени Том и спросили, на кого он учится, попросив выбрать варианты из списка образовательных программ в порядке убывания вероятности. В 1970-е, когда проводился эксперимент, на гуманитарных факультетах училось больше студентов, чем на факультете компьютерных наук. Но участники эксперимента решили, что умный интроверт Том, скорее всего, компьютерщик. Стереотипы перевесили статистику, согласно которой Том должен был оказаться скорее гуманитарием.
Игнорирование базового уровня часто ведет к неточной оценке вероятности случайных событий. Например, разовое падение или рост акций не означает изменения тренда.
Вводить в заблуждение может и подача материала. Классический прием – использовать для этого графики. Они «не содержат прилагательных или наречий, разрушающих иллюзию объективности», писал Даррелл Хафф в изданной еще в 1954 г. книге «Как лгать со статистикой». Для этого используются самые разные приемы, например, изменение шкалы или масштаба графика может увеличить или уменьшить наклон кривой и восприятие изменений показателя. Так, начав шкалу (вертикальную ось) не с нуля, можно сделать так, что даже самые незначительные изменения будут выглядеть существенными.
Именно так звучит лозунг революции достоверности – как отделить причинно-следственные связи от корреляций. Люди в силу самой эволюции, пытаясь познать мир, ищут связь между случайными событиями. Но это удивительное свойство нашего мозга одновременно делает нас жертвами ошибочных суждений, стереотипов, теорий заговора, помогает манипулировать нами. Поэтому, например, люди склонны к суевериям – сколько студентов считает, что успешно сдали экзамен благодаря тому, что положили монетку в обувь или покричали с зачеткой в руках.
Такие случайные совпадения называют ложной корреляцией. Например, графики количества смертей в бассейнах и фильмов с актером Николасом Кейджем показывают почти идеальную корреляцию, хотя никакой связи между этими двумя показателями, разумеется, нет. Политики часто приписывают себе достижения в экономике, хотя причина может быть совсем другой, допустим благоприятная мировая конъюнктура. Рост количества раскрытых преступлений после увеличения численности правоохранительных органов может объясняться не усилением борьбы с преступностью, а ее ростом. (О том, как отличать причинно-следственные связи, рассказывали в подкасте «Экономика на слух» профессора РЭШ Сергей Измалков и Ольга Кузьмина, а о ложных корреляциях – профессор Университета Дьюка, выпускница РЭШ Анна Быховская.)
Вы кидаете монету, и 15 раз подряд выпадает решка. Растет ли с каждым разом вероятность того, что выпадет орел? Большинство людей уверенно скажут: «Конечно». И совершат ошибку игрока – если что-то происходит чаще обычного, люди верят, что в будущем вероятность этого события уменьшится, и наоборот. Например, если фондовый рынок падает какое-то время, инвесторы начинают верить, что скоро он начнет расти. Не желая фиксировать убытки и надеясь отыграться, они слишком долго держатся за акции, которые обесцениваются, из-за чего их потери только растут.
Это еще один пример, показывающий, как важно делать поправку на фактор случайности. Серьезные и случайные колебания со временем будут стремиться к среднему значению. Примеров ошибок, которые мы совершаем, не учитывая регрессию к среднему, невероятное множество. Об одной из них рассказывает Даниэль Канеман в книге «Думай медленно, решай быстро».
Инструкторы военных летчиков, которым он читал лекции, рассказывали, что после похвалы за особенно мягкую посадку летчики сажали самолет хуже, а после резкой критики за грубую посадку следующая попытка оказывалась лучше. Из этого они делали вывод о пользе критики. Канеман понял, что инструкторы не учитывают регрессии к среднему: дело не в критике или похвале, а в том, что после неудачной попытки результат обычно улучшается, и наоборот. «Непонимание эффекта регрессии к среднему ведет к переоценке эффективности наказания и недооценке эффективности поощрения, – пишет Канеман. – В силу регрессии поведение, вероятнее всего, улучшится после наказания и ухудшится после награды. <…> в силу чистой случайности человека чаще всего награждают за наказание других и наказывают за их поощрение».
И завершим наш список классическим статистическим парадоксом Симпсона: если для двух групп данных характерна одинаковая зависимость, то при их объединении характер зависимости может изменяться. Допустим, у группы женщин и мужчин диагностировали одинаковое заболевание. Чтобы проверить эффективность лекарства, его давали пациентам, а затем сравнивали их состояние с контрольной группой, которой давали плацебо. Допустим, 700 мужчин среди принимавших лекарство выздоровели, 800 – нет, а в контрольной группы – 80 и 130 человек соответственно. Среди принимавших лекарство женщин поправилось 150 из 220, в контрольной группе – 400 из 680. Казалось бы, препарат доказал эффективность – ведь доля выздоровевших среди принимавших лекарство выше, чем в контрольной группе. Вовсе нет! Если не делить пациентов на мужчин и женщин, вывод изменится: доля выздоровевших среди принимавших лекарство будет ниже, чем в контрольной группе. Дело в том, что группы не сбалансированы: в эксперименте с мужчинами контрольная группа относительно мала, а в эксперименте с женщинами – тестовая группа значительно меньше контрольной. Это искажает средние результаты. Поэтому стоит быть осторожным, если вы видите обобщение результатов для отдельных групп и их распространение на более широкую аудиторию.
И в завершение несколько книг, которые рассказывают о том, как статистика может нас обманывать и как использовать ее, чтобы не обмануться. В одной из следующих статей мы подробнее расскажем о них.
- «Как лгать со статистикой», Даррелл Хафф
- «Просвещение сегодня: в защиту разума, науки, гуманизма и прогресса», Стивен Пинкер
- «Фактологичность», Ханс Рослинг при участии Улы и Анны Рослинг
- «Как устроен мир на самом деле», Вацлав Смил
- «Цифры не лгут», Вацлав Смил
- «The Book of Why: The New Science of Cause and Effect» (Почему? Новая наука о причинно-следственной связи), Джуда Перл, Дана Маккензи
