.png)
«Критерием научного статуса теории является ее фальсифицируемость, опровержимость, или проверяемость», – написал Карл Поппер в 1972 г. Проверку выдерживают не все работы, но наука продолжает «верить» в неверные исследования, несмотря на опровержения.
Инна Биктимирова
Журнал Science в 2016 г. опубликовал работу, авторы которой изучили 18 основанных на экспериментах исследований из авторитетного American Economic Review (AER). Семь из них, или 39%, при попытке воспроизвести их не принесли описанного в исследовании результата. Это показывает, насколько важны критика и коррекция научных статей.
Один из видов самокоррекции науки – комментарии. Если ученый хочет проверить, опровергнуть или раскритиковать чужую работу, он публикует комментарий – научную работу в ответ на исследование. Его автор, в свою очередь, может ответить – начинается спор, а в нем, как известно, рождается истина. Главное – чтобы истина стала известна не только его участникам.
Теоретически качественный комментарий должен быть популярен, а также влиять на цитируемость оригинальной работы, т. е. частоту упоминаний в других научных трудах.
Ученые из Коннектикутского университета и Лейбницкого университета экономических исследований проверили, действительно ли комментарии помогают корректировать науку. Они изучили 56 комментариев, опубликованных в AER c 2010 по 2020 г., и оригиналы.
Оказалось, что комментарии цитируются в среднем в 7 раз реже оригиналов. В ведущих изданиях ситуация лучше, но перевес все равно на стороне оригинальных работ: в Journal of Economic Literature и Journal of Economic Perspectives они цитируются в 3 раза чаще, чем комментарии к ним. Такие цифры могут объясняться меньшим влиянием и молодостью авторов комментариев. Тем не менее это показывает, что экономисты не очень следят за коррекцией статей, делает вывод профессор РЭШ и руководитель Центра макроэкономических исследований «Сбера» Олег Шибанов.
Дальше – хуже. Авторы исследования, комментариев и оригинальных работ определили самые качественные комментарии, которые нужно обязательно упоминать рядом с оригиналом, и изучили, как со временем меняется цитируемость – оригиналов и самих комментариев. Оказалось, что комментарии не только редко упоминаются, но и никак не влияют на цитируемость оригиналов: с момента публикации комментария (на графиках – точка «0») наклон кривой цитируемости не меняется.
Цитируемость оригинальных работ до и после публикации важных комментариев
Источник: Анкель-Петерс, Фиала, Нойбауэр
Однако есть и положительная сторона: существуют исследования, которые в принципе почти никогда не цитировались, несмотря на публикации в известных журналах. Ученые предполагают, что это может объясняться коррекцией на ранних стадиях: комментарий вышел достаточно рано, чтобы оригинал вообще не стали цитировать. Отличительная особенность таких работ в том, что и у оригинала, и у комментария очень мало цитирований.
Есть свидетельства и «органической» самокоррекции, когда неверные результаты просто не становятся широко известными; но большинство некорректных исследований со временем становятся только популярнее. Это усиливает распространение мифов даже в научной среде.
Это верно для самых разных областей знания: опровергнутые гипотезы или просто неверно интерпретированные результаты порой становятся «фактами». Например, так называемый эффект Моцарта (распространено мнение, что прослушивание классической музыки развивает когнитивные способности даже у еще не рожденных детей) – результат неправильно понятого журналистами исследования. В действительности в нем проверялось влияние музыки на пространственное мышление. Результаты этого исследования многократно ставились под сомнение или опровергались, и даже его автор Фрэнсис Раушер указывала, что воздействие очень непродолжительное (до 15 минут и может быть вызвано любой музыкой, которая нравится человеку), а на общий интеллект не влияет.
Другой укоренившийся в массовом сознании «факт» – вожак стаи волков завоевывает этот статус, побеждая остальных самцов, так называемый альфа-самец – был опровергнут, но остается стереотипом (о критическом мышлении можно послушать выпуск «Экономики на слух»).
Кстати, авторы одной из 18 проверенных Science в 2016 г. работ оставили комментарий, в котором оспаривают, что проведенный ими в 2011 г. эксперимент невоспроизводим: «Авторы [статьи в Science] фокусируются на одном конкретном статистическом тесте из нашей статьи <…> но полученные при воспроизведении результаты сильно повторяют те, что получены в нашей оригинальной статье, как с точки зрения статистической значимости, так и с точки зрения величины эффекта».
