Результаты более половины психологических исследований оказались невоспроизводимы

Первые психологические эксперименты в лаборатории Вильгельма Вундта.Фотография: Universität Leipzig

Группа психологов, возглавляемая специалистом в области социальной психологии Брайаном Ноузеком (Brian Nosek) из Center for Open Science (США) попыталась в рамках «Проекта по изучению воспроизводимости научных работ: Психология» повторить 100 различных исследований в разных отраслях психологии, опубликованных в ведущих научных журналах. Результат получился просто шокирующим – по мнению ученых, им удалось воспроизвести с разной степенью близости к оригинальному исследованию только 39 из 100 работ. А полный анализ, опубликованный сегодня в Science, показал, что статистически значимые результаты были получены только в 36 процентах работ, при этом уровень значимости был в среднем в два раза ниже, чем декларируемый в статьях.

Проект по проверке воспроизводимости результатов психологических работ начался в ноябре 2011 года на фоне нескольких отчетов о мошенничествах, натяжках и ошибках в области статистического анализа в статьях по психологии. Независимая группа отобрала 100 статей, опубликованных в ведущих специализированных журналах. Их тематика затрагивала разные отрасли психологического знания – от реакций детей и взрослых на страх, до сравнительного изучения разных методов обучения арифметике.

Затем исследователи попытались воспроизвести описанные исследования. В апреле 2015 года группа опубликовала предварительные результаты. Проводившие повторные работы ученые должны были оценить по ряду критериев – удалось или не удалось им воспроизвести то или иное исследование. Суммировав оценки, группа присуждала каждой работе один из семи рангов – от высшего («практически идентичная») до низшего («какое-либо сходство отсутствует»). В итоге 15 работ воспроизвести не удалось вообще, а всего нереплицируемыми были признаны результаты 61 статьи.

Опубликованный сегодня полный отчет выявил еще более печальную картину: вопреки заявленным в 97 процентах работ статистически значимым результатам, при воспроизведении они были повторены только в чуть больше трети случаев, а средняя оценка значимости эффекта снизилась почти вдвое.

В то же время ряд ученых выдвинул предположение, что невоспроизводимыми могут быть до 80 процентов всех исследований в области психологии, так как команда Нозека отбирала статьи только из наиболее уважаемых и рецензируемых журналов.

Результаты первого этапа исследований воспроизводимости 100 психологических работ.

Инфографика: Reproducibility Project: Psychology