Группа психологов,
возглавляемая специалистом в области социальной психологии Брайаном Ноузеком
(Brian Nosek) из Center for Open Science (США) попыталась в рамках «Проекта по
изучению воспроизводимости научных работ: Психология» повторить 100 различных
исследований в разных отраслях психологии, опубликованных в ведущих научных
журналах. Результат получился просто шокирующим – по мнению ученых, им удалось
воспроизвести с разной степенью близости к оригинальному исследованию только 39
из 100 работ.
А полный анализ,
опубликованный в Science, показал, что
статистически значимые результаты были получены только в 36 процентах работ,
при этом уровень значимости был в среднем в два раза ниже, чем декларируемый в
статьях.
Проект по проверке воспроизводимости результатов
психологических работ начался в ноябре 2011 года на фоне нескольких отчетов о
мошенничествах, натяжках и ошибках в области статистического анализа в статьях
по психологии. Независимая группа отобрала 100 статей, опубликованных в ведущих
специализированных журналах. Их тематика затрагивала разные отрасли
психологического знания – от реакций детей и взрослых на страх, до
сравнительного изучения разных методов обучения арифметике.
Затем исследователи попытались воспроизвести описанные
исследования. В апреле 2015 года группа опубликовала предварительные
результаты. Проводившие повторные работы ученые должны были оценить по ряду
критериев – удалось или не удалось им воспроизвести то или иное исследование.
Суммировав оценки, группа присуждала каждой работе один из семи рангов – от
высшего («практически идентичная») до низшего («какое-либо сходство
отсутствует»). В итоге 15 работ воспроизвести не удалось вообще, а всего
нереплицируемыми были признаны результаты 61 статьи.
Опубликованный сегодня полный отчет выявил еще более
печальную картину: вопреки заявленным в 97 процентах работ статистически
значимым результатам, при воспроизведении они были повторены только в чуть
больше трети случаев, а средняя оценка значимости эффекта снизилась почти
вдвое.
В то же время ряд ученых выдвинул предположение, что
невоспроизводимыми могут быть до 80 процентов всех исследований в области
психологии, так как команда Нозека отбирала статьи только из наиболее уважаемых
и рецензируемых журналов.
Воспроизводимость результатов исследования считается одним
из важнейших критериев научности знания (наряду
с критерием
фальсифицируемости Карла Поппера). В общем случае ее можно определить
как близость результатов повторных экспериментов, при условии, что все их
условия были повторены (метод, дизайн исследования, средства, инструменты,
алгоритм, выборка испытуемых и прочее). Для обеспечения возможности
повторения экспериментов в научных статьях считается обязательным привести их
подробные, детальные описания. Результат считается достоверным и надежным, если
несколько разных независимых групп ученых смогли повторить эксперимент и
получить близкие результаты.В настоящий момент идет
отдельная дискуссия о воспроизводимости в
социальных и гуманитарных науках, а также такой пограничной области знаний как
психология. Считается, что необходимо развести понятия репликация
(воспроизводимость исследования так как она описана выше) и воспроизводимость
для социальных наук. В этом случае к работе прилагается набор данных, с которым
работал исследователь и описания способа их обработки (включая, например,
программный код и алгоритмы). Если другой ученый, используя те же данные и тот
же способ их обработки, получил сходные результаты – значит работа должна
считаться воспроизводимой.
Источник: