Научные журналы могут снизить свои стандарты, чтобы публиковать исследования с захватывающими, но, вероятно, неверными результатами.
Ключевые выводы
- Наука сталкивается с кризисом репликации, а именно, что многие исследования, опубликованные в ведущих журналах, не могут быть воспроизведены.
- Новое исследование изучило количество цитирований «неудачных» исследований и обнаружило, что эти невоспроизводимые исследования получили на 153 цитирования больше, чем более надежные исследования, даже после того, как было доказано, что они невоспроизводимы.
- Исследование предполагает, что кризис репликации может быть частично вызван стимулами, побуждающими исследователей получать «интересные» результаты.
Как быстро повысить уверенность в себе? Если вы смотрели широко распространенное TED Talk 2012 года «Ваш язык тела может формировать то, кто вы есть», вы могли подумать, что ответ заключается в том, чтобы принять силовую позу.
Идея, подробно изложенная в статье 2010 года, опубликованной в журнале Psychological Science, заключается в том, что принятие триумфальной позы в течение пары минут вызывает нейроэндокринные и поведенческие изменения у людей, помогая им чувствовать себя более сильными и лучше работать в различных ситуациях. задания.
Помимо того, что вы выглядите нелепо, преимущества «позы силы», вероятно, не реальны. С 2015 года более дюжины исследований пытались воспроизвести эффекты, описанные в этой статье 2010 года, но не смогли. Это далеко не первая неудачная репликация.
Кризис репликации
За последние два десятилетия неоднократные неудачи в воспроизведении результатов в исследовательской литературе, особенно в социальных и биомедицинских науках, получили название кризиса репликации. Почему «кризис»?
Репликация - ключевой принцип научного метода. Успешная репликация увеличивает вероятность и, следовательно, уверенность в том, что данное утверждение или эффект верны: в конце концов, если одно исследование находит X, другие исследования также должны найти X, предполагая, что они следуют первоначальному плану исследования или основываются на нем.
Несмотря на широко распространенные споры и опасения по поводу кризиса репликации за последние два десятилетия, мало свидетельств того, что дела идут лучше. Проблема не только в том, что многие исследования невозможно воспроизвести, но и в том, что результаты таких исследований продолжают цитироваться в последующих исследованиях. «Несостоявшиеся статьи», как их окрестил анализ 2020 года, «циркулируют в литературе так же быстро, как и копии статей».
Плохая наука распространяется быстро
Новое исследование, опубликованное в журнале Science Advances, предполагает, что проблема может быть даже хуже, чем мы думали, обнаружив, что статьи, которые невозможно воспроизвести, получают в среднем на 16 ссылок в год больше, чем те, которые можно воспроизвести. Со временем это означает еще 153 цитирования.
Этот дисбаланс в целом оставался верным даже после того, как попытки репликации показали, что «неудачные» бумаги невоспроизводимы. Это также сохранялось после учета таких факторов, как количество авторов, процент авторов-мужчин, язык и местоположение.
Почему журналы публикуют невоспроизводимые исследования? Это может привести к хайпу. «Когда результаты более «интересны», к ним применяются более низкие стандарты в отношении их воспроизводимости», - говорится в новом исследовании.
Стюарт Ричи привел аналогичный аргумент в своей книге 2020 года под названием «Научная фантастика: как мошенничество, предвзятость, халатность и шумиха подрывают поиск истины». Он предположил, что, поскольку исследователи сталкиваются с институциональным давлением, требующим публиковать статьи и получать гранты, они с меньшей вероятностью будут проводить сухие, но ценные «работные исследования» и с большей вероятностью будут стремиться к «показным и показным результатам», привлекающим внимание средств массовой информации.
Короче говоря, стимулы могут отталкивать некоторых исследователей от поиска истины.
Сравнение цитат
Новое исследование включало данные исследований, представленных в трех крупных проектах повторения, проведенных в период с 2015 по 2018 год. Согласно документу, каждый из трех проектов:
» пытались систематически воспроизвести результаты, полученные в ведущих журналах по психологии, экономике и общим наукам. В психологии только 39% экспериментов дали важные результаты в повторном исследовании по сравнению с 97% исходных экспериментов. В экономике повторилось 61% из 18 исследований, а среди публикаций в Nature/Science - 62% из 21 исследования».
Затем исследователи сравнили эти данные воспроизводимости с количеством цитирований, полученных этими исследованиями, собранными из Google Scholar с даты публикации до конца 2019 года. Результаты показали, что, когда проекты репликации публикуют данные, раскрывающие исследования чтобы быть невоспроизводимыми, это не оказало существенного влияния на то, как часто эти исследования цитировались в будущем. Другими словами, исследования продолжали цитироваться, даже несмотря на то, что они оказались неверными.
Но не могли ли некоторые цитаты о невоспроизводимых исследованиях быть получены из исследований, которые критиковали прошлые результаты? Исследователи признали эту возможность, но отметили, что только в двенадцати процентах последующих работ признавалось, что результаты, на которые они ссылались, не удалось воспроизвести.
Предсказать воспроизводимость несложно
Невежество или отсутствие интуиции, вероятно, не объясняет, почему рецензенты ведущих академических журналов принимают невоспроизводимые статьи или публикуют последующие статьи, в которых цитируются эти выводы. В конце концов, как ученые, так и неспециалисты довольно хорошо умеют предсказывать, какие исследования будут повторяться. Например, исследование 2020 года показало, что неспециалисты могли угадать воспроизводимость исследований в области социальных наук с точностью выше случайной (59 процентов).
Аналогично анализ 2018 года показал, что психологи правильно предсказывали воспроизводимость психологических исследований с точностью до 70 процентов, в то время как исследование 2021 года показало, что эксперты могут предсказывать воспроизводимость исследований в области поведенческих и социальных наук с точностью 73 процента время.
Эти результаты, похоже, подтверждают аргумент о том, что стимулы, связанные с ажиотажем, способствуют кризису тиражирования. Тем не менее, в духе повторения, вероятно, стоит подождать, пока сами эти результаты не будут воспроизведены будущими исследованиями.