За последнее десятилетие или около того в эмпирических исследованиях религии произошел большой всплеск. Это хорошо, потому что это означает, что теперь мы действительно можем ссылаться на данные, чтобы ответить на вопросы о том, какую роль религия играет в культуре или останется ли религия здесь навсегда. на религии не означает, что все, что они говорят, является евангельской истиной (каламбур). Одна недавняя статья показывает, что даже наши самые заветные научные выводы могут оказаться отвлекающим маневром из-за предвзятости публикаций, выборочных результатов и старых добрых человеческих ошибок..
Самоконтроль - главная тема, интересующая ученых, изучающих религию. Известные исследования показали, что подсознательные религиозные сигналы, такие как слово «Бог», вспыхнувшее на экране, могут улучшить самоконтроль человека при выполнении трудных или утомительных задач. Другие исследования предполагают, что религия может со временем усилить самоконтроль практикующих с помощью ритуалов, которые «тренируют» нашу силу воли.
Конечно, все эти утверждения основаны на одной чрезвычайно важной предпосылке: самоконтроль - это конечный ресурс. Это предположение, называемое «моделью истощения», утверждает, что самоконтроль подобен мышце. Используйте его слишком много за один короткий период, и он станет слабее, но используйте его со временем, и он станет сильнее. Например, если вы успешно сопротивляетесь искушению съесть целую тарелку печенья в течение двадцати минут подряд, вам может быть трудно сказать «нет» кликбейтным ссылкам впоследствии. Модель истощения, также известная как истощение эго или модель самоконтроля с ограниченными ресурсами, является одной из самых влиятельных и знаменитых теорий в психологии. Оригинальные статьи, излагающие эту идею, цитировались тысячи раз и воспроизводились сотни раз. Это то, что вы могли бы назвать устойчивым эффектом - он сохраняется во всех исследованиях. Это реально. Вы можете на это рассчитывать.
Или вы можете? Эван Картер и Майкл Маккалоу, психологи из Университета Майами, недавно оказались в неловком положении, поскольку не смогли воспроизвести эффект. Как бы они ни строили свои эксперименты, испытуемые не проявляли ослабления самоконтроля после выполнения задач, истощающих силу воли. Это не должно было быть так сложно, учитывая, сколько сотен психологов поручились за это. Но это было.
ВНИМАНИЕ - Впереди различные термины статистики
Чтобы выяснить, почему, Картер и Маккалоу провели метаанализ (количественный обзор множества различных исследований). Рассматриваемый метаанализ, опубликованный в 2010 году другой группой исследователей, охватывал 198 различных статей и показал, что эффект истощения самоконтроля был устойчивым во всех исследованиях и имел средний размер эффекта.
Но были некоторые проблемы. 198 статей показали признаки сильной предвзятости в отношении значительных результатов. Эта предвзятость публикации также называется «эффектом ящика для файлов», потому что отрицательные результаты, которые, как известно, трудно опубликовать, часто томятся в ящиках для файлов исследователей. С точки зрения статистики, по каждой линии запроса должны быть нулевые результаты, даже если речь идет о серьезных последствиях, таких как влияние курения на здоровье. Следовательно: когда базы данных журналов не дают ничего, кроме положительных результатов по заданной теме, вероятно, имеет место эффект ящика для файлов.
Чтобы исследовать эту возможность, Картер и Маккалоу оценили среднюю статистическую мощность в 198 исследованиях. Используя свою оценку, они вычислили вероятность того, что любое данное исследование даст положительные результаты. Логика проста: сильные эффекты чаще проявляются в любом конкретном исследовании. Если бы вы изучали, вызывает ли кофеин гиперактивность малышей, любое случайно выбранное исследование, скорее всего, показало бы значительный эффект. Но влияние, скажем, кофе без кофеина на взрослых, скорее всего, останется незамеченным в любом отдельном исследовании, потому что влияние небольшого количества кофеина очень тонкое, хотя оно реально.
Истощение самоконтроля - во всяком случае, согласно литературе - находится где-то между кофе и кофе без кофеина. Он должен появляться довольно регулярно, но не в каждом исследовании. Как оказалось, 151 из 198 исследований метаанализа показали значительные положительные эффекты. Учитывая среднюю статистическую мощность этих результатов, Картер и Маккалоу подсчитали, что шансы стольких исследований достичь значимости были исчезающе малы, что дало «индекс правдоподобия» 0,999. более значимые результаты, чем следует ожидать, учитывая средний размер эффекта. Столько негативных результатов запихано в ящики с папками.
Но этот метод оценки предвзятости публикации может быть громоздким. Чтобы уточнить свои предположения, Картер и Маккалоу провели еще один тест. Они предположили, что точность измерений должна быть обратно пропорциональна величине эффекта. Другими словами, если ваши измерения неточны, вы, вероятно, переоцените, насколько велик эффект. Если вы нанесете эти две переменные на график, они образуют воронку с завышенными оценками размера эффекта, увеличивающимися по мере того, как ваши измерения (стандартная ошибка) становятся менее точными.
Вот ключ: эта воронка будет асимметричной, если в литературе есть предвзятость публикаций. Публикации с нулевыми или отрицательными результатами будут отсутствовать, как и исследования с точными измерениями. Поэтому, если вы хотите оценить фактические размеры эффекта, вам нужно экстраполировать значения отсутствующих точек данных и добавить их на график.
Этот метод называется «методом обрезки и заполнения», поскольку вы «обрезаете» и «заполняете» воронку, то есть добавляете предполагаемые результаты гипотетических исследований, которые не были опубликованы, чтобы сделать график симметричный. Затем вы переоцениваете размер эффекта оттуда.
В дополнение к этому основному методу Картер и Маккалоу также использовали модифицированную версию метода обрезки и заполнения, в которой используется статистическая регрессия, чтобы определить, равен ли реальный размер эффекта нулю. Если окажется, что он вряд ли равен нулю, второй регрессионный анализ оценивает фактический размер эффекта.
В недавнем мета-анализе исследований антидепрессантов, предварительно зарегистрированных FDA, исследователи использовали тот же двухэтапный метод для точной оценки величины эффекта, несмотря на огромный эффект ящика для файлов: 94 процента опубликованных статей показали значительные положительные результаты., но только 51 процент от общей группы исследований (включая неопубликованные испытания) достигли значимости. Опубликованные исследования показали респектабельный средний размер эффекта около 0,41. Но, используя полную выборку, исследователи рассчитали гораздо меньший реальный размер эффекта, равный 0,31. Затем, используя двухэтапный метод обрезки и заполнения, исследователи пересчитали средний размер эффекта, используя только опубликованные исследования. Другими словами, они оценили влияние «отсутствующих» исследований и получили величину эффекта 0,29. Это, очевидно, очень близко к 0,31. Результат? Двухэтапный метод «обрезки и заполнения», который только имитирует неопубликованные исследования, может дать очень точную оценку фактической величины эффекта.
Так что же произошло, когда Картер и Маккалоу применили этот метод к исследованию истощения самоконтроля? Они оценили фактический размер эффекта равным нулю. Правильно - нада. Отсутствующие исследования - те нулевые результаты, которые так и не были опубликованы - оставили отчет о публикации настолько предвзятым, что вероятным реальным эффектом, по-видимому, можно было пренебречь. Но если бы вы просто просмотрели журналы по психологии, вы никогда бы этого не узнали.
Это интересный случай, потому что модель истощения самоконтроля имеет большой смысл. Даже Картер и Маккалоу признают, что их собственное понимание человеческой природы заставляет их верить в истощение самоконтроля. Я имею в виду, это очевидно: если вы достаточно долго сосредотачиваетесь на сопротивлении искушению, вы истощаете свою силу воли и впоследствии теряете самоконтроль. Верно? Но доказательства - если вы включите данные, которые гниют в ящиках с папками - могут не подтверждать это здравое убеждение.
Означает ли анализ Картера и Маккалоу, что истощение самоконтроля на самом деле является воображаемым? Не обязательно. Поскольку она совпадает с человеческим опытом и так хорошо согласуется с другими психологическими теориями, исследователи не спешат отбрасывать ее - и это хорошо. Если бы ученые слишком легко отбрасывали теории, наука рухнула бы. Поэтому вместо того, чтобы отказаться от модели истощения самоконтроля, Картер и Маккалоу настойчиво выступают за более масштабные исследования с более строгим контролем, чтобы раз и навсегда выяснить, действительно ли существует эффект.
Поскольку самоконтроль является основным направлением для исследователей религии - Картер и Маккалоу сами опубликовали об этом - их статья более чем тревожна для научного изучения религии. Если их результаты подтвердятся, многие теории влияния религии на саморегуляцию могут потребовать серьезного пересмотра. Некоторые, возможно, придется полностью выбросить.
Тревожная статья Картера и Маккалоу является суровым напоминанием о том, что эффект ящика для документов и предвзятость публикации представляют собой огромные проблемы, особенно в психологии. Если исследователи публикуют только тогда, когда они получают положительный эффект, оставляя свои нулевые результаты тлеющими в папках, то мы понятия не имеем, действительно ли результаты, которые появляются в газетах или попадают в учебники, действительно, вы знаете, достоверны. Чтобы решить эту проблему, исследователи должны обязаться публиковать свои нулевые результаты, предварительно регистрировать эксперименты и воздерживаться от p-hacking. Эти новые стандарты могут потребовать некоторого самоконтроля. Но если мы действительно хотим узнать об этих странных животных, называемых людьми, они того стоят.
Ответ: Да
† Да, это действительно вещь. Люди сокращают его как «IC-Index». Я тоже никогда об этом не слышал. Не за что.