Отсутствие репликации - серьезная проблема в науке. Пока ни у кого нет ответа.
Хотя ходили слухи, что моряки, излеченные цингой, знали об этом еще в 1497 году, но только во время путешествия Джеймса Ланкастера на Суматру в 1601 году эта народная мудрость была подвергнута испытанию.. Имея под своим командованием четыре корабля, Ланкастер решил провести небольшой эксперимент: люди на одном корабле получали обычные уколы лимонного сока; остальные три были сухими.
Мы знаем результаты. Мужчины на этих трех кораблях заболели цингой. Что еще более важно, Ланкастер непреднамеренно провел первое научное испытание. Почти полтора века спустя шотландскому врачу Джеймсу Линду приписывают первое клиническое испытание (также изучающее цингу); несколько десятилетий спустя, в 1784 году, Бенджамин Франклин и Антуан Лавуазье провели во Франции первый слепой эксперимент, чтобы проверить теорию животного магнетизма Франца Месмера.(Его не существует.)
Двойной слепой метод был введен, чтобы исследователи не могли влиять на добровольцев, непреднамеренно (или сознательно) побуждая их делать определенные заявления. На протяжении почти двух столетий этот тип клинических исследований был золотым стандартом научных исследований. Всякий раз, когда вы слышите утверждение «исследования показывают…», если оно не проводится таким образом, оно считается недействительным.
Тем не менее, в последние несколько десятилетий возник ряд проблем. Как бы нам ни хотелось верить, что данные - это данные, а люди просто сообщают о них, предвзятость исследователей привела к многочисленным случаям выборочных исследований с публикацией только отчетов, которые подтверждают первоначальную гипотезу. Это особенно проблематично с фармацевтическими исследованиями, которые часто финансируются корпорациями, заинтересованными в получении результата, который они хотели бы рекламировать.
Статистик Теодор Стерлинг заметил тревожную тенденцию еще в 1959 году: 97 процентов психологических исследований подтвердили эффект, который они первоначально намеревались доказать. Это невероятная цифра, потому что в нее не следует верить. Планка положительного результата была введена в 1922 году математиком Рональдом Фишером, который сказал, что «значимый» результат получается случайно менее чем в 5% случаев. (В статистике 95-процентный доверительный интервал является стандартным, хотя 99-процентный доверительный интервал является более точным.) Невероятно, но Фишер изобрел эту статистику не из уверенности, а для удобства:
[Фишер] выбрал пять процентов в качестве граничной линии, несколько произвольно, потому что это облегчало расчеты карандашом и логарифмической линейкой.
Еще более мучительно отсутствие репликации. Помимо сокрытия данных, что, как было показано, делают многие фармацевтические компании, ни одно исследование не должно считаться надежным, пока оно не будет повторено независимыми сторонами. Однако к тому времени, когда исследование становится достоянием общественности, мы склонны принимать его за чистую монету. Когда представлены противоречивые доказательства, мы часто отвергаем утверждения, противоречащие тому, во что мы уже верим.
Одним из таких случаев является половой отбор и симметрия, представление о том, что животные (включая нас) выбирают себе пару на основе симметричных признаков. Это представление было внедрено в общественное сознание в 1991 году после того, как исследование деревенских ласточек показало, что самки выбирают себе пару самцов с длинными симметричными перьями, и это представление было быстро экстраполировано на людей с симметричными чертами лица. К 1997 году это исследование было воспроизведено десятки раз, что привело к общему снижению размера эффекта на 80 процентов. Тем не менее, миф сохраняется.
Старые ласточки и секс на одну ночь - это одно, но подобное явление произошло и с СИОЗС. С момента появления флуоксетина в 1987 году этот класс антидепрессантов стал популярным средством для лечения депрессии и тревоги. Тем не менее, за прошедшие десятилетия их эффективность снизилась, несмотря на то, что количество рецептов продолжает стремительно расти. Лекарства, которые изначально предназначались для использования в течение ограниченного периода времени, назначаются десятилетиями. Побочные эффекты убивают людей, для спасения которых эти лекарства были разработаны или, по крайней мере, выпущены на рынок.
Другой областью, подверженной сомнительным утверждениям, является акупунктура. Как отмечает Йона Лерер, в период с 1966 по 1995 год 47 из 47 исследований в Китае, Тайване и Японии пришли к выводу, что это эффективное лечение. Все эти страны давно верят в эффективность акупунктуры. Американцы настроены более скептически. 94 испытания за это время показали 56-процентную эффективность. Лерер продолжает:
Это широкое расхождение предполагает, что ученые находят способы подтвердить свою предпочитаемую гипотезу, игнорируя то, что они не хотят видеть. Наши убеждения - это форма слепоты.
Одним из решений этой слепоты будет база данных с открытым исходным кодом, в которой намерения и расследования существуют бок о бок. Вместо того, чтобы компании и исследовательские институты, заинтересованные в результатах, умалчивали о том, о чем они не хотят сообщать, или «подгоняли» то, что они делают, прозрачность должна быть встроена в систему с самого начала. Возможно, это не изменит упомянутый Лерером эффект снижения, но привлечет исследователей к ответственности за свои намерения и результаты на каждом этапе процесса..
Конечно, есть еще человеческая вера, с которой нужно бороться. Это включает в себя ранее существовавшие убеждения исследователей, убеждение генеральных директоров и членов совета директоров в том, что их данные являются собственностью, а также бесчисленные убеждения, распространенные в Интернете в блогах о здоровье, где никакие (или сомнительные) исследования не отстаиваются как последнее слово в предмет.
Научный метод - одно из величайших изобретений нашего рационального и образного ума. Быть честным с уликами - это совсем другая история.