Является ли «наука сломанной» или самоисправляющейся? А кто по-взрослому будет исправлять игру (вместо того, чтобы набирать в ней очки)?
1. Наука нуждается в жесткой любви (области различаются, но некоторые способствуют и поощряют нездоровые привычки). А подходы «хорошего полицейского» не устраняют «фантомные паттерны» и «извлечение шума» (поясняется ниже).
2. Хотя все делают то, что кажется «научно разумным», в результате получается «машина для создания и публикации случайных закономерностей», - говорит статистик Эндрю Гельман.
3. Гельман слишком добр; «кризис воспроизводимости» на самом деле является проблемой воспроизводимости - профессиональная практика вознаграждает производство и публикацию недостоверных исследований.
4. Гельман называет такие исследования «мертвыми по прибытии», но на самом деле они мертвы при выходе, обречены на момент зачатия из-за «недостатков, присущих [их] первоначальному замыслу» (+ публикуется много того, что «плохо спроектировано»).
5. Оптимисты говорят, расслабьтесь, «наука самокорректируется». Например, Кристи Ашванден говорит, что «кризис репликации является признаком того, что наука работает», он не «ненадежен», он просто запутан и труден («в долгосрочной перспективе… надежен», - говорит Том Зигфрид).
6. Люди вроде Дэна Энгбера из «Науки сломаны» спрашивают: «Как быстро наука самокорректируется? Плохие идеи и неправильные результаты искореняются [быстро]… или они сохраняются в течение нескольких поколений?» И какой (предотвратимой) ценой?
7. Мы не должны чрезмерно обобщать - физика здесь ни при чем, поучительно она по своей природе менее изменчива (все электроны ведут себя согласованно). Биологии и общественным наукам повезло меньше: люди ≠ биологические бильярдные шары.
8. В книге Ричарда Харриса Rigor Mortis утверждается, что «небрежная наука… тратит впустую миллиарды» (~ 50% бюджета США на биомедицинские исследования, финансируемого налогоплательщиками, около 15 миллиардов долларов потрачены впустую).
9. Харрис винит ультраконкурентные игры «сначала опубликуй, потом исправь» и душераздирающе ужасный экспериментальный дизайн, которые могут угрожать жизни (Гелман соглашается: «Клинические испытания сорваны»).
10. Харрис не видит легкого решения. Но защита, основанная на науке, не оправдывает заведомо плохие методы.
11. «Плохие идеи и неправильные результаты» Энгбера затмеваются системными проблемами на уровне методов, охватывающими поколения. Например, Гельман называет традиционную статистику «контрпродуктивной» - неудачно названные тесты «статистической значимости» не являются арбитрами «научной истины», хотя они широко используются таким образом.
12. Психология недавно выявила неправильное использование «статистической значимости» (например, возглавившая чарт TED «поза власти»), но Дейдра Макклоски заявила, что «статистическая значимость разрушила эмпирическую… экономику» в 1998 году, и проследила опасения до 1920-х годов. Гельман хочет, чтобы мы «отказались от статистической значимости».
13. Тем не менее, «шумовая добыча» предостаточно. Поля с присущей им изменчивостью, небольшими эффектами и зашумленными измерениями тонут в наборах данных с фантомными паттернами, не связанными со стабильными причинами (см. «Всемирно известный эксперт по питанию» Корнелла)
14. Никакая «статистическая алхимия» (Кейнс, 1939) не может диагностировать фантомные паттерны. Только дальнейшая проверка реальности может. «Корреляция даже не подразумевает корреляцию» помимо ваших данных. Всегда спрашивайте: почему этот паттерн обобщается? Каким причинным процессом(ами)?
15. Базовая переподготовка должна подчеркивать репрезентативность и причинно-следственную стабильность. Ни большие выборки, ни рандомизация не обязательно обеспечивают репрезентативность (см. беды со статистикой смешанного типа, типы шаблонов).
16. Журналистика, которая демонстрирует каждое кажущееся сенсационным исследование, плохо служит нам. Большая часть неподтвержденных научных данных должна оставаться незамеченной - преувеличения в СМИ подрывают общественное доверие.
17. Помимо смертей, которых можно было избежать, и сожженных долларов, существуют значительные «социальные издержки лженауки» (например, предоставление возможности науке является «фальшивым» отрицанием).
18. Происходит великая наука, но игра «свободная игра свободных интеллектов», хоть и забавная, далеко не свободна от невынужденных ошибок.
19. «Спасение науки» (Дэниел Саревиц) означает исправление игры, а не получение в ней очков.