Кратко — корни, проявления и конкретные изменения.
Корни кризиса воспроизводимости
- Системные стимулы: публикации и гранты вознаграждают положительные, «новые» результаты, а не репликации или отрицательные данные.
- Методологические ошибки: малые выборки и недостаточная мощность, отсутствие предрегистрации аналитики, p‑хакинг и множественные сравнения без коррекции.
- Непрозрачность: недоступные сырые данные, код, подробные протоколы, непроверенные реагенты/клеточные линии.
- Отсутствие стандартов и контроля качества: неудовлетворительная валидация антител, отсутствие рандомизации и слепого анализа в доклинических исследованиях.
Проявления
- Масштабные оценки: отдельные обзоры указывают на низкую воспроизводимость в биомедицине; часто цитируемая оценка — от $50\%$ до $90\%$ трудно воспроизводимых результатов.
- Повторные исследования часто дают меньшие эффекты или не подтверждают исходные выводы.
- Рост числа ретракций, проблем с репутацией лабораторий и потеря ресурсов.
Конкретные институциональные изменения (что должны требовать фонды, вузы и журналы)
- Обязательная предрегистрация протоколов для гипотезных исследований и доклинических экспериментов (аналогично клиническим реестрам). Пререгистрация должна включать первичные/вторичные исходы и план статистического анализа.
- Внедрить формат Registered Reports в журналах: прохождение редакционного и методологического рецензирования протокола до сбора данных; публикация по результату вне зависимости от направления эффекта.
- Требовать открытого доступа к сырым данным, коду и протоколам в публичных репозиториях до публикации или как условие публикации (принцип FAIR).
- Финансирование репликационных проектов: выделять отдельные гранты и позиции для репликаций и методов верификации.
- Ввести академические стимулы за прозрачность: учёт открытых данных/репозиториев и репликаций при продвижении по службе и при оценке заявок.
- Обязательная проверка и валидация ключевых реагентов (аутентификация линий клеток, тесты на микоплазму, RRID для антител и т.д.).
Конкретные методологические изменения (что должны применять исследователи и методологи)
- Планирование мощности: всегда приводить расчёт мощности и минимально ожидаемый размер эффекта; указывать $1-\beta$ и допустимый уровень ошибки первого рода $\alpha$.
- Отказ от единственной опоры на порог $p<0.05$: сообщать оценку эффекта с доверительным интервалом (например, $95\%$ CI) и обсуждать клиническую/биологическую значимость.
- Предварительное определение первичных/вторичных исходов и аналитических шагов; если проводятся дополнительные анализы — ясно маркировать их как пост‑hoc.
- Коррекция множественных сравнений (Bonferroni, FDR и т.п.) или использование многоуровневых моделей/байесовских методов для комплексных данных.
- Публикация полных рабочих скриптов анализа с зафиксированными версиями программного обеспечения и зависимостей (контейнеры Docker).
- Стандартизированные отчётные чек‑листы: CONSORT/ARRIVE/PRISMA и др. для соответствующих типов исследований; требование приложить заполненные чек‑листы к рукописи.
- Отказ от неподходящих визуализаций; показывать сырые точки (scatter), распределения и репрезентативные повторения вместо одних средних и ошибок.
- Внедрение независимых методических ревью и ревью статистики на стадии рецензирования (наличие статистического редактора).
Приоритетные и практические шаги (низкий порог реализации)
- Журналы вводят Registered Reports и требуют депозита данных/кода в репозитории.
- Фонды требуют планов по репликации и прозрачности как часть заявки.
- Лаборатории вводят SOP для валидации реагентов, рандомизации и слепого анализа, а также хранение всех протоколов в открытом реестре.
- Обучение: обязательные курсы по статистике и репродуцируемости для аспирантов и постдоков.
Краткая экономическая/этическая выгода
- Снижение пустых повторных экспериментов, экономия средств и ускорение трансляции достоверных результатов в клинику.
Итог: сочетание институциональных стимулов (пререгистрация, регистрация протоколов, финансирование репликаций, требования журналов) и строгих методологических практик (мощность, прозрачность данных/кода, валидация реагентов, статистические стандарты) существенно повысит воспроизводимость биомедицинских исследований.