La crise de la reproductibilité de la recherche est un concept largement reconnu, mais que recouvre-t-il ? Quels sont les facteurs qui contribuent à l’irreproductibilité de la recherche dans le domaine biomédical et quelles solutions existent ? C’est ce que Tamarinde Haven et John Ioannidis présentent de façon très claire dans un préprint publié récemment sur MetaArXiv (plateforme dédiée aux préprints portant sur l’amélioration de la transparence et de la reproductibilité de la recherche).
Dans cette revue de la littérature, les auteurs dressent un état des lieux de la recherche sur la reproductibilité dans le domaine biomédical. Ils présentent sous forme de tableaux :
- les différents facteurs et problèmes qui contribuent à l’irreproductibilité, avec leur définition ainsi que des informations sur leur fréquence dans le domaine biomédical (tableau 1),
- les mesures et solutions existantes pour renforcer la reproductibilité, accompagnées de leurs bénéfices escomptés mais aussi de leurs inconvénients potentiels (tableau 2).
Les auteurs insistent sur le fait que, pour déterminer s’il est souhaitable de mettre en œuvre les différentes initiatives proposées pour améliorer la reproductibilité, il est indispensable de tenir compte des gains attendus mais également de leurs potentiels coûts et dommages collatéraux. Ils utilisent à ce sujet la métaphore suivante : dans la mythologie grecque, le roi Midas est d’abord euphorique à l’idée que tout ce qu’il touche se transforme en or, mais lorsqu’il apprend que sa nourriture et ses proches se transformeront également en or, il supplie les dieux de lui retirer ce don.
Nous reprenons ci-dessous les différentes solutions pour renforcer la reproductibilité citées dans le tableau 2, et nous vous invitons à consulter le préprint pour plus de détails sur les avantages et inconvénients potentiels.
Concernant la conception et la conduite de la recherche, les solutions existantes sont :
- Le pré-enregistrement des études (preregistration), c’est-à-dire le dépôt dans un entrepôt ouvert d’un document décrivant l’hypothèse de recherche, la méthodologie et/ou le plan d’analyse, avant leur mise en œuvre.
- Les Registered reports (nous vous expliquions ce que c’est ici).
- Les revues systématiques et autres synthèses de données existantes. Largement utilisées en médecine clinique, en pharmacologie et en épidémiologie, ces formes de publication qui font une synthèse des connaissances sur un sujet pourraient être développées dans d’autres domaines.
- Les cahiers de laboratoire électroniques (nous vous en parlions ici).
- L’utilisation en laboratoire d’un système de signalement d’incidents critiques. Souvent utilisé en médecine clinique, ce type de système pourrait également être utile en recherche fondamentale, pour identifier les problèmes ou erreurs récurrents (erreurs de manipulation, problèmes liés aux appareils, etc.) ainsi que les solutions mises en place pour les résoudre (voir cet article pour un exemple concret).
- Les études multi-équipes/multi-centres, c’est-à-dire des études ou expériences menées en parallèle par des équipes indépendantes, comme cela se fait pour les essais cliniques ou les études épidémiologiques.
- La formation des chercheurs aux bonnes pratiques favorisant la reproductibilité de la recherche (conception expérimentale, gestion des données, science ouverte, transparence…).
Concernant la communication des résultats de la recherche, les solutions existantes sont :
- L’adoption de Reporting guidelines par les revues. Il s’agit de checklists d’éléments à inclure obligatoirement dans une publication, pour un domaine ou une étude particulière. Par exemple, ARRIVE (Animal Research: Reporting of In Vivo Experiments) pour les publications décrivant une recherche sur les animaux, ou PRISMA pour les revues systématiques et les méta-analyses. La plateforme EQUATOR tient à jour une liste de ces « reporting guidelines ».
- L’ouverture des publications, des données, ainsi que des codes.
- L’ouverture des méthodes et protocoles (nous vous en parlions ici).
Concernant l’évaluation par les pairs, les solutions proposées sont :
- La formation des éditeurs et reviewers à la rigueur scientifique et à l’analyse statistique, afin d’améliorer le processus de peer-reviewing.
- L’ajout d’un statisticien à l’équipe de peer reviewing, qui serait chargé de vérifier la qualité et l’intégrité de l’analyse statistique.
- L’Open peer reviewing (nous vous en parlions ici) pour inciter à une évaluation plus rigoureuse.
- L’évaluation des articles publiés par le biais de commentaires publics sur des plateformes comme PubPeer, pour tenter de détecter les articles présentant des problèmes d’intégrité (nous vous en parlions ici).
Source : Haven, T. L., & Ioannidis, J. P., Reproducibility Failure in Biomedical Research: Problems and Solutions, 30 mai 2025, https://doi.org/10.31222/osf.io/k5su6_v2
