Un article de Nature publié le 8 mai 2024 revient sur la question de la publication des résultats négatifs, ces résultats, issus de travaux menés selon une méthodologie solide, qui ne valident pas – ou contredisent – l’hypothèse de recherche initialement formulée. Cet article revient sur le problème de la faible présence des résultats négatifs dans la littérature scientifique et met en évidence plusieurs de ses impacts.
L’un de ces impacts est lié à l’utilisation croissante de l’intelligence artificielle en recherche. Les outils d’apprentissage automatique (machine-learning) étant entraînés sur de grands jeux de données, souvent issus de travaux publiés, l’absence de données négatives dans la littérature pourrait entraver le processus d’entraînement.
L’article cite plusieurs exemples dans le domaine de la chimie, notamment les travaux du chimiste Felix Strieth-Kalthoff. Son travail de doctorat consistait à créer des modèles permettant de prédire quels réactifs et quelles conditions maximiseraient les rendements de certaines réactions de chimie médicinale. Dans un premier temps, il a entraîné son modèle d’IA en utilisant des données générées à partir d’expériences réalisées dans son laboratoire, comprenant des résultats de réaction à haut et à faible rendement. Mais lorsqu’il a souhaité intégrer davantage de données de réaction, en s’appuyant sur la base de données Reaxys, il s’est rendu compte que cette base ne contenait pas de réactions à faible rendement ce qui ne permettait pas à l’IA de modéliser des résultats de réaction réalistes.
L’article de Nature rappelle par ailleurs que le biais de publication en faveur des résultats positifs est l’un des facteurs qui exacerbent la crise de la reproductibilité. Sans partage des études et des données négatives, les chercheurs pourraient être condamnés à répéter des travaux qui n’aboutissent à rien.
L’article cite enfin plusieurs initiatives existantes :
- L’Open Reaction Database, lancée en 2021 pour partager les données sur les réactions organiques et permettre l’entraînement d’outils d’apprentissage automatique.
- The All Results Journals: Biol, un journal Open Access diamant lancé en 2010, qui publie des résultats négatifs dans toutes les disciplines de la biologie.
- Le Journal of Trial & Error, un journal Open Access diamant lancé en 2020, qui souhaite publier les résultats négatifs « qui dorment dans les tiroirs des chercheurs » dans toutes les disciplines.
- L’utilisation progressive des Registered Reports (dont on vous parlait ici et ici) qui conduisent à une plus grande proportion de résultats négatifs (une étude sur un échantillon de la littérature en psychologie a montré que 96% des résultats rapportés dans des articles publiés de façon traditionnelle étaient positifs, contre 44% dans les Registered Reports).
Même si le changement est lent et que les journaux ont des difficultés à attirer des soumissions de résultats négatifs, l’article de Nature se termine par une note positive : « Les chercheurs en début de carrière et la prochaine génération de scientifiques sont particulièrement réceptifs à cette idée [de partager des résultats négatifs] » selon David Alcantara, fondateur de The All Results Journals.
Source : Illuminating ‘the ugly side of science’: fresh incentives for reporting negative results par Rachel Brazil, Nature, 8 mai 2024.
