En fin d’année, Hervé Maisonneuve a signalé et analysé sur son blog redactionmedicale.fr un éditorial très intéressant de la revue NEJM AI intitulé « The H-Index of Suspicion: How Culture, Incentives, and AI Challenge Scientific Integrity ».
Dans cet éditorial, Isaac Kohane explique avoir créé un jeu de données totalement faux. Et pour la provocation, il a choisi de créer des données semblant montrer une corrélation claire entre indice H et taux de rétractation : plus un scientifique a de citations, plus ses études publiées sont rétractées.
Il a ensuite fait vérifier ses données par une IA générative qui a bien évidemment détecté un certain nombre d’anomalies. Il a alors forcé cette dernière à en générer une « meilleure » version qui, cette fois, n’a alarmé aucun système de détection.
L’auteur s’interroge donc : puisque les résultats scientifiques peuvent dorénavant être créés de toute pièce sans être détectés, que pouvons-nous faire pour nous en prémunir ?
Il aborde trois axes possibles :
– La blockchain (ou des technologies connexes) pour tracer de façon sécurisée l’ensemble des actions réalisées sur des données, ce qui permettrait aux évaluateurs de s’assurer de l’authenticité des données. Isaac Kohane ne retient pas cette idée, car elle se heurte à la réalité de la pratique : la mise en place d’un tel système demanderait un temps et des moyens colossaux et n’est donc pas envisageable.
– La confiance et la réputation : faire confiance aux scientifiques qui ont de l’expérience et une réputation dans un domaine. Là encore, Isaac Kohane ne retient pas cette voie car les systèmes de réputation peuvent favoriser le copinage, les cartels de citation et autres travers.
– La réplication : faire des études de réplication une pratique courante, alors qu’elles sont actuellement sous-financées, sous-estimées et souvent peu valorisées. C’est dans cette voie qu’Isaac Kohane voit une solution pour l’intégrité de la recherche scientifique.
Pour lui, ce n’est qu’en changeant la manière d’évaluer le travail des scientifiques et en récompensant à l’avenir la vérification rigoureuse, l’ouverture et l’humilité que la science pourra continuer d’être de qualité. Ce changement de culture prendra du temps et nécessitera que les universités, les financeurs et les revues scientifiques mettent davantage l’accent sur la qualité plutôt que sur la quantité, et sur la fiabilité plutôt que sur la nouveauté.
L’éditorial se conclut sur le fait que la revue NEJM AI va désormais encourager les études de réplication, en donnant la priorité à celles qui visent à reproduire les recherches déjà publiées dans le journal.
Source : Isaac Kohane. « The H-Index of Suspicion: How Culture, Incentives, and AI Challenge Scientific Integrity. » NEJM AI (2025). https://doi.org/doi:10.1056/AIe2501273
