Aujourd’hui, la qualité de la recherche subit des pressions de toutes parts : utilisation de l’intelligence artificielle pour la rédaction des articles et la révision par les pairs, augmentation galopante du nombre de publications, revues prédatrices, paper mills, review mills, citation mills… Introduire de la science ouverte dans l’évaluation de la recherche (des projets, institutions, publications, chercheurs, etc) pourrait aider à combattre les effets négatifs de ces nouvelles pratiques. En effet, à partir du moment où les productions sont librement accessibles tout comme les évaluations, il est beaucoup plus facile de détecter les manipulations, les erreurs, les biais…
Mais alors, comment faire concrètement ?
Pour s’assurer que les projets de recherche qu’ils évaluent intègrent des pratiques de science ouverte, les financeurs peuvent :
- demander que les productions (articles, livres, données, outils, logiciels…) générées par les projets qu’ils financent soient publiées en accès ouvert,
- demander un plan de gestion des données précisant comment les données seront gérées et partagées selon les principes FAIR.
Pour que le peer-reviewing des publications soit plus transparent, les éditeurs peuvent :
- demander que les données et codes sous-tendant les publications soient communiqués aux reviewers et partagés (en respectant les principes FAIR),
- pratiquer l’Open peer-reviewing.
Quant aux évaluateurs, à tous niveaux, ils peuvent :
- utiliser le plus possible des bases de données ouvertes pour effectuer l’évaluation,
- baser leur évaluation sur les productions en accès ouvert,
- évaluer tous les pans de l’activité des chercheurs (recherche, enseignement, peer-reviewing, médiation…) et tous les types de productions (publications, données, codes, logiciels…),
- prendre en compte les pratiques de science ouverte des chercheurs : utilisation ou développement de logiciel libre, partage des données, publication des protocoles, peer-reviewing ouvert (pré et post-publication)…
Une initiative très récente a retenu notre attention car assez originale : le concours lancé par le NIH pour développer un indicateur sur le partage des données afin de récompenser les scientifiques qui partagent leurs données de manière exemplaire : le S-Index challenge. Ce type d’initiative est intéressant, mais attention à ce que cet indicateur ne devienne pas un objectif en soi, car selon la loi de Goodhart, « lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure ». Elle devient en effet sujette à des manipulations, directes (trucage des chiffres) ou indirectes (travailler uniquement à améliorer cette mesure).
Pour aller plus loin : Survey Report – Strategic Approaches to, and Research Assessment of, Open Science. Bregt Saenen et James Morris (Science Europe). Sous licence CC BY.
