Une scoping review (étude de la portée) publiée en février 2024 dans la revue Research Evaluation propose une synthèse des connaissances actuelles sur l’Open Peer Review (OPR). Cette analyse de la littérature scientifique sur l’Open Peer Review entre 2017 et 2022 vient compléter les résultats d’une précédente revue systématique publiée en 2017.
Trois éléments essentiels de l’OPR ont été identifiés dans l’étude de 2017 :
- Identités ouvertes : auteurs et reviewers connaissent leurs identités respectives ;
- Rapports ouverts : les rapports d’évaluation sont publiés avec l’article correspondant ;
- Participation ouverte : la communauté scientifique peut contribuer au processus d’évaluation.
En utilisant la méthode PRISMA, les auteurs de cette nouvelle étude ont analysé les données rapportées dans la littérature scientifique (52 études) concernant les deux premiers aspects de l’OPR (identités ouvertes et rapports ouverts), en particulier :
- l’adoption de ces pratiques par les revues ;
- les opinions des scientifiques à l’égard de ces pratiques ;
- l’efficacité de ces pratiques : leur impact sur le contenu et la qualité de l’évaluation.
Les auteurs ont confronté ces données aux avantages et risques présupposés de l’OPR (dont nous vous parlions ici) et en tirent les conclusions suivantes :
L’Open Peer Review est de plus en plus utilisé, sous différentes formes et avec des niveaux de transparence très différents selon les revues : les revues adoptent généralement une transparence partielle (transparence de certains acteurs, transparence seulement à un certain stade du processus…). Selon que l’on utilise une définition stricte ou plus large, l’OPR ne serait pratiqué que dans 1 à 5 % des revues, avec des différences notables entre les disciplines.
L’étude confirme que les chercheurs sont généralement très sceptiques vis-à-vis du principe d’identités ouvertes. Les évaluateurs redoutent des répercussions et médisances s’ils signent un rapport critique, ce qui pourrait les inciter à atténuer leurs critiques. Les auteurs de l’étude n’ont cependant identifié aucune preuve empirique que de telles répercussions se produisent réellement (ni aucune preuve du contraire). Certains éléments indiquent cependant que les évaluations signées sont plus constructives et plus longues (de 10 à 15 %).
Concernant l’ouverture des rapports d’évaluation, les scientifiques y sont généralement favorables. Aucun changement significatif dans le contenu de ces rapports n’a été observé lorsque ceux-ci sont rendus publics. Par ailleurs, l’affirmation selon laquelle l’ouverture des rapports conduirait à un plus grand nombre de citations des articles n’a pas été confirmée : deux études sur le sujet ont abouti à des résultats divergents.
Source : Tony Ross-Hellauer, Serge P J M Horbach, Additional experiments required: A scoping review of recent evidence on key aspects of Open Peer Review, Research Evaluation, 2024;, rvae004, https://doi.org/10.1093/reseval/rvae004
NB : cet article est un exemple de Registered Report (RR), une forme de publication assez récente dont nous vous parlions ici. La proposition d’étude (étape 1 du processus de publication d’un RR) est disponible sur la plateforme OSF.
