Les membres de la CoARA (Coalition on Advancing Research Assessment, que nous vous présentions ici) ont tous signé un accord commun précisant les 10 principes et les 10 engagements sur lesquels ils s’appuient pour mettre en œuvre la réforme de l’évaluation de la recherche. Mais la question qui se pose désormais est la suivante : comment aller plus loin dans la concrétisation de ces engagements ? Plusieurs documents publiés récemment vont dans ce sens.
La Commission européenne a publié en avril 2024 son plan d’action pour la réforme de l’évaluation de la recherche dans lequel elle prévoit notamment de :
– Réviser les critères, les outils et les processus d’évaluation pour le prochain programme-cadre européen (FP10, 2028-2034) :
- Améliorer les critères d’attribution et les processus de candidature afin de mieux reconnaître la diversité des contributions et des résultats,
- Améliorer les Key Impact Pathways afin de garantir une utilisation responsable des indicateurs quantitatifs,
- Améliorer le processus d’évaluation par les pairs mis en place pour Horizon Europe pour une évaluation plus qualitative des propositions : améliorer la sélection des pairs évaluateurs et les informations / formations qui leur sont fournies (notamment sur l’égalité des sexes et les préjugés inconscients),
- Piloter potentiellement des processus innovants d’évaluation des propositions.
– Continuer de développer Open Research Europe, pour que la plateforme devienne un service de publication en libre accès open-source, soutenu par d’autres financeurs et organisations, et donc accessible à un plus grand nombre de chercheurs (pas uniquement aux chercheurs financés par la Commission européenne).
– Continuer à soutenir financièrement les changements institutionnels et les projets qui s’alignent sur les objectifs de la réforme de l’évaluation.
De son côté, la DORA (organisation à l’origine de la déclaration de San Francisco sur l’évaluation de la recherche) a publié une note très claire donnant des conseils sur l’utilisation de plusieurs indicateurs quantitatifs liés aux publications : le facteur d’impact des revues, le nombre de citations, l’indice h, les indicateurs de citations normalisés par domaine et les altmetrics. Cinq principes guident l’utilisation de ces indicateurs :
- Être clair : justifier l’utilisation d’indicateurs quantitatifs dans le contexte d’évaluation.
- Être transparent : publier les règles d’utilisation des indicateurs quantitatifs, pour qu’elles soient comprises par les personnes évaluées et par les évaluateurs.
- Être spécifique : réfléchir à l’indicateur le plus approprié pour évaluer les qualités d’une personne ou d’un travail. Faire attention aux mesures agrégées (facteur d’impact, indice h…) qui peuvent masquer d’importantes variations de performance, et aux indicateurs composites (classements d’universités, altmetrics…) qui incluent des critères très différents et sont donc difficiles à interpréter.
- Être contextuel : tenir compte de la nature approximative et réductrice inhérente à tout indicateur.
- Être juste : s’efforcer d’atténuer l’impact des biais inhérents aux indicateurs quantitatifs.
Enfin, la Ligue des universités européennes de recherche (LERU) a publié en avril 2024 un document intitulé « Next Generation Metrics for Scientific and Scholarly Research in Europe » qui vise à aider les universités à faire évoluer leur politique d’évaluation, via la transition vers un ensemble de métriques et d’indicateurs plus pertinents et plus diversifiés, alignés sur les objectifs et les missions des institutions.
Retrouvez également ici les plans d’actions des membres de la CoARA : https://zenodo.org/communities/coara_action_plans/
