Faire évoluer l’évaluation de la recherche à l’échelle mondiale est l’un des principaux leviers pour faire avancer la science ouverte. Au préalable, il est donc essentiel de connaître les pratiques d’évaluation dans le monde entier. C’est ce que propose l’étude publiée en janvier dans Nature, qui analyse les tendances régionales et institutionnelles en matière d’évaluation pour la promotion académique.
Pour cette étude, les auteurs se sont concentrés sur les promotions au titre de professeur titulaire car ce poste présente des caractéristiques similaires un peu partout dans le monde. Ils ont étudié 314 politiques de promotion provenant de 190 institutions de recherche et 218 provenant de 58 agences gouvernementales, issues de 32 pays du Nord et de 89 pays du Sud. Il en ressort 5 points clefs :
- Les critères de promotion varient considérablement d’une institution à l’autre, avec une grande flexibilité, pour adapter les critères aux besoins de chaque institution.
- Les indicateurs bibliométriques quantitatifs sont plus populaires dans les pays à revenu intermédiaire supérieur, alors que les pays à revenu élevé favorisent des approches plus qualitatives (classification des revenus nationaux de la Banque Mondiale).
- Les politiques nationales et institutionnelles suivent des orientations différentes : les politiques nationales mettent souvent l’accent sur le nombre de publications et les revues dans lesquelles elles sont publiées, tandis que les politiques institutionnelles se concentrent davantage sur l’ordre et le rôle des auteurs. Les mesures quantitatives sont également plus fréquentes dans les politiques nationales.
- Les différences importantes ne sont pas entre les disciplines (ce qui contraste avec les appels en faveur d’évaluations disciplinaires), mais plutôt entre les régions, les pays et les groupes de revenus.
- La bibliométrie est fréquemment utilisée mais pas de manière généralisée. L’étude montre que 39% des politiques ne mentionnent pas le nombre de publications, 57% ne mentionnent pas l’indexation des revues et 73% ne mentionnent pas les citations. Les comités de promotion valorisent d’autres aspects comme le mentorat, le travail administratif, les contributions au domaine…
La politique du National Health and Medical Research Council (NHMRC) en Australie est un bon exemple de politique d’évaluation d’un pays à revenu élevé.
Depuis janvier 2022, le NHMRC a décidé de mettre en place une nouvelle politique d’évaluation des projets qui lui sont soumis, afin de recentrer le processus sur la qualité de la recherche et de diminuer la charge de travail des reviewers. Intitulée « Top 10 in 10 publications policy », cette politique demande aux candidats de fournir une liste de 10 publications qu’ils estiment être les plus importantes au cours des 10 dernières années.
Publié en avril 2024, le rapport d’évaluation de ce passage au « top 10 in 10 » conclut que cette nouvelle politique a permis de mettre l’accent sur la qualité des publications, plutôt que sur la quantité. Les retours des évaluateurs sont globalement positifs quant à la baisse de la charge de travail même si certains font remarquer qu’une évaluation approfondie nécessite du temps. Certains évaluateurs restent par ailleurs attachés à la liste complète des publications, considérant que la limite de 10 publications pourrait pénaliser certains profils.
Enfin, le rapport souligne la nécessité de fournir des conseils plus détaillés aux évaluateurs sur la façon d’évaluer la qualité des publications, en oubliant les indicateurs traditionnels, nombre de publications, facteur d’impact des journaux, etc.
Sources :
- Lim BH, et al. Regional and institutional trends in assessment for academic promotion. Nature. 2025 Jan 22. doi: 10.1038/s41586-024-08422-9.
- Top 10 in 10 publications policy evaluation report. National Health and Medical Research Council (NHMRC). 2024. (Merci à Hervé Maisonneuve d’avoir signalé ce rapport)
