La question centrale de l’évaluation de la recherche, des chercheurs, de leur carrière et de leurs projets reste l’une des résistances majeures à la transformation initiée par le mouvement de la science ouverte.
En effet, le paradigme “Publish or Perish” reste d’actualité et l’évaluation se base encore souvent sur l’utilisation d’indicateurs chiffrés controversés (on vous l’explique ici). Il est pourtant nécessaire que ce modèle évolue, car les maux qu’il engendre et dont il souffre sont connus : augmentation disproportionnée du nombre de publications scientifiques, usage de bibliothèque pirate, pas de valorisation des résultats négatifs, difficulté à trouver des reviewers, crise de qualité des études, augmentation des fraudes…
Pour ce qui est du cadre institutionnel, les organismes de recherche s’accordent depuis la signature de la DORA et du manifeste de Leiden sur la nécessité de faire évoluer l’évaluation des chercheurs, d’abandonner un certain nombre d’indicateurs et de prendre en compte une activité scientifique plus diverse que la simple publication des travaux.
Malgré tout, la représentation de l‘évaluation reste souvent dominée par le prestige des journaux, le nombre d’articles publiés et la valeur de l’indice h du chercheur. Ce n’est ni par stricte mauvaise volonté, ni par ignorance des problèmes actuels. Le problème structurel de l’aspect concurrentiel de la recherche rend la question de l’évaluation complexe.
Plusieurs propositions existent et un certain nombre d’entre elles rentrent petit à petit dans les usages des différents comités d’évaluation. Petit aperçu de nouvelles pratiques d’évaluation en lien avec la science ouverte :
- La promotion de l’utilisation des CV narratifs pour réduire l’emprise de l’évaluation quantitative au profit de l’évaluation qualitative, et l’expérimentation d’un « profil d’ouverture » (« openness profile ») sur ORCID ;
- Le recentrage des évaluations sur le contenu même des publications des chercheurs, malgré la lourdeur du travail qu’il induit ;
- L’encouragement des comités éditoriaux des revues et des éditeurs scientifiques à demander la communication des données et codes associés aux textes soumis, à les prendre en compte dans les procédures d’évaluation et à rendre publique leur politique sur les données et codes associés aux publications ;
- La valorisation de l’open peer-reviewing ;
- L’évaluation de l’utilisation ou du développement d’outils ou de logiciels libres ;
- La valorisation de compétences liées à la science ouverte, à la gestion du cycle de vie des données, au développement de code sources ;
- L’introduction dans le référentiel de compétences des chercheurs, enseignants-chercheurs, ingénieurs et techniciens de recherche d’un sous-ensemble de compétences en lien avec la science ouverte.
Les propositions existent, une évaluation plus qualitative est possible. Mais elle demandera, dans bien des cas, plus de moyens et de temps.
