Accueil » Dossiers » Bibliométrie

Bibliométrie

METRICS_CC_BY_Milan_Stankovic_via_FLICKR

METRICS CCBY Milan Stankovic via FLICKR

 

 

Ce dossier est la reproduction (avec l’aimable autorisation d’AEF) d’une interview de Thierry Fournier pilote de la commission Recherche et documentation de l’ADBU réalisée par Cyril Duchamp, journaliste à AEF. 

Quelles sont les différentes métriques possibles pour évaluer la production scientifique ? Les développements technologiques autour du « big data » peuvent-ils changer la donne et faire reconnaître des approches alternatives aux mesures comme le facteur d’impact ? Interrogé par AEF mi-avril 2015, Thierry Fournier, pilote de la commission documentation et recherche de l’ADBU et en charge de l’organisation d’une journée d’information sur ce thème, en évoque l’éventualité. En cause, les sources de citation sur le web qui se multiplient, avec les blogs ou les réseaux sociaux, mais aussi l’intérêt de mesurer plus finement les usages des productions scientifiques, qui se fait de plus en plus sentir. AEF fait le point sur les pratiques en place, et les évolutions attendues.

Qu’est-ce qu’une métrique ?

Il s’agit d’un système de mesure. La métrique appliquée à l’IST peut porter sur les citations d’une publication, d’un article, d’un chercheur, etc., comme sur les usages qui en sont faits. La métrique est appliquée à une base de documents, l’idée étant qu’elle soit la plus large et la mieux structurée possible. Les bases comme Scopus d’Elsevier ou Web of science de Thomson Reuters sont considérées comme parmi les plus importantes en nombre de références.

Un établissement d’enseignement supérieur peut se doter d’une base bibliographique et intégrer les comptes de citations des bases Scopus ou Web of science, comme le fait par exemple l’université de Liège avec Orbi. Les métriques sont utilisées alors sous la forme d’un service web qui va interroger ces bases. Thomson-Reuters et Elsevier proposent un certain nombre de données interrogeables gratuitement, et d’autres pour lesquelles il faut souscrire à un abonnement.

 

Combien en existe-t-il ?

En principe, il peut exister énormément de métriques différentes, selon que la mesure porte sur l’article, la publication, le laboratoire ou l’équipe à l’origine du document, l’établissement, etc. Les principales métriques donnent aussi souvent lieu à différentes versions possibles, pour pondérer certains aspects de la mesure. C’est ainsi que les critiques formulées sur le « H-index », destiné à calculer la productivité d’un chercheur, ont donné lieu à des déclinaisons en « C-index », « E-index », « G-index », etc.

En réalité, il existe un nombre limité de familles de métriques : comptabilisation des productions d’articles et de brevets, comptabilisation des citations. Certains indicateurs sont dits « composites », en ce qu’ils mettent en rapport les deux approches comme le « H-index », qui analyse le nombre de publications d’un chercheur, mais aussi le nombre des citations. Une troisième famille de métriques regroupe celles dites « alternatives », qui généralement vont élargir le champ d’investigation au-delà des seules bases de données d’IST, par exemple pour s’intéresser aussi aux réseaux sociaux.

Les principales métriques de production et de citation

  • Impact factor : propriété de Thomson-Reuters et utilisé pour son Web of science, le facteur d’impact correspond au nombre de citations d’articles récents d’une revue. Il fait l’objet de critiques, d’abord sur le fait que la qualité d’un article est jugée par la notoriété de la revue dans lequel il est publié. Cet indicateur reste cependant une métrique dominante.
  • Eigen factor : cet indicateur de la notoriété d’une revue comptabilise les citations sur une période de 5 ans pour mesurer son influence. L’une de ses déclinaisons est l’ « article influence » – soit l’Eigen factor divisé par le nombre d’articles – qui permet de pondérer l’augmentation systématique du facteur avec le nombre d’articles publiés par la revue. L’Eigen factor s’applique aux publications référencées dans le Journal citation reports de Thomson-Reuters.
  • H-index : nombre de publications d’un chercheur rapporté au nombre de citations. Cette métrique est utilisée aussi bien par Elsevier (base Scopus) que par Thomson-Reuters (Web of science) ou Google (Google Scholar). Un grand nombre de déclinaisons du « H-index » existent, comme le « i10-index » dont se sert Google pour le pondérer en retenant les publications citées au minimum 10 fois, ou le « G-index », qui met en évidence les articles les plus cités d’un chercheur.
  • SNIP (Source normalised impact per paper) : utilisé par Elsevier pour sa base Scopus, cet indicateur contextualise la mesure des citations en fonction des champs disciplinaires. Il s’obtient en faisant le ratio entre le nombre moyen de citations d’une revue et la probabilité d’être cité dans un champ disciplinaire donné.
  • SJR (Scimago journal rank) : s’appliquant également à la base Scopus, cette métrique vise à calculer la notoriété scientifique selon le principe du « page ranking » de Google. L’algorithme utilisé se base sur le nombre de citations d’un journal, ainsi que sur la notoriété des publications d’où proviennent ces citations.

Les « Almetrics », une diversification des sources et des critères d’analyses

Pour aller encore plus loin dans la mesure de l’impact des productions scientifiques, des « métriques alternatives » ont fait leur apparition : Altmetric.comCitedInImpactStoryPlum Analytics. Leur principe général repose sur la diversification des mesures, que ce soit au niveau des sources de citation que des usages qui peuvent être faits d’une production scientifique. Au-delà de sa consultation, une publication peut en effet être aussi « bookmarkée » dans des outils de gestion bibliographiques comme Mendeley d’Elsevier, partagée au travers de réseaux sociaux généralistes ou de recherche comme ResearchGate, réutilisée (par exemple comme source d’un programme), commentée sur des médias ou blogs, notée et recommandée par des pairs (Faculty of 1000), achetée ou recommandée par un réseau de bibliothèques, etc.

À l’ère du web, les sources faisant référence à un article scientifique se multiplient : blogs, réseaux sociaux grand public ou professionnels, médias en ligne, forums de discussion, etc. En prenant en compte de telles sources de référence, il devient envisageable d’intégrer une dimension d’impact social des productions scientifiques. Mais s’il y a bien une « explosion du nombre de sources utilisables », pour le moment, « assez peu d’altmetrics émergent comme réellement importantes », d’abord en raison d’un manque de fiabilité, souligne Thierry Fournier, bibliothécaire à l’université Rennes-I et pilote de la commission documentation et recherche de l’ADBU : « Deux fournisseurs interrogeant la même source n’obtiennent pas les mêmes résultats. »

L’émergence des altmetrics révèle néanmoins l’intérêt de disposer d’outils de mesures attachés aux usages d’un article, et non plus à la revue dans lequel il est publié, constate Thierry Fournier. Les métriques de citations descendent déjà au niveau de l’article, mais en interrogeant uniquement des bases de publications d’IST. Les métriques alternatives sont plus ambitieuses, mais font aussi l’objet de critiques, notamment du fait de leurs logiques d’immédiateté. Le court terme des réseaux sociaux n’est pas forcément compatible avec les temps de la recherche, et la publication en temps réel d’une métrique sur chaque article « risque d’être vécue comme un box-office ».

Une évolution générale vers les services analytiques

Autre point d’interrogation : l’analyse qualitative des données est-elle possible ? Les métriques habituelles de citations ont pour fonction d’identifier le nombre d’occurrences parmi les publications de recherche. Mais il serait aussi intéressant de savoir si l’article est cité en bien ou en mal. En l’état actuel de la technique, cela semble toutefois encore difficile à réaliser.

Un éditeur comme Elsevier y travaille à partir d’approches de type big data. Olivier Dumon, directeur général pour la recherche universitaire et gouvernementale, indiquait ainsi à AEF en octobre 2014 : « Les outils analysent principalement les citations, pour l’instant, or on s’aperçoit que ce n’est pas suffisant. […] Certains bailleurs sont très sensibles à ce que la recherche soit visible auprès du grand public. Pour prendre en compte cet impact, on analyse les publications parues dans les journaux à destination du grand public mais aussi la blogosphère et les réseaux sociaux. La difficulté est que les références aux articles sont généralement incomplètes avec parfois un seul auteur mentionné voire seulement son institution de rattachement. Il faut parvenir à extraire d’un tweet ou d’un article suffisamment de données pour identifier la source en toute confiance ».

Ce qui est probable, c’est que les évolutions viendront d’acteurs comme Elsevier et Thomson-Reuters, qui ont d’ailleurs déjà développé des outils d’analyse et de pilotage de la recherche comme Scival et Incites. Dans une étude publiée en mars, la DIST du CNRS estime d’ailleurs que « ces grands groupes éditoriaux vont muter vers un profil de sociétés associant technologie, contenus et services analytiques« . Le développement des capacités d’analyse apparaît comme un vecteur d’évolution de ces services, mais in fine le succès de telle ou telle métrique dépendra de la décision, politique, que prendra la communauté scientifique d’en faire un instrument d’évaluation reconnu.

Mesurer, pour quelle évaluation ?

« La vigilance s’impose » dans l’utilisation des métriques pour l’évaluation, prévient Thierry Fournier. Outils de mesure pensés selon des objectifs précis, les indicateurs ne peuvent pas forcément être combinés pour donner une notation globale. Déjà, en 2011, l’Académie des sciences mettait en garde contre la tentation de les mélanger et prodiguait une série de recommandations quant à leur usage.

« Les indices bibliométriques ne peuvent pas être utilisés de la même façon selon l’objet de l’évaluation : recrutements, promotions, contrats, distinctions, etc. », soulignait alors l’Académie des sciences.

« Il faut éviter l’utilisation des indicateurs bibliométriques pour les chercheurs ayant moins de dix années de carrière afin d’éviter la chasse aux domaines à fort taux de citations », préconisait ainsi l’institution dans son rapport « Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs », remis à la ministre de l’Enseignement supérieur et de la Recherche de l’époque.