Bibliométrie et impact de la Recherche

Incontournables dans le milieu de la recherche, les mesures bibliométriques ont une aura d’objectivité qui rassure, mais la place grandissante qu’elles y occupent irritent aussi et inquiètent... Le chercheur, la chercheuse, a donc tout intérêt à en comprendre le mode de calcul et les limites pour les utiliser à bon escient.

La bibliométrie est l’application de méthodes statistiques et mathématiques pour mesurer et évaluer la production et la diffusion de publications. Elle génère des formules, parfois sophistiquées, visant à donner un indice de performance de la recherche pour un chercheur ou une chercheuse, un laboratoire, un établissement, un pays, etc.

La bibliométrie se veut donc un outil pour mesurer la production scientifique, mais aussi l’impact de la recherche. Ce dernier pourrait se définir comme l’évaluation des bénéfices générés par les activités scientifiques et leurs résultats mis à la disposition de la communauté des chercheurs et chercheuses. D’autres outils complètent la bibliométrie pour en rendre compte, chacun présentant des limites. Aujourd’hui par exemple, les altmetrics, qui visent à évaluer l’impact d’une publication sur internet, sont reconnus comme des mesures alternatives importantes.

  • Les indicateurs bibliométriques

Il existe un grand nombre d’indicateurs ; leur utilisation est largement répandue dans le milieu de la recherche, au point qu’ils sont devenus incontournables et intégrés au fonctionnement des institutions :

– en soutien au pilotage scientifique ;

– lors de l’octroi de financements pour un programme de recherche ;

– lors de la sélection de candidats pour un poste de chercheur, de chercheuse ;

– pour évaluer la performance de la recherche des universités (classements internationaux, évaluation annuelle supervisée par le Hcéres – Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur).

Des indicateurs sont utilisés pour mesurer l’influence d’une revue ou celle d’un livre (pour les SHS surtout). Le facteur d’impact est l’un des plus connus.

D’autres évaluent l’activité scientifique d’un chercheur, d’une chercheuse ou d’un groupe de chercheurs sous l’angle de la production, de la collaboration ou encore de son impact. On en trouve de très basiques (le nombre de citations, par exemple), comme de très élaborés (l’indice h, par exemple).

Pour la description des principaux indicateurs, voir ici.

 

  • Les sources

Les calculs s’appuient sur l’exploitation des métadonnées des publications scientifiques présentes dans les bases bibliographiques et citationnelles.

Il n’existe pas une base unique qui regrouperait toutes les publications de tous les chercheurs et chercheuses. Certaines bases proposant des services d’analyse bibliométrique sont en accès libre : Google Scholar, CiteSeerX, Publish Or Perish, SCImago Journal & Country Rank… Mais celles qui sont utilisées aujourd’hui dans l’évaluation de la recherche sont en accès restreint (abonnement ou autorisation) comme Web of Science (Clarivate Analytics) ou Scopus (Elsevier). Votre BU vous permet d’avoir accès à Scopus via l’ENT.

Des outils complémentaires peuvent être utiles pour trouver des citations dans des documents non indexés par ces deux bases importantes. Ainsi, certains éditeurs scientifiques comme Springer (votre BU vous donne accès à un corpus d’archives sur authentification) proposent, à partir d’un document, un lien vers une liste des publications qui le citent. Ils obtiennent ces informations en participant au Cited-by service de Crossref (organisation qui gère l’enregistrement des DOI – Digital Object Identifier – ou « identifiant numérique d’objet »).

Les méthodes bibliométriques sont directes et simples à mettre en pratique dans un contexte de développement du numérique. Leur application peut ainsi être automatisée. Elles sont a priori objectives car reposant sur des comptages. Mais la tendance à en faire usage de manière systématique et parfois sans précaution n’est pas sans conséquences, et de nombreuses critiques s’élèvent pour les dénoncer. Il n’est donc pas inutile de lister ici quelques-unes des limites principales de la bibliométrie.

  • Une zone d’ombre : Dans certaines disciplines, en particulier du domaine des SHS, des revues importantes ne sont pas indexées dans les bases bibliométriques où, par ailleurs, les revues anglo-saxonnes sont ultra-majoritaires. Ces disciplines se caractérisent souvent par une proportion importante d’ouvrages et d’actes de colloques dans leurs publications, et, de manière générale, d’écrits relevant d’une autre forme que l’article, or ces formes traditionnelles de diffusion de la recherche en SHS sont sous-représentées dans les analyses bibliométriques. Un pan entier de la recherche est donc exclu de ces calculs.
  • La course à la publication : Indicateur très utilisé, le facteur d’impact est considéré comme un indice fiable de la qualité d’une revue. Outre que cette vision est fortement discutable, elle a pour conséquence la course à la publication dans ces revues afin que l’article en tire bénéfice sur le plan statistique et sur le plan symbolique.
  • L’effet « boule de neige » : Les outils bibliométriques favorisent ce phénomène bien connu qui se traduit par le renforcement de la popularité d’un petit nombre de revues et menace l’existence de bon nombre d’autres dont la qualité est pourtant attestée.
  • Le business de la bibliométrie : Le facteur d’impact est devenu un argument commercial pour les éditeurs qui justifient ainsi les prix très élevés de leurs abonnements. Les producteurs de grandes bases bibliométriques profitent également de l’aura des statistiques et de leur utilisation par les institutions de la recherche pour vendre au prix fort leurs services auprès de celles-ci.
  • Et les réseaux sociaux ? : Il est réducteur de mesurer l’influence d’un article à partir des simples indicateurs bibliométriques. En effet, les réseaux sociaux constituent aujourd’hui un espace parallèle de diffusion non négligeable, et le nombre de fois où un article est l’objet de commentaires ou bien est cité sur les réseaux sociaux est par exemple un indicateur important. C’est actuellement le champ d’étude des altmetrics.
Du 1er mars au 6 avril 2024,
la BU est ouverte le samedi
jusqu'à 17h
close-link