Evaluer les chercheurs: un drôle de jeu des chiffres et des lettres

Par
Vieux problème mais nouvelles questions: comment donc évaluer excellence et médiocrité dans la recherche, comment se confronter aux classements internationaux? Un nouveau système d'évaluation va se mettre en place, lié à la réforme de la recherche publique. Il pourrait introduire des évaluations quantitatives, sur la base des fréquences de publication et de classements des revues scientifiques. Cette perspective provoque de vifs débats, en particulier dans les sciences humaines et sociales.
Cet article est en accès libre. Découvrez notre offre spéciale ! S'abonner

«Nous avons identifié six domaines où le CNRS exerce un leadership», expliquait la semaine dernière la ministre Valérie Pécresse pour annoncer la liste des disciplines destinées à rester dans l'organisme. Pas de doute, le ministère souhaite réorganiser la recherche publique autour de critères de performance, permettant de distinguer les supposés meilleurs laboratoires, unités, universités... des autres.

 

C'est déjà ce que souhaitait Nicolas Sarkozy dans son discours du 28 janvier à Orsay : «La compétition, ce n'est pas un mal, ça peut même stimuler.» Le «plan Campus» vient d'ailleurs de distinguer six universités qui se partageront cinq milliards d'euros pour progresser dans «l'excellence».


Cette approche, tout comme le nouveau dispositif de contrôle que met en place l'Agence d'évaluation de la recherche et de l'enseignement (Aeres), vise à inspecter les organismes de recherche tels que le CNRS et l'Inserm, mais aussi les universités et les écoles doctorales. Et elle suscite une inquiétude croissante.

 

En juin, l'agence va enclencher une phase décisive : la mise au point de son système d'évaluation. Elle recevra des représentants des sciences humaines et sociales, dites «SHS» (histoire, philosophie, science politique, sociologie, économie...), afin d'étudier avec eux la possibilité d'un classement des revues à comité de lecture.

 

Il s'agirait de distinguer les publications d'envergure mondiale (A), internationale (B), nationale (C), ainsi que de dresser une typologie des ouvrages (de compilation, de recherche...). A l'heure de l'évaluation, mieux vaudra présenter un maximum de publications de rang A plutôt que C.


Ce type de classements existe déjà. Il est notamment utilisé par la European science foundation (ESF), qui répartit les publications scientifiques entre «A», «B» et «C». Mais la rigidité de ce classement et son inadéquation avec les critères de l'évaluation qualitative lui attirent les plus vives critiques de chercheurs français. C'est pour tenter d'y répondre que l'Aeres s'apprête à consulter les scientifiques.

 

Le problème des classements tels que celui de l'ESF, analyse le sociologue Fabien Jobard, «c'est que pour avoir du sens, il suppose que les disciplines étudiées soient mondialement intégrées. C'est le cas de la physique et de l'économie. Ce n'est pas le cas des SHS. Prenons l'exemple de la science politique : le marché mondial est dominé par les Etats-Unis. Résultat de ce simple effet de taille: les revues les plus cotées sont américaines. Mais en réalité, elles sont locales : elles publient des travaux d'analyse quantitative, statistique, sur des bases de données issues du système politique américain et de ses caractéristiques locales (organisation des partis, modes de scrutin...). Le reste du monde y occupe peu de place».


Ainsi, quand la revue Politics and society étudie les émeutes françaises de l'automne 2005, l'article est truffé d'une vingtaine erreurs factuelles, relevées par Fabien Jobard : trois morts et non deux, le 25 octobre et non le 27, des élections parlementaires en 1986 et non pas 1985....


Pour le chercheur, l'alignement sur des critères internationaux de rayonnement privilégie le classement sur le jugement, et pèse sur la nature des sciences sociales qui sont produites : «La science politique française travaille davantage de manière qualitative que quantitative, davantage de manière ethnographique, ajoute Fabien Jobard. Ce sont des choix de démarche scientifique, mais aussi la conséquence du sous-financement de la recherche : la constitution de bases de données est très coûteuse. Il faut soutenir la constitution de bases de données, sans pour autant s'aligner intellectuellement. Car si l'on examine quelle recherche française est aujourd'hui utilisée dans le monde, ce sont justement des chercheurs très éloignés des raisonnements quantitatifs, parfois même hostiles à eux : Lévi-Strauss, Foucault, Bourdieu, pour ne citer qu'eux

Prolongez la lecture de Mediapart Accès illimité au Journal contribution libre au Club Profitez de notre offre spéciale

 

L'évaluation de la recherche est une question classique. L'arrivée de nouveaux instruments de mesure, plus ou moins bibliométriques, fait débat dans la communauté. Chercheuses, chercheurs, évaluatrices et évaluateurs lecteurs de Mediapart, envoyez-nous vos témoignages, analyses, réflexions et critiques sur le sujet! Nous pourrons ainsi lancer le débat sur le site.