«Nous avons identifié six domaines où le CNRS exerce un leadership», expliquait la semaine dernière la ministre Valérie Pécresse pour annoncer la liste des disciplines destinées à rester dans l'organisme. Pas de doute, le ministère souhaite réorganiser la recherche publique autour de critères de performance, permettant de distinguer les supposés meilleurs laboratoires, unités, universités... des autres.
C'est déjà ce que souhaitait Nicolas Sarkozy dans son discours du 28 janvier à Orsay : «La compétition, ce n'est pas un mal, ça peut même stimuler.» Le «plan Campus» vient d'ailleurs de distinguer six universités qui se partageront cinq milliards d'euros pour progresser dans «l'excellence».
Cette approche, tout comme le nouveau dispositif de contrôle que met en place l'Agence d'évaluation de la recherche et de l'enseignement (Aeres), vise à inspecter les organismes de recherche tels que le CNRS et l'Inserm, mais aussi les universités et les écoles doctorales. Et elle suscite une inquiétude croissante.
En juin, l'agence va enclencher une phase décisive : la mise au point de son système d'évaluation. Elle recevra des représentants des sciences humaines et sociales, dites «SHS» (histoire, philosophie, science politique, sociologie, économie...), afin d'étudier avec eux la possibilité d'un classement des revues à comité de lecture.
Il s'agirait de distinguer les publications d'envergure mondiale (A), internationale (B), nationale (C), ainsi que de dresser une typologie des ouvrages (de compilation, de recherche...). A l'heure de l'évaluation, mieux vaudra présenter un maximum de publications de rang A plutôt que C.
Ce type de classements existe déjà. Il est notamment utilisé par la European science foundation (ESF), qui répartit les publications scientifiques entre «A», «B» et «C». Mais la rigidité de ce classement et son inadéquation avec les critères de l'évaluation qualitative lui attirent les plus vives critiques de chercheurs français. C'est pour tenter d'y répondre que l'Aeres s'apprête à consulter les scientifiques.
Le problème des classements tels que celui de l'ESF, analyse le sociologue Fabien Jobard, «c'est que pour avoir du sens, il suppose que les disciplines étudiées soient mondialement intégrées. C'est le cas de la physique et de l'économie. Ce n'est pas le cas des SHS. Prenons l'exemple de la science politique : le marché mondial est dominé par les Etats-Unis. Résultat de ce simple effet de taille: les revues les plus cotées sont américaines. Mais en réalité, elles sont locales : elles publient des travaux d'analyse quantitative, statistique, sur des bases de données issues du système politique américain et de ses caractéristiques locales (organisation des partis, modes de scrutin...). Le reste du monde y occupe peu de place».
Ainsi, quand la revue Politics and society étudie les émeutes françaises de l'automne 2005, l'article est truffé d'une vingtaine erreurs factuelles, relevées par Fabien Jobard : trois morts et non deux, le 25 octobre et non le 27, des élections parlementaires en 1986 et non pas 1985....
Pour le chercheur, l'alignement sur des critères internationaux de rayonnement privilégie le classement sur le jugement, et pèse sur la nature des sciences sociales qui sont produites : «La science politique française travaille davantage de manière qualitative que quantitative, davantage de manière ethnographique, ajoute Fabien Jobard. Ce sont des choix de démarche scientifique, mais aussi la conséquence du sous-financement de la recherche : la constitution de bases de données est très coûteuse. Il faut soutenir la constitution de bases de données, sans pour autant s'aligner intellectuellement. Car si l'on examine quelle recherche française est aujourd'hui utilisée dans le monde, ce sont justement des chercheurs très éloignés des raisonnements quantitatifs, parfois même hostiles à eux : Lévi-Strauss, Foucault, Bourdieu, pour ne citer qu'eux.»
La fin de l'évaluation par les pairs?
Le problème n'est pas spécifique aux sciences humaines et sociales, renchérit Philippe Buettgen, chercheur au Laboratoire d'études sur les monothéismes. Il est, plus généralement, «celui de la mesure de l'intérêt de nos travaux. Or, calculer des ratios de chercheurs "publiants" au sein des entités évaluées déplace le centre de gravité de l'expertise vers la publication, au détriment de l'acte individuel de jugement requis de tout évaluateur : on regarde la quantité de publications et plus du tout leur contenu».
L'Aeres est-elle en train de dénaturer l'évaluation en cherchant à la rationaliser ? Oui, répond Philippe Buettgen, vent debout contre une autre innovation du système Aeres : ses évaluateurs ne sont pas élus pour quatre ans, comme cela se passe pour ceux du Conseil national des universités et du comité national du CNRS, mais sont nommés par la présidence de l'agence, pour un an.
C'est ce que l'on appelle «l'évaluation par les pairs», un principe cher au monde académique, car censé garantir son autonomie. «C'est une révolution de l'évaluation, constate le chercheur, quand vous évaluez quelqu'un, vous avez des comptes à rendre. C'est une responsabilité énorme. Il y a un lien direct entre la nouvelle obsession de la quantification et le fait que les évaluateurs ne sont pas élus. Privés de la reconnaissance de leur communauté, ils n'ont plus comme légitimité possible que les grilles et les classements.»
Mais pour Denise Pumain, responsable des SHS à l'Aeres, la nomination des évaluateurs doit permettre de «choisir des experts pour des raisons seulement scientifiques, ce que ne réalisent pas toujours les élections, où des candidats l'emportent pour des raisons politiques ou syndicales. Et ne parviennent pas à faire représenter toutes les disciplines».
A l'Ecole normale supérieure, un collectif s'est mis en place au sein des laboratoires de sciences humaines et sociales (SHS) que le CNRS y compte, pour alerter la communauté scientifique sur le danger des réformes en préparation. Mardi 27 mai (
), à leur initiative, l'établissement de la rue d'Ulm a organisé ce qui avait tout de la tentative de prévention de conflit, entre représentants de l'Aeres et de l'Agence nationale de la recherche (ANR), et chercheurs en SHS, la discipline la plus menacée. Les échanges furent vifs.
Fétichisme numérologique
La bibliométrie, c'est-à-dire la mesure de la qualité du travail d'un individu ou d'un collectif au regard du nombre de ses publications, de l'importance de la revue où il publie son article, de l'occurrence de citation de son travail..., s'est développée aux Etats-Unis dans les années 1950 et 1960, mais avait jusqu'ici peu cours en France. Les sciences humaines et sociales y échappaient complètement.
Tout en reconnaissant que «le jugement qualitatif est autrement plus important», Denise Pumain, de l'Aeres, s'inquiète d'une autre difficulté pour la recherche hexagonale : «Du fait de la mondialisation, des pays utilisent la bibliométrie. L'effet pervers de ne pas faire comme eux, c'est que, dans certains secteurs, aucun Français ne publiera dans les revues.»
Et qui dit absence de Français dans les revues, dit aussi mauvais classement des labos de recherche et des universités dans les cotations internationales, à commencer par le fameux classement établi par l'université de Shangai, qui ne fait apparaître la première université française, Paris VI, qu'en 39e position. Ce que ne cessent de rappeler Nicolas Sarkozy et Valérie Pécresse.
Denise Pumain insiste donc : «Il nous faut des instruments de comparaison, même si cela donne l'impression qu'on s'intéresse surtout à l'évaluation quantitative, ce qui n'est pas le cas.»
La coordinatrice de l'Aeres pointe aussi le rôle croissant des médias, friands de ce type de statistiques, qui posent à la recherche la question «de l'audience, voire de l'audimat».
Même argument chez Jean-Michel Roddaz, coordinateur SHS de l'ANR : «Attention à un système national pas du tout cohérent avec les systèmes européen et international.»
La philosophe Sandra Laugier, elle aussi membre de l'Aeres, remarque pour sa part que «refuser de faire des listes de revues revient à laisser le champ libre à ceux qui en font... La philosophie n'a pas à craindre l'évaluation de ses productions. L'Aeres peut être une chance pour notre domaine, permettre l'émergence de disciplines minoritaires, et bénéficier aux petites équipes universitaires dynamiques aujourd'hui peu visibles et peu valorisées ».
Accès à la visibilité contre pédagogie positive ? Mais «pourquoi évalue-t-on ?, s'interroge Philippe Buettgen, pour que les chercheurs s'améliorent, ou pour progresser dans le classement de Shangai ? ». Historien, Michel Espagne craint de voir poindre une nouvelle chimère : un «fétichisme numérologique», une «utopie de la bibliométrie qui veut faire remplacer par Google l'évaluation par les spécialistes».