Notre dossier: gilets jaunes, Six mois de révolte des oubliés

Du lancement du «grand débat» à sa restitution, un processus biaisé

Quelle sera la valeur des restitutions du « grand débat » ? La question est complexe et dépend de nombreux critères : crédibilité des questionnaires, représentativité des contributions et construction des restitutions. Déjà, le lancement du questionnaire avait été très critiqué.

Romaric Godin

13 mars 2019 à 13h37

Cet article est en accès libre.

Pour soutenir Mediapart je m’abonne

PDF

Le « grand débat » touche officiellement à sa fin le 18 mars. Mais que va-t-il advenir des milliers de contributions des Français au cours de ces deux mois de débats ? L’exercice est inédit, mais il est aussi complexe, car le gouvernement, souhaitant désamorcer les accusations de manipulation, a promis « l’exhaustivité » et la « prise en compte » des contributions. Promesse qui ouvre en réalité plus de questions qu’elle n’en résout sur ce qui sortira concrètement du « débat », car, parallèle à cette exigence, il y en a une autre, celle d’un calendrier extrêmement serré. Outre la tenue des conférences thématiques et régionales dans le courant du mois de mars, il a été prévu que ce grand débat débouche sur un débat parlementaire début avril et des « décisions » présidentielles à la mi-avril.

Sur quoi cette deuxième phase du « débat » et ces décisions s’appuieront-elles ? Les Français qui ont participé seront-ils entendus ? Avant cela, encore faudrait-il que leur parole ait été réellement libre et correctement transmise. C’est là l’enjeu principal. Et la principale difficulté. Car les modes de transmission de cette parole ont été multiples, avec à chaque fois des risques de biais.

La plateforme en ligne : un biais évident

Première méthode : le formulaire en ligne sur le site du « grand débat ». Dans un premier temps, il était question de s’en tenir à ce document. Son existence avait été justifiée par le prestataire par le fait que l’on répondait « plus facilement à des questions fermées qu’à des questions ouvertes ». Mais la nature des questions, notamment sur la fiscalité et son financement, révélait un véritable biais. Ainsi, seul le cas d’une baisse d’impôt avec une baisse des dépenses publiques pour la financer était proposé.

Pour éviter ce biais, le collège des garants a proposé d’ajouter la possibilité de rédiger des contributions libres. Il en a fait un acte fondateur de son action et la preuve qu’il avait une influence positive sur ce débat. Cet ajout est sans doute positif, mais il pose néanmoins une question. Si, comme le prétend le prestataire de l’État, le taux de réponse est plus fort dans une question fermée, une case « libre » ne résout que partiellement le problème.

Pourquoi alors ne pas avoir exigé une série de questions fermées permettant de compléter le biais du formulaire en place. Par exemple, pourquoi ne pas avoir proposé une question ouvrant la possibilité à une hausse de certains impôts ? Si les participants ont tendance à répondre aux questions fermées et qu’on ne modifie pas ces dernières, on impose de fait un biais en créant une possibilité d’axer les contributions dans la direction souhaitée. La lecture de la restitution ne permettra pas de se dégager de ce biais.

La réponse des garants est qu’ils ont trouvé en arrivant ce formulaire et qu’il n’était pas possible de le modifier pour des questions de calendrier. Le collège a donc décidé de trouver une solution dans ce cadre imposé a priori par le gouvernement. Le biais ne sera donc que partiellement corrigé. C’est ici un des points qui restera central dans ce « grand débat » : l’organisation gouvernementale s’est imposée à des garants pleins de bonne volonté mais arrivés ensuite et incapables de modifier réellement cette structure, en raison du calendrier serré.

Les contributions issues de la plateforme en ligne seront ensuite traitées par OpinionWay. Le groupe a refusé de répondre aux questions de Mediapart sur la méthode utilisée, « les équipes étant débordées pour le moment ». On n’en saura donc pas davantage qu’un simple communiqué sur son site Internet. On y apprend que les contributions libres et les réponses aux questions ouvertes seront traitées par un outil développé par une entreprise française, QWAM Text Analytics, qui permet de « traiter l’exhaustivité des verbatim (…) grâce à des algorithmes puissants ». Un argument d’autorité qui ne permet cependant pas d’éclairer les critères selon lesquels ces données seront classés et analysées.

Car tout classement est un choix. Devant le nombre de contributions et leurs diversités, les réduire à des catégories et décider de celles qu’il faudra retenir ou non dans la synthèse ne peuvent être des décisions « objectives » : elles font l’objet d’un choix qui se traduit dans le paramétrage de l’algorithme. En l’absence d’explication du prestataire, cette question restera sans réponse.

OpinionWay précise cependant qu’il y aura une « intervention humaine systématique de la part des équipes d’OpinionWay », notamment afin de « s’assurer de la pertinence des données produites » et « de la bonne compréhension du sens des propos des participants ». Cette précision soulève là aussi plus de questions qu’elle suscite de réponses. Quel sera le niveau de cette « intervention humaine systématique » ? Quel sera son rôle exact ? Si l’algorithme est fiable, pourquoi doit-elle être systématique ?

Là encore, autant de questions en suspens… C’est d’autant plus gênant que deux membres du collège des garants ont assuré à Mediapart qu’il n’y avait pas de « deep learning » et d’intelligence artificielle dans le traitement des contributions, alors qu’OpinionWay revendique ces méthodes et prétend qu’elles ont été validées par le même collège des garants.

On n’en saura pas beaucoup plus non plus sur la synthèse que produira OpinionWay. Le collège des garants devra valider le traitement des données. Mais là encore, il convient de rappeler que, compte tenu du calendrier serré, les garants ne sauraient modifier en profondeur l’analyse d’OpinionWay. Dans le cas contraire, c’est l’ensemble du calendrier du gouvernement qui aurait risqué de s’effondrer. Or, les garants ont accepté le cadre, comme on l’a vu. D’ores et déjà, lorsque deux des membres de ce collège ont été rencontrés fin février, ces derniers estimaient que « les travaux des prestataires mis à l’épreuve par des conseils de chercheurs » ne posaient pas de problèmes particuliers.

Cahiers de doléances, RIL, écrits divers…

Concernant les autres modes de contribution – « cahiers de doléances » déposés en mairie, comptes-rendus de « réunion d’initiative locale » (RIL) ou encore contributions écrites envoyées par mail ou par courrier –, elles seront traitées par un autre prestataire, Roland Berger, un groupe de conseil aux entreprises, avec deux autres entreprises.

Comme dans le cas d’OpinionWay, le choix de Roland Berger n’est pas le fruit d’un appel d’offres spécifique au grand débat, mais s’est effectué dans le cadre de marchés déjà attribués. Là encore, la question du temps a été déterminante. Mais elle pose une question qui ne remet nullement en cause la qualité des prestataires choisis : le traitement d’un tel événement, censé apaiser une crise sociale et démocratique majeure, ne méritait-il pas de faire l’objet d’un cahier des charges spécifiques et d’une mise en concurrence, sous le contrôle du collège des garants des méthodes proposées ? La hâte l’aura, encore une fois, emporté.

La question des RIL et de leurs comptes-rendus a fait l’objet de plusieurs doutes. Si le matériel des cahiers de doléance et celui des contributions écrites est brut, directement issu des contributeurs, il n’en est pas de même pour le RIL. Les contributions sont issues de comptes-rendus eux-mêmes issus d’un « filtre », le scribe, mais aussi des conditions d’organisation de ces réunions et notamment des thèmes choisis et de la circulation de la parole. On lira à cet égard ce témoignage paru sur le Club de Mediapart. Les garants eux-mêmes se sont inquiétés de la confusion dans certaines réunions avec la communication de l'exécutif.

Comment alors traiter de telles données ? Chez Roland Berger, on explique que chaque compte-rendu sera considéré comme une seule contribution. Il n’y aura donc, dans le traitement, aucune pondération liée au nombre de participants ou au nombre de propositions effectuées au cours de la réunion.

Du côté du collège des garants, on se dit conscient de ces problèmes, mais il estime qu’il est toujours possible, si un participant n’est pas satisfait de ce compte-rendu ou n’a pas pu s’exprimer, de passer par la contribution directe ou les cahiers de doléances (clos depuis fin février). Bref, un RIL peut être le point de départ d’autres contributions. C’est possible, mais en réalité assez difficile à mettre en œuvre concrètement.

À la différence d’OpinionWay, Roland Berger a accepté de détailler sa méthode de traitement. La machine y joue un rôle important également, mais on réfute tout recours à l’intelligence artificielle. Grosso modo, les textes des cahiers de doléance, des comptes-rendus de RIL et de contributions écrites seront numérisés par la Bibliothèque nationale de France (BnF) puis retranscrits pour les contributions manuscrites. L’ensemble de ces données fera ensuite l’objet d’un traitement statistique qui identifiera des occurrences de termes les plus utilisés, puis un deuxième « scan » des données permettra de mettre en avant les termes associés à ces termes. Selon Roland Berger, l’humain intervient alors pour juger de la fiabilité, de la cohérence et de la pertinence des associations.

Là où l’IA analyse directement les propositions, cette méthode utilise un traitement statistique pour construire, par l’intervention humaine, des propositions classées. « Les propositions elles-mêmes viendront des textes rédigés par les Français », précise néanmoins un responsable de Roland Berger. Elles seront ensuite classées, dans des listes qui contiendront toutes celles qui sont apparues dans au moins 1 % des supports traités. « À chaque instant, l’humain intervient », indique-t-il. Pour chaque choix qui sera effectué, Roland Berger avance deux « sécurités » : d’une part, la « collégialité » de ces choix entre les différentes équipes et, d’autre part, une remontée « continue » de ces choix au collège des garants pour validation.

Quelle forme de restitution ? Pour quelle valeur ?

Reste la question centrale, celle de la restitution. Avec une double contrainte parfois contradictoire : il faut à la fois que chaque participant puisse « se retrouver » dans cette restitution et il faut qu’elle puisse être lisible pour pouvoir être exploitée par le monde politique, gouvernement comme opposition. C’est là une gageure.

Répondre à l’exigence d’exhaustivité rendra la lecture impossible et, partant, rendra la traduction politique de cette restitution forcément biaisée. Mais insister sur la lisibilité induit des choix qui, là aussi, conduiront à un biais. Au collège des garants, on convient que le « mode de restitution déterminera la traduction politique de ce grand débat » et que cette question de la restitution sera « la phase la plus difficile ».

Les rapports de restitution seront rédigés par les prestataires, après validation par le collège des garants. Le communiqué d’OpinionWay ne permet guère de savoir la forme et la nature de cette restitution concernant la plateforme internet. Chez Roland Berger, on convient que l’on ne peut actuellement être « très précis » sur la forme de la restitution. Globalement, les données devraient cependant être restituées sous deux formes parallèles. D’abord, une liste « quantitative », donnant les occurrences de propositions les plus fréquentes. Ensuite, des « arbres », regroupant dans son tronc les « groupes de propositions » les plus fréquemment cités ensemble, puis, dans les branches, des groupes moins denses. « L’objectif est de montrer les propositions qui sont fortement associées entre elles dans l’esprit de nos concitoyens », explique-t-on chez Roland Berger.

Tout cela ne permet pas réellement de répondre à la question de la lisibilité évoquée plus haut. Il convient cependant de se souvenir que cette difficulté qui prend la forme d’une véritable aporie est la conséquence de la façon dont ce débat a été conçu pas le gouvernement : non comme une discussion qui confronterait des points de vue pour dégager des consensus, mais bien plutôt comme de simples recueils de paroles. Restituer la diversité de ces paroles est un exercice complexe.

Dès lors surgit un autre problème : la valeur de cette restitution. Le collège des garants affirme vouloir que « le débat serve à quelque chose » et assure que ce sera le cas si la « restitution est compréhensible et lisible pour tout un chacun ». Mais ce débat, parce qu’il ne fait qu’exposer des propositions, parce qu’il n’a été utilisé que par une minorité, parce qu’il a un certain nombre de biais et de contraintes, ne saurait être considéré ni comme un sondage, ni comme une élection, ni comme un référendum.

On a vu que les RIL n’étaient pas traitées selon des pondérations de participation. Selon Le Parisien du 10 mars, les 330 000 contributions de la plateforme internet (hors questionnaire) ont été réalisées par 160 000 personnes. De fait, cela induirait que les contributions seraient concentrées sur le questionnaire en ligne dont on a vu le biais naturel. Enfin, la population participante serait sociologiquement assez proche de l’électorat de la LREM : urbain et plutôt aisé. Bref, la représentativité semble être très relative. Pour le collège des garants, il s’agit d’une « photographie de l’opinion ». Mais une photographie prise selon un angle très particulier.

Emmanuel Macron lors d'un débat à Etang-sur-Arroux, le 7 février 2019 © Reuters

Le goulet d’étranglement du calendrier

L’autre problème lié à la restitution est celui du calendrier. Il est extrêmement serré puisqu’une première version de la synthèse d’OpinionWay doit être disponible pour les Conférences citoyennes des 22 et 23 mars. Mais les restitutions ne seront achevées qu’en avril. Roland Berger affirme pouvoir remettre les synthèses « début avril ». Grosso modo, les prestataires vont disposer de seulement quelques semaines pour traiter plus de 1,5 million de contributions.

Chez Roland Berger, on affirme pouvoir faire face, sans moyens humains supplémentaires et le collège des garants considère qu’il a obtenu assez de garantie de ce point de vue.

Un tel calendrier pose cependant deux grands problèmes. Le premier est celui de la qualité des restitutions. Peut-on imaginer en si peu de temps disposer d’une restitution authentiquement fiable et complète, malgré les assurances des prestataires ? Le collège des garants admet qu’il existe « deux manières de voir les choses ». Selon eux, « l’une est que le calendrier est irréaliste et que cela se ressentira sur la qualité », mais la seconde serait que « le grand débat crée sa propre dynamique ». Les garants affirment n’avoir « jamais été confrontés à la nécessité de faire un arbitrage sur ce qu’on ne pourrait pas faire, faute de temps ».

Les garants précisent, du reste, qu’il ne « faut pas se focaliser sur les restitutions officielles qui devront être mise en concurrence avec d’autres ». C’est pourquoi le collège a demandé et obtenu la transparence complète des données. L’immense matériel sera donc disponible pour des restitutions alternatives, pour d’autres points de vue. C’est fort bien, mais ce « dialogue » entre les interprétations risque bien de demeurer un simple vœu.

Mais il y a plus gênant. Le calendrier du grand débat ne se prête guère à un tel exercice. Précisément parce que le gouvernement doit engager un débat parlementaire début avril sur les « résultats du grand débat » et que le président de la République doit prendre des « décisions » mi-avril. Pas le temps donc de faire un débat sur le grand débat.

Sauf qu’alors, même la restitution « officielle » ne sera disponible que depuis quelques jours lorsque l’Élysée devra prendre ses décisions. Or, selon le site du « grand débat » lui-même, le gouvernement « s’engage à prendre en compte tous les avis et propositions exprimés dans le respect de la méthode et des principes du débat ». Mais il semble évident désormais que les décisions du 15 avril ne devront pas grand-chose à ces contributions.

Globalement, la méthode de recueil, de restitution et de gestion politique de ces contributions apparaît donc comme posant bien davantage de questions qu’elles n’apportent de réponses. Leur représentativité, leur exhaustivité, leur traduction politique restent des défis qui ne garantissent rien à ceux qui ont participé aux débats. Mais ces questions ouvertes traduisent surtout des choix faits dans l’organisation de ce grand débat : une sorte de simple défouloir destiné à déboucher sur des synthèses difficilement interprétables et, partant, un exercice aisément récupérable.

Romaric Godin


41 commentaires

Nos émissions

À l'air libre
par à l’air libre
À l'air libre
par Berenice Gabriel et Célia Mebroukine
Grand entretien
par Justine Brabant
Ouvrez l’Élysée
par Usul et Ostpolitik

Soutenez un journal 100% indépendant Et informez-vous en toute confiance grâce à une rédaction libre de toutes pressions Mediapart est un quotidien d’information indépendant lancé en 2008, lu par plus de 200 000 abonnés. Il s’est imposé par ses scoops, investigations, reportages et analyses de l’actualité qui ont un impact, aident à penser et à agir.
Pour garantir la liberté de notre rédaction, sans compromis ni renoncement, nous avons fait le choix d’une indépendance radicale. Mediapart ne reçoit aucune aide ni de puissance publique, ni de mécène privé, et ne vit que du soutien de ses lecteurs.
Pour nous soutenir, abonnez-vous à partir de 1€.

Je m’abonne