Tribune publiée dans Libération, le 20 juin 2018

L’après-midi du 28 juin, l’Assemblée nationale accueillera le Printemps de l’évaluation, un colloque consacré à « l’évaluation des politiques publiques ». Il répond à la volonté des parlementaires de s’informer afin de remplir au mieux la mission d’évaluation qui leur est confiée par l’article 24 de la Constitution. Au-delà, cette rencontre peut préfigurer la mise en place en France d’une unité d’évaluation comparable aux Nudge Units mises en place au Royaume-Uni en 2010 et aux Etats-Unis en 2013. Si cette initiative des parlementaires est louable, elle pose cependant question, à plusieurs titres.

PUBLICITÉ

inRead invented by Teads
Le premier concerne l’absence de pluralisme, tant scientifique que politique. La majorité présidentielle occupera une large place dans l’animation de la conférence du 28 juin, avec quatre députés LREM et un député Modem. L’opposition n’y apparaîtra qu’à travers un seul député LR et une députée socialiste. Il est d’usage, dans les rencontres dites « scientifiques », qu’une diversité de points de vue de chercheurs spécialistes d’un domaine s’exprime. La connaissance progresse par confrontation de points de vue. Dans une réunion de ce type, généralement, chaque présentation est suivie d’une analyse critique par un discutant. Le but n’est pas d’aboutir à un consensus mais de saisir les limites liées aux hypothèses mobilisées et modes de traitement et d’extraction des données. Mais cette pluralité scientifique sera peu représentée parmi les universitaires qui interviendront lors de ce Printemps de l’évaluation. Dans cette journée, point d’exposés contradictoires signalant les avantages mais aussi les limites des propositions qui seront faites.

Un laboratoire, le J-PAL, et la méthode qu’il promeut occuperont le devant de la scène. Un grand nombre des présentations faites par des académiques le sera par des chercheurs affiliés à cet organisme ou proches de lui. Il a d’ailleurs dominé la préparation de la rencontre, comme la composition de son comité scientifique. En son sein, deux membres sur trois sont associés au J-PAL, alors que le 3e est fondateur et directeur de l’Institut des politiques publiques (IPP), une institution collaborant avec ce même laboratoire. La directrice du J-PAL introduira longuement la conférence. Or, leurs préconisations sont fortement inspirées par un même courant de pensée : l’économie comportementale et le paternalisme « nudge » consistant à aiguiller les individus vers ce que des experts estiment être les « bonnes » conduites individuelles.

Peu importeraient les affiliations et collaborations si le laboratoire J-PAL était le creuset d’une diversité de méthodes et d’approches et s’il était ouvert aux débats avec les autres chercheurs sur ses méthodes et ses présupposés scientifiques. Or, rien de tel. Selon ces chercheurs, l’unique voie pour évaluer des projets est l’expérimentation aléatoire. Inspirée des essais cliniques « randomisés », elle consiste à comparer l’évolution moyenne de deux groupes statistiquement comparables, l’un recevant un traitement, l’autre correspondant au groupe témoin.

La rencontre des sciences sociales avec d’autres savoirs, représentée ici par la transposition des essais cliniques, est positive. Ce type de rapprochement n’est pas nouveau en économie. Cette méthode d’évaluation a déjà été mobilisée dans le champ social et économique aux Etats-Unis dans les années 60, pour être confinée depuis à un nombre limité d’évaluations. La société américaine d’évaluation a appelé à l’usage d’une pluralité de méthodes. Il importe de tenir compte des limites identifiées de cette technique dans les sciences médicales et, encore plus, en sciences sociales.

Les tests par randomisation font certes leur preuve, mais dans un champ extrêmement limité d’interventions. Ils ne peuvent être promus comme la panacée pour évaluer toutes interventions publiques (ou privées). Un nombre croissant de spécialistes critiquent la méthode, de même que son impérialisme, notamment des lauréats du Nobel d’économie comme Angus Deaton, James Heckman et Joseph E. Stiglitz.

Une seconde critique importante concerne le coût : entre un 1/2 million et à 2 millions de dollars, voire plus pour une seule expérimentation. Ce coût peut même dépasser celui du projet évalué alors que la reproductibilité des conclusions à des projets a priori similaires est fortement mise en question. Leur justification en période de restriction budgétaire étonne donc.

Qu’importerait le prix si ces expérimentations étaient totalement fiables et utiles pour guider efficacement l’action publique ? Or, les sujets disponibles pour ces évaluations ne sont presque jamais représentatifs de l’ensemble de la population pour laquelle est mise en œuvre l’intervention ainsi testée. Et, dans la majorité des cas, ces sujets savent s’ils sont dans le groupe test ou témoin. C’est là un biais considérable : nous sommes loin des expérimentations en double aveugle pratiquées en médecine. Ces expérimentations ont en outre une portée restreinte parce que peu de projets et interventions se prêtent à ce type d’évaluations, cela pose la question des transformations structurelles. En effet, elles appellent des réponses sous forme de micro-interventions élémentaires au niveau individuel ou groupal, avec un effet moyen, simple et mesurable à court terme. Mais les politiques sociales sont nécessairement plus complexes que la simple administration d’une pilule. Ce faisant, les évaluations randomisées n’informent pas sur les changements macroéconomiques et institutionnels, les évolutions des filières et territoires. Les conséquences réelles positives comme négatives d’une intervention dépassent son impact immédiat sur ceux qui sont ainsi « traités ». Il ne faut jamais oublier que l’amélioration de la situation de certains peut entraîner une dégradation de la situation d’autres.

Ces limites ne sont pas une fatalité si cette méthode reste dans son périmètre de pertinence et si elle est associée à d’autres approches qualitatives comme quantitatives. Seule une compréhension systémique et pluraliste impliquant de véritables collaborations interdisciplinaires permet de répondre aux défaillances d’une méthode d’évaluation à l’intérêt réel mais très circonscrit. Aussi, en tant que chercheurs de divers champs et disciplines, nous appelons les parlementaires à veiller à organiser un débat scientifique réellement ouvert, à la hauteur des enjeux de société auxquels la France est confrontée.

Liste des premiers signataires : Philippe Batifoulier (Paris-13), Eveline Baumann (IRD), Florent Bédécarrats (Agence française de développement), Eric Berr (Université de Bordeaux), JérômeBlanc (Sciences-Po Lyon), Alain Caillé (Paris-Ouest-Nanterre), Gabriel Colletis (Toulouse-1), Laurent Cordonnier (Lille-1), Fabien Eloire (Lille-1), Anne Fretel (Lille-1), Jacques Généreux (Sciences-Po Paris), Gaël Giraud (CNRS), Isabelle Guérin (IRD), Frédéric Héran (Lille-1), Sophie Jallais (Paris-1), Florence Jany-Catrice (Lille-1), Arthur Jatteau (Lille-1), Wojtek Kalinowski (Institut Veblen), Thierry Kirat (CNRS), Smain Laacher (Université de Strasbourg), Agnès Labrousse (Université de Picardie), Thomas Lagoarde-Segot (Kedge Business School), Bernard Laurent (EM-Lyon Business School), Jean-Louis Laville (Cnam), Anne Leroy (Grenoble-Alpes), Jonathan Marie (Paris-13), Dominique Méda (Paris-Dauphine), Solène Morvant-Roux (Université de Genève), Bernard Paranque (Kedge Business School), Bernard Perret (Insee), Nicolas Postel (Lille-1), Emmanuelle Puissant (Grenoble-Alpes), Cécile Renouard (Essec), Christophe Revelli (Kedge Business School), François Roubaud (IRD), Hadrien Saiag (CNRS), Philippe Semenowicz (Paris-Est), Jean-Michel Servet (Institut des hautes études internationales et du développement), Richard Sobel (Lille-1), Bruno Théret (CNRS), Bruno Tinel (Paris-1), André Tiran (Lyon-2)