Appel à articles

Numéro thématique de la revue Socio-économie du travail

oOo

Des politiques de l’emploi mises au régime de l'expérimentation sociale :

quel impact sur les démarches d’évaluation ?

Depuis son premier numéro en 2016, la revue Socio-économie du travail 1 documente la variété des

systèmes d’emploi et des formes de mobilisation du travail en croisant approches qualitatives

(monographie, enquête de terrain) et quantitatives (statistique ou économétrique). Dans une

perspective interdisciplinaire proche de la tradition anglo-saxonne des Industrial Relations, les articles

publiés décrivent et analysent cette variété en prêtant une attention particulière au rôle des institutions

dans l’économie et en développant une approche compréhensive de la réalité sociale.

Si Socio-économie du travail met fréquemment l’accent sur la dimension politique des dispositifs de

mobilisation du travail – voir, par exemple, le numéro 8 « Genre et politiques de l’emploi et du travail »

publié en 2002 –, la question de l’évaluation des politiques de l’emploi n’a pas encore été traitée

directement. L’affirmation depuis une vingtaine d’années de projets d’interventions publiques

« justifiées par la preuve » (evidence-based policy making) met pourtant au premier plan le rôle de

l’évaluation dans l’élaboration et la justification des politiques publiques. Ce rôle se manifeste

notamment par une banalisation du recours à l’expérimentation sociale dans une logique de

« démonstrateur », de preuve de concept (Proof Of Concept) ou de pilote. À part les thématiques

« Transport » ou « Santé », le domaine Travail/Emploi concentre aujourd’hui la plupart des

expérimentations en cours ou achevées, que ces dernières soient ou non menées sur le fondement de

l’article 37-1 de la Constitution. Avant tout essaimage ou généralisation, il s’agit notamment de pouvoir

attester de l’effet causal d’une intervention. S’inscrivant dans ce contexte, le présent appel à articles

propose de faire le point sur la réflexion et les résultats de l’approche socio-économique en matière

d’évaluation des mesures et dispositifs de la politique de l’emploi – entendue lato sensu (emploi, travail,

formation, insertion) –, spécialement lorsque l’évaluation en question est articulée à une

expérimentation sociale. Partant d’un état des lieux de l’évaluation des politiques de l’emploi

d’intention scientifique 2

en France, le présent appel souhaite ouvrir la revue aux travaux proposant une

approche pragmatique et pluraliste des processus d’évaluation. Les articles pourront concerner une

évaluation particulière de politique de l’emploi et/ou proposer une réflexion d’ordre plus

méthodologique sur les démarches d’évaluation elles-mêmes et leurs outils.

 Transmission des intentions d’article : 10 octobre 2022

 Notification de décision du comité de rédaction : 18 novembre 2022

 Transmission des articles complets pour évaluation par les pairs : 17 avril 2023

1. Site de la revue : https://classiques-garnier.com/socio-economie-du-travail.html │ En savoir plus sur la revue Socio-économie du

travail : http://socioecotravail.hypotheses.org/

2. C’est-à-dire s’écartant d’une démarche purement administrative du type « gestion axée sur les résultats » (GAR) ou Results based

monitoring and evaluation (RBME).

– 2 –

L’évaluation d’intention scientifique en France

Lorsqu’on considère, sur les deux dernières décennies, le paysage de l’évaluation d’intention

scientifique des politiques de l’emploi en France (Labrousse et Zamora, 2013 ; Simonnet, 2014), trois

aspects sautent aux yeux : la forte implication des économètres, la forte visibilité et circulation de leurs

résultats, la forte intégration de ces résultats à l’analyse positive. Ceux-ci occasionnent des publications

dans les revues les plus prestigieuses et les comportements qu’ils s’efforcent de quantifier irriguent

largement la recherche en économie. Ces aspects donnent le sentiment d’une communauté de

spécialistes de l’évaluation réduite aux statisticiens-économistes (Bono et al., 2021). La commande

publique nationale ou internationale (notamment européenne) mobilise pourtant une grande variété

de disciplines : sciences politiques, sociologie, ergonomie, santé publique, psychologie sociale... Le fait

est que cette communauté étendue, et les approches pluridisciplinaires qu’elle revendique, n’a pas

structuré ses pratiques autour d’une revue dédiée à l’évaluation en France. Nombre de travaux ne

dépassent pas la phase du rapport au commanditaire : leur diffusion fait rarement l’objet d’un examen

par les pairs ; malgré leur qualité, ils se trouvent soustraits à la discussion scientifique (au risque parfois

d’alimenter un biais de publication). Cela contraste avec ce qui prévaut ailleurs où des revues

spécialisées ont émergé – Canadian Journal of Program evaluation, American Journal of Evaluation,

Evaluation Review, New directions for evaluation, Evaluation and program Planning et Evaluation… S’y

croisent des travaux d’évaluation relevant des principales disciplines des SHS, des approches

quantitative et qualitative de l’évaluation, mais aussi de vigoureuses discussions sur les méthodes mises

en œuvre, leur portée, leur articulation, leurs limites.

En France, cet espace éditorial de structuration pluridisciplinaire et pragmatique de l’évaluation

d’intention scientifique n’existe pas en tant que tel. Le présent appel entend pallier ponctuellement

cette absence pour ce qui concerne les politiques de l’emploi. Il s’agit en particulier de mettre en

discussion le développement constaté ces quinze dernières années, de nouvelles exigences

méthodologiques du côté des évaluations qualitatives (Revillard, 2018 ; Delahais et al., 2021) et d’une

application plus courante des méthodes mixtes à l’évaluation de politiques publiques (Duran et al.,

2018).

L’évaluation mixte

Les contributions pourront concerner l’évaluation de dispositifs précis, une réflexion sur la portée et les

limites des méthodes mises en œuvre ou l’articulation de la démarche d’évaluation à la recherche sur

le travail et l’emploi. Le questionnement s’inscrira notamment dans le contexte d’une prééminence de

l’expérimentation sociale. Quelle place respective du quanti- et du qualitatif ? Quels enjeux

méthodologiques ? Quelles relations entre évaluation et recherche positive ? La complexité des

politiques soumises à évaluation semble propice au rapprochement des démarches quanti- et

qualitative, à leur dialogue voire à leur hybridation (Harding et Seefeldt, 2013). Où en sont les approches

mixtes à cet égard ? Que nous ont appris les multiples travaux réalisés ces dernières années ? Quelles

innovations méthodologiques ont-ils portées ? Pour quels résultats ? Quelles contributions à

l’évaluation des politiques de l’emploi ?

Les politiques complexes

L’opportunité de ces questions tient notamment au développement de politiques publiques pouvant

être qualifiées de complexes (Stern et al., 2012, p. 50) : diversité des formes d’intervention (dispositions

– 3 –

réglementaires, incitations monétaires, mesures de contrôle, conseil et information,

accompagnement…), de leur durée (ponctuelle ou prolongée), des acteurs impliqués et des objectifs

poursuivis. Ces éléments de complexité sont omniprésents dans les politiques de l’emploi et de lutte

contre le chômage et vont probablement croissants. Quelques exemples récents de politiques

complexes comportant un volet emploi-travail : la Garantie Jeune (Erhel et Gautié, 2018),

l’expérimentation « Territoires zéro chômeur de longue durée » (Verkindt, 2019), le Crédit d’impôt pour

la compétitivité et l’emploi (Naboulet et al., 2021), les Ordonnances travail (Prouet et al., 2021), la loi

Pacte (Baïz, 2021), le Plan d’investissement dans les compétences (Bucher et al., 2021), la Stratégie

nationale de prévention et de lutte contre la pauvreté (France Stratégie, 2021), la loi de 2018 pour « la

liberté de choisir son avenir professionnel » (comprenant pas moins de 13 dispositions prises « à titre

expérimental »). Dans chacun de ces cas, l’intervention publique articule des dispositions plurielles

déployées dans des contextes variés. Cette complexité contrarie souvent les exigences des méthodes

quantitatives d’évaluation d’impact, leur mise en œuvre rigoureuse supposant la maîtrise de protocoles

définis (expérimentation contrôlée) 3

et/ou une compréhension fine des processus sociaux associés à

l’intervention (expérience naturelle). Ces difficultés révèlent l’importance d’adapter les protocoles

d’évaluation et de multiplier les éclairages en mobilisant pleinement la variété des approches

disponibles.

L’inférence causale

Quelle que soit l’approche mise en œuvre, l’évaluation d’intention scientifique est étroitement liée à

l’inférence causale. L’enjeu est de tirer de l’observation, la démonstration de relations de cause à effet

entre une intervention et des résultats. L’approche quantitative doit une part de sa prééminence à

l’importance de son corpus méthodologique en la matière. Quoi qu’elle n’en fasse pas toujours un usage

aussi explicite qu’on pourrait l’espérer, l’approche qualitative dispose aussi de références

méthodologiques lui permettant « l’identification causale » (Beach et Pedersen, 2016). Dans le cadre

d’études de cas, l’exercice consiste par exemple à s’interroger sur le caractère nécessaire et/ou suffisant

d’une circonstance dans la réalisation d’un effet à travers notamment la mobilisation du critère

« Inus » 4

(Mackie, 1965). L’inférence causale consistant à montrer qu’une association statistique reflète

une relation de cause à effet mobilise quant à elle volontiers la logique contrefactuelle (Lewis, 1973).

Articuler différents régimes de causalité (causalité formelle-contrefactuelle ; causalité productive et/ou

générative, etc.) n’est certes pas simple (Mahoney, 2008) ; au regard de la persistance des débats (en

particulier parmi les quantitativistes ; Dawid, 2000), pas sûr qu’il soit d’ailleurs judicieux d’en rechercher

une conception unitaire.

Où en est la réflexion en la matière ? Comment faire dialoguer les enseignements d’approches

sollicitant des conceptions différentes de la causalité ? En quoi consisterait une démarche

pragmatique et pluraliste lorsqu’il s’agit d’établir la causalité ? Les propositions d’articles aborderont

utilement ces questions.

Une variété de protocoles et de méthodes 5

Au-delà du type de causalité que l’étude de cas et l’analyse statistique utilisent, les deux approches

apparaissent complémentaires par les questions qu’elles permettent de traiter. Stern et al. (2012)

3. Pour l’évaluation des projets menés dans le cadre des Pactes régionaux d’investissement dans les compétences, l’annexe méthodologique

stipulait que « les projets [devaient] être évalués au moyen d’un protocole d’assignation aléatoire ».

4. Insufficient but Non-redundant parts of a condition which is itself Unnecessary but Sufficient for the occurrence of the effect.

5. Pour une discussion de la distinction entre protocole et méthode d’évaluation, Stern et alii (2012, p. 13).

– 4 –

distinguent trois groupes de protocoles d’évaluation (designs) selon les contextes et questions posées ;

chaque protocole peut solliciter diverses méthodes 6

. Le premier correspond à l’application du concept

économétrique de causalité à l’évaluation d’impact : l’intervention a-t-elle un impact (identification) ?

quel est son ampleur (mesure) ? Selon la disponibilité et la structure des données, on pourra solliciter,

entre autres stratégies éprouvées, l’appariement sur score de propension, l’exploitation d’un cadre

quasi-expérimental ou l’expérimentation contrôlée. Dawid (2000, p. 412) ajoute à cet arsenal inscrit

dans la logique contrefactuelle, l’approche « décisionnelle-analytique ». Le deuxième groupe de

protocoles s’intéresse à la variabilité du résultat de l’intervention selon les conditions de sa mise en

œuvre. Les méthodes employées relèvent de l’analyse de configurations : analyse quali-quantitative

comparée – Ragin (1987), approche par cas-type (screening) et analyse de leur structure (scoping). Le

troisième groupe s’intéresse aux raisons du résultat et aux mécanismes par lesquels l’intervention le

détermine : pourquoi et comment l’intervention produit un résultat donné ? Les protocoles mis en

œuvre sollicitent une théorie du changement et pourront notamment tenir de l’analyse de contribution

(Mayne, 2012) ou de la reconstitution de processus – Process tracing (Collier, 2011). Toujours dans une

perspective d’évaluation basée sur la théorie – theory-based evaluation (Weiss, 1997), décrire l’action

d’une intervention pourra mobiliser une analyse de congruence (entre les diverses explications

possibles, laquelle est la plus « congruente » avec les indices rassemblés ?) et appeler une démarche

d’évaluation réaliste pour documenter le rôle des acteurs de l’intervention et la manière dont ils

s’approprient (ou non) les dispositifs. Enfin, dans une perspective méta-analytique, des méthodes

permettent la recension systématique d’indices probants concernant l’action d’un dispositif (Belaid et

Ridde, 2020).

En décrivant la variété des protocoles et méthodes d’évaluation d’impact, la liste précédente entend

montrer le potentiel d’une conception pragmatique de l’évaluation. La question est souvent moins celle

du partage des rôles entre quanti et quali que celle de l’adaptation des protocoles d’évaluation au

contexte et aux besoins. L’objectif de mesurer un impact causal peut justifier une expérimentation

contrôlée, le faire rigoureusement requiert « d’aller sur le terrain » (« quali dans le quanti ») ; l’étude

de cas peut permettre de comprendre un processus causal en sollicitant l’analyse statistique (« quanti

dans le quali »). Certains enjeux méthodologiques franchissent d’ailleurs la « barrière des espèces »

(quali/quanti) : c’est le cas du rôle et du statut de la « théorie » dans l’évaluation d’impact (Delahais et

al., 2021). Le besoin et le contexte mériteraient d’être juge de paix.

Les articles rassemblés contribueront à la définition d’un bon usage du pluralisme méthodologique,

notamment à l’intention des commanditaires d’évaluation. Le présent appel s’adresse ainsi tout

particulièrement à des travaux mettant concrètement en œuvre une intention d’articulation des

méthodes dans l’exercice d’évaluation de politiques de l’emploi.

L’expérimentation au-delà de la fonction de démonstration

Un changement lié au contexte 7

et tenant à la place prise par l’expérimentation dans la conception

même des politiques publiques, confère à ces questionnements un sens nouveau. L’expérimentation

fait en effet aujourd’hui figure de bonne pratique, à condition qu’elle suive une « méthode rigoureuse »

(Conseil d'État, 2019, p. 13). Mais quel contour donner à l’expérimentation « rigoureuse » ?

6. Le cabinet Quadrant met à disposition une intéressante synthèse visuelle de cette classification sous la forme d’une arborescence

(https://www.quadrant-conseil.fr/ressources/ArbreImpact.html, Quadrant Conseil, 2017 – www.quadrant.coop).

7. Depuis notamment les débats relatifs à la loi constitutionnelle n° 2003-276 du 28 mars 2003.

– 5 –

A cet égard, les controverses d’ordre méthodologique – centrées sur la mesure des effets d’une

intervention –, devraient s’étendre à une clarification du statut de l’expérimentation au sein des

différents protocoles d’évaluation (cf. supra). Ce statut diffère en effet sensiblement suivant que

l’expérimentation est cadrée pour les besoins d’une évaluation (un peu comme dans la pratique du

laboratoire) ou qu’à l’inverse, l’évaluation – le plus souvent in itinere ou « embarquée » – se fait par ou

à travers un processus expérimental. Dans le second cas, l’évaluation doit « négocier » continûment son

existence avec des données de contexte, source de perturbations continuelles dans le déroulé d’un

programme d’intervention. Dans un cas donc – expérimentation pour l’évaluation – le cadre

expérimental est pensé et construit pour les besoins de la mesure d’impact dont il permet d’assurer la

qualité et le contrôle ; dans l’autre – évaluation par l’expérimentation – la situation d’évaluation est

créée pour les besoins d’une expérimentation nécessairement collective dont elle permet d’assurer la

qualité et le contrôle.

Le présent AAC souhaite, à travers cette distinction entre expérimentation « contrôlée » versus

évaluation « expérimentale », élargir ce que l’on peut admettre dans une démarche d’évaluation

d’intention scientifique. Quelle pratique « rigoureuse » de l’expérimentation sociale au-delà d’une

démarche consistant, pourrait-on dire, à « transformer le monde en laboratoire » ? Quels apports et

quelles limites par exemple des démarches d’évaluation participatives ? Et d’ailleurs, quel sens donner

à cette participation ? S’agit-il d’associer à l’évaluation – et de quelle manière – ceux qui constituent

les « ressortissants » d’une politique publique (Revillard, 2018) ; ceux qui la mettent en œuvre dans

une perspective Practice-Based Evidence (PBE) ? S’agit-il, plus simplement, d’actualiser le référent

« pluraliste » qui caractérisait naguère l’approche française en matière d’évaluation et la pratique de

l’expertise concertée entre représentants de la société civile organisée dont se réclamait l’ancien

Commissariat au Plan ?

L’appel à contributions se veut pluridisciplinaire, ouvert à toute proposition d’article original dans le

champ de l’économie et de la sociologie mais aussi d’autres disciplines (science politique par exemple).

Les propositions pourront concerner l’évaluation d’une mesure ou d’un dispositif particulier de la

politique de l’emploi, en restituer notamment la trajectoire et les résultats. Il s’agirait alors de lier la

discussion à un cas et d’éclairer les conditions de mise en œuvre concrètes d’une stratégie d’évaluation

donnée. Pour autant l’appel n’exclut pas les contributions privilégiant d’emblée une entrée

méthodologique dès lors qu’elles concernent l’articulation des démarches d’évaluation à des

expérimentations et puissent trouver des illustrations dans le domaine de l’emploi.

Calendrier des soumissions

Les intentions d’article (1000 à 1500 mots, bibliographie non incluse), en français ou en anglais, devront

être adressées au secrétariat de rédaction (set@classiques-garnier.com), ainsi qu’aux deux

coordinateurs (olivier.baguelin@univ-evry.fr, laurent.duclos@emploi.gouv.fr) avant le 10 octobre 2022.

Elles feront l’objet d’un examen par le comité de rédaction. La notification d’acceptation sera rendue

au plus tard le 18 novembre 2022.

Les auteurs et autrices dont la proposition aura été retenue devront soumettre leur texte au plus tard

le 17 avril 2023 sur la plateforme de la revue https://classiques-garnier.com/ojs/index.php/set/index.

Les articles ne devront pas dépasser 70 000 signes, bibliographie, notes et espaces compris. Ils seront

accompagnés d’un titre et d’un résumé en français et en anglais suivant les consignes développées ici.

– 6 –

Références

Baïz, A. (2021). Comité de suivi de la loi Pacte - Deuxième rapport. France Stratégie.

Belaid, L., & Ridde, V. (2020). Une cartographie de quelques méthodes de revues systématiques.

Ceped working paper n°44.

Bono, P.-H., Desplatz, R., Debu, S., & Lacouette-Fougère, C. (2021). Le lent développement des

évaluations d'impact en France : une approche par les acteurs. Revue française

d'administration publique n°177, pp. 17-28.

Brousselle, A., Buregeya, J. M. (2018). Theory-based evaluations: Framing the existence of a new

theory in evaluation and the rise of the 5th generation. Evaluation, 24(2), pp. 153-168.

Bucher, A., Fretel, A., Givord, P., Lima, L., & Morel, M. (2021). Second rapport du comité scientifique de

l'évaluation du Plan d'investissement dans les compétences. Dares.

Collier, D. (2011, October). Understanding Process Tracing. Political Science and Politics Vol. 44, N°4,

pp. 823-830.

Conseil d'État. (2019). Les expérimentations : comment innover dans la conduite des politiques

publiques ? Les études du Conseil d'État, La documentation française.

Dawid. (2000, June). Causal Inference without Counterfactual. Journal of the Amecian Statistical

Association vol. 95 n°450, pp. 407-424.

Delahais, T., Devaux-Spatarakis, A., Revillard, A., & Riddel, V. (2021). Evaluation : Fondements,

controverses, perspectives. Québec: Editions science et bien commun - ESBC.

Duran, P., Erhel, C., & Gautié, J. (2018). L'évaluation des politiques publiques : les sciences sociales à

l'épreuve. Idées économiques et sociales n°193. Réseau Canopé.

Erhel, C., & Gautié, J. (2018). La Garantie Jeunes : éléments d'évaluation et de comparaison

internationale. Travail et emploi n°153, pp. 5-14.

Harding, D. J., & Seefeldt, K. S. (2013). Mixed Methods and Causality Analysis. Handbooks of Sociology

and Social Research (S. L. Morgan, ed.). Springer Science + Business Media Dordrecht.

Labrousse, A., & Zamora, P. (2013). Expérimentations de terrain et politiques publiques du travail et

de l'emploi - Apports récents et mise en perspective. Travail et emploi n°135, pp. 5-13.

Mayne, J. (2012). Contribution analysis: Coming of age? Evaluation, pp. 270-280.

Naboulet, A., Baïz, A., & Tabarly, G. (2021). Evaluation du Crédit d'impôt pour la compétitivité et

l'emploi - Synthèse des travaux et approfondissements. France Stratégie.

Pin, C., & Barone, C. (2021). L'apport des méthodes mixtes à l'évaluation - Une expérimentation

randomisée dans le champ des politiques éducatives. Revue française de sciences politiques

vol. 71 n°3, pp. 391-412.

Prouet, E., & Naboulet, A. (2021). Evaluation des ordonnances travail du 22 septembre 2017 relatives

au dialogue social et aux relations de travail. France Stratégie.

Ragin, C. (1987). The Comparative Method. Moving beyond Qualitative and Quantitative Strategies.

Berkeley: University of California Press.

Revillard, A. (2018, Novembre). Quelle place pour les méthodes qualitatives dans l'évaluation des

politiques publiques ? Liepp Working paper n°81.

Simonnet, V. (2014). Evaluation des politiques actives du marché du travail. Travail et emploi n°139,

pp. 5-14.

Stern, E., Stame, N., Mayne, J., Forss, K., Davies, R., & Befani, B. (2012). Broadening the range of

designs and methods for impact evaluations. Report of a study commissioned by the

Department for International Development.

Verkindt, P.-Y. (2019). L'expérimentation "Territoires zéro chômeurs de longue durée". Regards n°56,

pp. 41-49.

Weiss, C. H. (1997). Theory-based impact evaluation: past, present, and future. New Directions for

Evaluation 76.