Appel à articles
Numéro thématique de la revue Socio-économie du travail
oOo
Des politiques de l’emploi mises au régime de l'expérimentation sociale :
quel impact sur les démarches d’évaluation ?
Depuis son premier numéro en 2016, la revue Socio-économie du travail 1 documente la variété des
systèmes d’emploi et des formes de mobilisation du travail en croisant approches qualitatives
(monographie, enquête de terrain) et quantitatives (statistique ou économétrique). Dans une
perspective interdisciplinaire proche de la tradition anglo-saxonne des Industrial Relations, les articles
publiés décrivent et analysent cette variété en prêtant une attention particulière au rôle des institutions
dans l’économie et en développant une approche compréhensive de la réalité sociale.
Si Socio-économie du travail met fréquemment l’accent sur la dimension politique des dispositifs de
mobilisation du travail – voir, par exemple, le numéro 8 « Genre et politiques de l’emploi et du travail »
publié en 2002 –, la question de l’évaluation des politiques de l’emploi n’a pas encore été traitée
directement. L’affirmation depuis une vingtaine d’années de projets d’interventions publiques
« justifiées par la preuve » (evidence-based policy making) met pourtant au premier plan le rôle de
l’évaluation dans l’élaboration et la justification des politiques publiques. Ce rôle se manifeste
notamment par une banalisation du recours à l’expérimentation sociale dans une logique de
« démonstrateur », de preuve de concept (Proof Of Concept) ou de pilote. À part les thématiques
« Transport » ou « Santé », le domaine Travail/Emploi concentre aujourd’hui la plupart des
expérimentations en cours ou achevées, que ces dernières soient ou non menées sur le fondement de
l’article 37-1 de la Constitution. Avant tout essaimage ou généralisation, il s’agit notamment de pouvoir
attester de l’effet causal d’une intervention. S’inscrivant dans ce contexte, le présent appel à articles
propose de faire le point sur la réflexion et les résultats de l’approche socio-économique en matière
d’évaluation des mesures et dispositifs de la politique de l’emploi – entendue lato sensu (emploi, travail,
formation, insertion) –, spécialement lorsque l’évaluation en question est articulée à une
expérimentation sociale. Partant d’un état des lieux de l’évaluation des politiques de l’emploi
d’intention scientifique 2
en France, le présent appel souhaite ouvrir la revue aux travaux proposant une
approche pragmatique et pluraliste des processus d’évaluation. Les articles pourront concerner une
évaluation particulière de politique de l’emploi et/ou proposer une réflexion d’ordre plus
méthodologique sur les démarches d’évaluation elles-mêmes et leurs outils.
Transmission des intentions d’article : 10 octobre 2022
Notification de décision du comité de rédaction : 18 novembre 2022
Transmission des articles complets pour évaluation par les pairs : 17 avril 2023
1. Site de la revue : https://classiques-garnier.com/socio-economie-du-travail.html │ En savoir plus sur la revue Socio-économie du
travail : http://socioecotravail.hypotheses.org/
2. C’est-à-dire s’écartant d’une démarche purement administrative du type « gestion axée sur les résultats » (GAR) ou Results based
monitoring and evaluation (RBME).
– 2 –
L’évaluation d’intention scientifique en France
Lorsqu’on considère, sur les deux dernières décennies, le paysage de l’évaluation d’intention
scientifique des politiques de l’emploi en France (Labrousse et Zamora, 2013 ; Simonnet, 2014), trois
aspects sautent aux yeux : la forte implication des économètres, la forte visibilité et circulation de leurs
résultats, la forte intégration de ces résultats à l’analyse positive. Ceux-ci occasionnent des publications
dans les revues les plus prestigieuses et les comportements qu’ils s’efforcent de quantifier irriguent
largement la recherche en économie. Ces aspects donnent le sentiment d’une communauté de
spécialistes de l’évaluation réduite aux statisticiens-économistes (Bono et al., 2021). La commande
publique nationale ou internationale (notamment européenne) mobilise pourtant une grande variété
de disciplines : sciences politiques, sociologie, ergonomie, santé publique, psychologie sociale... Le fait
est que cette communauté étendue, et les approches pluridisciplinaires qu’elle revendique, n’a pas
structuré ses pratiques autour d’une revue dédiée à l’évaluation en France. Nombre de travaux ne
dépassent pas la phase du rapport au commanditaire : leur diffusion fait rarement l’objet d’un examen
par les pairs ; malgré leur qualité, ils se trouvent soustraits à la discussion scientifique (au risque parfois
d’alimenter un biais de publication). Cela contraste avec ce qui prévaut ailleurs où des revues
spécialisées ont émergé – Canadian Journal of Program evaluation, American Journal of Evaluation,
Evaluation Review, New directions for evaluation, Evaluation and program Planning et Evaluation… S’y
croisent des travaux d’évaluation relevant des principales disciplines des SHS, des approches
quantitative et qualitative de l’évaluation, mais aussi de vigoureuses discussions sur les méthodes mises
en œuvre, leur portée, leur articulation, leurs limites.
En France, cet espace éditorial de structuration pluridisciplinaire et pragmatique de l’évaluation
d’intention scientifique n’existe pas en tant que tel. Le présent appel entend pallier ponctuellement
cette absence pour ce qui concerne les politiques de l’emploi. Il s’agit en particulier de mettre en
discussion le développement constaté ces quinze dernières années, de nouvelles exigences
méthodologiques du côté des évaluations qualitatives (Revillard, 2018 ; Delahais et al., 2021) et d’une
application plus courante des méthodes mixtes à l’évaluation de politiques publiques (Duran et al.,
2018).
L’évaluation mixte
Les contributions pourront concerner l’évaluation de dispositifs précis, une réflexion sur la portée et les
limites des méthodes mises en œuvre ou l’articulation de la démarche d’évaluation à la recherche sur
le travail et l’emploi. Le questionnement s’inscrira notamment dans le contexte d’une prééminence de
l’expérimentation sociale. Quelle place respective du quanti- et du qualitatif ? Quels enjeux
méthodologiques ? Quelles relations entre évaluation et recherche positive ? La complexité des
politiques soumises à évaluation semble propice au rapprochement des démarches quanti- et
qualitative, à leur dialogue voire à leur hybridation (Harding et Seefeldt, 2013). Où en sont les approches
mixtes à cet égard ? Que nous ont appris les multiples travaux réalisés ces dernières années ? Quelles
innovations méthodologiques ont-ils portées ? Pour quels résultats ? Quelles contributions à
l’évaluation des politiques de l’emploi ?
Les politiques complexes
L’opportunité de ces questions tient notamment au développement de politiques publiques pouvant
être qualifiées de complexes (Stern et al., 2012, p. 50) : diversité des formes d’intervention (dispositions
– 3 –
réglementaires, incitations monétaires, mesures de contrôle, conseil et information,
accompagnement…), de leur durée (ponctuelle ou prolongée), des acteurs impliqués et des objectifs
poursuivis. Ces éléments de complexité sont omniprésents dans les politiques de l’emploi et de lutte
contre le chômage et vont probablement croissants. Quelques exemples récents de politiques
complexes comportant un volet emploi-travail : la Garantie Jeune (Erhel et Gautié, 2018),
l’expérimentation « Territoires zéro chômeur de longue durée » (Verkindt, 2019), le Crédit d’impôt pour
la compétitivité et l’emploi (Naboulet et al., 2021), les Ordonnances travail (Prouet et al., 2021), la loi
Pacte (Baïz, 2021), le Plan d’investissement dans les compétences (Bucher et al., 2021), la Stratégie
nationale de prévention et de lutte contre la pauvreté (France Stratégie, 2021), la loi de 2018 pour « la
liberté de choisir son avenir professionnel » (comprenant pas moins de 13 dispositions prises « à titre
expérimental »). Dans chacun de ces cas, l’intervention publique articule des dispositions plurielles
déployées dans des contextes variés. Cette complexité contrarie souvent les exigences des méthodes
quantitatives d’évaluation d’impact, leur mise en œuvre rigoureuse supposant la maîtrise de protocoles
définis (expérimentation contrôlée) 3
et/ou une compréhension fine des processus sociaux associés à
l’intervention (expérience naturelle). Ces difficultés révèlent l’importance d’adapter les protocoles
d’évaluation et de multiplier les éclairages en mobilisant pleinement la variété des approches
disponibles.
L’inférence causale
Quelle que soit l’approche mise en œuvre, l’évaluation d’intention scientifique est étroitement liée à
l’inférence causale. L’enjeu est de tirer de l’observation, la démonstration de relations de cause à effet
entre une intervention et des résultats. L’approche quantitative doit une part de sa prééminence à
l’importance de son corpus méthodologique en la matière. Quoi qu’elle n’en fasse pas toujours un usage
aussi explicite qu’on pourrait l’espérer, l’approche qualitative dispose aussi de références
méthodologiques lui permettant « l’identification causale » (Beach et Pedersen, 2016). Dans le cadre
d’études de cas, l’exercice consiste par exemple à s’interroger sur le caractère nécessaire et/ou suffisant
d’une circonstance dans la réalisation d’un effet à travers notamment la mobilisation du critère
« Inus » 4
(Mackie, 1965). L’inférence causale consistant à montrer qu’une association statistique reflète
une relation de cause à effet mobilise quant à elle volontiers la logique contrefactuelle (Lewis, 1973).
Articuler différents régimes de causalité (causalité formelle-contrefactuelle ; causalité productive et/ou
générative, etc.) n’est certes pas simple (Mahoney, 2008) ; au regard de la persistance des débats (en
particulier parmi les quantitativistes ; Dawid, 2000), pas sûr qu’il soit d’ailleurs judicieux d’en rechercher
une conception unitaire.
Où en est la réflexion en la matière ? Comment faire dialoguer les enseignements d’approches
sollicitant des conceptions différentes de la causalité ? En quoi consisterait une démarche
pragmatique et pluraliste lorsqu’il s’agit d’établir la causalité ? Les propositions d’articles aborderont
utilement ces questions.
Une variété de protocoles et de méthodes 5
Au-delà du type de causalité que l’étude de cas et l’analyse statistique utilisent, les deux approches
apparaissent complémentaires par les questions qu’elles permettent de traiter. Stern et al. (2012)
3. Pour l’évaluation des projets menés dans le cadre des Pactes régionaux d’investissement dans les compétences, l’annexe méthodologique
stipulait que « les projets [devaient] être évalués au moyen d’un protocole d’assignation aléatoire ».
4. Insufficient but Non-redundant parts of a condition which is itself Unnecessary but Sufficient for the occurrence of the effect.
5. Pour une discussion de la distinction entre protocole et méthode d’évaluation, Stern et alii (2012, p. 13).
– 4 –
distinguent trois groupes de protocoles d’évaluation (designs) selon les contextes et questions posées ;
chaque protocole peut solliciter diverses méthodes 6
. Le premier correspond à l’application du concept
économétrique de causalité à l’évaluation d’impact : l’intervention a-t-elle un impact (identification) ?
quel est son ampleur (mesure) ? Selon la disponibilité et la structure des données, on pourra solliciter,
entre autres stratégies éprouvées, l’appariement sur score de propension, l’exploitation d’un cadre
quasi-expérimental ou l’expérimentation contrôlée. Dawid (2000, p. 412) ajoute à cet arsenal inscrit
dans la logique contrefactuelle, l’approche « décisionnelle-analytique ». Le deuxième groupe de
protocoles s’intéresse à la variabilité du résultat de l’intervention selon les conditions de sa mise en
œuvre. Les méthodes employées relèvent de l’analyse de configurations : analyse quali-quantitative
comparée – Ragin (1987), approche par cas-type (screening) et analyse de leur structure (scoping). Le
troisième groupe s’intéresse aux raisons du résultat et aux mécanismes par lesquels l’intervention le
détermine : pourquoi et comment l’intervention produit un résultat donné ? Les protocoles mis en
œuvre sollicitent une théorie du changement et pourront notamment tenir de l’analyse de contribution
(Mayne, 2012) ou de la reconstitution de processus – Process tracing (Collier, 2011). Toujours dans une
perspective d’évaluation basée sur la théorie – theory-based evaluation (Weiss, 1997), décrire l’action
d’une intervention pourra mobiliser une analyse de congruence (entre les diverses explications
possibles, laquelle est la plus « congruente » avec les indices rassemblés ?) et appeler une démarche
d’évaluation réaliste pour documenter le rôle des acteurs de l’intervention et la manière dont ils
s’approprient (ou non) les dispositifs. Enfin, dans une perspective méta-analytique, des méthodes
permettent la recension systématique d’indices probants concernant l’action d’un dispositif (Belaid et
Ridde, 2020).
En décrivant la variété des protocoles et méthodes d’évaluation d’impact, la liste précédente entend
montrer le potentiel d’une conception pragmatique de l’évaluation. La question est souvent moins celle
du partage des rôles entre quanti et quali que celle de l’adaptation des protocoles d’évaluation au
contexte et aux besoins. L’objectif de mesurer un impact causal peut justifier une expérimentation
contrôlée, le faire rigoureusement requiert « d’aller sur le terrain » (« quali dans le quanti ») ; l’étude
de cas peut permettre de comprendre un processus causal en sollicitant l’analyse statistique (« quanti
dans le quali »). Certains enjeux méthodologiques franchissent d’ailleurs la « barrière des espèces »
(quali/quanti) : c’est le cas du rôle et du statut de la « théorie » dans l’évaluation d’impact (Delahais et
al., 2021). Le besoin et le contexte mériteraient d’être juge de paix.
Les articles rassemblés contribueront à la définition d’un bon usage du pluralisme méthodologique,
notamment à l’intention des commanditaires d’évaluation. Le présent appel s’adresse ainsi tout
particulièrement à des travaux mettant concrètement en œuvre une intention d’articulation des
méthodes dans l’exercice d’évaluation de politiques de l’emploi.
L’expérimentation au-delà de la fonction de démonstration
Un changement lié au contexte 7
et tenant à la place prise par l’expérimentation dans la conception
même des politiques publiques, confère à ces questionnements un sens nouveau. L’expérimentation
fait en effet aujourd’hui figure de bonne pratique, à condition qu’elle suive une « méthode rigoureuse »
(Conseil d'État, 2019, p. 13). Mais quel contour donner à l’expérimentation « rigoureuse » ?
6. Le cabinet Quadrant met à disposition une intéressante synthèse visuelle de cette classification sous la forme d’une arborescence
(https://www.quadrant-conseil.fr/ressources/ArbreImpact.html, Quadrant Conseil, 2017 – www.quadrant.coop).
7. Depuis notamment les débats relatifs à la loi constitutionnelle n° 2003-276 du 28 mars 2003.
– 5 –
A cet égard, les controverses d’ordre méthodologique – centrées sur la mesure des effets d’une
intervention –, devraient s’étendre à une clarification du statut de l’expérimentation au sein des
différents protocoles d’évaluation (cf. supra). Ce statut diffère en effet sensiblement suivant que
l’expérimentation est cadrée pour les besoins d’une évaluation (un peu comme dans la pratique du
laboratoire) ou qu’à l’inverse, l’évaluation – le plus souvent in itinere ou « embarquée » – se fait par ou
à travers un processus expérimental. Dans le second cas, l’évaluation doit « négocier » continûment son
existence avec des données de contexte, source de perturbations continuelles dans le déroulé d’un
programme d’intervention. Dans un cas donc – expérimentation pour l’évaluation – le cadre
expérimental est pensé et construit pour les besoins de la mesure d’impact dont il permet d’assurer la
qualité et le contrôle ; dans l’autre – évaluation par l’expérimentation – la situation d’évaluation est
créée pour les besoins d’une expérimentation nécessairement collective dont elle permet d’assurer la
qualité et le contrôle.
Le présent AAC souhaite, à travers cette distinction entre expérimentation « contrôlée » versus
évaluation « expérimentale », élargir ce que l’on peut admettre dans une démarche d’évaluation
d’intention scientifique. Quelle pratique « rigoureuse » de l’expérimentation sociale au-delà d’une
démarche consistant, pourrait-on dire, à « transformer le monde en laboratoire » ? Quels apports et
quelles limites par exemple des démarches d’évaluation participatives ? Et d’ailleurs, quel sens donner
à cette participation ? S’agit-il d’associer à l’évaluation – et de quelle manière – ceux qui constituent
les « ressortissants » d’une politique publique (Revillard, 2018) ; ceux qui la mettent en œuvre dans
une perspective Practice-Based Evidence (PBE) ? S’agit-il, plus simplement, d’actualiser le référent
« pluraliste » qui caractérisait naguère l’approche française en matière d’évaluation et la pratique de
l’expertise concertée entre représentants de la société civile organisée dont se réclamait l’ancien
Commissariat au Plan ?
L’appel à contributions se veut pluridisciplinaire, ouvert à toute proposition d’article original dans le
champ de l’économie et de la sociologie mais aussi d’autres disciplines (science politique par exemple).
Les propositions pourront concerner l’évaluation d’une mesure ou d’un dispositif particulier de la
politique de l’emploi, en restituer notamment la trajectoire et les résultats. Il s’agirait alors de lier la
discussion à un cas et d’éclairer les conditions de mise en œuvre concrètes d’une stratégie d’évaluation
donnée. Pour autant l’appel n’exclut pas les contributions privilégiant d’emblée une entrée
méthodologique dès lors qu’elles concernent l’articulation des démarches d’évaluation à des
expérimentations et puissent trouver des illustrations dans le domaine de l’emploi.
Calendrier des soumissions
Les intentions d’article (1000 à 1500 mots, bibliographie non incluse), en français ou en anglais, devront
être adressées au secrétariat de rédaction (set@classiques-garnier.com), ainsi qu’aux deux
coordinateurs (olivier.baguelin@univ-evry.fr, laurent.duclos@emploi.gouv.fr) avant le 10 octobre 2022.
Elles feront l’objet d’un examen par le comité de rédaction. La notification d’acceptation sera rendue
au plus tard le 18 novembre 2022.
Les auteurs et autrices dont la proposition aura été retenue devront soumettre leur texte au plus tard
le 17 avril 2023 sur la plateforme de la revue https://classiques-garnier.com/ojs/index.php/set/index.
Les articles ne devront pas dépasser 70 000 signes, bibliographie, notes et espaces compris. Ils seront
accompagnés d’un titre et d’un résumé en français et en anglais suivant les consignes développées ici.
– 6 –
Références
Baïz, A. (2021). Comité de suivi de la loi Pacte - Deuxième rapport. France Stratégie.
Belaid, L., & Ridde, V. (2020). Une cartographie de quelques méthodes de revues systématiques.
Ceped working paper n°44.
Bono, P.-H., Desplatz, R., Debu, S., & Lacouette-Fougère, C. (2021). Le lent développement des
évaluations d'impact en France : une approche par les acteurs. Revue française
d'administration publique n°177, pp. 17-28.
Brousselle, A., Buregeya, J. M. (2018). Theory-based evaluations: Framing the existence of a new
theory in evaluation and the rise of the 5th generation. Evaluation, 24(2), pp. 153-168.
Bucher, A., Fretel, A., Givord, P., Lima, L., & Morel, M. (2021). Second rapport du comité scientifique de
l'évaluation du Plan d'investissement dans les compétences. Dares.
Collier, D. (2011, October). Understanding Process Tracing. Political Science and Politics Vol. 44, N°4,
pp. 823-830.
Conseil d'État. (2019). Les expérimentations : comment innover dans la conduite des politiques
publiques ? Les études du Conseil d'État, La documentation française.
Dawid. (2000, June). Causal Inference without Counterfactual. Journal of the Amecian Statistical
Association vol. 95 n°450, pp. 407-424.
Delahais, T., Devaux-Spatarakis, A., Revillard, A., & Riddel, V. (2021). Evaluation : Fondements,
controverses, perspectives. Québec: Editions science et bien commun - ESBC.
Duran, P., Erhel, C., & Gautié, J. (2018). L'évaluation des politiques publiques : les sciences sociales à
l'épreuve. Idées économiques et sociales n°193. Réseau Canopé.
Erhel, C., & Gautié, J. (2018). La Garantie Jeunes : éléments d'évaluation et de comparaison
internationale. Travail et emploi n°153, pp. 5-14.
Harding, D. J., & Seefeldt, K. S. (2013). Mixed Methods and Causality Analysis. Handbooks of Sociology
and Social Research (S. L. Morgan, ed.). Springer Science + Business Media Dordrecht.
Labrousse, A., & Zamora, P. (2013). Expérimentations de terrain et politiques publiques du travail et
de l'emploi - Apports récents et mise en perspective. Travail et emploi n°135, pp. 5-13.
Mayne, J. (2012). Contribution analysis: Coming of age? Evaluation, pp. 270-280.
Naboulet, A., Baïz, A., & Tabarly, G. (2021). Evaluation du Crédit d'impôt pour la compétitivité et
l'emploi - Synthèse des travaux et approfondissements. France Stratégie.
Pin, C., & Barone, C. (2021). L'apport des méthodes mixtes à l'évaluation - Une expérimentation
randomisée dans le champ des politiques éducatives. Revue française de sciences politiques
vol. 71 n°3, pp. 391-412.
Prouet, E., & Naboulet, A. (2021). Evaluation des ordonnances travail du 22 septembre 2017 relatives
au dialogue social et aux relations de travail. France Stratégie.
Ragin, C. (1987). The Comparative Method. Moving beyond Qualitative and Quantitative Strategies.
Berkeley: University of California Press.
Revillard, A. (2018, Novembre). Quelle place pour les méthodes qualitatives dans l'évaluation des
politiques publiques ? Liepp Working paper n°81.
Simonnet, V. (2014). Evaluation des politiques actives du marché du travail. Travail et emploi n°139,
pp. 5-14.
Stern, E., Stame, N., Mayne, J., Forss, K., Davies, R., & Befani, B. (2012). Broadening the range of
designs and methods for impact evaluations. Report of a study commissioned by the
Department for International Development.
Verkindt, P.-Y. (2019). L'expérimentation "Territoires zéro chômeurs de longue durée". Regards n°56,
pp. 41-49.
Weiss, C. H. (1997). Theory-based impact evaluation: past, present, and future. New Directions for
Evaluation 76.
