Dossier 3: Introduction à l’évaluation des politiques publiques Yannick Lucotte Sciences Po Paris 27 septembre 2013 [email protected] / [email protected]

1

Dossier 3 – Concepts importants

Expériences aléatoires (ou expériences contrôlées): La détermination du groupe qui bénéficiera de la mesure (groupe des «traités») et du groupe qui n’en bénéficiera pas (groupe des «nontraités») au sein d’une population d’individus très similaire résulte d’un choix aléatoire (randomization) → c.à.d. que le groupe de contrôle et le groupe de traitement sont choisis par le chercheur de manière aléatoire → on cherche ensuite à identifier l’effet causal (i.e. du traitement) à travers l’application de la méthode des doubles différences (diff-indiff) Le Laboratoire d’Action contre la Pauvreté (J-PAL), fondé en 2003 au MIT par Abhijit Banerjee, Esther Duflo et Sendhil Mullainathan, a fondé sa réputation sur l’utilisation exclusive d’expériences contrôlées pour mesurer les effets des programmes sociaux et de lutte contre la 2 pauvreté 

Dossier 3 – Concepts importants

Toutefois, les expériences aléatoires ne peuvent pas toujours être mises, et ce pour 2 raisons principales: difficilement acceptables d’un point de vue éthique, et protocole d’expérimentation coûteux → dans ce cas, l’évaluation peut reposer sur une expérience qualifiée de «naturelle» -

3

Dossier 3 – Concepts importants

Expériences naturelles: désigne des situations dans lesquelles un «choc» exogène affecte l’environnement économique des agents et permet d’identifier des relations causales → ex: relèvement de l’âge de fin d’études obligatoires, modification dans l’attribution des aides sociales, ciblage territorial de certaines politiques publiques, etc. 

Dans le domaine des politiques publiques, cette approche peut être appliquée lorsque les bénéficiaires d’un dispositif sont sélectionnés à partir de critères difficilement manipulables, comme l’âge, le niveau d’éducation ou encore la région de résidence → L’impact du dispositif être alors estimé en utilisant les critères exogènes d’attribution pour identifier des groupes d’individus4 comparables de bénéficiaires et de non-bénéficiaires -

Dossier 3 – Concepts importants

Important! Ici, le principe du contrefactuel reste identique: trouver un groupe de contrôle comparable, mais non soumis à la politique publique (c.à.d. qui n’a pas reçu le « traitement ») En revanche, le contrefactuel ne résulte pas d’une affectation aléatoire réalisée par l’évaluateur, mais de l’observation d’une mesure de politique publique réelle, qui aboutit à modifier l’environnement de certains agents, alors que d’autres ne sont pas affectés (du fait par ex. des critères d’âge, de revenu ou de localisation géographique retenus) → on cherche ensuite à identifier l’effet causal (i.e. du traitement) à travers l’application de la méthode des doubles différences (diff-indiff) -

5

Dossier 3 – Concepts importants

 -

1.

2.

3.

4.

Méthode des doubles différences (ou différence de différences): L’introduction d’une nouvelle mesure de politique publique permet d’observer la variable d’intérêt, ou variable de résultat/output (salaire, absentéisme, santé,…) pour 4 sous-populations distinctes: Les agents concernés par la mesure («traités») avant l’introduction de celle-ci Les agents concernés par la mesure («traités») après l’introduction de celle-ci Les agents non concernés par la mesure («non-traités») avant l’introduction de celle-ci Les agents non concernés par la mesure («non-traités») après l’introduction de celle-ci 6

Dossier 3 – Concepts importants

Comparer la situation des « traités » et des « non-traités » après l’introduction de la mesure ne permet pas d’identifier l’effet causal de la mesure → ces 2 populations (traités et non-traités) n’ont pas été choisies de manière aléatoire, mais sur la base de critères administratifs ou politiques → l’écart entre ces 2 groupes peut donc provenir de différences de caractéristiques individuelles, et pas seulement de l’effet du traitement De la même manière, comparer la situation des seuls « traités » avant et après l’introduction de la mesure n’est pas une bonne approche → l’évolution de la situation des individus « traités » peut résulter de modifications de l’environnement économique, sans lien avec la 7 mesure de politique publique -

Dossier 3 – Concepts importants

L’objectif pour l’évaluateur est donc de contrôler pour ces 2 facteurs de biais → méthode des doubles différences -

𝑬𝒇𝒇𝒆𝒕 𝒄𝒂𝒖𝒔𝒂𝒍 = 𝒀𝒕𝒓𝒂𝒊𝒕é𝒔,𝒂𝒑𝒓è𝒔 − 𝒀𝒕𝒓𝒂𝒊𝒕é𝒔,𝒂𝒗𝒂𝒏𝒕 − 𝒀𝒏𝒐𝒏 𝒕𝒓𝒂𝒊𝒕é𝒔,𝒂𝒑𝒓è𝒔 − 𝒀𝒏𝒐𝒏 𝒕𝒓𝒂𝒊𝒕é𝒔,𝒂𝒗𝒂𝒏𝒕

Y correspondant à la valeur moyenne de la variable d’intérêt (salaire, absentéisme, état de santé,…) au sein d’un groupe

8

Dossier 3 – Concepts importants

Exemples dans la littérature d’application des diff-in-diff:  Card et Krueger (1994): estimer les effets du salaire minimum sur l’emploi aux USA. Pour cela, ils s’appuient sur une expérience naturelle: en 1992, le salaire minimum a été augmenté de 80% dans l’Etat du New Jersey Leur idée consiste à mesurer l’évolution de l’emploi dans les fastfoods en comparant les Etats du New Jersey et de Pennsylvanie Période d’étude: années 1991 et 1993 (avant et après la mise en place de la politique publique dans le New Jersey) → Ils trouvent de manière inattendue que la hausse de l’emploi (à temps complet) a été de 0.47 points dans le New Jersey, alors que l’emploi a baissé de 2.28 points en Pennsylvanie dans le même temps -

9

Dossier 3 – Concepts importants

Card (1990) a cherché à mesurer les effets de l’immigration sur l’emploi non qualifié Pour cela, il s’appuie également sur une expérience naturelle: l’arrivée massive d’immigrés cubains non qualifiés à Miami en 1979 Il estime l’évolution du taux de chômage des travailleurs non qualifiés blancs, noirs et hispaniques à Miami (ville « traitée »), et dans 4 autres villes américaines qui n’ont pas connu de flux migratoires importants au cours de la même période (1979-81): Atlanta, Houston, Los Angeles et Tampa (villes « non traitées ») → les résultats montrent une hausse de 1.3 points de % du taux de chômage des noirs à Miami, mais une hausse de 2.6 points dans les autres villes au cours de cette même période 

10

Dossier 3 – Concepts importants

Variables instrumentales: En économétrie, on peut être confronté à un problème qui va venir biaiser nos résultats: le biais d’endogénéité → une des sources principales de ce biais d’endogénéité est la double causalité / biais de simultanéité (X→Y et Y→X) Supposons ici que X est la variable explicative (de droite) et Y la variable expliquée (de gauche): 

𝒀𝒊 = 𝜷𝟎 + 𝜷𝟏 𝑿𝒊 + 𝜺𝒊

-

Pour corriger ce biais d’endogénéité, on recourt à la méthode des variables instrumentales 11

Dossier 3 – Concepts importants

-

1.

Méthode qui consiste à chercher des instruments / variables instrumentales qui remplissent 2 conditions primordiales (dans la pratique, un seul instrument est suffisant): Variable instrumentale (notée Z) corrélée avec X:

𝒄𝒐𝒓𝒓 𝒁, 𝑿 ≠ 𝟎 2.

-

Variable instrumentale n’a pas d’impact direct sur Y (il est exogène!) Il est parfois délicat de trouver de tels instruments, surtout en macroéconomie → ex: qualité institutionnelle/croissance (pb. de double causalité): instrument : qualité institutionnelle moyenne des 12 pays voisins

Dossier 3 – Concepts importants

 -

-

La méthode de régression par discontinuité: L’assignation à un traitement (i.e. bénéficier d’une mesure) dépend d’une règle stricte/arbitraire: le traitement n’est disponible que lorsqu’une variable observable (âge, niveau de revenu, …) est supérieure ou égale à un certain seuil Ces règles strictes créent des discontinuités qui permettent d’estimer l’effet du traitement

Exemple: Thistlethwaite et Campbell (1960) qui étudient l’effet des certificats au mérite sur les choix de carrière des étudiants (2 choix de carrière: faire un doctorat et devenir un enseignant-chercheur) → problème d’évaluation très délicat car ce sont les étudiants les plus performants (avec les meilleurs résultats) qui reçoivent les certificats 13

Dossier 3 – Concepts importants

La solution imaginée par Thistlethwaite et Campbell (1960) est alors de comparer les choix de carrière des étudiants en comparant les étudiants juste au-dessus ou juste en-dessous du seuil d’attribution des certificats → ici, la discontinuité va donc permettre d’identifier l’effet causal des certificats au mérite -

14

Dossier 3 – Concepts importants

15

Dossier 3 – Concepts importants

16

Dossier 3 – Concepts importants

Exemple (2): Lemieux et Milligan (2008)  Analyse de l’aide sociale au Québec → durant les années 1980, les prestations sociales étaient beaucoup plus faibles pour les adultes de moins de 30 ans sans enfants à charge que pour les 30 ans et plus 

Données tirées du recensement canadien



Analyse ciblée sur les hommes « peu » instruits sans enfants



Objectif de l’étude: analyser dans quelle mesure ces aides sociales plus importantes pour les moins de 30 ans les incitent à moins rechercher un emploi 17

Dossier 3 – Concepts importants

Montant moyen mensuel des aides sociales par individu (en $ constants 1986)

18

Dossier 3 – Concepts importants

Taux d’emploi par âge

19

Dossier 3 – Textes

Texte: Sel-Sufficiency Project En 1992, le Canada a lancé un programme nommé le SelfSufficiency Project (SSP). Le programme était destiné à 9 000 familles monoparentales vivant dans deux provinces du pays, le but étant de réduire la pauvreté, d’augmenter l’emploi et d’aider à la transition vers une situation meilleure. Son principe était d’inciter au retour à l’emploi les personnes vivant d’allocations sociales, en leur versant un complément de salaire si elles retrouvaient seules un emploi à temps plein. Ce complément de salaire pouvait atteindre 25% du salaire obtenu. Une particularité de ce programme est que la sélection des 9 000 familles a été purement aléatoire et qu’un suivi de familles répondant aux critères mais ne bénéficiant pas de l’aide a également été mis en place. Ce programme contenait donc dans son principe celui de sa propre évaluation. 20

Dossier 3 – Textes

Question 1: Non! (voir diapo 7) → comparer la situation des seuls « traités » avant et après l’introduction de la mesure n’est pas une bonne approche: l’évolution de la situation des individus « traités » peut résulter de modifications de l’environnement économique, sans lien avec la mesure de politique publique → ici, par ex., meilleure conjoncture économique qui a fait baisser le taux de chômage 

21

Dossier 3 – Textes

Question 2: Non! (voir diapo 7) 

Comparer la situation des « traités » (province 1) et des « nontraités » (province 2) après l’introduction de la mesure ne permet pas d’identifier l’effet causal de la mesure → ces 2 populations (traités et non-traités) n’ont pas été choisies de manière aléatoire, mais sur la base d’un critère géographique → l’écart entre ces 2 groupes peut donc provenir de différences de caractéristiques individuelles, et pas seulement de l’effet du traitement -

22

Dossier 3 – Textes

 -

-

 -

Question 3: Groupe de traitement: groupe d’individus bénéficiant de la mesure de politique publique Groupe de contrôle: groupe d’individus ne bénéficiant pas de la mesure de politique publique (groupe placebo) Question 4: Permet de limiter un possible biais d’échantillonnage: en tirant les individus du groupe de traitement et du groupe de contrôle, on s’assure en quelque sorte que ces individus sont relativement identiques (et donc, qu’on peut les comparer ex post)

23

Dossier 3 – Textes

Pourquoi ne pas attribuer l’aide financière en fonction de la richesse des ménages? → “Ashenfelter’s Dip effect” (Ashenfelter, 1978)  particulièrement problématique lorsqu’il s’agit d’évaluer des politiques d’emploi ou des politiques sociales, telles que la mise en place d’une prime pour l’emploi ou d’un revenu social.  en effet, on observe souvent après l’annonce par le gouvernement de la mise en place prochaine d’une telle politique un comportement stratégique de certains bénéficiaires potentiels visant à bénéficier de cette mesure (par ex., une personne au chômage peut réduire son effort de recherche d’emploi afin de bénéficier effectivement d’une telle mesure lorsque celle-ci sera mise en place)  conséquence: surestimation de l’impact de la politique publique -

24

Dossier 3 – Textes

 





Question 5: Variables de contrôle: l’objectif de toute étude est de raisonner « toutes choses égales par ailleurs » (ceteris paribus), c.à.d. voir l’effet « pur » de notre variable d’intérêt (X) sur la variable expliquée (Y) il faut donc dans de nombreux cas contrôler pour d’autres variables (facteurs) qui pourraient également influencer Y ex: le salaire d’un individu (Y) ne dépend pas uniquement de son niveau d’étude (X). Il faut donc contrôler en introduisant dans l’équation que l’on estime un certain nombre d’autres variables (notées ici C) pouvant également expliquer le salaire (expérience, sexe, secteur d’activité,…)

𝒀 = 𝜷𝟎 + 𝜷𝟏 𝑿𝒊 + 𝜷𝟐 𝑪𝒊 + 𝜺𝒊 25

Dossier 3 – Textes



Question 6:

26

Dossier 3 – Textes

-





 

Analyse du graph (extrait de Ferracci et Wasmer, « Etat moderne, Etat efficace », 2011) Un an après le lancement du programme, le taux d’accès à l’emploi du groupe de « traités » était de 30%, alors qu’il n’était que de 15% pour le groupe de contrôle Ecart de 15 points de % traduit l’effet de la mesure: cet effet considérable s’explique également par le fait que la prime salariale (complément de salaire) était versée uniquement si les individus du groupe test trouvaient un emploi dans l’année qui suivait le lancement de la mesure Après un an, les taux d’emploi des deux groupes convergent 4 ans et demi après la mesure, la différence entre les 2 groupes est infime (s’explique par la meilleure conjoncture éco. au Canada) 27