L’évaluation d’impact pour l’efficacité des politiques de développement en Afrique
L’évaluation d’impact des projets et programmes de développement est un exercice qui est de plus en plus adopté dans les pays en développement notamment ceux d’Afrique subsaharienne. Entre autres facteurs explicatifs, il y a la rareté des ressources allouées au développement mais aussi la nécessité de mieux connaître les contraintes structurelles au développement. Saisissant l’occasion de la première conférence de West Africa Capacity building and Impact Evaluation Program (WACIE-3ie), qui a eu lieu les 28 et 29 janvier 2019, à Cotonou, au Bénin, avec la participation du Policy Center for the New South (PCNS), cette contribution situe le débat de l’évaluation d’impact aussi bien sur le plan théorique avec les différentes approches mais aussi sur les aspects pratiques de cet exercice. Pour la zone UEMOA, les données du WACIE montrent qu’à partir de l’année 2008 le nombre d’études d’évaluation d’impact a significativement augmenté mais comparé aux autres régions du continent des défis importants demeurent. Des pistes d’actions sont proposées pour une meilleure compréhension et appropriation de l’évaluation d’impact par toutes les parties prenantes.
ENCADRE
West Africa Capacity building and Impact Evaluation Program (WACIE) est un programme initié conjointement par l’International Initiative for Impact Evaluation (3ie) et le gouvernement de la République du Bénin. Il vise à promouvoir la systématisation de l’évaluation d’impact auprès des gouvernements des huit pays de l’UEMOA. Cet objectif nécessite la meilleure compréhension de ce qu’est l’évaluation d’impact, seul gage de son appropriation aussi bien par les gouvernements que par les partenaires au développement. Au-delà des pays membres de l’UEMOA, l’évaluation d’impact concerne les économies en développement, voire les économies industrialisées, sur certaines thématiques.
Le début des années 2000 a enregistré une progression remarquable des évaluations d’impact dans le milieu du développement au plan international. L’Afrique n’est pas restée en marge de cette dynamique. L’avènement des Objectifs du Millénaire pour le Développement (OMD) en 2000, la Déclaration de Paris sur l’efficacité de l’aide en 2005, ainsi que le programme d’actions d’Accra en 2008 sont autant de facteurs qui expliquent cette tendance à la hausse des évaluations d’impact à travers le continent. Toutefois, un rapport sur les tendances en Afrique subsaharienne1 publié par l’Agence Française pour le Développement (AFD) en 2010, souligne une faible implication des chercheurs africains dans les évaluations d’impact et des disparités entre pays anglophones et francophones. Selon ce rapport, les évaluations d’impact en Afrique sont largement conduites dans les pays anglophones (principalement le Kenya et l'Ouganda) comparativement aux pays francophones2 qui ne couvrent que 18% des évaluations recensées dans cette étude. De plus, seulement 11% des études3 au niveau continental ont un auteur africain ayant participé à la rédaction du document de recherche.
C’est dans ce contexte que l’International Initiative for Impact Evaluation (3ie) a initié en partenariat avec le gouvernement de la République du Bénin le programme WACIE dont l’objectif est de développer les évaluations d’impact en Afrique francophone notamment dans les pays de l’Union Economique et Monétaire Ouest Africaine (UEMOA). Le programme ambitionne de : (i) développer les capacités à produire et à utiliser les évaluations d’impact, (ii) contribuer à la formation d’une masse critique d’expert local en évaluation d’impact et (iii) établir des mécanismes de financement des évaluations d’impact dans les pays de l’UEMOA.
Dans le milieu de la recherche, les évaluations d’impact ont également été plébiscitées par plusieurs chercheurs de renom. Dans une contribution récente, l’économiste Esther Duflo du MIT affirme que « mesurer l’impact des politiques publiques est un exercice indispensable ». Cette question a beaucoup alimenté les débats sur la réduction de la pauvreté dans les pays en développement. On peut souligner à cet égard les points de vue de spécialistes tels que Jeffrey Sachs, William Easterly et ceux récemment exprimés par neuf économistes (dont trois lauréats du Nobel d’économie). Sachs (2005) préconisait en effet, une approche « big plan » pour éradiquer l’extrême pauvreté dans les pays en développement. De façon succincte, le « big plan » proposé par Jeffrey Sachs repose sur l’idée d’une aide massive des pays du G8 qui serait injectée directement dans six secteurs clés, à savoir les infrastructures, les entreprises, le capital humain, le capital naturel, les institutions publiques et le secteur des connaissances ; avec un accent particulier à porter sur le développement de l’agriculture et la santé des populations. Naturellement, une telle analyse, qui se situe plus dans une logique d’urgence, ne prend pas en compte la question de l’efficacité des programmes de développement et, par ricochet, la nécessité d’en évaluer les impacts et aider ainsi à éclairer les prises de décision politiques.. Les principales critiques reprochent aussi à l’analyse de Sachs son « paternalisme » et sa non-prise en compte de certaines limites notamment la capacité d’absorption des économies en développement face à l’afflux massif de capitaux qu’engendrerait le « big plan » (voir Ruger, 2007 ). Dans « The white man burden »,William Easterly se situe à l’extrême opposé de Jeffrey Sachs en dénonçant le résultat négatif des programmes de développement des pays riches dans les économies les plus pauvres de la planète. Pour William Easterly, le monde en développement est en mesure (et devrait) de se passer de l’assistance au développement en tout cas dans sa forme actuelle . Enfin, pour Esther Duflo les programmes de développement des pays ainsi que l’assistance au développement peuvent bel et bien être efficaces à la condition qu’ils soient guidés par des résultats issus d’une analyse scientifique sur ce qui marche et ce qui ne l’est pas, ce qui garantirait ex-ante le succès desdits programme de développement.
L’objet de cet article n’est pas de se situer dans ce débat sur la pertinence et l’efficacité de l’appui au développement, mais plutôt de préciser le concept d’évaluation d’impact et de voir son intérêt pour les pays du Sud à la recherche de « LA » solution pour un développement économique et social harmonieux. Par ailleurs, l’on s’interrogera sur la pertinence et la place à accorder à l’évaluation d’impact dans les stratégies de développement dans les économies du Sud.
De quoi s’agit-il ?
L’évaluation d’impact stricto sensu vise à identifier la situation d’un sujet (ménage, individu voire plus largement sur l’économie) s’il n’avait pas été traité par un projet/programme (ou politique) de développement. Autrement dit, cet exercice consiste à mesurer le résultat sur le sujet en isolant l’effet du programme. Le principal problème de l’évaluation d’impact est de contrôler le biais lié au fait que des différences préexistantes entre le groupe qui bénéficie du programme et celui qui n’est pas traité (appelé groupe de contrôle) influencent la mesure de l’impact attribué au programme en question. Cela conduirait l’analyste à sur/sous-estimer les effets du projet/programme de développement. Pour cela, il faut réussir à observer l’individu au même moment avec le traitement et sans le traitement (entendu ici programme de développement). Ceci n’étant pas possible, l’on recherche alors le contrefactuel parfait pour chaque individu, c’est-à-dire le meilleur clone de chaque individu participant au programme.
Sans entrer dans le détail des techniques économétriques, il existe deux grandes familles de méthodes permettant d’obtenir le contrefactuel afin de pouvoir estimer l’impact d’un programme, les méthodes expérimentales et les méthodes quasi-expérimentales. Au titre des méthodes expérimentales, nous avons les essais contrôlés randomisés qui consistent à une assignation aléatoire, c’est-à-dire que les sujets, bénéficiaires et non bénéficiaires du programme, sont choisis de façon complètement aléatoire, ce qui a l’avantage de faire disparaître (ou tout au moins de maintenir dans des proportion négligeables) le biais de sélection (Esther, 2005 ). Le design de cette méthode doit être effectué ex-ante, c’est-à-dire avant la mise en oeuvre ou l’implémentation du programme de développement. C’est la raison pour laquelle elle est dite expérimentale. Les méthodes quasi-expérimentales sont celles que l’on utilise lorsque le groupe de contrôle n’a pas été prévu avant l’implémentation du programme. Elles constituent des méthodes économétriques permettant de reconstituer un groupe de contrôle (contrefactuel) statistiquement viable pour aider à estimer l’impact des programmes. Au nombre de ces méthodes, « L’appariement par score de propension » (propensity score matching) qui permet d’identifier un groupe de contrôle qui soit aussi comparable, au moins sur les caractéristiques observables, que celui des bénéficiaires. A partir de là, l’évaluateur pourra former deux groupes et pouvoir, ainsi, isoler les effets du programme. Une deuxième méthode est l’approche des « doubles différences ». Il s’agit de comparer directement l’évolution des variables d’intérêt entre les deux groupes (ceux traités par le programme et ceux qui ne le sont pas) . Deux autres méthodes existent, la régression discontinue, efficace pour les programmes à seuil d’éligibilité, et la méthode des variables instrumentales.
Malgré la diversité des méthodes d’analyse, le résultat attendu par toutes les parties prenantes reste identique. Pour le décideur ou le partenaire extérieur, il s’agit, dans un contexte de rareté des ressources, de pouvoir être en mesure d’identifier les projets qui ont un résultat significatif sur le niveau de vie des populations et sur le développement économique au sens large, et de justifier leur reconduite et reproduction à plus grande échelle. Pour le chercheur, la phase de collecte de données primaires pour l’évaluation d’impact lui permet de constituer une base de données facilitant des études sur de larges et diverses thématiques sur les déterminants du développement économique, social et sociétal des populations. Enfin, pour les populations, l’intérêt concerne l’appropriation des politiques en appréhendant, de façon quantitative, leurs effets sur le développement économique et social de leur pays. Ainsi, les citoyens vont consentir et mieux accepter les dépenses publiques afférentes aux politiques de développement dont on aura montré leur impact positif. C’est une forme de redevabilité des gouvernants envers les citoyens, qui en sont de plus en plus demandeurs.
L’évaluation d’impact en Afrique
Les pays du continent se sont, depuis quelques années, familiarisés avec l’exercice d’évaluation d’impact. Diverses études ont été menées sur le continent pour analyser la dynamique des évaluations d’impact. L’étude la plus récente a été conduite dans les pays de l’UEMOA par le programme WACIE en 2018 et dont les résultats ont été présentés lors de la première conférence du programme en janvier 2019. Les résultats présentés au cours de cette conférence révèlent des disparités entre les pays de l’UEMOA en ce qui concerne le nombre d’évaluations d’impact conduites et un besoin d’évaluation d’impact dans des secteurs cruciaux, tels que l’environnement et le changement climatique, la nutrition, la gouvernance, l’emploi et l’eau hygiène et assainissement. Sur le plan temporel, les résultats (voir graphique ci-dessous) montrent que les évaluations d’impact dans le milieu du développement au sein des pays de l’UEMOA ont connu une évolution irrégulière sur la période de 1990 à 2018. La période de 1990 à 2008 a connu très peu d’évaluations d’impact, avec une moyenne d’environ une évaluation par année dans toute la zone. L’expansion des évaluations d’impact dans l’UEMOA a été amorcée à partir de 2009 où leur nombre est passé à 8 dans la région. En plus des facteurs explicatifs énumérés ci-dessus, un choc au niveau de l’offre et de la demande d’évaluation d’impact explique cette progression observée en 2009. Du côté de la demande, il convient de mentionner, entre autres, la prise de conscience par les gouvernements et les bailleurs de fonds de la nécessité d’évaluer les programmes de développement pour rendre compte de l’efficacité de leurs actions et éclairer les prises de décisions. Du côté de l’offre, il faut souligner l’émergence de centres de recherche spécialisés en méthodes d’évaluation d’impact, tels que le Abdul Latif Jameel Poverty Action Lab (JPAL), Innovations for Poverty Action (IPA), l’Institut de Recherche Empirique en Economie Politique (IREEP), etc., qui ont étendu leurs activités dans la région, de même qu’un regain d’intérêt pour la recherche en Afrique francophone de l’Ouest pour les chercheurs des grandes universités. Par ailleurs, la mise en place de structures de financement des évaluations d’impact au plan international, tel que 3ie (créé en 2008) et bien d’autres, a été également un facteur explicatif important.
Evolution du nombre d’évaluation d’impact dans l’UEMOA;
Source : Résultats présentés lors de la conférence par le programme WACIE
L’implication des chercheurs africains dans les évaluations d’impact a, elle aussi, connu une évolution similaire à celle du nombre d’évaluation. Ceci s’explique, essentiellement, par la création de formations en techniques d’évaluation d’impact en Afrique, notamment dans les écoles de statistique et d’économie.
On remarque également sur le graphique que le nombre d’évaluation d’impact a atteint un premier pic en 2015 avec la fin du cycle des OMD et la volonté des acteurs du développement d’évaluer les impacts des différents programmes OMD mis en oeuvre.
A la lecture de tout ceci, on peut conclure que les évaluations d’impact sur le continent africain sont en plein développement, et il s’avère nécessaire que les actions se poursuivent pour maintenir cette tendance et la conduire à maturité. Il serait, également, intéressant que cette étude menée par le programme WACIE soit étendue aux autres régions du continent, afin de disposer de données actualisées sur la situation des évaluations d’impact au niveau du continent. Quelques pistes d’actions à explorer et/ou renforcer :
• le partage d’expérience à l’échelle continentale ;
• le renforcement des capacités ;
• la promotion de l’évaluation d’impact dans les universités ;
• le financement des évaluations d’impact ;
• la sensibilisation des décideurs à utiliser les données probantes pour éclairer les choix de politiques publiques.
L’évaluation d’impact dans les pays en développement : quelques exemples
A l’aune des résultats obtenus et des enseignements tirés, l’analyse d’impact paraît être une étape désormais quasi-indispensable, au moins pour les grands projets structurants et qui engagent des financements importants. Au Mexique, l’évaluation du programme Progressa, qui octroie des bourses aux familles pour le maintien des filles à l’école, a montré la voie aux autorités ainsi qu’aux partenaires au développement pour obtenir de meilleurs taux de scolarisation des filles. En effet, pour lisser leur consommation, les familles avaient tendance à déscolariser les enfants en cas de choc ; donc toute politique en faveur d’une meilleure scolarisation, notamment des filles, devra inclure une composante qui soit une assurance des familles contre les chocs.
Récemment, une étude d’impact menée par Bernard & al. (2018) dans le milieu rural sénégalais montre un résultat pour le moins original. La simple introduction d’une bascule pour que la production d’oignons soit désormais évaluée sur la base du poids (et non pas en fonction du volume) incitait les producteurs à consentir plus d’investissements en intrants pour améliorer aussi bien le processus que le produit final vendu sur le marché.
Enfin, une évaluation ex-ante du programme « Plan Sénégal Emergent » menée par la Banque Africaine de Développement en partenariat avec l’Université Cheikh Anta Diop de Dakar a pu mettre en relief les importants résultats obtenus (et à venir) de la première phase du PSE. L’idée dans cette étude était de simuler (ex ante) l’impact des investissements du programme dans les secteurs prioritaires (agriculture et agro-industrie, mines et industrie, génie civil, technologie de l’information et de la communication). Il apparaît que sur la période 2014-2018, les investissements dans les secteurs prioritaires ont généré plus de 186932 emplois formels. Ces résultats donnent aux citoyens un point de repère important sur l’impact des financements engagés dans le programme, et permettent aux autorités de mieux cibler les investissements avec « l’empreinte emploi » la plus marquée.
Perspectives et recommandations
Les exigences citoyennes et le besoin de visibilité dans l’action publique en faveur du développement promettent un intérêt grandissant pour l’exercice d’analyse d’impact sur le continent africain. A ce titre, David Malpass, fonctionnaire américain pressenti pour occuper prochainement le poste de président de la Banque mondiale, a, dans un discours récent, mis l’accent sur la nécessité pour la Banque mondiale d’apporter une aide financière aux Etats les plus pauvres en vue de leur permettre d’instituer des indicateurs standardisés de mesure des progrès réalisés.
Pour les économies africaines, la coopération régionale est une condition nécessaire au développement de l'évaluation d'impact. Gounou (2017) réitéra un appel à la coopération entre Etats africains en matière de constitution et d’internalisation des capacités et de compétences pour le suivi et l'évaluation d’impact des projets et programmes de développement. Selon cet expert béninois, les trois principales entraves (la ressource humaine, la compétence et le système de suivi) à la réalisation d’évaluations d'impact de qualité et à l'utilisation de leurs résultats dans l'amélioration des politiques publiques trouveront leur palliatif dans la coopération sous-régionale et régionale.
Dans ce cadre, l’UEMOA peut être un cas d’école pour inspirer les autres sous-ensembles régionaux du continent dans le partage d’expérience et de ressources.
Le second volet, en lien avec le précédent, c’est que cette coopération au-delà des Etats devra mailler efficacement les universités et think tank du continent qui sont parties prenantes dans les exercices d’évaluation.
Enfin, la formation en analyse d’impact doit être systématisée dans les curricula universitaires pour les Master en économie, ceci afin de garantir la disponibilité des ressources humaines pour cette activité dans les pays.
Conclusion
L’évaluation d’impact est d’abord un instrument scientifique au service du décideur/planificateur, pour l’aider dans sa prise de décision dans un contexte de rareté des ressources. L’activité de suivi-évaluation est préférée à celle de l’évaluation d’impact, souvent parce que le suivi-évaluation est perçu plus neutre, en ce sens que l’on s’intéresse plus à s’assurer que les décaissements se fassent et que les différentes activités du projet soient exécutées dans les délais prévus dans le cadre logique.
Le contexte des pays du continent africain offre un cadre favorable à la possibilité de systématiser l’évaluation d’impact pour au moins les projets/programmes de développement structurants. C’est dans cet esprit que l’espace UEMOA entend initier une vraie dynamique d’échange d’expérience et de capitalisation des compétences entre ses pays membres. L’objectif étant dans le moyen terme d’élargir cela à la communauté des membres de la CEDEAO. L’approche par l’intégration régionale de l‘évaluation d’impact permettra, sans doute, d’analyser de façon plus large les origines structurelles des barrières au « développement », liées notamment à des déterminants sociaux et sociétaux.