Améliorer les politiques de développement grâce aux évaluations d’impact

Au cours des 25 dernières années, la proportion de la population mondiale vivant dans l’extrême pauvreté est passée de 35 à 10 pour cent alors que celle des personnes sous-alimentées a chuté de 19 à 11 pour cent. Ces chiffres donnent une idée des progrès réalisés dans l’éradication de la pauvreté à l’échelle mondiale. Les responsables des orientations politiques, les responsables gouvernementaux et les praticiens du développement y sont vraisemblablement pour quelque chose, mais dans quelle mesure ? Les projets conçus, financés et mis en œuvre par diverses organisations ont-ils contribué à cette réussite, et si oui, jusqu’à quel point ?  

Mais surtout, malgré cette réussite collective passée, que peut-on s’y prendre pour faire mieux encore dans les années à venir ? Environ 700 millions de personnes vivent encore avec moins de 1,90 dollar US par jour (en parité de pouvoir d’achat) et environ 800 millions sont encore sous-alimentés. C’est un nombre inacceptablement élevée !  

En soumettant des données empiriques à une analyse rigoureuse, les évaluations d’impact permettent de mesurer les effets des interventions de développement et de créer des connaissances sur la façon de fonctionner d’un programme et sur la façon d’améliorer sa conception et ses résultats. Les évaluations d’impact sont donc essentiellement un outil d’apprentissage et d’amélioration des interventions de développement. Elles constituent une part importante d’un plus vaste programme d’actions politiques sur la base d’éléments concrets – par opposition à des stratégies déterminées par des idéologies, des émotions ou la politique. Par exemple, les évaluations d’impact ont révélé que les agriculteurs des pays en développement ont moins de mal à accéder au crédit qu’on le pensait à une certaine époque. Il semble au contraire qu’un manque de couverture des risques et que des préjugés d’ordre psychologique sont des obstacles plus probables à l’investissement des agriculteurs dans de nouvelles cultures et dans des technologies innovantes. Ces renseignements ont une grande valeur pour les responsables des orientations politiques à la recherche de mesures efficaces pour aider les agriculteurs à adopter de nouvelles technologies.

En plus de fournir des renseignements aux responsables des orientations politiques et aux praticiens du développement, les évaluations d’impact profitent avant tout aux pauvres. Les critiques font valoir  qu’il est immoral d’expérimenter sur les pauvres, mais il est tout aussi immoral d’intervenir dans la vie des pauvres sans comprendre les changements, voulus ou non, que ces interventions ont des chances d’entraîner.

Évaluations d’impact  – une nouvelle expression à la mode ?

Grâce aux progrès techniques réalisés dans le domaine de la collecte de données, à la disponibilité croissante de ces données et à la création de diverses institutions encourageant les évaluations d’impact, le nombre d’évaluations réalisées a rapidement augmenté au cours des deux dernières décennies (voir Figure). Alors qu’en 2000, l’Initiative internationale pour les évaluations d’impact (3ie) avait enregistré moins de 40 nouvelles évaluations d’impact liées au développement et à la pauvreté, dès 2012, le site de dépôt des évaluations d’impact de la 3ie en publiait plus de 400 par an. Alors que pendant de nombreuses années, les évaluations d’impact ont mis l’accent sur les questions de santé, le nombre de celles qui s’intéressent à d’autres secteurs, notamment à l’agriculture et à la nutrition, augmente régulièrement depuis 2006.



Parallèlement, l’évaluation d’impact est devenue une sorte d’expression à la mode dans le domaine de la coopération au développement. De grandes organisations créent des fonds et se donnent des priorités politiques en son nom, alors que de nombreux praticiens ignorent ce que sont véritablement les évaluations d’impact et comment elles sont utilisées. Plusieurs importantes agences de développement ont par conséquent publié des brochures et des documents d’orientation pour combler ce fossé.

Le manque de clarté sur le concept, associé au coût élevé des évaluations d’impact en termes de temps et d’argent, a entraîné une vive réaction, voire du ressentiment, à l’encontre des évaluations d’impact – notamment dans leur forme la plus célèbre, les essais randomisés contrôlés (RCT).

Une évaluation d’impact, c’est quoi ?

Pendant de nombreuses années, la communauté du développement – y compris le Comité d’aide au développement de l’Organisation de coopération et de développement économiques (CAD-OCDE) dans ses critères d’évaluation de l’aide au développement – a utilisé le terme « impact » pour désigner le niveau final de la théorie causale du changement, ou cadre logique. Cette définition a été remplacée ces dernières années et l’évaluation d’impact est aujourd’hui perçue comme « une évaluation objective du changement pouvant être directement attribuée à un projet, un programme ou une politique ». Il peut s’agir de l’impact d’une campagne d’information (sur l’importance de la rotation des cultures) sur la production des agriculteurs, ou de l’effet de l’adoption d’une assurance pluie sur diverses cultures choisies par l’agriculteur. Ces changements sont les impacts : la différence dans la vie des gens (production des agriculteurs ou choix des cultures) avec et sans l’intervention, mesurée après l’intervention (campagne d’information ou assurance pluie) a eu lieu.

Pour évaluer l’impact d’un projet ou d’une politique, il faut savoir ce qui se serait passé dans la population en l’absence de ce projet ou de cette politique. C’est ce qu’on appelle le contrefactuel, qui est un élément crucial de toute évaluation d’impact rigoureuse et qu’on peut estimer en utilisant diverses méthodes statistiques. Contrairement au suivi, l’utilisation de méthodes contrefactuelles laisse les responsables des orientations politiques et autres parties prenantes déterminer les effets causaux de leurs programmes et politiques.

« Les pauvres sont les premiers à bénéficier des évaluations d’impact. »

Par exemple, une évaluation d’impact pourrait mesurer l’impact d’un programme visant à améliorer les rendements des récoltes des agriculteurs en leur offrant une assurance pluie. Pour estimer cet impact, il faut comparer les résultats des agriculteurs bénéficiant d’une assurance pluie avec la situation hypothétique dans laquelle les mêmes agriculteurs se trouveraient s’ils n’étaient pas assurés. Des études montrent que les agriculteurs assurés obtiennent de meilleurs rendements avec des cultures présentant plus de risque. Ainsi, les évaluations d’impact établissent le lien direct entre les projets ou politiques et les changements mesurables et perceptibles dans la vie des gens.

Alors que l’expression évaluation d’impact englobe un large éventail de méthodologies, l’une d’entre elles s’est taillé la part du lion en matière de financement, d’intérêt (et de critiques) dans la communauté du développement : l’essai randomisé contrôlé (ERC ; voir également les articles « Essais randomisés contrôlés – la référence absolue ? » et « ERC et développement rural – une abondance d’opportunités ».)

Les ERC sont la forme la plus connue d’évaluation d’impact, mais il est important de noter qu’il existe de nombreuses autres méthodes d’élaboration de scénarios contrefactuels pour estimer ce qui serait arrivé à la population ciblée en l’absence de projet ou de politique sans avoir recours à l’attribution aléatoire du groupe cible à un groupe témoin et un groupe de traitement.

Le suivi – utile, à conditions de l’interpréter avec prudence

Pour mieux comprendre ce que sont les évaluations d’impact, il est également utile de préciser ce qu’elles ne sont pas. Le suivi est une méthode courante, et non rigoureuse, d’estimation des effets d’un programme, et il est par conséquent source d’erreurs. En se contentant de mesurer les changements des résultats pour la population avant et après un programme de développement, il n’est pas possible de savoir si les résultats seraient restés les mêmes en l’absence du programme. Par exemple, un système de contrôle peut constater que l’alimentation de la population d’un village s’améliore après que chaque habitant du village a reçu un réservoir de stockage des récoltes. Toutefois, à moins d’éliminer toutes les explications divergentes – par ex. changements de la productivité agricole, construction d’un nouveau puits, modification des revenus, ou présence de maladies mortelles – nous ne pouvons pas être certains que l’impact est bien le résultat de l’intervention.

Les données de suivi sont néanmoins souvent utilisées dans les activités de développement grâce à leur facilité d’utilisation et à leur faible coût pour la préparation de rapports et les évaluations de projets. Le suivi est utile lorsque l’accent est mis sur l’exploitation, la mise en œuvre ou la prestation de services. Toutefois, lorsqu’il est interprété à tort comme preuve d’un lien de causalité entre une intervention de développement d’un programme et la réduction de la pauvreté, les conclusions tirées des études en utilisant seulement les données de suivi peuvent donner lieu à des politiques inefficaces, voire néfastes – et dans la plupart des cas, entraîner un gaspillage des ressources publiques.

Quand les évaluations d’impact sont-elles utiles – et quand ne le sont-elles pas ?

Les évaluations d’impact sont un outil dont disposent les responsables des orientations politiques et les praticiens du développement pour améliorer les effets du développement sur la base de preuves. Les conclusions des évaluations d’impact peuvent aider les organisations à décider si elles doivent opérer à plus grande échelle des projets dont les impacts positifs sont prouvés ou au contraire mettre un terme à des interventions manquant d’efficacité. Les évaluations d’impact peuvent également identifier le point précis – de la théorie du changement – auquel les politiques ne fonctionnent pas comme prévu.

Par exemple, l’Initiative pour l’adoption des technologies agricoles (ATAI) montre que l’assurance intempéries basée sur des indices est très efficace lorsqu’elle est contractée, mais que compte tenu du montant des primes du marché, le taux d’adoption est très faible (6-18 pour cent) – c’est au point de souscription, pas après, que les programmes d’assurance basés sur l’indice des pluies semblent échouer. Les évaluations d’impact peuvent contribuer à concevoir des programmes de développement en comparant l’efficacité de différentes interventions. Par exemple, divers moyens d’encourager l’épargne ont été offerts à des Kenyans pauvres – rappels par SMS, contrepartie de dix à vingt pour cent de l’épargne avant ou après la période d’épargne, et une simple fausse pièce en or avec un numéro pour chaque semaine de l’expérimentation, servant de rappel physique de l’épargne. L’intervention qui, et de loin, a le plus aidé les agriculteurs à épargner, a été la pièce « en or ».  

Les deux principaux inconvénients des évaluations d’impact sont leurs coûts monétaires élevés et le temps nécessaire pour que les résultats reviennent. Du début de la mise en œuvre aux résultats, une évaluation d’impact prend généralement deux ans, et beaucoup prennent plus de temps encore. En moyenne, les études soutenues par la 3ie coûtent 400 000 dollars US et durent trois ans.

Par conséquent, tous les projets et programmes d’une organisation ne doivent pas être évalués relativement à leur impact ; seuls doivent l’être ceux dont le potentiel d’apprentissage est le plus élevé. Le projet doit avoir une importance stratégique ou opérationnelle pour l’organisation et doit être innovant en ce sens qu’il faut des preuves de son bon fonctionnement car les évaluations d’impact sur l’intervention prévue sont inexistantes. Par exemple, l’impact qu’ont le microcrédit, l’assurance pluie et les informations concernant les meilleurs prix, sur les moyens d’existence des agriculteurs a déjà fait l’objet de nombreuses études. Toutefois, contrairement aux essais cliniques en médecine, les conclusions des évaluations d’impact (et des ERC) dans le développement agricole ne se traduisent pas facilement d’un contexte à un autre. Au lieu de se borner à estimer les effets d’interventions plus ou moins identiques, les évaluations d’impact devraient être conçues de manière à offrir la possibilité d’apprendre comment le contexte et l’intervention interagissent. Pour toute étude individuelle, il est peu probable que les résultats seront reproduits dans un autre contexte.

Toutefois, lorsque le nombre d’études réalisées dans différents contextes atteint une masse critique, les évaluations d’impact peuvent permettre aux responsables des orientations politiques et aux organisations donatrices de savoir si elles suivent la meilleure stratégie pour atteindre un certain objectif de développement et peuvent être utilisées pour l’élaboration de politiques mondiales et la définition de meilleures pratiques. Des examens systématiques utilisent une approche structurée pour synthétiser les résultats de nombreuses évaluations d’impact dans un secteur ou une région donnés, donnent des indications fiables sur la réussite d’un certain type d’intervention et sont particulièrement utiles aux responsables des orientations politiques et aux praticiens. Par exemple, les récentes cartes d’éléments factuels de la 3ie sur l’innovation agricole et les risques agricoles sont de bons points de départ pour les responsables des orientations politiques travaillant sur le développement rural et l’agriculture.

Il n’est pas possible non plus d’analyser l’impact de tous les types d’interventions de développement. Autrement dit, tous les projets et programmes d’une organisation ne peuvent être évalués quant à leur impact. Par exemple, les approches statistiques nous permettent d’estimer les effets d’interventions données sur des résultats de développement définis avec précision, mais elles sont de peu d’utilité lorsqu’il s’agit de vastes effets à long terme aux niveaux agrégés, comme la croissance du PIB. Le temps et les efforts nécessaires pour suivre et mesurer les effets – par exemple, d’un prêt en microcrédit sur les moyens d’existence d’agriculteurs individuels dans 20 ans – dépassent de loin l’utilité de cette information – sans parler des effets au niveau du pays.

Comment se présente l’avenir ?

Le débat sur la pertinence des évaluations d’impact s’inscrit dans un débat plus large sur les diverses approches visant à réduire la pauvreté. Les économistes Esther Duflo et Abhijit Banerjee assimilent le rôle des praticiens du développement à celui de « plombiers » – selon eux, les corrections successives apportées aux mécanismes d’incitation et aux systèmes de prestation de services gouvernementaux se traduisent par des améliorations considérables de la vie des pauvres. De ce point de vue, les évaluations d’impact sont indispensables, car elles sont idéales pour identifier les petites améliorations et peuvent servir à orienter des ajustements minimes à l’exécution de programmes.

D’autres font valoir qu’en mettant l’accent sur « les travaux de plomberie » on court le danger de passer à côté de la question globale, c’est-à-dire les causes profondes faisant que certains pays peuvent échapper à la pauvreté et d’autres, non. Les évaluations d’impact sont mal équipées pour évaluer des larges macro-programmes, des changements structurels ou de vastes réformes telles que la libération des échanges.

Pour résumer, les évaluations rigoureuses prennent toujours beaucoup de temps et sont généralement coûteuses. Dans le contexte étroit du programme évalué, une évaluation d’impact rigoureuse est un moyen imparfait de rendre compte en raison de son coût élevé et de sa durée. Mais les évaluations d’impact offrent vraiment des enseignements indispensables sur ce qui fonctionne et ne fonctionne pas ; il va sans dire qu’elles sont la source de connaissances inestimables lorsqu’on veut préparer des programmes de développement plus efficaces et dépenser les fonds limités dont nous disposons pour réduire la pauvreté plus efficacement et de manière plus responsable. Même lorsque les organismes de développement choisissent de ne pas réaliser d’évaluations d’impact elles-mêmes, elles doivent connaître celles qui existent dans leur domaine et en tirer parti.

Bartlomiej Kudrzycki est doctorant au Centre d’études du développement et de la coopération (NADEL) à l’École polytechnique fédérale (Eidgenössische Technische Hochschule – ETH) de Zurich, Suisse. Il effectue des recherches sur les marchés du travail pour les jeunes en villes, plus particulièrement dans le contexte du Bénin.

Isabel Günther est professeure en économie du développement et directrice du NADEL à l’ETH de Zurich. Ses travaux de recherche actuels sont axés sur les technologies de réduction de la pauvreté, l’analyse et la mesure des inégalités, l’urbanisation et la dynamique démographique, la consommation durable et l’efficacité de l’aide. Elle a réalisé la majeure partie de ses recherches dans des pays et des villes d’Afrique sub-saharienne.

Contact : isabel.guenther@nadel.ethz.ch

Références

Akbas, M., Ariely, D., Robalino, D. A., & Weber, M. (2016). How to Help Poor Informal Workers to Save a Bit: Evidence from a Field Experiment in Kenya. IZA Discussion Paper No. 10024.

Cameron, D. B., Mishra, A., & Brown, A. N. (2016). The growth of impact evaluation for international development: how much have we learned? Journal of Development Effectiveness, 8(1), 1-21.

de Janvry, A., Sadoulet, E., & Suri, T. (2017). Field Experiments in Developing Country Agriculture. In A.V. Banerjee, & E. Duflo (Eds.), Handbook of Economic Field Experiments (Vol. 2, pp. 427-466). Oxford.

Duflo, E., Robinson, J., & Kremer, M. (2011). Nudging Farmers to Use Fertilizer: Theory and Experimental Evidence from Kenya. American Economic Review, 101(6), 2350-2390.

ATAI Policy Bulletin. (2016). Make it Rain: a synthesis of evidence on weather index insurance. Abdul Latif Jameel Poverty Action Lab, Center for Effective Global Action, and Agricultural Technology Adoption Initiative, Cambridge, MA.

Karlan, D., Osei, R., Osei-Akoto, I., & Udry, C. (2014). Agricultural decisions after relaxing credit and risk constraints. Quarterly Journal of Economics, 129(2), 597-652.

Mobarak, M., & Rosenzweig, M. (2013). Selling Formal Insurance to the Informally Insured. Working Paper, Yale University.

SDC (2017). What are Impact Evaluations? ETH Center for Development and Cooperation (NADEL).

3ie Impact evaluation repository
http://www.3ieimpact.org/en/evidence/impact-evaluations/impact-evaluation-repository/ 

3ie Blog: What did we leart about the demand for impact evaluations
http://blogs.3ieimpact.org/what-did-i-learn-about-the-demand-for-impact-evaluations-at-the-what-works-global-summit/ 

3 ie Evidence map agricultural innovation
http://gapmaps.3ieimpact.org/evidence-maps/agricultural-innovation 

3ie Agricultural risk and mitigation gap map
http://gapmaps.3ieimpact.org/evidence-maps/agricultural-risk-and-mitigation-gap-map 

Our World in Data
https://ourworldindata.org