Tirer les enseignements des évaluations participatives

Les discussions sur les preuves rigoureuses de l’impact des programmes de développement et sur l’utilisation de méthodes scientifiques exactes ont tendance à voiler la subjectivité des évaluations d’impact ; le moment, l’objet de la recherche, les méthodes, les produits à fournir et les participants, aussi bien les évaluateurs que les évalués, sont le résultat de prises de décisions « multi-partie-prenantes » et intentionnelles. Derrière chaque évaluation, il y a une intention qu’il faut souligner dans la description du processus et de la méthodologie d’une évaluation. Les évaluations d’impact étant coûteuses, les bailleurs jouent évidemment un rôle crucial quant au type et à la qualité de ces exercices.

En tant qu’ « organisation d’apprentissage », Helvetas s’efforce de renforcer l’aspect « apprentissage » de la plupart de ses activités, méthodes et outils, évaluations comprises. Convaincus que l’apprentissage est, comme le décrit Harold Jarche, conseiller en développement organisationnel, « un processus continu de recherche, de détection et de partage » et qu’il résulte de la participation, l’engagement et la communication, nous aidons nos partenaires et personnels à exploiter la richesse et la diversité de leurs connaissances en encourageant la réflexion critique et l’échange. Dans le domaine des évaluations de projets ou de programmes, nous explorons, favorisons et appliquons par conséquent des méthodes qui apportent les connaissances et les points de vue de parties prenantes à différents niveaux. Certaines sont présentées dans ce qui suit.

Principale partie prenante et institutions locales – audits sociaux et « évaluation des bénéficiaires »

L’audit social, évaluation des performances des « détenteurs d’obligations » – par ex. les services publics des administrations locales – réalisée par les « détenteurs de droits », citoyens ou utilisateurs de ces services, est une méthode d’évaluation qui améliore la reddition de comptes « vers le bas » et, en fin de compte, la qualité des services publics. Les audits sociaux, ainsi que les enquêtes de satisfaction des clients sont d’utiles outils d’apprentissage dans les projets qui aident les institutions publiques locales à s’acquitter de leurs responsabilités  dans la prestation de services publics de qualité et dans la réponse aux besoins des citoyens. Le renforcement de ces pratiques d’évaluations participatives et inclusives contribue à créer des processus de dialogue entre les parties prenantes qui, per se, résultent du développement, comme nous l’avons constaté en Europe de l’Est et au Bangladesh.

L’ « évaluation des bénéficiaires », ainsi appelée depuis sa description par Lawrence Salmen, de la Banque mondiale, dans les années 1990, est une autre approche ou méthodologie facilitant l’autonomisation des principales parties prenantes. C’est une méthode qualitative utilisée pour améliorer l’impact des activités de développement en partant des points de vue des bénéficiaires prévus relativement à une intervention prévue ou en cours. Les membres de la collectivité, les agriculteurs et autres participants au projet sont formés en tant qu’observateurs pairs lors d’un atelier de trois jours. Ils identifient ensuite les questions de recherche et lancent un processus d’interrogation des pairs dans leurs collectivités.

Cette méthode a pour objectif  d’évaluer l’activité telle qu’elle est perçue par les bénéficiaires du projet et d’intégrer les résultats dans le pilotage du projet. Elle est spécialement conçue pour assurer une écoute systématique des participants au projet et des autres parties prenantes en leur permettant d’exprimer leurs priorités et leurs préoccupations. Cette méthode de consultation systématique est utilisée par la direction des projets comme outil de conception, de suivi et d’évaluation. Au Népal, le projet WARM (gestion des ressources en eau) (voir encadré) montre que la nature de l’évaluation des bénéficiaires permet aux observateurs pairs d’améliorer leurs compétences qui sont appréciées par les participants et les collectivités et qui peuvent profiter à d’autres processus de développement tels que l’identification et la planification de nouvelles interventions.

RÉSULTATS DES ÉVALUATIONS D’IMPACT PARTICIPATIVES (EIP) DANS LES PROJETS D’ALIMENTATION EN EAU ET D’ASSAINISSEMENT*

« Programme de gestion des ressources en eau au Népal » (WARM-P), HELVETAS

•    Les clients des services d’alimentation en eau font état d’amélioration de la qualité de l’eau et de gain de temps.
•    80 pour cent des ménages disposent de toilettes et les utilisent.
•    Les participants du groupe témoin indiquent qu’aucune discrimination en fonction de l’appartenance à une caste ou de la hiérarchie économique n’a été constatée.
•    Nécessité de renforcer le changement de comportement en matière d’hygiène et d’assainissement.
•    Les parties prenantes apprécient l’approche participative globale du projet pour identifier les priorités WASH (eau, assainissement et hygiène).
* Études réalisées en 2013

« Réhabilitation et amélioration des sources d’eau, Borana, Éthiopie », HEKS & OSHO

•    Les membres de la communauté ont joué un rôle actif dans l’identification des points d’eau à réhabiliter et lors du processus de construction.
•    L’eau est considérée comme un bien commun, indépendamment du statut social.
•    Parmi les changements constatés, citons la réduction de la distance à parcourir pour accéder à la source d’eau et la disponibilité de l’eau toute l’année.  
•    Amélioration de la santé humaine grâce à la meilleure qualité de l’eau, mais aucune différence en ce qui concerne la santé des animaux ; les participants ont demandé des programmes supplémentaires de distribution d’eau.
•    Le processus a été considéré comme stimulant et les participants à l’atelier de validation ont unanimement demandé l’utilisation des EIP dans les années à venir.  

Personnel propre et partenaires – examen par les pairs et « capitalisations » pour le partage des connaissances

Les évaluations externes d’interventions sont des éléments inestimables et indispensables de la gestion du cycle d’un projet. Alors que les évaluations finales sont généralement réalisées par des collaborateurs externes, les examens de projet à mi-parcours peuvent être réalisés sans soutien externe, par nos conseillers thématiques et impliquer le personnel et les organisations partenaires. Bien que ce processus soit plus léger et plus souple, il donne souvent des résultats utiles dans la mesure où les participants ont tendance à plus s’engager et à être plus critiques de leurs propres performances que les évaluateurs externes pouvant être amenés à communiquer avec plus de prudence. Par ailleurs, les équipes participant à un exercice d’auto-évaluation s’approprient les résultats, conclusions et recommandations. Leur contribution à la procédure se traduit par un plus fort engagement à se conformer aux actions de suivi convenues.

Nous approuvons également les processus qui font appel aux parties prenantes, professionnels, partenaires et collègues à différents stades d’évaluations d’opérations très complexes ou d’évaluations de haut niveau, par exemple pour les évaluations de programmes sectoriels ou nationaux. Les examens par les pairs s’efforcent de faciliter de telles activités et réunissent des gens, qu’il s’agisse de rencontres directes et synchrones ou de rencontres à distance et asynchrones. Les multiples points de vue et expertises des individus impliqués et les nombreuses informations et opinions enrichissent de telles évaluations et stimulent l’apprentissage chez les pairs ; c’est un moment d’intense partage des connaissances. La réunion et la mise en avant des expériences de tous les collègues participant à des projets de coton biologique (voir Rural 21 n° 2/2017) ou à des interventions axées sur la mise en place de services de conseil ruraux offrent des possibilités d’apprentissage pour sa propre organisation et pour de nombreuses autres.

L’examen des stratégies par pays peut apporter les précieuses connaissances de nombreux collègues lorsqu’il est organisé de manière participative. Les directeurs de pays et les experts thématiques de pays voisins peuvent contribuer à analyser l’évolution d’un programme de pays et l’apprentissage a lieu à divers niveaux et des « deux côtés », évaluateurs et évalués. Cela facilite l’apprentissage interorganisationnel mutuel, renforce le sentiment d’appartenance à une organisation et affirme l’approche régionale de la collaboration, comme nous l’avons vu, par exemple, en Asie centrale.

La Capitalisation de l’expérience (CAPEX), qui permet de recueillir et systématiser tous les documents relatifs au projet et de collecter des informations auprès des participants et d’informateurs clés externes sur les bonnes pratiques, les échecs et les enseignements tirés de l’expérience, comme nous l’avons récemment fait pour notre engagement dans le secteur forestier communautaire du Bhoutan, est une autre procédure d’évaluation prometteuse après finalisation des interventions longues. Les publications CAPEX sont d’importantes sources d’informations pour les décisions stratégiques ainsi que pour les personnes intéressées, dans le secteur et la région.  Elles sont partagées sur des plateformes et des réseaux appropriés et sont d’utiles « certificats » dans lesquels le personnel peut faire connaître sa carrière et son expertise à d’autres.

Perspectives d’avenir

Au niveau international on constate une tendance à professionnaliser les évaluations et à mettre les décisions concernant le modèle d’évaluation, les méthodes, les indicateurs et les mesures dans les mains des milieux académiques. L’interaction des ONG avec les institutions de recherche dans le but de comprendre l’impact est particulièrement bienvenue et constitue une évolution fertile. Dans les projets de développement, la recherche scientifique est une procédure complémentaire des méthodes participatives, pas une solution de remplacement. Compte tenu de leurs coûts élevés et du délai d’attente des résultats, les évaluations rigoureuses sont des études exceptionnelles qu’il faudrait réaliser régulièrement et bien planifier dans des projets sélectionnés. Mais les organisations de développement ont besoin d’informations sur l’impact de tous leurs projets, aux premiers stades de la mise en œuvre et présentées sous forme utile pour les décideurs des pays.  

La stratégie de suivi et d’évaluation (M&E – Monitoring and Eveluation) d’Helvetas visant à améliorer l’orientation et l’impact des résultats consiste à développer les capacités permettant l’amélioration des évaluations dans les équipes qui réalisent des activités régulières de suivi et d’évaluation de projets, grâce à la formation et à l’encadrement ; à détourner leur attention des activités et des dépenses au profit des résultats et de l’impact grâce à l’amélioration des rapports ; à améliorer la sélection des indicateurs et des méthodes de mesure dès le début du projet ; à alléger le suivi et l’évaluation et les rendre plus utiles.

Enfin, les organisations de développement sont tenues de rendre compte des dépenses au M&E et aux évaluations d’impact dont il faut justifier l’utilité pour l’apprentissage et le pilotage, l’amélioration des activités futures et le renforcement des capacités dans les pays. Nous nous efforçons par conséquent de combiner les méthodes et les modèles d’évaluation, d’adapter le processus d’évaluation et les participants au contexte et à la situation spécifique du projet, et d’être souples et innovants avec les méthodologies appliquées. L’analyse critique de « l’évaluabilité » d’un projet, le processus participatif de détermination de la méthodologie et de l’échéance, et la participation du personnel et des organisations partenaires aux évaluations d’impact contribuent au renforcement des capacités, à l’autonomisation et à l’apprentissage.

Kai Schrader est conseiller en évaluation et apprentissage chez HELVETAS Swiss Intercooperation. Après avoir consacré plus de 20 années à la coopération au développement, il a axé ses activités sur les méthodes participatives de planification, d’évaluation et de développement, et sur les thèmes liés à l’utilisation des terres, l’agriculture et l’écologie. Il est titulaire d’un doctorat délivré par le Centre pour le développement et l’environnement de l’université de Berne.
Contact: kai.schrader@helvetas.org

Pour plus d’informations sur les projets Helvetas (en anglais) :

Helvetas Blog: "'Learning expedition' with 15 projects on monitoring and results measurement"

Helvetas Decentralization and Local Development (dldp) Program, Albania

Helvetas Local Governance Programme Sharique

Schrader, Kai (2014), Saving time and improving Health. Impact Assessment.

Kaegi, Stefanie, Bischof, Andrea and Luethi, Rudolf (2017), Organic Cotton Experiences. Learnings and recommendations from Mali, Burkina Faso and Kyrgyzstan. Helvetas Swiss Intercooperation.

Kaegi, Stefanie and Schmidt, Peter, 2016, Rural Advisory Services and International Cooperation. How to reach large numbers of agricultural producers with rural advisory services - a compilation of articles with insights and innovations.  Swiss Agency for Development and Cooperation (SDC).