Acteurs, partenaires, bénéficiaires

La fabrique en commun
des évaluations

Rapport 2019-2020

Édito

Rémy rioux

Directeur Général
de l'AFD

« Il faut plus d'évaluation, il faut plus de débat public, pour plus d'adhésion à la politique de développement »

2 ans d'évaluation

Bilan

Un bilan riche de travaux évaluatifs et de capitalisations
axés sur la redevabilité et l'apprentissage,
malgré l'impact de la crise Covid-19

Évaluation, suivi, audit :
quelles différences ?

L'évaluation se distingue du suivi ou de l'audit par son attention à la pertinence – c'est-à-dire au sens – de l'action et à l'explicitation des relations de causalité entre les moyens et les résultats et impacts. Elle porte sur l'ensemble du cycle d'un projet ou d'une politique, de sa conception à ses effets. L'évaluation porte un jugement sur une intervention, tandis que le suivi (ou suivi-évaluation) concourt au pilotage du projet à partir de données collectées en continu – ou très régulièrement. L'audit quant à lui est un exercice de contrôle dont l'objet est la conformité et le respect des procédures. Il se concentre principalement sur l'utilisation des moyens.

L'évaluation à l'AFD :
apprendre et avancer ensemble

visionner l'animation

En chiffres

61

évaluations de projet, 88 projets couverts
Elles servent à nourrir le dialogue avec les partenaires et l'apprentissage collectif

58

projets évalués en Afrique
L'évaluation croissante de projets en Afrique reflète l'effort de redevabilité sur ce continent

14

évaluations sectorielles, thématiques et stratégiques
Elles visent à répondre à un déficit de connaissances sur les résultats et impacts des interventions

16

travaux de capitalisation engagés
Elles permettent aux équipes opérationnelles de prendre du recul sur leurs pratiques

 

Les évaluations

retour

Deux exemples représentatifs de l'utilité des évaluations
Bassin du Congo : la production de connaissances,
avec l'évaluation d'impact sur la déforestation.
Laos : l'amélioration des projets futurs, à partir des enseignements de l'évaluation d'un projet de développement rural.

Une évaluation d'impact mobilisant les images satellitaires nourrit le débat sur la déforestation dans le Bassin du Congo

Malgré l'appui de longue date des acteurs institutionnels à l'aménagement des concessions forestières en Afrique centrale, leur efficacité pour réduire la déforestation reste un sujet de débat.

Pour apporter des éléments de réponse, l'AFD, le FFEM* et l'IRD** ont, dans le cadre d'un partenariat de recherche, financé une évaluation d'impact des modes de gestion forestière sur le couvert forestier dans le Bassin du Congo.

Dans cette étude, l'équipe de recherche a comparé les concessions qui disposaient d'un plan d'aménagement validé à des concessions aussi similaires que possible qui n'en disposaient pas. L'étude a mobilisé, par ailleurs, des données d'observation de la terre pour quantifier l'évolution du couvert forestier à l'échelle de chaque concession.

Les résultats montrent que la déforestation est plus faible dans les concessions du Bassin du Congo qui ont validé un plan d'aménagement entre 2000 et 2005. En produisant une telle connaissance, cette évaluation nourrit le débat sur le rôle de l'aménagement dans la gestion forestière par les États de la région.

*Fonds français pour l'environnement mondial
**Institut de recherche pour le développement

en savoir plus

En chiffres

74%

Les plans d'aménagement forestiers réalisés entre 2000 et 2005 ont permis de réduire la déforestation de 74% au sein des concessions concernées sur la période 2000-2010

Apprendre en continu des succès comme des difficultés

Au Laos, l'évaluation du projet Northern Uplands Development Programme II (NUDP II) a permis de mieux comprendre le succès et les limites de l'intervention. L'AFD s'est emparée des enseignements de l'étude pour instruire le nouveau projet de gestion durable des micro-bassins versants au nord-Laos (Sustainable micro-WAtershed project in Northern uplands of Laos - SWAN -).

Manque d'ingénierie sociale et de prise en compte des besoins des populations, problèmes de transparence dans la gouvernance des associations d'usagers de l'eau : autant de faiblesses dans la mise en œuvre du projet NUDP II relevées dans les conclusions évaluatives. Dans une démarche résolument tournée vers l'apprentissage, l'AFD s'est nourrie de ces enseignements pour concevoir le nouveau projet SWAN. Il met l'accent sur le renforcement des capacités des communautés locales en matière de gestion des ressources naturelles au niveau micro-bassin versants. Le projet a changé d'échelle et soutient un processus de planification participative et la transmission des connaissances sur l'état des ressources naturelles pour mieux répondre aux besoins locaux. Et poursuit, en l'améliorant, la composante « Appui à la transition agro-écologique » qui a montré de bons résultats dans le projet achevé.

Phengkhouane Manivong

Chargée du projet SWAN,
Agence de Vientiane, Laos

« Le rapport d'évaluation permet d'assurer une continuité dans la connaissance du projet en cas de changement d'équipe et de préparation d'un projet nouveau. »

« L'évaluation du NUDP II, en soulignant la faible utilisation des infrastructures par des associations d'usagers de l'eau du fait de l'absence d'un système de gestion et de maintenance, a permis de lancer une réflexion sur l'orientation de SWAN. A l'issue de ce débat, il a été décidé de privilégier la gestion durable des ressources en eau sur les infrastructures existantes plutôt que l'investissement dans de nouvelles infrastructures : la faisabilité s'est inspirée des enseignements issus de l'évaluation. »

Le sahel

Focus sur deux ans d'évaluations

L'AFD a intensifié ses efforts d'évaluation au Sahel en se fixant l'objectif d'y évaluer 75% des projets achevés, afin de répondre aux enjeux de plus en plus forts d'apprentissage et de redevabilité en continu dans cette zone marquée par un contexte sécuritaire très dégradé et volatile. 8 projets ont été évalués en 2019 (taux de 67%) et 15 en 2020 (taux de 88%).

Pour permettre cette montée en puissance, un accord cadre a été mis en place en 2019 avec un consortium de bureaux d'études spécialisés sur le Sahel regroupant expertise internationale et locale. Une capitalisation a été menée sur 18 évaluations de l'accord-cadre 2019 et 2020, couvrant 21 projets afin de tirer des enseignements transversaux sur l'action de l'AFD au Sahel.

La double contrainte zone rouge qui empêche de mener les enquêtes auprès des bénéficiaires, et celle du Covid-19 depuis mars 2020 constitue autant d'obstacles pour l'exécution des projets et la conduite des évaluations. Pour pallier ces freins, le département Evaluation et apprentissage de l'AFD a développé des évaluations « à distance » via des outils numériques et le suivi satellitaire.

Des résultats tangibles mais des impacts de long terme encore difficiles à mesurer

Les évaluations indiquent que les projets de l'AFD au Sahel mettent effectivement en œuvre les réalisations attendues et qu'ils atteignent les objectifs fixés. Les projets financés par l'AFD produisent des résultats tangibles contribuant à l'amélioration des conditions de vie des populations et au renforcement de la cohésion sociale. Le manque de données disponibles rend néanmoins difficile la mesure des impacts de long terme et indirects des projets. Parallèlement, les dispositifs de suivi-évaluation sont souvent lacunaires, ce qui nuit au pilotage et à la réorientation des projets dans des contextes très volatiles. Les efforts déployés depuis 2018 pour améliorer ces dispositifs par la direction régionale Sahel, en lien avec le département Evaluation et apprentissage, devraient favoriser une nette amélioration sur ce point dans les années à venir.

Des interventions à forte valeur ajoutée

Ces évaluations ont démontré que les interventions de l'AFD sont jugées par ses partenaires institutionnels et de la société civile comme ayant une forte valeur ajoutée : elles répondent à des besoins réels, en apportant une expertise de qualité. L'action de l'AFD est perçue comme étant en cohérence avec les priorités nationales et locales des pays d'intervention. En outre, elle est vue comme bien coordonnée avec les interventions des autres bailleurs de fonds d'un point de vue stratégique et opérationnel. En revanche, les évaluations soulignent des axes d'amélioration concernant la durabilité des projets qui n'est souvent pas assurée en raison d'un impact limité des actions de renforcement des capacités des acteurs locaux. Le manque de moyens humains et financiers pour assurer la gestion des services et infrastructures une fois les projets terminés est également souligné.

18 évaluations de projet
qui couvrent 21 projets sur des secteurs variés ont été lancées durant la période 2019-2020, concernant chacun des pays du Sahel (Burkina Faso, Mali, Mauritanie, Niger, Sénégal et Tchad).

Interviews

Philippe Chedanne

Philippe Chedanne

« Pour répondre à l'immense défi du contexte sahélien, il faut prendre des risques et emprunter des sentiers de traverse. »

lire l'interview

Haroun Moussa & Djimadoum Djialta

Haroun Moussa &
Djimadoum Djialta

« La manière dont l'évaluation a été conduite, les discussions que nous avons eues avec la consultante chargée de l'évaluation, et les analyses contenues dans ce rapport, nous ouvrent des perspectives et attirent notre attention sur certains points. »

lire l'interview

Au Burkina Faso, de la lumière pour les moins favorisés

L'évaluation du projet « Centres secondaires » au Burkina Faso a montré qu'il a permis de connecter 22 450 nouveaux foyers au réseau électrique national, dont 63% ont pu bénéficier de « branchements sociaux à tarifs très bas », afin de favoriser l'accès à l'électricité des plus vulnérables. L'évaluation a également noté des axes forts d'amélioration en termes de suivi des mesures environnementales.

en savoir +

Au Tchad, des pistes et des puits pour la paix sociale entre éleveurs et agriculteurs

L'évaluation du projet Almy Al Afia d'hydraulique pastorale au centre du Tchad a permis le balisage de 292 km de pistes de transhumance et la construction ou réhabilitation de 80 puits, dépassant les objectifs fixés en amont du projet. Néanmoins, au moment de l'évaluation, nombre de ces ouvrages étaient dégradés ou taris en raison d'une sur-sollicitation et d'un manque d'entretien. Au-delà d'une action en termes d'infrastructure, le projet a apporté un appui aux instances de prévention et de gestion des conflits dont la viabilité sur le moyen terme reste cependant fragile.

en savoir +

Évaluation & Covid-19

Flexibilité & continuité

La crise sanitaire de 2020 a contraint l'AFD à adapter ses pratiques d'évaluation. Déplacements impossibles, acteurs rendus indisponibles, difficulté à mobiliser les parties prenantes à distance, collecte de données plus complexe, etc., autant de défis posés à l'évaluation qui ont affecté la qualité de plus d'un tiers des évaluations de projet.

Pour continuer à collecter des données de terrain, l'AFD a eu plus souvent recours à des équipes mixtes de consultants. Mobiliser des consultants nationaux, en plus des consultants internationaux, a permis quand c'était possible de maintenir des déplacements dans les pays des projets à évaluer. Cette pratique, déjà majoritaire à l'AFD, a été renforcée par la crise, confortant ainsi l'implication des experts nationaux en accord avec l'ambition de l'AFD de donner davantage d'importance aux experts du Sud.

« Je devais réaliser une des deux missions de terrain prévues. Finalement j'ai conduit les deux missions puisque l'équipe de consultants français n'a pas pu se déplacer. Nous avons renforcé les échanges entre nous malgré les coupures d'internet qui ont rendu difficile cette coordination. »
M. Zakinet Dangbet, enseignant-chercheur à l'Université de N'Djamena, membre de l'équipe d'évaluation d'un projet d'hydraulique pastorale au Tchad.

85%

des évaluations de projet menées notamment avec des consultants locaux

7/34

Seulement 7 évaluations de projet réalisées entièrement à distance sur 34 évaluations en cours en 2020

50%

des évaluations de projet ont pris du retard du fait de la crise

Regards croisés

L'AFD a souhaité donner la parole aux consultants et chercheurs qui ont été en première ligne pour adapter les évaluations au cœur de la crise Covid-19. Quelles ont été les principales difficultés qu'ils ont rencontrées ? Les solutions apportées ?

Adaptation des méthodes de collecte de données en cours d'évaluation, renforcement du rôle des consultants pouvant se rendre sur place, stratégie de compensation de la moindre efficacité des méthodes de collecte à distance… Eclairage sur les nouveaux défis communs posés par le contexte sanitaire.

Philippe Chedanne

David de MONBRISON

« L'évaluation était déjà lancée et nous étions prêts à partir en mission dans plusieurs pays quand la crise sanitaire nous a stoppés. »

lire l'interview

Haroun Moussa & Djimadoum Djialta

Komlavi II ADJEGAN

« Tout était presque prêt pour la seconde enquête de suivi auprès de 3000 ménages à Kinshasa prévue entre mars et mai 2020. »

lire l'interview

Pour consulter toutes les évaluations

Crédits photos
Ouverture : Kibuuka Mukisa Oscar
Bassin du Congo : AGEOS
Laos : Gaylord Glordanino
Tchad : Zakinet Dangbet
Covid-19 : Didier Gentilhomme, Bart Verweij