Acteurs, partenaires, bénéficiaires

La fabrique en commun
des évaluations

Rapport 2019-2020

Interview croisée

Karen Rot-Münstermann

« La mission de l'Evaluation
Indépendante du Développement de la
BAD est d'améliorer l'efficacité
et l'efficience de nos
interventions dans les pays
africains grâce à nos
évaluations. »

Karen Rot-Münstermann

Évaluatrice générale par intérim de la Banque Africaine de Développement (BAD)

Thomas Mélonio

« S'agissant d'un partenaire bilatéral
comme l'AFD, il y a également un enjeu de redevabilité. 85 % de l'effort budgétaire de l'État se concentrant sur la méditerranée et l'Afrique, nous devons faire davantage d'évaluations là où l'État concentre
l'immense majorité de ses moyens »

Thomas Mélonio

Directeur exécutif de l'Innovation Recherche et Savoirs à l'AFD

Lire l'interview

Bénéficiaires

Projet d'Appui au Secteur
de la Santé au Tchad (PASST)

Placer les bénéficiaires au cœur

de la démarche évaluative

Après dix ans de coopération avec le Ministère Tchadien de la santé, l'AFD a souhaité réaliser l'évaluation rétrospective de deux phases du Projet d'Appui au Secteur de la Santé lancé en 2009 (PASST 1 et 2), la seconde étant toujours en exécution lors de l'évaluation. Elles ciblaient plusieurs priorités du Ministère, dont le renforcement des ressources humaines, l'offre et la demande en santé maternelle et infantile.

Compte tenu des enjeux d'apprentissage, le choix a été fait de réaliser une évaluation en interne (avec l'appui d'un consultant extérieur) et de développer une approche méthodologique orientée vers "l'appréciation des changements".

Des focus-group et des interviews pour appréhender les changements

Au-delà de l'analyse documentaire et des données sanitaires issues des enquêtes ménages, et de la réalisation d'entretiens individuels, la collecte de données s'est articulée autour de six focus-group où les acteurs ont proposé leurs visions des changements observés, contribuant ainsi directement à l'analyse évaluative.

L'originalité de la démarche est d'inverser le sens de l'analyse. Il s'agit d'évaluer les changements intervenus chez les acteurs du projet – que cela corresponde ou non aux résultats visés – puis d'analyser dans quelle mesure le projet y a éventuellement contribué.

Des changements dans l'accès et la qualité des soins

L'analyse des données issues des Enquêtes Démographiques et de Santé, entre 2010-2014, dans les régions de N'Djamena et du Logone Occidental, montre une augmentation de la couverture en soins de santé (planification familiale, accouchements assistés, césariennes). Pour ce qui est de l'utilisation de méthodes de contraception moderne, elle fait un bond important dans le Logone en passant d'un niveau quasiment nul en 2010 à 10,5% de femmes en 2014, à la fin du PASST1. Ces changements, objectivés par les données statistiques, sont également corroborés par les données qualitatives issues des entretiens et focus-group qui soulignent un changement de pratiques chez les sages-femmes, qui prennent le temps du dialogue sur les méthodes de planification familiale et leurs risques, tout en laissant un espace pour les questionnements de la femme.

Les évaluateurs ne peuvent cependant pas affirmer que l'augmentation de l'utilisation des méthodes contraceptives et des consultations prénatales est directement attribuable au financement des activités du PASST, mais le programme y a certainement contribué.

en savoir plus

« Avant les formations, les sages-femmes n'avaient plus de mots pour nous accueillir, maintenant elles nous accueillent vraiment. »

Une bénéficiaire
d'un centre de santé urbain

En chiffres

70

interviews
réalisées

6

focus group organisés sur des thématiques différentes
1 avec les bénéficiaires,
1 avec des agents communautaires,
1 avec les ONG opérateurs du projet sur la gouvernance,
2 avec le personnel de santé,
1 avec le ministère de la santé

+10,5 pt

de femmes utilisant des méthodes de contraception modernes à la fin du PASST1 en 2014 dans le Logone

 

 

Focus méthodologique sur l'appréciation des changements

L'évaluation a porté essentiellement sur trois principales dimensions : le pilotage du projet ; le renforcement des capacités des organisations, la formation et gestion des ressources humaines du ministère de la santé publique ; et les actions visant le renforcement de l'offre et de la demande de services de santé pour la mère et l'enfant. Ainsi, pour chacune de ces dimensions, l'évaluation s'est attachée à constater « ce qui avait changé » et pourquoi.

Enfin, le financement d'un projet s'inscrivant dans un contexte sanitaire, politique, économique qui joue, même indirectement, sur sa mise en œuvre, il a été proposé de croiser les changements perçus dans les différentes dimensions avec l'évolution du contexte national tchadien. L'ensemble de ces données a été systématiquement triangulé. Les évaluateurs ont ainsi croisé i) une interview des responsables du projet à l'AFD sur la gouvernance et le suivi du projet, avec ii) les constats issus du focus group sur la « gouvernance du projet », et iii) leur analyse des documents de suivi du projet (rapports annuels d'activité).

Abdelkadre Mahamat HASSANE

Coordonnateur du projet PASST

« La démarche participative et l'organisation des focus-group ont été très nouvelles et appréciées. Elles ont permis aux partenaires du projet PASST d'être acteurs de l'analyse et des conclusions, d'apprendre et de s'auto-évaluer. »

lire l'interview

Acteurs partenaires

Fonds Commun Santé Niger

Une approche collective pour

améliorer la santé au Niger

Au Niger, où le secteur de la santé souffre d'un sous-financement structurel, un fonds multi-bailleurs, le Fonds Commun en Santé, a été créé en 2006 à l'initiative du Ministère de la santé publique avec l'appui initial de l'AFD et de la Banque Mondiale. Il regroupe aujourd'hui 6 bailleurs et a mobilisé 91,3 millions d'euros entre 2015 et 2019, période couverte par l'évaluation.

Le Fonds vise à contribuer à l'amélioration de l'état de santé de la population, en particulier des femmes et des enfants, en appuyant la mise en œuvre du Plan de Développement Sanitaire (PDS) du pays. Il a pour ambition, en canalisant les ressources des partenaires du Fonds sur les priorités, lignes et procédures du ministère -conformément aux principes de la Déclaration de Paris sur l'efficacité de l'aide – de soutenir la capacité de l'Etat à délivrer des services de santé dans l'ensemble du pays.

L'évaluation du mode de fonctionnement du Fonds et de ses effets a adopté une méthodologie résolument participative, impliquant les acteurs du ministère aux niveaux central et déconcentré ainsi que l'ensemble des partenaires du Fonds. Ses enseignements ont nourri la conception de la 4ème tranche d'appui de l'AFD au Fonds.

Un instrument de financement efficient et stabilisateur dans un contexte d'insécurité

L'évaluation a montré que la pertinence du Fonds s'était renforcée avec le temps car il a su adapter ses modalités de gestion aux souhaits de certains partenaires de cibler leurs financements sur des activités prioritaires du PDS tout en respectant les principes de l'alignement de l'aide. Il a permis de renforcer le dialogue stratégique entre le ministère et ses partenaires, même si la coordination entre ces derniers doit encore être améliorée.

Autre constat très positif, le Fonds est un mécanisme de gestion particulièrement efficient et la qualité de sa gestion fiduciaire est saluée, comme en atteste le triplement des budgets en 2018-2019 comparé aux périodes antérieures. Il a mis en place des procédures claires et appropriées par tous et a permis un renforcement des capacités de gestion du ministère. Enfin, il constitue le seul « partenaire » sûr et prévisible des directions régionales de la santé qui leur permette de financer leurs plans annuels d'activité.

Des faiblesses en matière de planification, de suivi et d'évaluation

L'évaluation pointe cependant des faiblesses importantes du Fonds au niveau du suivi des financements, des réalisations et des résultats, qui empêchent notamment de mesurer l'efficacité des actions ciblées par le Fonds. Plus globalement, elle souligne les constats répétés sur le caractère trop ascendant de la planification du PDS et sur la faible qualité de son dispositif de suivi/évaluation.

en savoir plus

« Nous avons apprécié la méthodologie déployée, qui a permis une évaluation conjointe et le développement, ensemble, de pistes de solutions. Elle a identifié les questions fondamentales vers lesquelles les efforts devraient être orientés pour une meilleure efficacité du Fonds Commun Santé. »

Cedric Ndizeye,
Consultant à la Banque Mondiale

Interviews

Ranaou Abaché

Dr Abaché RANAOU

Secrétaire général du Ministère de la
santé publique et Coordonnateur
stratégique du Fonds Commun Santé

« L'évaluation du Fonds pilotée par l'AFD a montré des résultats globalement très positifs. Les conclusions de cette étude renforcent la confiance des partenaires techniques et financiers vis-à-vis du Ministère de la santé publique »

lire l'interview

Jaime del Rivero Trenor

Jaime del Rivero Trenor

Secrétaire des partenaires
techniques et financiers / Fonds Commun Santé

« L'approche utilisée par le consultant lors des ateliers de travail a réellement favorisé l'engagement des parties dans les discussions et dans la formulation des propositions. »

lire l'interview

Acteurs internes

Outils de collecte et
de représentation des données
au service des opérations

L'imagerie satellitaire est utilisée par l'AFD depuis quelques années pour renforcer l'évaluation des impacts de certains de ses projets.

Déployer des outils innovants

pour mieux rendre compte

Indispensables pour suivre et évaluer les projets, les données sur leur mise en œuvre sont parfois complexes à recueillir en cas de difficultés à se rendre dans certains lieux.

Illustration de cette réalité, l'accentuation de la crise au Sahel et son élargissement à des zones de plus en plus étendues, empêchent les équipes opérationnelles de se déplacer dans plusieurs sites d'intervention des projets.
Pour concilier continuité de l'instruction, du pilotage et du suivi des projets et contraintes sécuritaires, l'AFD développe depuis plusieurs années des méthodes et des outils innovants qui permettent de recueillir des données à distance en lien avec les opérationnels.

« Donner à voir » l'état d'avancement des projets

Parmi les outils utilisés tels que le suivi satellitaire ou les mécanismes de remontée des plaintes par les bénéficiaires des projets, la collecte de données mobiles est la méthode la plus répandue au sein de l'AFD. Elle consiste à doter les responsables du suivi-évaluation des projets de téléphones mobiles ou de tablettes pour collecter les données du projet qui sont transmises instantanément sur une plateforme numérique.

Au sein de l'Alliance Sahel, un travail collaboratif entre les partenaires techniques et financiers visant à partager la géolocalisation des projets de chacun a été impulsé par la Banque mondiale afin d'améliorer la coordination inter-bailleurs. La Banque mondiale utilisait la plateforme KoboToolbox, gratuite et sans besoin d'accès à internet lors de la collecte, pour cartographier son portefeuille d'activités. Elle a donc promu cet outil et formé les autres bailleurs.

L'AFD a décidé de s'aligner sur cette pratique en sensibilisant et formant ses équipes à cet outil. Les outils de collecte de données mobiles permettent la digitalisation des questionnaires, la géolocalisation des données, la prise de photos, le traitement et la visualisation des données recueillies en temps réels. En se connectant à la plateforme, chaque membre de l'équipe projet peut avoir accès à l'état d'avancement des réalisations en continu. Grace à cet outil, il est notamment possible de s'assurer de la véracité des données collectées, de cartographier très précisément les activités de l'AFD sur le terrain, et de répondre à la demande exponentielle de redevabilité des projets dans le contexte dégradé du Sahel. Parallèlement, le département Evaluation et apprentissage a soutenu les directions régionales Sahel et Golfe de Guinée dans la création, l'alimentation et l'exploitation de bases de données projets qui recensent les activités menées dans ces zones. Ces bases de données, et leur exploitation cartographique, ont permis aux équipes projet de mieux rendre compte de leurs opérations sur le terrain.

 

Lisa Verrière

Chargée de mission Sahel / AFD

« Le Sahel est l'une des zones d'intervention prioritaire de la France, et concentre des investissements croissants. Pour répondre aux défis multiples qui traversent le Sahel, l'AFD développe un pilotage davantage axé sur les résultats. »

lire l'interview

Voir la carte

lire l'interview Voir la carte

 

Pour consulter toutes les évaluations

Crédits photos
PASST : Gabriel FOUOKALBO KADA via sa structure Maya's prod.
Fonds Commun Santé Niger : Gret
Graphisme : Luciole