Nathalie Le Denmat : « Évaluer nos interventions est essentiel »

Pourquoi est-il important d’évaluer l’impact de l’aide au développement ?

Évaluer nos interventions est essentiel pour deux raisons. D’abord pour pouvoir rendre compte de notre activité : est-ce que les projets soutenus ont profité aux populations que l’on souhaitait toucher sur le plan de la qualité de vie, de la santé, de l’éducation ? Mais aussi pour tirer les leçons de nos expériences. Nous développons des projets dans des contextes difficiles et mouvants, ce qui nécessite de savoir évaluer et identifier ce qui a marché ou non. Cette démarche d’apprentissage continu est vraiment un axe prioritaire pour nous.

Cela fait quarante ans que l’évaluation existe à l’Agence française de développement (AFD). Nous en effectuons plusieurs types. Des évaluations de projet – 30 % de nos projets sont évalués, avec l’objectif de passer à 50 % à partir de 2020, ce qui est un bon standard international. Nous menons aussi des évaluations au champ large qui s’intéressent à une thématique, un instrument ou une stratégie. Par exemple, nous étudions actuellement quinze ans d’appui de l’AFD au secteur de l’irrigation au travers de 100 projets.

Et puis il y a les évaluations scientifiques d’impact, qui vont analyser rigoureusement dans quelle mesure les résultats observés peuvent être attribués à notre intervention, indépendamment des autres facteurs qui influent sur ces résultats. Elles sont menées sur le temps long (de deux à huit ans, parfois plus), car les impacts du projet sur les conditions de vie des populations se mesurent dans la durée. L’AFD en conduit assez peu, car elles coûtent cher, mais nous en programmons de plus en plus car elles ont une vraie valeur ajoutée sur la connaissance du développement, irriguent le débat international, et ont de multiples retombées positives sur nos pratiques.

Comment ces évaluations sont-elles réalisées, concrètement ?

Elles sont menées avec des organismes de recherche européens et des pays dans lesquels le projet évalué est mis en œuvre. Lorsque les données nécessaires ne sont pas disponibles, ce qui est souvent le cas dans les pays où nous accompagnons des projets, nous essayons aussi d’impliquer les instituts nationaux de statistiques, et organisons parfois des formations communes intégrant les enquêteurs qui partiront sur le terrain mener les enquêtes auprès des ménages.

Nous pouvons également utiliser des outils numériques sur téléphones mobiles ou des données satellitaires, pour suivre un projet permettant de lutter contre la déforestation par exemple.

Il y a plusieurs façons de mener une évaluation scientifique. Or les chercheurs se divisent aujourd’hui sur ces méthodes… Pourquoi ?

Il existe trois grands types de méthodes. La méthode quantitative expérimentale, ou « randomisée », qui consiste à tirer au sort deux groupes dans la population éligible à un projet, l’un bénéficiant de l’aide et l’autre pas, et à comparer l’évolution de ces deux groupes. Cette méthode est très utilisée dans le domaine de la santé ou même pour des sondages d’opinion, et peut coûter très cher, jusqu’à 2 millions d’euros pour l’évaluation d’un projet de développement. Elle pose aussi des défis car elle implique de sélectionner aléatoirement les bénéficiaires du projet, ce qui peut être compliqué à mettre en oeuvre sur le terrain et éthiquement questionnable.

La deuxième méthode quantitative, dite quasi expérimentale, consiste à identifier des populations qui semblent comparables aux bénéficiaires, sans les tirer au sort. Sa mise en œuvre est donc plus souple et elle est susceptible de fournir des résultats robustes. Un « biais de sélection » peut toutefois subsister, c’est-à-dire que des différences structurelles subsistent entre les bénéficiaires et le groupe de contrôle, ce qui fausse la comparaison.

La dernière méthode, la mixte, consiste à adjoindre à l’une des deux premières méthodes quantitatives, une étude qualitative qui va s’attacher à mieux poser les questions de recherche et à expliquer pourquoi on en arrive aux résultats obtenus.

Lors d’une évaluation scientifique d’impact utilisant la méthode quasi expérimentale sur un projet visant à inciter les femmes mauritaniennes à des visites médicales pré et post-natales pour un montant très basique, la phase qualitative de l’étude a permis de mieux comprendre pourquoi les femmes les plus vulnérables n’avaient pas été touchées, ainsi que les mécanismes organisationnels qui ont entraîné une perte d’efficacité du dispositif alors qu’il était généralisé sur l’ensemble du territoire.

Cela nous a permis de revoir le projet, en essayant d’appliquer un mécanisme de gratuité pour les plus vulnérables et en accompagnant davantage l’amélioration de la qualité des soins dans les centres médicaux de proximité (cliquez pour lire l'étude).

Les chercheurs se divisent sur le fait que la méthode expérimentale est présentée par les uns comme le summum de l’évaluation scientifique, alors que d’autres estiment qu’elle peut aussi porter certains biais scientifiques, et que, selon les contextes et les questions évaluatives, la méthode quasi expérimentale peut être mieux adaptée.

Quelle est la position de l’AFD ?

Les chercheurs réunis le 19 mars à l’AFD pour débattre de ces sujets ont reconnu l’importance de la question posée au départ d’une évaluation dans le choix de la méthode qui sera employée pour y répondre. Autrement dit, c’est seulement dans un second temps qu’il convient de s’interroger sur la méthodologie la mieux à même de répondre à la question posée.

L’AFD est totalement dans cette mouvance, et refuse de brandir l’une ou l’autre méthode de manière dogmatique. Nous sommes très favorables aux méthodes mixtes, qui introduisent une part de qualitatif, basé sur la sociologie, l’anthropologie ou autres spécialités, qui, en approfondissant la chaîne de causalité menant aux résultats, nous donne des pistes pour réajuster nos futurs projets et être plus efficients.

Quels obstacles restent aujourd’hui à lever pour améliorer les procédures d’évaluations ?

Il faut d'abord continuer à diffuser la culture de l’évaluation ! Ce n’est pas encore une culture qui est totalement intégrée à l'état d'esprit français… Il est encore difficile pour nous, même si nous progressons, de regarder ce que donne notre action et de nous remettre en cause.

Ensuite, pour que les résultats de nos évaluations irriguent nos stratégies et nos projets, ils doivent être appropriés par chacun. Nous devons donc intéresser les chefs de projet, ainsi que les décideurs, en passant des messages opérationnels pertinents.

Nous faisons aussi en sorte de sensibiliser nos partenaires dans les pays émergents et en développement. L’évaluation constitue un élément particulièrement intéressant pour approfondir le dialogue sur un projet ou sur une politique publique… C’est également un élément de renforcement de capacités et de meilleure gouvernance.

Les évaluations traduisent la complexité des contextes dans lesquels l’AFD intervient, et nous essayons d’en retirer des messages clairs qui ne soient pas pour autant réducteurs de la qualité des études menées – qui sont pointues sur le plan méthodologique. C’est difficile, mais nous progressons. Et nous allons bientôt publier notre premier rapport sur les évaluations.

[Dossier] L'évaluation, un outil d'apprentissage pour améliorer les pratiques

Raïssa Zoungrana, championne de l'entrepreneuriat féminin au Burkina Faso

Yop.Crealab : la création numérique imprime sa marque en Côte d'Ivoire