EVALUATION

Agathe chargée de mission C.I. page 18 (cliquer sur l’image pour l’agrandir)

DEFINITIONS ET USAGES

Evaluer c’est estimer, et si possible mesurer, les résultats d’un projet ou d’ un programme, qu’il soit en cours de réalisation ou achevé. On examine les les écarts entre les résultats atteints et les objectifs poursuivis  ,l’impact, la viabilité, l’exécution. L’évaluation a pour but d’aider et de guider les décideurs, les planificateurs et les gestionnaires.

« L’évaluation n’est pas une veste de prêt-à-porter. C’est un costume sur mesure. Difficile de commander un tel vêtement sans connaître ses mesures et sans savoir quel costume on veut. Evidemment c’est un peu cher, compliqué et long à faire. Un tel costume est réservé pour les grandes occasions. Mieux vaut avoir d’autres vêtements plus ordinaires pour s’habiller tous les jours. » (Daniel NEU (sous la direction), Améliorer l’efficacité des évaluations. F3E, 2004)

Limites des évaluations et de leur usage

  • En raison de leur confidentialité, les résultats des évaluations sont rarement communiqués aux intermédiaires et aux bénéficiaires. Les résultats ne sont pas confrontés à ceux que les intermédiaires et les bénéficiaires obtiennent avec leur propre système d’évaluation.
  • Pour améliorer un partenariat,Rahamata extrait
  • Parce qu’ils ne sont pas rendus publics, les résultats des évaluations ne permettent ni dans les pays donateurs ni dans les pays bénéficiaires un dialogue, un débat élargi. Il en résulte des difficultés pour les acteurs du système de l’aide à apprendre et à capitaliser ensemble leurs expériences.

Les rapports d’évaluation sont indigestes

Les rapports de soixante à cent pages, production finale des évaluations, sont réservés à ceux qui ont la capacité de les lire et sont rarement diffusés au-delà des acteurs directement concernés. Les conclusions et les recommandations des évaluations ne sont pas très partagées ni au sein des organisations évaluées, ni entre ces organisations et leurs partenaires notamment au Sud. Ainsi les rapports d’évaluation sont donc des outils de communication très limités. Certaines ONG étrangères « traduisent » systématiquement les principales conclusions de leurs évaluations en documents audiovisuels ou en « boîtes à images » pour les mettre en débat. Bien sûr, il ne revient pas aux évaluateurs de produire tous les supports nécessaires pour valoriser leurs conclusions et recommandations. Mais, il est nécessaire qu’elles soient valorisées par un travail d’information, de communication et d’animation de débats « post évaluation », réalisé par les évalués après le travail des évaluateurs. « L’efficacité d’une évaluation se joue donc aussi lors de la phase « d’après évaluation » […]

(Daniel NEU ,cité ci-dessus)

QUE DISENT DES ACTEURS ?

Ce que disent des responsables paysans :

Evaluer nous mêmes avant la fin du projet

« A mi-parcours de l’exécution du projet, on est content si on peut évaluer et envoyer au partenaire un petit rapport pour lui dire où nous en sommes. Il faut l’informer sur l’évolution des apports propres. Personne n’est sûr de ce qu’il aura dans son grenier avant le 15 novembre de chaque année ! Si nous avions prévu des apports propres importants et que la pluie a tout gâté ; que faire ? On évalue et on lui écrit : »Nous reportons la réalisation de telle chose car nous avons une récolte mauvaise ; les adultes sont partis pour survivre en ville. »

L’évaluateur externe peut être un danger

« Dans leur rapport, les évaluateurs n’ont pas parlé en rien de nos efforts propres. Il faut voir qu’au minimum sur ce projet, une vingtaine de membres se sont engagés bénévolement durant deux ans. Cela n’apparaît pas. Rien. Par contre, toutes nos faiblesses apparaissent ! Il n’y a pas un point fort, ne serait-ce qu’un seul point fort ! « Vous devez faire paraître ceux-là aussi », avons-nous écrit. Ils cherchaient seulement à se construire eux ! »

(GRAD, Six outils pour un partenariat durable, outil 4, fiche 25)

MPD/Texte joint

QU’ECRIVENT DES AGENTS ?

L’evaluation externe …/à la base (MCG.BL,p233)

Les trois types d’évaluation classiques

  • « L’évaluation conjointe » (entre deux partenaires)

Un responsable d’OP tchadienne : « Nous avons un partenaire qui, tous les deux ans, descend à la base dans les villages et les groupements. Il fait d’abord une première tournée, voir les réalisations et ensuite, en synthèse ensemble, on fait l’évaluation. Il est là une semaine durant : souvent avec une mission composée d’un journaliste de l’ONG, d’un gestionnaire, du président et du trésorier » (Tchad)

  • « L’évaluation externe » (par un spécialiste)

Un cadre d’ONG du Sahel : » Pour vérifier la bonne utilisation de la ligne de crédit fournie par un partenaire, c’est un cabinet sénégalais qui vient. Ils descendent tous les deux mois à la base pour faire le contrôle et le suivi des actions qui ont été financées. Et l’an dernier, un évaluateur est resté 3 semaines dans notre association et a remis un rapport très utile. » (Sénégal)

  • « L’auto-évaluation » (par le partenaire du Sud)

Un secrétaire général d’OP : « Tous les 3 ans, nous évaluons notre action. Des délégués de chaque groupement se forment pour cela. A partir des estimations et des jugements faits par les assemblées de chacun des groupes, on obtient une critique de tout ce que fait (et ne fait pas) l’association ». (Sénégal)

(Aider, c’est pas donné ! Fiche 20 ,Grad)

QU’ECRIVENT DES AUTEURS

L’auto-évaluation  comprend, grosso modo, trois étapes.

Tout d’abord, évaluer : s’arrêter pour voir le chemin parcouru, analyser les embûches rencontrées et les méthodes fécondes, repérer les bénéficiaires et les exclus des actions entreprises. Cette évaluation est d’autant plus nécessaire que chaque organisation de base avance en terrain peu connu. Elle ne suit pas un modèle préétabli. Elle s’en méfie plutôt, puisqu’elle veut faire du neuf. La difficulté de cet examen est l’absence de base de comparaison avec d’autres cheminements. C’est pourquoi une organisation qui pratique l’auto-évaluation a tout intérêt soit à inviter des responsables d’autres organisations à participer à cet exercice, soit à suggérer l’évaluation parallèle de plusieurs organisations afin de pouvoir comparer. Esman et Uphoff rapportent l’expérience d’un organisme au Népal :

Environ chaque mois les groupements de 10 à 15 membres évaluent avec leurs responsables leurs progrès. Chaque groupement désigne son représentant pour participer à une évaluation trimestrielle où les problèmes rencontrés, les réussites atteintes, font l’objet d’une autocritique et de recherche collective de solutions. » *

Ensuite, se tourner vers l’avenir, non pour le prévoir, ce qui est impossible, mais pour l’inventer. Il s’agit :

« d’imaginer et de construire le cheminement vers un avenir meilleur et de se rendre compte qu’il n’y a rien d’impossible, ce qui conduit nécessairement à mobiliser toutes ses forces. » **

Enfin, rapprocher les résultats de l’évaluation de ceux de la prospective, pour choisir ce que l’on va faire désormais et comment le faire. Stimulés par la perspective future, rendus réalistes par l’examen du passé récent, les membres de l’organisation de base peuvent décider du proche avenir .

(*ESMAN Milton J. UPHOFF Normann T.,Local Organisations and Rural Development :the State of the Art ,Cornell University ,1982 ). (**GODET Michel, Prévision et prospective,PUF, 1975)

(L’aide par projet, limites et alternatives, Bernard LECOMTE.OCDE,1986, p. 84)

UN CAS

Le nouveau départ de la FONGS (1989)

En 1989, l’atmosphère était lourde et les réunions devenaient des occasions de disputes. La fédération regroupe alors les organisations paysannes constituées hors décrets publics et loin des objectifs d’encadrement étatique. C’est une première dans le pays. Cette période nous a aidés à sortir de nos réalités internes, à aller vers les autres et à mesurer nos forces et nos faiblesses. Je pense qu’à la FONGS, la rigueur face aux leaders démagogues (il y en avait quelques-uns) et la détermination dans les sanctions ont manqué.

Au niveau institutionnel, la fédération fonctionnait alors avec une assemblée générale, un conseil d’administration et un bureau exécutif. Dans ce dernier, qui gérait le quotidien ainsi que dans le conseil d’administration, il y avait des organisations qui n’étaient pas représentées. Cette frustration a amené des grincements de dents et on a pensé qu’il fallait trouver une forme qui permette à tous les membres de participer aux décisions. C’est à cause de la crise interne qu’on appelle « crise d’adolescence », que nous avons décidé de faire une auto-évaluation interne et externe pour pouvoir redéfinir les axes et nous mettre d’accord sur la meilleure manière d’arriver aux objectifs qu’on s’était fixés. L’accent a été mis sur les questions suivantes, posées

  • Qu’est-ce que la FONGS (mandats, objectifs, …) ?
  • Qu’est ce que notre association apporte à la fédération ?
  • Pourquoi y sommes-nous ? aux associations membres :
  • Qu’attendons-nous d’elle ?
  • Comment voudrions-nous la voir agir et mieux se gérer ?
  • Comment situons-nous les rôles et les responsabilités entre les différents niveaux ?

Cet exercice a mobilisé tous les leaders et des membres d’associations à tous les niveaux. Les résultats ont amélioré la compréhension mutuelle des comportements et modifié les attitudes de ceux qui se sentaient frustrés. A partir de là, nous nous sommes mis d’accord, d’une part, pour assurer la relecture des statuts et du règlement intérieur et y apporter les corrections conformes aux propositions et d’autre part, pour organiser un programme triennal dont le financement se ferait sur un seul compte, avec la possibilité d’audit annuel. Nous ne voulions plus de l’équation : un programme = un partenaire = un compte.

Dans toute cette crise, il n’y a pas eu de remise en cause des grands programmes, auxquels tout le monde était attaché, mais un débat sur l’application, le contrôle, l’implication et le leadership. Cette démarche a été acceptée par tout le monde. Notre travail d’évaluation et d’autoévaluation a duré six mois, de mi-1989 au premier trimestre 1990. Il a éclairé les leaders et responsables, au niveau national et à la base, sur le fait que nous ne réussirions pas seuls à combler le vide laissé par l’Etat. Et aussi que les risques climatiques et les modalités de bonne gestion du crédit ne sauraient être assurés par nos seules initiatives. Nous avons alors cessé de mettre en œuvre des opérations financières au niveau de la fédération.

(Mamadou CISSOKHO, Dieu n’est pas un paysan,Grad,Présence Africaine,2009, P.77/78)

ANALYSES

L’analyse de l’impact de l’aide n’est qu’une fonction secondaire des évaluations

Les évaluations sont susceptibles de remplir quatre fonctions :

  1. Une fonction d’aide à la décision. L’évaluation est généralement demandée et utilisée par le service responsable de la gestion de l’action concernée. Elle est une phase du cycle de l’action nécessaire pour préparer la suite : cessation, poursuite ou réorientation. Phase ultime d’un projet finissant, elle est aussi la phase préparatoire au réamorçage du cycle suivant. Elle constitue un élément de pilotage souvent indispensable à l’agence donatrice.
  2. Une fonction d’audit. L’évaluation est parfois l’occasion d’apprécier la régularité de l’utilisation des fonds publics consommés, du point de vue des procédures et parfois du point de vue de la pertinence des actions engagées.
  3. Une fonction d’apprentissage. L’évaluation est l’occasion de tirer les leçons générales de la pratique passée pour orienter l’ensemble des actions futures. Cette fonction nécessite que l’évaluation se centre sur l’analyse de l’impact.
  4. Une fonction de dialogue. L’évaluation est, ou plutôt devrait être, l’occasion d’un dialogue permanent et approfondi dans les agences, entre les agences et les partenaires. Cela est rarement le cas.

Ces quatre fonctions ont été classées par ordre décroissant d’importance dans le processus réel de l’évaluation de l’aide. Les deux premières fonctions sont largement prédominantes. L’évaluation est avant tout une phase, un « rituel » a-t-on parfois l’impression, du cycle de l’action d’aide. Elle répond parfois à la nécessité de contrôle des fonds publics du donateur. Elle est, en revanche, rarement centrée sur l’analyse de l’impact et contribue insuffisamment au processus d’apprentissage collectif de « communauté » de l’aide. Enfin, elle n’est presque jamais l’occasion d’un dialogue. »

(Jean David NAUDET, Trouver des problèmes aux solutions. Vingt ans d’aide au Sahel.OCDE,Club du Sahel ,1999, P.210).

Evaluer les résultats de chaque projet et/ou les impacts de l’ensemble des interventions d’aide ?

Le système de gestion par les résultats semble avoir au départ l’ambition de »rationaliser » la gestion plutôt que celle d’introduire davantage de subjectivité et de jugement qualitatif.

Il est difficile d’admettre que l’aide au développement est une activité très peu spécifique. On a toujours tendance à vouloir plaquer des méthodes de gestion adaptées satisfaisantes pour l’esprit, à des activités qui ne le sont pas. Le système d’aide, du fait de sa faible spécificité, tient plus de « l’anarchie organisée ». […] que du profil type de la compagnie privée prestataire de service. La définition et la mesure précises et objectives des résultats de l’aide ne sont pas toujours possibles. L’imputation des résultats constatés aux différents acteurs et actions est encore plus délicate. S’il est aisé ex ante de définir les résultats attendus à partir des actions entreprises, il est autrement plus délicat ex post d’isoler les causes des résultats constatés.

Friedberg décrit les caractéristiques d’une forme d’organisation appelée « anarchie organisée », dans les quelles on reconnaîtra sans peine quelques traits distinctifs du système d’aide, même si l’inspiration qui a conduit à ce concept est totalement autre (il s’agit en fait des organisations universitaires).

(Jean David-Naudet, Trouver des problèmes aux solutions. Vingt ans d’aide au Sahel. P.219)

La « gestion par l’impact »

Elle consiste à estimer l’ensemble des résultats, directs ou indirects, mesurés dans un large champ (sectoriel ou thématique).  […]

Il faudrait alors, en particulier, que les donateurs, conscients que les résultats d’un seul d’entre eux n’ont pas grand sens pour le pays receveur, travaillent en commun dans le domaine de l’évaluation. L’inévitable subjectivité de cet exercice d’évaluation devrait être alors assumée et canalisée.

(Jean David-Naudet, Trouver des problèmes aux solutions. Vingt ans d’aide au Sahel. P.222)

Un critère-clef d’évaluation : la viabilité

Un projet/programme de développement est viable « lorsqu’il est capable de garantir des avantages (effets bénéfiques) substantiels sur une période suffisamment longue après que l’assistance externe ait pris fin, qu’il s’agisse de financements, d’assistance technique ou organisationnelle. »

Une intervention de développement est viable lorsque les effets positifs qu’elle a induits persistent. Cela ne signifie pas que le projet/programme qui en est à l’origine survive. Au contraire, cela suppose que celles et ceux qui y ont pris part soient en mesure, une fois les soutiens terminés, de poursuivre leurs activités de manière à pouvoir les adapter à un contexte changeant et soient donc capables de résoudre les nouveaux problèmes.

La viabilité ne peut être organisée du haut vers le bas. Mais un certain nombre de facteurs relatifs au dispositif du projet/programme ont une influence positive sur la viabilité. Un projet/programme de développement est viable :

  • lorsque les groupes cibles considèrent les activités comme leur affaire et que celles-ci deviennent une composante de leur vie sociale ;
  • lorsqu’il est appuyé par une organisation locale efficace ;
  • lorsqu’il est en mesure de subvenir à long terme aux coûts d’exploitation et aux frais récurrents ;
  • lorsque les solutions technologiques qu’il propose sont adaptées tant au point de vue du matériel utilisé que du point de vue social ;
  • lorsqu’il s’insère dans les stratégies politiques locales et nationales ;
  • lorsque sa conception est réaliste, lorsqu’il prévoit un échelonnement judicieux dans le temps et qu’il dispose d’un système d’auto-évaluation. » (1)

Le contexte et les conditions-cadres dans lesquels se déroule le projet/programme de développement ont évidemment une influence sur la viabilité. Mais, « même dans un contexte difficile, un projet peut être viable. Ce qui compte, c’est la bonne adaptation du projet au contexte et sa flexibilité dans l’espace à commencer par une juste appréciation et la prise en compte des contraintes. » (2)

  1. ‘Fondation Terre des Hommes, Manuel du cycle de projet, Mont sur Lausanne; décembre 2001.
  2. DDC, Viabilité des projets de développement, Cahier de la série PSER, Service Evaluation,Berne,juin 1991.

OUTILS

Cinq cahiers…veux tu copier ici un extrait attirant de la présentation de cet outil

Site du F3E organisme spécialisé en évaluation :

http://f3e.asso.fr/)

Evaluer les intérêts de chacun

Il s’agit de reprendre, point par point, les éléments du projet pour évaluer si chacun de ces points est intéressant pour chacun de s partenaires.

Face à notre projet : Quels sont les intérêts de :
Nos groupements(1) Notre Union(2) Les villages(3) Notre partenaire(4)
Ses objectifs
Son financement
L’exécution du contrat
Le suivi et l’évaluation
Le fonctionnement
La formation
Le progrès de nos capacités
  • ➡ Comparer les colonnes « nos groupements (1) » et « notre Union (2) » permet de constater si il y a des divergences entre nous. Que faire pour éviter cela ?
  • ➡ Même chose pour la comparaison entre (1) et « les villages (3) » : sommes-nous en accord avec les villages ?
  • ➡ La comparaison entre les colonnes (1) et (2) et la colonne « notre partenaire (4) » permet de voir notre position par rapport à celle de notre partenaire.

(GRAD, Six outils pour construire des partenariats durables, Outil n° 4, fiche 26)

Pourquoi un guide méthodologique pour l’auto-évaluation ?

Pour répondre à trois objectifs :

  • Stimuler la réflexion des villageoises et des villageois sur ce qu’ils et elles sont et font, puis accompagner cette réflexion jusqu’aux changements souhaités ;
  • Faire que des membres d’organisations paysannes puissent concevoir eux-mêmes leurs outils de pilotage et ;
  • Démarrer le travail d’analyse et de réflexion à partir de leurs préoccupations du moment : concevoir ou suivre un programme, évaluer le fonctionnement et la marche des activités, entrer en contact et négocier avec des partenaires extérieurs.

Comment atteindre ces trois objectifs ?

  • En donnant aux animatrices et animateurs d’un groupement des éléments de méthode et des conseils pratiques pour une mise en œuvre sans appui extérieur ;
  • En facilitant l’adaptation de la démarche à la situation du groupe ou de l’organisation ;
  • En permettant à un groupe de pratiquer l’autoévaluation afin qu’il conduise lui-même la préparation de son avenir.

(Cinq outils pour l’autoévaluation, GRAD, page 5)

Critéres de synthése d’une évaluation

Quatre critères permettent d’évaluer un projet.

EFFICACITE « Ai-je atteint des résultats utiles ?–

  • – sans trop d’effets négatifs ? »

DURABILITE « Ai-je contribué à renforcer les capacités de ceux pour lesquels j’ai agi ?–

sans les rendre dépendants ? »

EFFICIENCE « Ai-je économisé les moyens les plus rares ?–

dont en particulier leurs ressources propres ?

COHERENCE « Ce qui a été fait est-il bien relié aux autres aspects de la vie des habitants ?–

  • – sans avoir blessé la cohésion entre eux ? »

 

(Voyageur, certes ! Solidaire, vraiment ?, GRAD

Quels acteurs pour quelle évaluation ?

EXPERTEXTERNE ONG LE VOLONTAIRE LE PARTENAIRE LOCAL UN GROUPE DE BASE (OB) ETC.
  1. 1. Qui a demandé l’évaluation ?
  1. 1. Qui la finance ?
  1. 1. Qui définit :
  • • Les objectifs de l’EV
  • • Les acteurs de l’EV
  • • Les lieux de l’EV
  1. 1. Qui étudie et choisit :
  • • Les méthodes ?
  • • Le contenu ?
  • • Les critères et indicateurs ?
  1. 1. Qui recueille l’information ?
  1. 1. Qui la fournit ?
  1. 1. Qui analyse l’information recueillie ?
  1. 1. Qui tire les conclusions ?
  1. 1. Qui fait des prévisions et des réorientations ?
  1. 1. A qui sont restituées tout ou  partie des résultats de l’évaluation ?

Note : on peut pondérer l’importance du rôle par des croix dans les colonnes : (xxx) = rôle-clef ; (xx) = rôle important ; (x) = rôle mineur.

(Boîte à Outils d’Analyse, de Suivi et d’Evaluation, GRAD)

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s