INTER-RESEAUX
Le groupe de travail sur l’évaluation de l’accompagnement des OP (4 pages – 1551 mots)
télécharger le fichier texte (format RTF - 250 Ko)Son animateur, Daouda Diagne, nous en fait le point
Initiée depuis 1998 par l'Inter-Réseaux, cette réflexion répond à trois attentes: celle des institutions d'appui qui recherchent des outils de suivi-évaluation, celles des financeurs qui souhaitent innover dans leur façon de commanditer des évaluations, et celle de certaines OP notamment les fédérations, qui souhaitent disposer de méthodes d'auto évaluations.
Cinq ateliers ont été organisés à l'Inter-Réseaux en 98 et 99, autour d'évaluations menées au Niger, en Guinée, à Madagascar, au Mali et en Côte d'Ivoire. Un groupe de discussion par courrier électronique (Eval-op) a démarré tout récemment et des réunions locales sont en préparation au Bénin, au Sénégal, en Côte d'Ivoire, en Guinée, au Burkina Faso et au Mali. Une Synthèse d'étape des travaux, disponible à l'Inter-Réseaux, a été publiée en décembre dernier. Et un atelier final est prévu au Bénin pour le dernier trimestre de l'année 2000. Voici quelques éléments issus des débats.
Dans leur forme actuelle, les évaluations de programmes d'appui aux OP sont souvent menées à l'initiative des partenaires financiers. Ces évaluations suscitent beaucoup de controverses par quant à leur finalité et aux méthodes utilisées. Aujourd'hui, le contexte de mutations dans lequel se situent les OP, exige des adaptations (acquérir de nouvelles compétences, asseoir une représentativité, améliorer les services rendus aux membres). En conséquence, nombre d'intervenants revendiquent aujourd'hui de passer d'un appui classique à " un appui-accompagnement " plus innovant et responsabilisant.
Arriver à faire ressortir l'apport d'un programme sur la vie d'une OP demande qu'on puisse évaluer la démarche utilisée et le changement induit par le programme. Quels sont les critères et indicateurs permettant de mesurer les avancées de l'OP imputables à cet accompagnement ? Par ailleurs, un processus d'accompagnement sous-entend un partenariat induisant des pratiques plus collectives dans le montage des programmes et dans leur évaluation. Sur le plan méthodologique, cela signifie prendre en compte et concilier les intérêts de plusieurs acteurs. Cette approche nouvelle nécessite d'acquérir une capacité à construire ensemble une évaluation dans laquelle ce n'est pas la vision d'une partie des acteurs qui est prédominante. Mais est-ce qu'on retrouve cette innovation dans la manière d'évaluer ces programmes ?
L'utilité d'une évaluation n'est pas remise en cause, même si on peut regretter qu'elle soit trop souvent " conditionnée à l'attribution de fonds pour la poursuite d'un programme ". Par contre, il apparaît que la finalité affichée par les évaluations n'est pas toujours la finalité réelle. On peut citer par exemple les évaluations externes aux buts inavoués qui ne sont que " des alibis pour arrêter un programme ". Les intérêts d'une catégorie d'acteurs priment, alors que divers acteurs sont concernés. L'enjeu est ici d'arriver à faire d'un souhait une réalité : " l'évaluation peut et doit être utile aux différents acteurs : commanditaires, structures d'appui et OP ". Ce qui oblige d'être novateur quant aux méthodes utilisées dans le déroulement de l'évaluation, à savoir : préparation, conduite et valorisation des résultats.
La préparation : une étape déterminante
Elaboration des termes de références (TDR)
Les TDR représentent le document de base de l'évaluation. Il arrive que leur contenu ne soit pas en adéquation avec la réalité, provoquant un "grand écart de l'évaluateur " pris en contradiction entre un document de référence et la réalité du terrain. L'idée d'une charte de qualité des TDR précisant un minimum de principes est de plus en plus défendue. Parmi ces principes, on peut citer la négociation entre acteurs pour l'élaboration des TDR et la nécessité de retenir des critères évaluables.
Evaluer l'OP ou évaluer l'appui ?
Il est important de " distinguer l'évaluation de l'appui, de l'évaluation de l'OP ". Cette clarification permet d'éviter un amalgame et d'affecter à un appui extérieur des acquis qui lui sont antérieurs et qui relèvent uniquement des OP. On peut aussi " distinguer les différentes fonctions et missions à évaluer " (mission de représentation, fonctions économiques, syndicales, etc.).
Plusieurs types d'évaluation sont à distinguer...
... en fonction du commanditaire, du moment de l'évaluation par rapport au déroulement du programme d'appui et enfin, en fonction de l'objet évalué. On a ainsi : l'évaluation externe, l'auto évaluation, l'évaluation ex ante (avant), le suivi-évaluation, l'évaluation ex post (après le programme),l'évaluation opérationnelle (les actions, l'évaluation institutionnelle (la démarche) et l'évaluation de l'impact.
Il ne s'agit pas de comparer différents types d'évaluations pour voir lequel est le plus adapté ou le plus efficace. Si on se place du côté de l'OP, l'auto évaluation peut être considérée comme " un miroir dans lequel on accepte de se regarder ". L'image renvoyée peut comporter une part de subjectivité et sur ce point " l'œil externe " peut être intéressant. Mais quelle que soit l'option retenue, procéder à " des évaluations multifacettes " peut permettre d'associer les bénéficiaires, ce qui inscrit l'évaluation dans une véritable démarche d'accompagnement. On peut ainsi combiner une auto évaluation et une évaluation externe, faire de l'auto évaluation assistée, utiliser l'auto évaluation pour élaborer un outil de suivi évaluation, etc.
Des critères et indicateurs pertinents :
Dans les évaluations, on privilégie généralement les aspects économiques plus facilement mesurables tandis que les aspects sociaux sont minimisés. Pour certains, le social et le qualitatif sont mesurables et quantifiables, encore faut-il arriver à déterminer des critères et des indicateurs pertinents. Les enjeux sont pourtant là, car les OP veulent arriver à maîtriser leur évolution et il leur faudra pour cela mesurer leur avancée et prendre les décisions stratégiques qui en découlent. Il semblerait que l'auto évaluation soit plus apte à cela, car les bénéficiaires sont plus à même d'élaborer les critères reflétant leur vécu.
La conduite de l'évaluation
On peut situer l'évaluateur dans un ensemble de stratégies de défenses et d'influences des différents groupes. Il est " en interface entre différents acteurs " et court souvent le risque d'être perçu comme " un agent du bailleur " envoyé pour un contrôle. Il doit jouer un rôle de médiateur en conciliant les attentes des différents acteurs, ce qui nécessite une capacité de médiation, et une éthique personnelle. Il peut ainsi contribuer à dédramatiser l'évaluation afin qu'elle soit acceptée comme un critère de transparence. Une possibilité serait de constituer des " équipes multidisciplinaires " (économie, sciences sociales, etc.) et " mixtes " (évaluateurs du Nord et du Sud).
Les résultats de l'évaluation doivent rendre compte de l'impact du programme sur les OP et sur l'équipe d'exécution du programme. Les effets induits de l'appui, au lieu d'être négligés, pourraient être mieux mis en évidence. L'évaluation peut avoir aussi un impact négatif (déstabilisation de la structure d'appui face aux OP) ou positif (servir d'outil d'aide à la décision) et il est bon d'en tenir compte. De même, il importe que les résultats soient utiles à tous les acteurs et pas seulement au commanditaire. D'où la question de la propriété et de la confidentialité des résultats car l'appropriation par les acteurs est conditionnée par l'accès aux résultats. L'évaluation externe est souvent l'outil d'un seul acteur qui détermine ses propres critères et indicateurs. Il s'agit maintenant de voir comment elle peut devenir l'outil de tous les acteurs. En somme, le défi est d'arriver à faire de l'évaluation un réel moment de négociation entre acteurs du Nord et du Sud pour qu'elle s'inscrive dans un processus d'accompagnement innovant.
Un groupe de discussion sur Internet
Lancé depuis juin 2000, le groupe de discussion sur Internet baptisé Eval-op comptait déjà à la mi-juillet, 96 inscrits de 14 pays : Bénin, Burkina Faso, Cameroun, Côte d'Ivoire, Mauritanie, Niger, Sénégal, Allemagne, Belgique, France, Italie, Suisse, Canada, Etats-Unis). On y remarque aussi une grande diversité institutionnelle : bailleurs de fonds (Banque Mondiale, AFD, MAE, etc.) ; Coopération internationale (FAO, Club du Sahel, etc.) ; Recherche (CIRAD) ; ONG, OP, consultants indépendants, journalistes, etc.
Pour participer au débat, il suffit de vous inscrire en envoyant un message vide à l'adresse suivante eval-op-subscribe@egroups.fr ou en vous connextant à la page suivante http://www.egroups.fr/group/eval-op
Si vous ne disposez pas d'adresse électronique, vous pouvez nous adresser vos documents, témoignages et réactions par la poste. Pour participer aux ateliers : Toutes propositions de participation au Nord et au Sud sont les bienvenues. Au Sud, les personnes intéressées peuvent prendre l'initiative d'organiser des réunions locales.
Les supports du débat sont disponibles sur ce site : informations sur les travaux du groupe et documents à télécharger que nous pouvons aussi vous sous forme de fichiers attachés. Eval-Infos, la lettre d'information mensuelle diffusée aux membres du groupe par courrier électronique ou postal depuis ce mois de juillet.
Pour tous renseignements : Daouda Diagne - Inter-Réseaux - Tél. 33 (0)1 42 46 11 66 daouda.diagne@inter-reseaux.org
