Renforcement de la fonction d'évaluation au HCR

EC/49/SC/CRP.8

1. En août 1998, le HCR a passé un contrat avec une société privée et un consultant afin de conduire une étude intitulée « Renforcement de la capacité d'évaluation au HCR ». L'objectif de ce service était d'évaluer les stratégies passées et présentes d'évaluation au HCR telles qu'administrées et mises en oeuvre tant au Siège que sur le terrain. Un petit comité consultatif du HCR s'est réuni deux fois au cours du processus pour donner son avis au consultant et ses commentaires par rapport au projet de rapport final. Le service de consultation a pris fin au début de novembre 1998 sous la forme d'un rapport final dont les points saillants figurent dans le résumé ci-joint (Annexe).

2. Le rapport constate que les systèmes et procédures actuelles au HCR ne favorisent pas l'exploitation de l'expérience acquise. Les principales conclusions reposent sur trois leçons fondamentales apprises ciblées sur les faiblesses et les inadéquations au niveau du processus d'évaluation au HCR :

• L'établissement d'une fonction d'évaluation efficace requiert des ressources humaines et financières adéquates;

• L'établissement d'un système efficace de diffusion et de rétro-information est aussi important que la pertinence et la qualité des évaluations;

• La fonction d'évaluation ne peut s'améliorer par des actions ponctuelles sur des secteurs choisis. Il faut une approche globale qui reconnaisse l'interdépendance du système de planification, de suivi et d'évaluation.

3. Le rapport comprend des conclusions et des recommandations sur la stratégie d'évaluation, la méthodologie, la structure, la dotation en personnel, la formation, les ressources financières et l'accent sur le fait que sans un engagement de la direction, le renforcement de la fonction d'évaluation sera difficile à obtenir. Voici quelques unes des recommandations clés émises :

• Recommandation 1 : fusion de l'Unité d'évaluation centrale et du Centre de documentation et de recherche afin de renforcer l'apprentissage et la formulation de politiques au HCR;

• Recommandation 2 : création de quatre postes supplémentaires d'administrateur et de deux postes d'appui à l'Unité d'évaluation centrale;

• Recommandation 3 : nomination d'administrateurs chargés de la coordination de l'évaluation à titre d'essai auprès des directeurs des trois bureaux régionaux : Afrique centrale, orientale et occidentale (CEWA), Asie centrale, Asie du Sud-Ouest, Afrique du Nord et Moyen-Orient (CASWANAME) et Europe (RBE);

• Recommandations 4 et 5 : ressources financières adéquates pour appuyer les recommandations ci-dessus;

Recommandations 7, 8 et 9 : élaboration d'une stratégie d'évaluation à long terme pour orienter la fonction globale d'évaluation du HCR, y compris la diversification de l'expérience en matière d'évaluation et la préparation d'un manuel d'évaluation. Les autres recommandations portent sur la nécessité d'ajouter une composante relative à l'évaluation du terrain, à la fonction actuelle d'inspection, à un meilleur système automatisé d'extraction de données et une stratégie de diffusion et de rétro-information. Enfin, il a été recommandé de communiquer ce rapport aux pays membres.

4. Le rapport final a été publié au moment où une étude interne de la structure du Siège du HCR allait commencer et par conséquence son contenu a constitué une contribution précieuse à l'opération de restructuration. Par ailleurs, la suivi de la plupart des recommandations du consultant dépend beaucoup de la nouvelle structure et en particulier de la position de la fonction d'évaluation centrale dans l'organigramme.

5. La première recommandation visant à lier étroitement la fonction d'évaluation centrale et la fonction d'analyse politique a été entérinée par le Haut Commissaire. Dans le nouvelle organigramme, le Département des opérations est dirigé par le Haut Commissaire assistant. Outre les opérations régionales et la division de l'appui opérationnel, il supervise directement une nouvelle unité appelée évaluation et analyse politique. La mise en oeuvre de cette recommandation va au-delà du placement de cette unité et respecte les caractéristiques qui lui sont inhérentes. L'indépendance de la fonction d'évaluation est préservée en la plaçant judicieusement dans la structure hiérarchique de l'Organisation et en la plaçant sous l'égide du Haut Commissaire assistant. La formulation de l'analyse politique sera renforcée par le resserrement des liens et par la réalité pratique du terrain moyennant l'évaluation. De fait, on continuera à définir les directives politiques en collaboration avec les spécialistes de l'évaluation et on veillera à ce que ces directives et les recommandations connexes soient mises en oeuvre. En d'autres termes, la nouvelle unité mettra fortement l'accent sur les activités complémentaires d'évaluation, d'analyse politique et de rétro-information.

6. Les recommandations 2 à 5 traitent de la question de la fourniture de ressources adéquates, tant humaines que financières. Tout en reconnaissant qu'elles constituent des éléments vitaux pour le renforcement de la capacité d'évaluation du HCR, il convient de les replacer dans le contexte de l'Organisation soumise à d'importantes contraintes en matière de ressources. La création de postes supplémentaires d'évaluation et la fourniture des ressources financières adéquates pour appuyer cette fonction seront très difficiles à obtenir compte tenu des réductions draconiennes des postes et des budgets, tant au Siège que sur le terrain. L'Organisation devra chercher à obtenir des ressources additionnelles moyennant l'assistance des pays membres.

7. Les autres recommandations, traitant de l'évaluation, ne sont pas touchées par la pénurie de ressources et font l'objet d'un appui sans réserve de la part du HCR. Elles font partie intrinsèque du programme de travail de la nouvelle Unité d'évaluation et d'analyse politique. La recommandation relative à l'inspection est actuellement mise à l'essai au cours de missions d'inspection sur le terrain à l'aide d'une matrice d'inspection.

Annexe : Résumé du rapport sur le renforcement de la capacité d'évaluation au HCR (novembre 1998)

Introduction

1. Cet examen de la fonction d'évaluation au HCR se compose de deux parties. La première partie examine les caractéristiques de la situation actuelle, la deuxième partie suggère un certain nombres d'étapes clés visant à l'améliorer.

2. Les systèmes et procédures actuels de l'Organisation ne favorisent guère l'exploitation de l'expérience acquise. Il y a un certain nombre de dimensions en jeu. Elles vont de diverses insuffisances observées au niveau de la planification et du suivi des projets, au manque de ressources consacrées à l'évaluation et à un système embryonnaire de diffusion et de rétro-information qui n'alimente pas de façon efficace le processus d'apprentissage.

3. La planification actuelle des projets et des programmes ne facilite pas l'évaluation et ne permet pas non plus de l'anticiper. L'équipe de gestion du changement a identifié un certain nombre de faiblesses au niveau de la planification qui affectent directement la facilité avec laquelle l'évaluation ultérieure peut alors être conduite. Il est tout particulièrement important à cet égard d'adopter une méthode d'analyse globale logique en matière de planification pour mettre l'accent sur les résultats escomptés, pour adopter une planification participative avec les partenaires et pour établir une stratégie orientée vers les solutions éliminant le côté artificiel des frontières géographiques et des horizons annuels fixés pour la planification. En même temps, les documents actuels de planification de projets et de programmes n'incluent pas un budget pour une évaluation ultérieure, n'identifient pas l'évaluation pour le projet ou le programme en question et n'exigent pas une indication claire des leçons tirées de l'expérience. L'équipe de gestion du changement du SGO reconnaît ces problèmes et s'efforce d'y remédier.

4. La pratique actuelle de suivi inhibe de la même façon la fonction d'évaluation. Les rapports périodiques ont essentiellement pour but d'accompagner et d'appuyer la présentation des statistiques financières. Les principes directeurs antérieurs fournissant un cadre utile d'auto-évaluation dans les années 80 ont été remplacés dans les années 90 par un nouvel ensemble d'instructions pour l'établissement de rapports de suivi de projets dans le chapitre 4 révisé du Manuel du HCR. Ces nouveaux principes directeurs n'ont pas seulement été inférieurs aux principes antérieurs du point de vue de la rétro-information en matière d'évaluation mais la formation pour y parvenir n'a jamais été intégralement fournie. En conséquence, les rapports actuels de suivi ne peuvent servir de base à l'évaluation ultérieure. Ils sont dans l'ensemble déficients au niveau de l'analyse et ne réussissent pas à évaluer les progrès par rapport aux objectifs. L'équipe de gestion du changement du SGO s'emploie actuellement à renforcer les systèmes de suivi dans l'Organisation.

5. Alors que l'évaluation bénéficierait grandement d'améliorations au niveau des systèmes de planification et de suivi, il ne serait pas sage de différer le renforcement de la fonction d'évaluation jusqu'à ce que ces systèmes soient rénovés. La situation actuelle de l'évaluation est telle que des mesures correctrices sont nécessaires dès aujourd'hui.

6. Cette étude a porté sur trois principaux instruments d'évaluation de l'agence, l'évaluation au niveau central, l'auto-évaluation par les bureaux et la fonction d'inspection.

Evaluation centrale

7. La fonction d'évaluation centrale au HCR a commencé en 1973 lorsque le premier poste d'évaluation a été établi. L'Unité centrale d'évaluation a fait partie du Service d'inspection et d'évaluation en 1995. Au fil des ans, de nombreuses études d'évaluation ont été conduites. Ces études ont généralement été considérées comme utiles, mais surtout lorsque les sujets intéressaient le Comité supérieur de gestion et que la qualité de cette étude était irréprochable. Depuis quelques temps, des voix se sont élevées, tant à l'intérieur qu'à l'extérieur, parmi les pays membres au sujet de l'impact de l'évaluation centrale sur l'apprentissage à l'échelle de l'Organisation et le degré d'engagement de la direction concernant la fonction dans son ensemble. Notre étude de la fonction tend à rejoindre ces prises de position.

8. A l'heure actuelle, il n'y a qu'un poste d'administrateur chargé de l'évaluation, celui du Coordonnateur. Deux postes ont été absorbés par l'Unité d'inspection et la nouvelle fonction d'investigation. Un seul poste pour une organisation comptant dans le monde 5 400 fonctionnaires, plus de 120 bureaux et un budget de fonctionnement total d'un milliard de dollars E.-U., travaillant dans les conditions les plus difficiles en collaboration avec un nombre impressionnant de partenaires ne suffit pas. Par opposition, le PAM conduit des évaluations centrales à l'aide de six administrateurs et le PNUD dispose de 4 administrateurs. Pour essayer de compenser cette pénurie, le Coordonnateur utilise le personnel du HCR en attente de placement. Ces fonctionnaires ne sont pas nécessairement des experts en matière d'évaluation malgré leurs compétences dans d'autres domaines. Dans ce rapport, nous suggérons la création de quatre postes supplémentaires d'évaluation centrale, trois au niveau P4 et un au niveau P3, ce qui représente 5 postes au total, y compris le poste de Coordonnateur de l'évaluation.

9. Le budget global annuel de l'évaluation centrale est également très modeste. Le budget total estimatif pour l'évaluation centrale en 1997 (600 000 dollars E.-U) a représenté 0,05 % du budget total de l'organisation (1,2 milliard de dollars E.-U.) pour cette année. Par comparaison, le PAM a consacré quatre fois cette somme (0,19 % du budget total) à l'évaluation en 1997. Nous suggérons dans ce rapport l'augmentation du budget global d'évaluation centrale estimé à 1,5 million par an, ce qui inclurait le personnel susmentionné, une allocation pour le budget administratif de 0,25 million de dollars E.-U. et 0,5 million pour l'appel à des ressources extérieures.

10. Cette pénurie de ressources financières et humaines tend à entraver le type d'études d'évaluation qui peuvent raisonnablement être entreprises, tant pour ce qui est du domaine étudié que de la portée et de la conception. En même temps, il serait difficile de faire justice au thème plus ambitieux qui semble mûr pour une étude d'évaluation telle que l'impact des activités du HCR sur l'environnement, les relations avec les partenaires, la création de capacités, la réintégration, etc.

11. Outre les contraintes en matière de ressources, la fonction d'évaluation centrale pourrait bénéficier grandement de certaines améliorations au niveau de la méthodologie. Il est reconnu que la disponibilité de ressources suffisantes pourrait faciliter l'adoption d'une approche méthodologique plus systématique. Des améliorations sont requises au niveau de la planification annuelle et à long terme d'un programme d'évaluation. Il faut adopter une perspective à plus long terme dans l'établissement d'un programme d'évaluation afin de tester les politiques et les stratégies de l'organisation par rapport aux réalités du terrain. Le type d'expériences en matière d'évaluation requises pour conduire des évaluation doit être réexaminé. Il ne faut pas trop dépendre des anciens collaborateurs du HCR ou de son personnel actuel et se tourner résolument vers le secteur privé, conduire davantage d'évaluations conjointes avec les pays membres et les partenaires intéressés. La façon dont les évaluations sont planifiés et conduites doit être améliorée. La conduite d'une évaluation doit faire l'objet d'une approche méthodologique plus rigoureuse, y compris une normalisation de l'établissement des rapports pouvant mettre en valeur la qualité des conclusions et la rétro-information des leçons tirées.

12. En outre, il convient d'envisager des améliorations importantes au niveau de la diffusion et de la rétro-information afin de favoriser davantage le processus d'apprentissage. Il conviendrait de mettre en place un processus de diffusion mettant à la disposition du personnel les conclusions, par le biais d'un système automatisé jouant un rôle prédominant. Un système de rétro-information beaucoup plus efficace pourrait également être envisagé afin de créer des liens plus forts entre l'évaluation d'une part, la direction, la gestion des programmes, le personnel de programme, les principes directeurs de l'organisation et la formation d'autre part. Ce rapport fournit des suggestions concernant un système de diffusion et de rétro-information plus viable.

Auto-évaluations par les bureaux

13. Les évaluations faites par les bureaux de leurs propres activités (c'est-à-dire ce que l'on appelle les auto-évaluations) ne sont pas fréquentes. Cette situation a plusieurs explications. D'une part, il faut citer les déficiences susmentionnées concernant les systèmes de planification et de suivi, le fait qu'un processus d'auto-évaluation apparemment utile a été remplacé à la fin des années 80 par des rapports de suivi de projet essentiellement descriptifs et non analytiques. Il faut surtout noter l'absence d'une habitude notoire de l'auto-évaluation dans les bureaux. Les améliorations apportées à la planification et au suivi permettront d'améliorer cet état de chose mais il faudra en faire davantage dans le court terme.

14. Nous suggérons dans ce rapport la nomination d'un Coordonnateur de l'évaluation à titre expérimental auprès du bureau du directeur dans chacun des trois bureaux les plus importants, auxquels des tâches claires seront confiées. Ces fonctions concerneront essentiellement la conception et la gestion d'un programme d'auto-évaluation pour le bureau concerné de façon à encourager et à appuyer les efforts d'évaluation du bureau extérieur. Cela implique une coordination, en collaboration avec les bureaux extérieurs, la formulation de plans annuels d'auto-évaluation, l'adoption d'une méthodologie correcte, la gestion des études conduites, la mise en oeuvre d'un système de diffusion et de rétro-information et les activités de suivi requises. Les principes de méthodologie, de diffusion et de rétro-information identifiés pour l'évaluation centrale seront également applicables à l'auto-évaluation. L'adoption d'ajustements opérationnels découlant des conclusions requiert l'établissement de liens étroits entre l'auto-évaluation et la planification de projets-programmes, les nouvelles politiques et stratégies de mise en oeuvre, la gestion des programmes, les manuels, les principes directeurs et l'information. Le lien avec la fonction d'évaluation centrale sera d'une importance clé pour coordonner la planification de l'évaluation dans toute l'organisation, intégrer une stratégie commune de diffusion et de rétro-information, adopter des approches cohérentes en matière de méthodologie et déployer des efforts conjoints en matière d'évaluation lorsque le besoin s'en fait sentir.

15. Dans la mesure où la planification actuelle des projets dans les bureaux ne demande pas une allocation budgétaire pour conduire une évaluation des opérations au moment approprié (le type et le moment choisi feront l'objet d'une décision conjointe du coordonnateur de l'évaluation du bureau et du bureau extérieur). Il sera nécessaire de prévoir un budget annuel d'auto-évaluation. On estime qu'une allocation de 200 000 dollars par an pour chacun des trois bureaux choisis pour ce projet pilote serait suffisante. Compte tenu du système de planification envisagé pour l'an 2000, un budget d'évaluation pourrait être inclus dans le document de planification par rapport aux activités spécifiques d'évaluation prévues.

Inspection

16. L'inspection au sein du SIE, ressemblant beaucoup à une activité d'évaluation, a commencé en 1995 et est devenue en quelques années un mécanisme de rétro-information fréquemment utilisé par la direction. Elle fournit essentiellement un outil de gestion. Près de la moitié de l'ensemble des bureaux du HCR sur le terrain auront été inspectés à la fin de 1998. Si l'on considère son mandat, toutefois, il apparaît qu'un accent sur l'audit de gestion ne répond pas entièrement à l'intention originelle du service. Le mandat inclut une étude de l'impact du HCR dans certains pays et certaines régions, suggérant une approche orientée vers l'évaluation plutôt qu'un audit de gestion, une approche qui mesurerait les réalisations par rapport aux objectifs.

17. En outre, il convient de formaliser les relations quotidiennes entre l'Unité d'inspection et les vérificateurs intérieurs du HCR qui font rapport au bureau des services de contrôle interne de New York. Bien que leurs relations soient régies par un mémorandum d'accord, les liens quotidiens ne le sont pas. En raison des possibilités de chevauchement qui existent, de la possibilité de complémentarité inhérente aux deux opérations, de la nécessité de consultations sur les programmes et les stratégies annuelles ainsi que de la nécessité de se tenir mutuellement informés régulièrement en matière de résultats, il pourrait se révéler utile d'établir cette relation dans le cadre d'un processus plus strict.

Structure d'évaluation

18. Il sera nécessaire de créer une structure permettant de conduire l'évaluation de façon efficace au sein de l'Organisation. Pour ce faire, il convient de placer comme il convient la fonction d'évaluation. Concernant l'évaluation centrale, cela implique une fusion du Centre de documentation et de recherche avec la fonction d'évaluation centrale. Le CDR fournit une fonction complémentaire de recherche politique et, compte tenu des améliorations apportées aux systèmes actuels de technologie de l'information, pourrait jouer un rôle utile dans le processus de diffusion et de rétro-information, formant partie intégrante de l'évaluation. Pour ce qui concerne l'auto-évaluation, cela impliquerait comme il a été mentionné plus haut la nomination d'un coordonnateur de l'évaluation au cabinet du bureau du directeur. En même temps, la création d'une infrastructure adéquate entraîne l'augmentation des ressources humaines et financières. Ces suggestions ont été reprises dans un certain nombre de recommandations citées ci-dessous. Un certain nombre de leçons clés ont été tirées et apparaissent à la fin de ce résumé.

Recommandations

19. Il convient de se pencher sur la fusion de l'Unité d'évaluation centrale et du Centre de documentation et de recherche pour améliorer le processus d'apprentissage et de formulation politique de l'Organisation.

20. Quatre postes supplémentaires d'administrateur chargé de l'évaluation doivent être créés dans l'Unité d'évaluation centrale, trois au niveau P4 et un au niveau P3 (soit 5 au total), assortis de la création d'au moins deux postes d'appui, l'un de secrétaire, l'autre de commis.

21. Un administrateur chargé de la coordination de l'évaluation doit être nommé à titre expérimental auprès du Cabinet du Directeur dans chacun des bureaux suivants : i) Afrique orientale, centrale et de l'Ouest, ii) Europe (y compris la Yougoslavie) et iii) l'Asie centrale, l'Asie du Sud-Ouest, l'Afrique du Nord et le Moyen-Orient.

22. Un budget annuel d'évaluation centrale, à n'utiliser exclusivement que pour l'appel aux ressources extérieures, doit être fixé à 0,5 million de dollars E.-U.

23. Une allocation annuelle pour l'appel aux ressources extérieures et l'administration de 200 000 dollars E.-U. doit être débloquée pour chacun des trois bureaux choisis pour la phase pilote de la fonction d'auto-évaluation.

24. Le Service d'inspection doit transcender l'accent qu'il met actuellement sur l'audit de gestion et introduire le concept de mesure de la performance qui examine les réalisations par rapport aux objectifs. Il doit également soumettre la relation entre l'inspection et l'audit interne à un processus plus formel.

25. Une stratégie d'évaluation à long terme doit être élaborée pour guider la fonction globale d'évaluation de l'Organisation et former la base du plan annuel d'évaluation incorporant l'évaluation centrale et l'auto-évaluation.

26. Les sources de compétence en matière d'évaluation doivent être plus diversifiées : i) un fichier soigneusement élaboré de consultants en matière d'évaluation dans le secteur privé doit être établi pour servir de base à un appel plus fréquent aux compétences du secteur privé; ii) la possibilité d'évaluations conjointes plus fréquentes avec les gouvernements membres ou les organisations donatrices doit être étudiée avec soin; iii) des évaluations participatives avec les partenaires doivent être entreprises.

27. Un manuel d'évaluation doit être élaboré pour fournir des normes en matière d'évaluation de projets et programmes afin de guider la fonction globale d'évaluation au sein de l'Organisation. Le manuel doit également indiquer les liens clés qui doivent être établis et maintenus entre l'évaluation et les autres systèmes et procédures de l'Organisation.

28. Il convient de mener à bien une étude pour mettre au point et évaluer le coût d'un système automatisé d'extraction des données d'évaluation pour permettre au personnel d'avoir en ligne les conclusions et les leçons tirées des évaluations.

29. Une stratégie globale de diffusion et de rétro-information doit être mise au point aux fins d'approbation par la Direction grâce aux principes et pratiques donnés dans ce rapport.

30. Les conclusions de ce rapport, y compris ses recommandations, doivent être présentées aux pays membres afin d'obtenir leur agrément concernant l'approche suggérée et vérifier la disponibilité des ressources additionnelles qui pourraient être requises.

Principales leçons tirées

31. Parmi les différentes leçons qui peuvent être tirées de cette étude, il en est trois qui ont été retenues. Elles sont les suivantes :

32. L'établissement d'une fonction d'évaluation effective capable de produire des résultats notoires requiert des ressources humaines et financières adéquates. Sans ces ressources, il faudra faire davantage de compromis affectant la portée et la nature de ces études ainsi que la qualité de la rétro-information.

33. Afin de créer une véritable culture de l'apprentissage au sein de l'Organisation, il est important de comprendre que l'établissement d'un système efficace de diffusion et de rétro-information est aussi important que la pertinence et la qualité des évaluations elles-mêmes.

34. La fonction d'évaluation ne peut être améliorée par des actions ponctuelles sur certains aspects. Cela requiert une approche globale reconnaissant l'interdépendance de la planification, du suivi, de l'évaluation ainsi que le lien étroit qui existe entre les différentes étapes du cycle d'évaluation.