L'article - Andriy and Zoryana

 Approches et défis pour évaluer les répercussions sur les politiques

Andriy Andrusevych 
Experts principaux des politiques

Resource & Analysis Center Society and Environment

Zoryana Kozak
Experts principaux des politiques

Resource & Analysis Center Society and Environment

Contexte

Notre expérience de l’utilisation de différentes méthodes pour évaluer les répercussions sur les politiques est limitée aux politiques environnementales, le domaine principal de notre Centre. Toutes les méthodes utilisées au Centre ont été appliquées dans le contexte du cadre de surveillance, d’évaluation et d’apprentissage (cadre MEL [« monitoring, evaluation and learning (MEL) framework »], en anglais).
Lorsqu’on commence une évaluation des répercussions sur les politiques, il est important de fixer un seuil entre l’évaluation des répercussions sur les politiques, d’une part, et l’efficacité des activités (ou des projets) de l’organisation d’autre part.

Cadre MEL comme projet pilote

Nous nous sommes servis du cadre MEL comme système complet pour surveiller et évaluer les répercussions d’un projet précis (projet lié au suivi de la croissance verte en Ukraine). Cela a énormément simplifié l’application de cet instrument au sein de l’organisation. Les éléments clés du cadre MEL comprenaient l’élaboration d’indicateurs pour les résultats prévus, les sources, la collecte de données, les analyses périodiques et les discussions (apprentissage). Des renseignements supplémentaires sur les difficultés que nous avons dû relever se trouvent ici.

Toutefois, nous croyons qu’il y a certaines expériences précises qui méritent d’être décrites plus en détail ici.

Les indicateurs mécaniques (ou statistiques) sont très populaires ces jours-ci parmi les analystes (p. ex. mentions J’aime de Facebook, ou statistiques de page Web). Toutefois, ces indicateurs ont une capacité limitée pour évaluer les répercussions des Think Tank. Notre public cible est souvent restreint (parfois même très restreint). Pour cette raison, le fait que notre document sur la politique ait été téléchargé par 10 000 utilisateurs n’indique pas nécessairement que les personnes visées le connaissent. Dans ce contexte, nous constatons le besoin de remplacer les indicateurs mécaniques, peu importe à quel point les diagrammes et les autres outils visuels peuvent sembler attrayants à votre équipe de planification ou de supervision. Par exemple, nous considérons que de courtes entrevues avec des représentants des groupes cibles soient une solution de rechange efficace aux indicateurs statistiques pour évaluer les résultats précis (répercussions). La participation passive du groupe cible peut également être utile.

Nous avons trouvé difficile, voire impossible, de se servir du cadre MEL de façon similaire à un détecteur à rayon X pour le système de planification actuel de l’organisation, surtout en ce qui concerne la planification stratégique. Le cadre MEL nécessite une intégration complète à la planification au niveau visé par l’évaluation. Si vous voulez évaluer les répercussions de votre travail sur les politiques, le cadre MEL doit être intégré dans la planification stratégique d’une organisation. 

Nous avons également appris que le choix d’indicateurs pour mesurer les répercussions nécessite une analyse approfondie du contexte de la politique... Cela s’applique également à l’évaluation rapide initiale du secteur politique pertinent au moyen d’indicateurs précis, et aux particularités du processus d’élaboration des politiques. Plus particulièrement, vos partenaires, concurrents ou groupes cibles peuvent délibérément cacher vos répercussions sur le secteur politique (par exemple, en se servant de vos idées ou en suivant des recommandations précises sans vous citer comme source). Il pourrait également y avoir des raisons où vous ne voudriez pas visualiser vos répercussions; cela mènerait inévitablement à choisir des méthodes d’évaluation spéciales, en particulier pour éviter les subjectivités pendant l’utilisation de l’information privilégiée (données).

Un autre exemple de notre expérience : ressources et pragmatisme. Le processus d’évaluation des répercussions sur les politiques exigera la participation de la majorité des employés (qui ont participé au travail relatif aux politiques pertinent). Pour ce faire, il faudra des ressources importantes. La conclusion est évidente : Pendant l’élaboration d’un cadre MEL – un système pour évaluer vos répercussions ou l’efficacité de vos activités – il est préférable d’être extrêmement pragmatique, voire conservateur en sélectionnant seulement des objectifs et des méthodes clés pour l’évaluation. Abuser des bonnes choses peut nuire à vos efforts. 

Défis

D’après notre expérience, nous élaborons maintenant un système MEL pour toute l’organisation. Dès le départ, l’évaluation des répercussions sur les politiques de l’organisation (même dans un domaine politique précis) pose certaines difficultés. Plus particulièrement, comment peut-on distinguer ses répercussions de celles des autres acteurs ? Comment séparer l’évaluation des répercussions sur les politiques de l’évaluation de ses activités ? Concernant cette dernière question, il est beaucoup plus facile de concevoir des indicateurs pour un projet ou un programme, et de sélectionner les méthodes d’évaluation pertinentes.

Facteurs clés pour l’élaboration d’un système d’évaluation des répercussions sur les politiques

La sélection des indicateurs est un élément clé de l’élaboration d’un cadre MEL. Selon nous, un système d’évaluation des répercussions sur les politiques efficace devrait comprendre quelques indicateurs, qui sont ancrés dans des initiatives ou des projets précis. Les indicateurs devraient être « tangibles » et ne pas permettre de généralisations, afin de servir comme facteur de motivation important pour le personnel, en plus de servir à ses fins d’évaluation des répercussions sur les politiques. Enfin, alors que les indicateurs devraient être stables, ils doivent pouvoir refléter les changements dans le contexte politique. 

Nous prévoyons un élément subjectif dans le système d’évaluation, et c’est une bonne chose. L’élément subjectif est une conséquence de la sélection d’indicateurs, lesquels ne sont pas mécaniques (statistiques). 

Afin d’évaluer les répercussions d’une organisation sur les politiques, il faut établir des méthodes pour mesurer sa propre contribution. Il serait difficile de mesurer les répercussions sur une politique sans définir sa propre contribution. La définition de sa propre contribution peut être effectuée par l’évaluation de segments distincts : initiatives et projets mis en œuvre par l’organisation. C’est pourquoi tous les indicateurs d’un système d’évaluation des répercussions sur les politiques devraient être ancrés dans des initiatives et des projets précis. De plus, cela donnerait lieu à une collecte de données plus facile et efficace. 

Nous sommes d’avis qu’il est nécessaire de définir clairement les objectifs d’une évaluation dans le contexte de la planification stratégique d’une organisation. Il pourrait s’agir d’une de ces décisions « soit X, soit Y » au tout début. Traditionnellement, vous commenceriez probablement par établir des résultats prévus clairs pour votre travail dans un domaine politique précis. Pourtant, le processus d’évaluation des répercussions sur les politiques pourrait être davantage adapté à un ou à plusieurs éléments du processus politique : intervenant clé, processus politique et substance de la politique (sujet). Cela pourrait permettre l’élaboration d’un système MEL qui n’est pas axé sur l’organisation (c.-à-d. basé sur sa vision, sa structure, ses priorités et ses tâches), mais qui réglemente aussi complètement la structure du domaine politique (processus) pertinent. Par exemple, à une certaine étape, nous pourrions nous intéresser davantage aux répercussions que nous avons sur un groupe précis de responsables politiques qui encadre une politique de protection des oiseaux en Ukraine (il pourrait s’agir d’un comité parlementaire), plutôt que la substance de la politique en tant que telle, ou le processus d’élaboration de politiques. En revanche, pour certains Think Tanks, la transparence du processus d’élaboration de politiques pourrait être prioritaire.