Le mot magique «Impact»

Chaque engagement vise à produire un impact. C'est la raison de s'engager. Il est non seulement difficile d'atteindre les impacts souhaités (socio-écologiques) en soi, mais il est également ardu de les mesurer. C'est-à-dire, tenter de déterminer quelles conséquences découlent des innombrables efforts pour un monde meilleur. Les mesurer et apprendre des différences entre l'impact souhaité et l'impact effectif. Quoi qu'il en soit, il est étonnant de voir à quel point on se soucie peu, au fond, de cet aspect essentiel.

Lorsqu'on s'y intéresse, un problème fondamental se pose concernant l'impact d'un engagement : on part souvent (tacitement) du principe qu'une intervention ne produira qu'un seul effet – celui visé – et l'on se limite à celui-ci lors du suivi. Mais ce n'est jamais le cas. Même l'Amen à l'église n'a pas qu'un seul effet : pour la pasteure, c'est la fin du travail dominical ; pour celui qui cherche du réconfort, le début du retour à la solitude. Ou encore : une affiche de votation de l'UDC a des effets très différents sur ses fans que sur les non-fans, qui, à leur tour, réagissent différemment, produisant ainsi divers effets : avec de la colère, de l'ignorance ou une action de recouvrement nocturne.
Il est donc important, non seulement de mesurer l'impact attendu ou espéré, mais aussi d'anticiper les effets secondaires inattendus, ou de les identifier lorsqu'ils surviennent et de s'en occuper.

C'est plus facile à dire qu'à faire, car même pour un cours simple, la question de ses effets n'est pas facile à répondre. Certes, chaque cours poursuit des objectifs. À un niveau général, ceux-ci sont certes rapidement formulés ; dans l'exemple d'un cours de gestion des conflits, l'un pourrait par exemple être «Apprendre à gérer les conflits au travail de manière constructive». Mais qu'est-ce que cela signifie concrètement et comment s'assurer que les effets souhaités sont réellement atteints chez les participant*es ?

«Versements» ne suffit pas

Et commentcomment les mesure-t-on ? C'est généralement traité par un rating (de toute façon, aujourd'hui tout est conseillé), mais que dit, par exemple, un 7 sur le contenu du cours (sur une échelle de 10) ?
Et ce n'est pas toutComment, cela aussiQuandest pertinent. Certes, à la fin d'un cours ou d'une action, on interroge les participant·e·s sur la qualité du cours ou de l'action afin de pouvoir s'améliorer. De plus, le lendemain d'une action, on compte les articles de presse comme indicateur à court terme de l'impact, et une formation se termine par un test. Mais ce qui changera réellement dans la pratique suite à une formation ne peut pas être mesuré à la fin de celle-ci (toutefois, si l'on pose les questions habilement, des déclarations sont possibles ; plus à ce sujet dans une prochaine chronique). Et c'est là le point crucial : qu'il s'agisse d'un cours ou d'une campagne, il s'agit avant tout de l'après, de l'impact durable ou du transfert vers une nouvelle pratique. Cela se produit d'autant plus probablement, voire uniquement, si un soutien au transfert pratique est assuré après le cours. Il ne sert pas à grand-chose qu'une formatrice géniale obtienne de superbes effets d'apprentissage immédiats chez les participantes si ceux-ci ne sont pas transférés dans le quotidien professionnel et n'y sont pas mis en œuvre. Cela correspond à notre propre expérience – ce que l'on apprend aujourd'hui pour un examen est oublié demain – et des études le montrent également et cela se reflète dans le modèle 70-20-10 [1]. À savoir que les formations continues professionnelles ne sont souvent pas rentables parce qu'il n'y a pas de plan de transfert. Ainsi, une formation solaire, par exemple, ne vaut la peine que si elle sert de tremplin professionnel – que ce soit sous forme de stage (comme chez Réfugiés au solaire) ou sert de qualification reconnue pour le marché du travail. En bref : Le « suivi » d'une formation ou d'un projet est le plus important [2].

Dès un seul cours, des questions délicates se posent donc pour une mesure d'impact fiable. Et à plus forte raison si la situation est encore plus complexe – elle devient alors un défi majeur. Il convient d'utiliser le terme «mesurer» avec une grande prudence, car, contrairement par exemple à une mesure de température, la mesure d'impact ne fournit pas de valeur objective. Pour appréhender les nombreux impacts d'une campagne ou d'un projet, des indicateurs sont utilisés. Avec les indicateurs clés (appelés KPI dans le monde des affaires), on tente de réduire la complexité. Ils sont certes (généralement)SMARTdéfini, mais ils ne peuvent pas saisir l'image globale réelle ; il existe un risque, en cas de réduction trop précoce ou trop forte, qu'une image restreinte soit prise pour une représentation de la réalité.
La pandémie de Corona le montre clairement : l'indicateur clé « nombre de cas » aide certes à estimer grossièrement l'effet d'une mesure prise sur le nombre de cas. Mais cela ne dit rien sur les autres effets, par exemple à moyen terme, qu'une mesure peut avoir. Par exemple, les conditions inhumaines dans les maisons de retraite ou l'augmentation des dépressions chez les jeunes, pour n'en citer que deux.

Que faut-il pour reconnaître la Joconde ?

Certes, la complexité doit être réduite ; mais il faut toujours être conscient que l'image que les indicateurs transmettent n'est pas l'image globale réelle. Cela ne donne qu'une première impression (plus d'informations : «Corona, complexité et campagne»).

Et comment obtenir cette impression ? Au sens figuré, comme suit : si nous imaginons la réalité comme une photo haute résolution, alors à une extrémité du continuum se trouverait la saisie complète de tous les « pixels » et à l'autre extrémité aucun pixel, c'est-à-dire le papier blanc. Saisir « tout » est bien sûr beaucoup trop coûteux et serait également excessif. Cela signifie, pour reprendre cette image, que la question est de savoir combien et quels pixels sont nécessaires pour, par exemple, reconnaître un visage. Pour une tête connue, comme celle de la Joconde, quelques dizaines de points d'image placés de manière ciblée suffisent pour la reconnaître (voir image et plus ici [3]). Ces pixels correspondraient aux indicateurs choisis, qui montrent une image de projet grossière mais holistique.

Les indicateurs sont comme des pixels qui forment une image

Trouver la juste mesure et la mesure réalisable entre les deux extrêmes signifie rechercher et définir les indicateurs pertinents pour l'image globale. Il se peut que l'on doive renoncer à un indicateur important parce que l'effort de collecte serait trop important. Mais attention, « trop coûteux » est vite dit et le danger guette de ne prendre que ce qui est facile à compter. Les chiffres suggèrent la précision, alors qu'ils en disent souvent peu. Ils peuvent certes donner des indications sur les points où il faudrait creuser davantage, par exemple en interrogeant un groupe d'acteurs ou en discutant avec les personnes concernées, et ainsi obtenir des « petites données » qualitatives pour compléter l'image [4].
Un exemple : Dans le Projet solaire pour femmes au Nicaraguale nombre de cuisinières solaires construites a été initialement utilisé comme indicateur de l'avancement du projet : plus il y en avait, mieux c'était. Jusqu'à ce qu'un jour, les cheffes de projet remarquent que de nombreuses cuisinières restaient inutilisées. Elles ont décidé de prendre désormais le « nombre de cuisinières réellement utilisées » comme indicateur principal. Cela a eu de grandes conséquences, car cet indicateur nécessite une enquête qualitative. On ne peut plus simplement compter le résultat (output), mais il faut évaluer l'impact (outcome) sur place dans les cuisines. C'est-à-dire qu'une partie des ressources a été désormais consacrée à visiter chaque propriétaire de cuisinière solaire, après le cours de construction, en moyenne tous les deux mois pendant deux ans. Cela a donné aux cheffes de projet une image précise de ce qui favorise ou entrave l'utilisation de la cuisinière solaire au quotidien et a conduit à ce que 90% des cuisinières construites soient désormais réellement utilisées. C'est le véritable succès de ce projet maintes fois primé.

Il s'agit donc de ne pas se baser uniquement sur des chiffres. Un peu comme une note scolaire : un cinq en français dit quelque chose, mais on ne sait pas exactement quoi. Découvrir cela, c'est la qualité nécessaire pour pouvoir s'améliorer. Une réduction trop précoce peut conduire à ne pas reconnaître l'essentiel et à faire de ce qui est mesurable l'essentiel.

La température et la tension artérielle ne sont pas l'image globale

Évaluer exclusivement des données rapidement disponibles serait comme, par exemple, ne saisir que le menton de la Joconde en haute résolution et penser pouvoir en déduire toute la tête. Or, les nuances de gris et la profondeur de champ ne s'obtiennent souvent qu'en discutant avec diverses parties prenantes (voir à ce sujet, par exemple, les enseignements du MobLab tirés de son enquête sur la « Mesure du pouvoir citoyen » [5]).

C'est comme pour un malade dont on mesure rapidement la température, la tension artérielle et le pouls pour avoir une première impression. Déduire les mesures pour sa guérison uniquement sur la base de ces chiffres semble efficace, mais n'est pas nécessairement effectif : cela peut bien se passer, mais on peut aussi se tromper de diagnostic et donc de mesures. Pour l'évaluation d'une campagne ou d'un projet, cela signifie réfléchir précisément aux indicateurs nécessaires et à la manière dont les données sont collectées, à quelle fréquence et par qui. En tant que chiffres et en tant que déclarations, pour obtenir une image globale dans un délai utile.

Enfin et surtout, la question cruciale : combien et quel effort déployer pour mesurer les différents effets d'une intervention ou s'en approcher, lorsque le budget est serré ?! Il est essentiel de comprendre le suivi et l'analyse d'impact comme des parties intégrantes de chaque projet et de les laisser se dérouler pour ainsi dire en parallèle. Le credo pourrait être : collecter en continu avec peu d'effort : chiffres, récits, entretiens avec les parties prenantes et aussi avec les personnes non directement impliquées. Cela ne doit pas être beaucoup, juste bien réfléchi [6].

PS :Tout le monde veut ça : obtenir le maximum d'impact avec le minimum d'effort. Aussi banal que cela puisse paraître, le diable se cache dans les détails concrets. Par exemple : sommes-nous d'accord sur les effets précis que nous voulons obtenir ? Qu'est-ce que « beaucoup » signifie et quelle quantité ? Et dont l'effort doit être le plus faible possible ? [Car le non-effort de l'un est souvent le travail de l'autre].

[1] Harvard Business Review (2015), Citation : « Les entreprises américaines dépensent des sommes énormes – quelque 356 milliards de dollars à l'échelle mondiale rien qu'en 2015 – pour la formation et l'éducation de leurs employés, mais elles n'obtiennent pas un bon retour sur investissement. Les gens reviennent rapidement à leurs anciennes habitudes, et la performance de l'entreprise ne s'améliore pas. »
Le modèle 70-20-10 stipule que pour la plupart des gens, 70% de ce qu'ils apprennent (le savoir-faire) est acquis sur le terrain, 20% par les contacts sociaux («apprentissage par les pairs») et seulement 10% par des cours et des formations continues. Ce dernier, l'apprentissage formalisé, est donc souvent surestimé ou le transfert n'est pas suffisamment assuré. Il en va de même pour les campagnes, si on les considère comme un apprentissage social : une intervention n'est souvent pas suivie d'un soutien au transfert (ou pas ?)

[2] Il existe de nombreuses façons de soutenir le transfert d'apprentissage, la «moins chère» étant de former des binômes d'apprentissage qui se rencontrent régulièrement même après la certification («soutien par les pairs») pour s'aider mutuellement à mettre en pratique ce qu'ils ont appris (ils sont dans la même situation avec le même intérêt ; voir plus d'éléments ici (document interne de Greenpeace))

[3] Pour en savoir plus : «Comment mesurer l'impact ?»-article sur lequel cette chronique est basée, paru dans "Theories of Change" Springer-Palgrave-Mac Millan Sustainable Finance Series (2021)

[4] Une bonne comparaison entre les modèles d'impact traditionnels tels que le LogFrame et les modèles plus récents avec des approches réflexives pour des circonstances complexes, incluant les «Small Data», se trouve dans l'essai «Approaches and methods for monitoring and evaluation» (2017)

[5] Quelques points clés de l'évaluation MobLab «Measuring People Power»: « ... Les indicateurs en ligne sont incomplets. (…) La plupart des organisations interrogées mesurent l'étendue de leurs efforts, mais moins la profondeur ou les progrès vers leur mission. (…) Nous avons constaté une utilisation répandue d'indicateurs tels que la taille des listes et le nombre de signatures de pétitions – et c'est une bonne chose ! Mais ces métriques ne saisissent que l'étendue des efforts pour engager plus de personnes. (…) Et presque toutes ont eu des difficultés à mesurer comment l'étendue et la profondeur interagissent pour réaliser des progrès dans l'atteinte des objectifs. (…) Le sentiment de bonheur et de communauté parmi les co-apprenants a été cité comme un indicateur important de l'autonomisation.

[6] Si l'on souhaite mesurer de manière exhaustive, par exemple dans le cadre d'un travail de recherche, le « Happiness Index » peut servir d'inspiration – une mesure complète avec plus de 100 indicateurs et une collecte de données complexe. Pour les organisations et les projets, cinq à douze indicateurs ou questions et collectes de données suffisent. Pour les cours, il s'agit par exemple de quelques questions posées aux diplômé·e·s directement après le cours, puis à nouveau quelques mois plus tard (ici un Modèle pour l'évaluation d'une formation)