Mot magique «Impact»

Comment mesure-t-on l’effet d’une action ?

Chaque engagement veut produire un effet. C’est la raison de s’engager. Il n’est pas seulement difficile d’obtenir en soi des effets (socio-écologiques) souhaités - il est aussi difficile de les mesurer. Donc d’essayer de déterminer quelles conséquences suivent les efforts infiniment nombreux pour un monde meilleur. Les mesurer et apprendre des écarts entre l’effet souhaité et l’effet effectif. Quoi qu’il en soit, il est étonnant de voir à quel point, au fond, on se préoccupe peu de cet essentiel.

Quand on s’en préoccupe, un problème fondamental dans la question de l’effet d’un engagement réside dans le fait qu’on part souvent (implicitement) du principe qu’une intervention ne provoquera qu’un seul effet - celui recherché - et que l’on se limite à celui-ci dans le monitoring. Mais ce n’est jamais le cas. Même l’amen à l’église n’a pas qu’un seul effet : pour la pasteure, c’est la fin du travail dominical, pour la personne en quête de réconfort, le début du retour à la solitude. Ou encore : une affiche de votation de l’SVP produit des effets tout autres chez ses fans que chez les non-fans, qui réagissent eux aussi différemment, donc produisent des effets divers : avec colère, avec indifférence ou par une action nocturne de recouvrement.

Il est donc important de mesurer non seulement l’effet attendu ou espéré, mais aussi de prévoir les effets secondaires inattendus, ou de les percevoir lorsqu’ils surviennent et de s’en occuper.

C’est plus facile à dire qu’à faire, car même dans le cas d’un simple cours, la question de ses effets n’est pas facile à trancher. Certes, chaque cours poursuit des objectifs. À un niveau général, ceux-ci se formulent vite ; dans l’exemple d’un cours de gestion des conflits, l’un d’eux pourrait par exemple être « apprendre à gérer les conflits au travail de manière constructive ». Mais qu’est-ce que cela signifie concrètement et comment constate-t-on si les effets souhaités sont réellement atteints chez les diplômé·e·s ?

«Tranches» ne suffit pas

Et comment les mesure-t-on ? Le plus souvent, cela se règle par une notation (de toute façon, aujourd’hui, tout est noté), mais que dit par exemple un 7 sur le contenu du cours (sur une échelle de 10) ?

Et il n’y a pas que le comment, le quand est aussi pertinent. Certes, à la fin d’un cours comme d’une action, on interroge les participant·e·s sur ce qu’a été le cours ou l’action, afin de pouvoir s’améliorer. De plus, dans le cas d’une action, on compte le lendemain les retombées médiatiques comme indicateur à court terme de l’effet ; dans le cas d’une formation, il y a un test à la fin. Mais ce qui changera réellement dans la pratique qui suit une formation ne peut pas être mesuré à sa fin (si l’on pose habilement les questions, des affirmations sont toutefois possibles ; davantage à ce sujet dans une prochaine chronique). Et c’est là le point crucial : qu’il s’agisse d’un cours ou d’une campagne, il s’agit avant tout de l’après, de l’effet durable ou du transfert vers une nouvelle pratique.

Celui-ci a d’autant plus de chances d’avoir lieu, ou même seulement d’avoir lieu, si un soutien au transfert dans la pratique est assuré après le cours. Il ne sert pas à grand-chose qu’une formatrice géniale obtienne de superbes effets d’apprentissage immédiats chez les participantes, si ceux-ci ne sont pas transférés dans le quotidien professionnel et n’y entrent pas en jeu.

Cela correspond à l’expérience personnelle – ce qu’on apprend aujourd’hui pour un examen est oublié demain – et c’est aussi ce que montrent des études et ce que reflète le modèle 70-20-10 [1]. À savoir que les formations continues professionnelles ne valent souvent pas la peine, faute de plan de transfert. Ainsi, une formation solaire, par exemple, n’est utile que si elle sert d’entrée dans le métier – que ce soit sous forme de stage (comme chez Refugees-go-solar) ou de qualification reconnue pour le marché du travail. Bref : le « follow-up » d’une formation comme d’un projet est ce qu’il y a de plus important [2].

Même dans le cas d’un cours, des questions délicates se posent donc déjà pour une mesure fiable des effets. Et plus encore lorsque la chose est encore plus complexe – cela devient alors un grand défi. Il faut user du terme « mesurer » avec beaucoup de prudence, car contrairement, par exemple, à une mesure de température, la mesure des effets ne fournit pas une valeur objective. Pour saisir les nombreux effets d’une campagne ou d’un projet, on utilise des indicateurs. Avec les indicateurs clés (appelés KPI dans le monde des affaires), on essaie de réduire la complexité. Ils sont certes définis (le plus souvent) de manière SMART, mais ils ne peuvent néanmoins pas saisir l’image globale réelle ; en cas de réduction trop précoce ou trop forte, il y a le risque qu’une image limitée soit prise pour le reflet de la réalité.

La pandémie de Corona le montre de manière parlante : l’indicateur clé « nombre de cas » aide certes à une estimation grossière de l’effet d’une mesure prise sur le nombre de cas. Mais cela ne dit rien des autres effets qu’une mesure produit, par exemple à moyen terme. Par exemple des conditions inhumaines dans les homes pour personnes âgées ou l’augmentation des dépressions chez les jeunes, pour n’en citer que deux.

De quoi a-t-on besoin pour reconnaître la Mona Lisa ?

Certes, il faut réduire la complexité ; mais il faut toujours être conscient que l’image que les indicateurs transmettent n’est pas l’image globale réelle. Elle ne donne qu’une première impression (plus à ce sujet : «Corona, complexité et campagne»).

Et comment obtient-on cette impression ? En image, on pourrait le dire ainsi : imaginons la réalité comme une photo haute résolution ; à une extrémité du continuum, il y aurait la saisie complète de tous les « pixels » et à l’autre extrémité, aucun pixel, donc la feuille blanche. Saisir « tout » serait bien sûr beaucoup trop fastidieux et serait aussi excessif. Cela signifie, pour parler avec cette image, qu’il s’agit de se demander combien et quels pixels il faut, par exemple, pour pouvoir reconnaître un visage. Pour un visage connu, comme par exemple celui de la Mona Lisa, quelques dizaines de points d’image placés de manière ciblée suffisent et on la reconnaît (voir image et plus ici [3]). Ces pixels correspondraient aux indicateurs choisis, qui montrent une image grossière, mais globale, du projet.

Les indicateurs sont comme des pixels qui forment une image

Trouver la bonne et faisable mesure entre les deux extrêmes signifie chercher et définir les indicateurs pertinents pour l’image d’ensemble. Il se peut qu’il faille renoncer à un indicateur important parce que l’effort de collecte serait trop grand. Mais attention, « trop fastidieux » est vite dit et le danger guette de ne prendre que ce qui se laisse compter facilement. Les chiffres suggèrent de la précision, alors qu’ils disent souvent peu de choses. Ils peuvent certes donner des indications sur les points où il faudrait creuser davantage, par exemple avec l’enquête auprès d’un groupe d’acteurs ou un entretien avec des personnes concernées, et ainsi obtenir aussi des « small data » qualitatives pour compléter l’image [4].

Un exemple à ce sujet : dans le projet solaire pour femmes au Nicaragua, le nombre de cuiseurs solaires construits a d’abord été utilisé comme indicateur de l’avancement du projet : plus il y en avait, mieux c’était. Jusqu’au jour où les responsables du projet ont remarqué que de nombreux cuiseurs restaient inutilisés. Elles ont décidé de prendre désormais comme indicateur principal le « nombre de cuiseurs réellement utilisés ». Cela a eu de grandes conséquences, car cet indicateur suppose une collecte qualitative. On ne peut plus simplement compter l’output, mais il faut saisir l’outcome sur place, dans les cuisines.

C’est-à-dire qu’une partie des ressources a dès lors été utilisée pour rendre visite à chaque propriétaire d’un cuiseur solaire, après le cours de construction, en moyenne tous les deux mois pendant deux ans. Cela a donné aux responsables du projet une image précise de ce qui favorise ou entrave l’utilisation du cuiseur solaire au quotidien et a conduit au fait que 90% des cuiseurs construits sont effectivement utilisés. C’est là le véritable succès de ce projet plusieurs fois primé.

Il s’agit donc de ne pas s’appuyer uniquement sur des chiffres. Un peu comme pour une note scolaire : un cinq en français dit quelque chose, mais on ne sait pas exactement quoi. Le découvrir, c’est la qualité qu’il faut pour pouvoir améliorer. Une réduction trop précoce peut conduire à ce que l’essentiel ne soit pas reconnu et à ce que ce que l’on peut mesurer soit érigé en essentiel.

La température et la pression artérielle ne constituent pas l’ensemble de l’image

Évaluer exclusivement des données rapidement disponibles reviendrait à, par exemple, ne saisir qu’en haute résolution le menton de Mona Lisa et penser pouvoir en déduire toute la tête. Mais les nuances de gris et la profondeur de champ ne s’obtiennent souvent qu’en discutant avec différentes parties prenantes (voir à ce sujet p. ex. les enseignements du MobLab tirés de leur enquête sur la «mesure du People Power» [5]).

C’est comme avec un malade chez qui l’on mesure rapidement la température, la tension et le pouls afin d’obtenir une première impression. Déduire les mesures pour sa guérison en se fondant uniquement sur ces chiffres semble certes efficace, mais ne l’est pas forcément : cela peut bien se passer, mais on peut aussi se tromper dans le diagnostic et donc dans les mesures. Pour l’évaluation d’une campagne ou d’un projet, cela signifie réfléchir précisément aux indicateurs qu’il faut et à la manière dont les données sont relevées, à quelle fréquence et par qui. En chiffres et sous forme de déclarations, afin d’obtenir une vue d’ensemble dans un délai utile.

Combien d’efforts sont acceptables ?

Last but not least, la question décisive : combien d’efforts et lesquels faut-il fournir pour mesurer les différents effets d’une intervention, respectivement pour s’en approcher, lorsqu’on a un budget serré ?! L’essentiel est de comprendre le monitoring et l’analyse d’impact comme des parties intégrantes de chaque projet et de les faire tourner pour ainsi dire en parallèle. Relever en continu avec peu d’effort, telle pourrait être la devise : chiffres, stories, entretiens avec les parties prenantes et aussi avec des personnes non directement impliquées. Cela ne doit pas être énorme, juste bien réfléchi [6].

PS: Tout le monde veut cela : obtenir le plus d’impact possible avec le moins d’effort possible. Aussi banal que cela sonne, le diable se cache dans les détails concrets. Par exemple : est-on d’accord sur les effets que l’on veut exactement obtenir ? Que veut dire «beaucoup», et en quelle quantité ? Et les efforts de qui doivent être aussi réduits que possible ? [Car l’absence d’effort de l’un est généralement le travail des autres].

Littérature

[1] Harvard Business Review (2015), citation : “U.S. corporations spend enormous amounts of money—some $356 billion globally in 2015 alone—on employee training and education, but they aren’t getting a good return on their investment. People soon revert to old ways of doing things, and company performance doesn’t improve.»
Le Modèle 70-20-10 signifie que, pour la plupart des gens, 70 % de ce qu’ils apprennent au total (le know-how) est appris on-the-job, 20 % grâce aux contacts sociaux (“peer-learning”) et seulement 10 % dans des cours et formations continues. Ce dernier, l’apprentissage formalisé, est donc le plus souvent surestimé, respectivement on ne veille pas assez au transfert. Il en va de même pour les campagnes, si on les considère comme un apprentissage sociétal : après une intervention, il n’y a souvent pas de soutien au transfert (ou bien ?)

[2] Il existe de nombreuses possibilités de soutenir le transfert d’apprentissage, la plus “bon marché” étant notamment de former des paires d’apprentissage qui se rencontrent régulièrement même après la certification (“peer support”), afin de s’aider mutuellement à mettre en pratique ce qu’elles ont appris (elles sont dans la même situation avec le même intérêt; voir ici pour plus d’éléments (document interne de Greenpeace))

[3] Voir plus : «Comment mesurer l’impact ?»-article sur lequel se fonde cette chronique, paru dans "Theories of Change" Springer-Palgrave-Mac Millan Sustainable Finance Series (2021)

[4] on trouve dans l’essai «» une bonne comparaison entre des modèles d’impact traditionnels comme le LogFrame et des modèles plus récents avec des approches réflexives pour des circonstances complexes, qui incluent les «Small Data»Approches et méthodes de suivi et d’évaluation» (2017)

[5] Quelques messages clés de l’évaluation de MobLab «Measuring People Power» : “... Les indicateurs en ligne sont incomplets. (…) La plupart des organisations interrogées mesurent l’étendue de leurs efforts, mais moins leur profondeur ou les progrès vers leur mission. (…) Nous avons constaté un usage répandu d’indicateurs tels que la taille des listes et le nombre de signatures de pétitions – et c’est une bonne chose ! Mais ces métriques ne saisissent que l’étendue des efforts visant à engager davantage de personnes. (…) Et presque toutes avaient des difficultés à mesurer comment l’étendue et la profondeur interagissent pour permettre des progrès dans la réalisation des objectifs. (…) Parmi les indicateurs importants d’autonomisation, ont été cités le sentiment de bonheur et le sentiment de communauté parmi les co-apprenant·e·s.

[6] Si l’on veut mesurer de manière exhaustive, par exemple dans le cadre d’un travail de recherche, le “Happiness Index” peut servir d’inspiration - une mesure complète avec plus de 100 indicateurs et une collecte de données fastidieuse. Pour les organisations et les projets, cinq à douze indicateurs, respectivement questions et collectes de données, suffisent. Pour les cours, il s’agit par exemple de quelques questions posées directement aux diplômé·e·s après le cours puis encore une fois quelques mois plus tard (ici un(e) Modèle pour l’évaluation d’un entraînement)

Notre auteur
Travaille comme responsable du programme mondial de mentorat chez Greenpeace International. Auparavant, il a été pendant 25 ans responsable de la formation chez Greenpeace Suisse.
Né en 57, Dr rer. nat., ancien chimiste, il travaille désormais comme écologue humain, spécialiste de l’apprentissage ainsi qu’écrivain. Outre des chroniques, il écrit surtout des poèmes et des aphorismes. Ses dernières publications sont «Im Rosten viel Neues» (poèmes, 2016) ainsi que «Aussicht von der Einsicht» (aphorismes, 2018). Son livre le plus récent ‹KL!MA VISTA – Die Schneefallgrenze steigt› Poèmes et aphorismes est paru le 23.10.2020 dans Pro Lyrica paru.
Kuno Roth