Succès et transfert de l’apprentissage : comment mesurer ?

Partie 2 de « Apprendre de ses pairs »

Comment était-il ? Qu’est-ce qui était bien, qu’est-ce qui l’était moins ? Comment était la direction du cours sur une échelle de 1 à 10 ? – et ainsi de suite : à la fin d’un cours, son évaluation suit toujours immédiatement.

De telles mesures d’output partent de l’hypothèse que, si un cours plaît, il déploiera l’effet souhaité dans la pratique. Une erreur. Le plus souvent. Car la recherche (1) montre qu’il n’y a pratiquement aucune corrélation entre l’évaluation immédiate d’un cours et son effet à long terme, c’est-à-dire le transfert de ce qui a été appris dans la pratique. Et si l’on examine ses propres expériences, on le sait : ce que tu n’appliques pas, tu l’oublies à nouveau — on aurait donc pu se passer du cours.

Car c’est l’effet dans la pratique par la suite qui compte : dans ma dernière chronique «Lernen von Seinesgleichen», j’ai essayé de montrer que cet effet peut être considérablement renforcé. En s’associant à deux comme pair d’apprentissage entre pairs, deux diplômé·e·s se soutiennent mutuellement et augmentent ainsi le transfert dans la pratique.

Dans cette chronique vient maintenant la question de savoir comment mesurer si un transfert a lieu, et dans quelle mesure. Par transfert d’apprentissage, on entend ici dans quelle mesure quelque chose de nouvellement appris, comme une compétence, un outil ou une technique, peut être transféré dans le quotidien professionnel et appliqué. Mais comment mesurer les effets d’apprentissage et les effets ? Ceux-ci ne peuvent en effet pas être mesurés directement et absolument comme un poids ou une température ; ils s’expriment plutôt par des changements de comportement qui ne sont pas directement mesurables.

Nous y reviendrons plus tard ; d’abord quelques mots sur la théorie : la recherche sur l’effet de la formation continue en entreprise a été fondée de manière pionnière par Donald Kirkpatrick (Wikipedia), qui a publié en 1959 le modèle de mesure de l’effet des formations et des cours qui porte son nom. Il comporte quatre niveaux (visualisés p. ex. dans ce graphique :

Au niveau 1, on recueille un feedback des participant·e·s : la «réaction» immédiate.
Au niveau 2, on procède après le cours à une vérification des connaissances, p. ex. sous forme de test ou de quiz sur les «contenus d’apprentissage».
Le niveau 3 comprend ledit transfert de l’apprentissage dans la pratique : y a-t-il des changements dans le «comportement» ?
Au niveau 4, il s’agit des «résultats» à long terme, c’est-à-dire des effets dans le monde extérieur, comme p. ex. davantage de chiffre d’affaires pour une entreprise ou l’impact sociétal d’une ONG.

Le manque de clarté des responsabilités au niveau 3 fait partie du problème

Selon l’enseignement de Kirkpatrick, des mesures d’impact devraient être effectuées à chaque niveau, mais dans la pratique, cela ne se produit le plus souvent qu’aux niveaux 1 et 2 – c’est-à-dire immédiatement à la fin du cours. C’est ce qu’il y a de plus simple à obtenir, mais cela ne dit justement pas grand-chose.

La raison pour laquelle on mesure à peine au niveau 3, pourtant le niveau réellement pertinent, est l’effort plus important que cela demande et la question des responsabilités, qui passe de la formatrice à l’entreprise, où il n’est souvent pas clair qui est responsable. Or c’est précisément ce transfert qui permet en fin de compte de mesurer l’efficacité des investissements dans la formation continue. Il en est la condition pour que ce qui est en fait souhaité au niveau 4 puisse se produire : une amélioration du résultat d’une entreprise, d’un projet ou d’une campagne. Le «Return on Learning Investment», pour ainsi dire.

Le modèle de Kirkpatrick est un modèle linéaire qui suggère que, si les niveaux 1 et 2 donnent de bons résultats, il en ira de même aux niveaux suivants, ce qui, comme déjà dit, n’est pas automatiquement le cas. Il reste néanmoins utile pour prendre conscience de l’ensemble du processus d’apprentissage. En outre, ses enfants l’ont amélioré en renforçant l’orientation sur les processus. Il s’appelle désormais New Kirkpatrick - avec notamment les valeurs ajoutées suivantes (voir Graphique ci-dessous):

Si, au niveau 2, on ne vérifie pas seulement les connaissances apprises, mais aussi si les personnes ayant terminé le cours sont confiantes dans leur capacité à transférer ce qu’elles ont appris (‘Confidence’) et si elles sont prêtes à appliquer ce qu’elles ont appris ('Commitment'), on peut estimer la probabilité d’un transfert : «Plus la confiance et la disposition sont élevées, plus le transfert l’est aussi».
New Kirkpatrick prend le niveau 4 comme point de départ pour définir les mesures de formation continue. On prend donc le problème à rebours et l’on se demande de quelles capacités, compétences, esprit d’équipe ou quel savoir-faire on a besoin pour atteindre les résultats opérationnels souhaités. Ou, dans le cas des ONG : quel changement sociétal vise-t-on ? Et quelles conditions internes à l’organisation faut-il pour cela ? Et par conséquent : comment des campaigners, des cheffes de projet ou des équipes peuvent-ils acquérir les compétences nécessaires et les appliquer dans la pratique ?
Ces processus d’apprentissage et de transfert sont accompagnés et vérifiés ; mais non pas comme un contrôle, plutôt avec les personnes concernées, afin qu’elles aient davantage de chances d’atteindre ce qu’elles veulent elles-mêmes.
Des soutiens comme l’encouragement (encourage, p. ex. du temps pour essayer), la récompense (reward ; p. ex. de la reconnaissance dans l’équipe) et le renforcement (reinforcement; p. ex. le peer support ou le mentorat) renforcent considérablement le transfert d’apprentissage. Et si les mesures de formation continue sont convenues ensemble, de telles offres de transfert peuvent être intégrées au processus dès le départ (voir «Boîte à outils pour le transfert des apprentissages»).

Et comment mesure-t-on alors ?

Normalement à l’aide d’un questionnaire, avec lequel on relève, après différentes périodes - 3, 6, 9 et/ou 12 mois -, quelles parties de ce qui a été appris les personnes ayant terminé le cours mettent en œuvre, selon leur propre évaluation et selon l’appréciation de leur entourage, et où elles échouent. C’est très lourd (voir note de bas de page (1B)). Moins lourds sont les groupes de discussion ou les entretiens, c’est-à-dire la collecte de données qualitatives, avec lesquelles on ne mesure certes pas, mais on obtient une bonne impression et une image de ce qui fonctionne et de ce qui ne fonctionne pas. Des questionnaires et des ratings, il y en a de toute façon plutôt trop.

Conclusion : développer une conscience des méthodes d’apprentissage est d’une grande importance pour le travail de campagne. D’autant plus que les campagnes sont des interventions d’apprentissage sociétales, puisque tout changement (souhaité) implique un processus d’apprentissage. Pourtant, dans les campagnes aussi, la mesure de leurs effets ne va souvent que jusqu’au niveau 2, par exemple en évaluant la résonance médiatique ou en recueillant des retours immédiatement après une activité ou une publication. C’est bien, mais cela ne suffit pas. Pour le transfert proprement dit et la mesure d’impact, les ressources ne sont souvent pas prévues.

PS : Avec la numérisation, la formation continue en entreprise se déroule de plus en plus en ligne, pour quoi l’on utilise des systèmes dits de gestion de l’apprentissage (LMS). Cela comporte deux dangers :

Le risque est alors de cliquer à travers une multitude, une multitude de contenus d’apprentissage. Dans l’idée que ce serait efficace, on privilégie ainsi la quantité à la qualité. Mais apprendre de manière «efficace en gagnant du temps», cela n’existe pas. L’apprentissage se réduit à surfer ; or il ne reste que ce que l’on applique.
Au niveau 3, la problématique du manque de transfert se renforce en ligne, notamment pour l’apprentissage interpersonnel comme la cohésion d’équipe, le fait de donner du feedback, la direction de projet ou le leadership. De tels contenus d’apprentissage ont besoin d’offres hybrides, en ligne et hors ligne. Car le savoir-faire et la compétence ne peuvent pas être acquis théoriquement.

Et les chances sont les suivantes : les LMS ont des avantages imbattables, comme par exemple l’individualisation des contenus et des rythmes d’apprentissage, les tutoriels vidéo ou la saisie simple de la réussite d’apprentissage aux niveaux 1 et 2 de Kirkpatrick. Et si l’apprentissage est conçu comme un parcours d’apprentissage (parcours d’apprentissage) et que le transfert dans la pratique est amorcé dans le LMS, on peut exploiter la tendance à l’apprentissage auto-organisé.

(1) p. ex. : A) «Le mythe de la chaîne d’effets dans la formation continue - examen empirique des hypothèses d’impact dans le Four Levels Evaluation Model de Donald Kirkpatrick» ; Revue pour la pédagogie professionnelle et économique (2011)
B) «Comment la formation continue devient mesurable», Société pour la recherche appliquée en formation professionnelle (2018)

Notre auteur
a travaillé en dernier lieu comme responsable du programme mondial de mentorat et de coaching chez Greenpeace International. Auparavant, il a été pendant 25 ans responsable de la formation chez Greenpeace Schweiz. Récemment retraité, il continue d’exercer comme conseiller et assume en outre la co-présidence de Solafrica.
Né en 57, Dr rer. nat., ancien chimiste, désormais écologue humain, spécialiste de l’apprentissage ainsi qu’écrivain. À côté de Chroniques il écrit surtout des poèmes et des aphorismes. Ses dernières publications sont « Im Rosten viel Neues » (poèmes, 2016), « Aussicht von der Einsicht » (aphorismes, 2018) ainsi que ‹KL!MA VISTA – La limite des chutes de neige monte› (2e éd. 2022, chez Pro Lyrica).
Kuno Roth