Succès et transfert d'apprentissage : Comment mesurer ?

Comment était-il ? Qu'est-ce qui était bien, qu'est-ce qui l'était moins ? Comment était la direction du cours sur une échelle de 1 à 10 ? – et ainsi de suite : À la fin d'un cours, son évaluation suit toujours de près.

De telles mesures de résultats partent du principe que si un cours est bien accueilli, il produira l'effet souhaité dans la pratique. Une erreur. La plupart du temps. Car la recherche (1) montre qu'il n'y a pratiquement aucune corrélation entre l'évaluation immédiate d'un cours et son effet à long terme, c'est-à-dire le transfert des connaissances acquises dans la pratique. Et si l'on se penche sur ses propres expériences, on sait : Ce que tu n'appliques pas, tu l'oublies – on aurait donc pu s'épargner le cours. Car c'est l'effet ultérieur dans la pratique qui compte : Dans ma dernière chronique «Apprendre de ses pairs» j'ai essayé de montrer que cet effet peut être considérablement renforcé. En s'associant en tant que binôme d'apprentissage par les pairs, deux diplômé·e·s se soutiennent mutuellement et augmentent ainsi le transfert dans la pratique.

Dans cette chronique, la question est maintenant de savoir comment mesurer si et dans quelle mesure le transfert a lieu. Le transfert d'apprentissage désigne la mesure dans laquelle les nouvelles connaissances acquises, telles qu'une compétence, un outil ou une technique, peuvent être transférées et appliquées dans la vie professionnelle quotidienne. Mais comment mesurer les effets et les impacts de l'apprentissage ? Ceux-ci ne peuvent pas être mesurés directement et absolument comme un poids ou une température ; ils s'expriment plutôt par un changement de comportement non directement mesurable.

Plus tard ; d'abord quelques mots sur la théorie : La recherche sur l'impact de la formation continue en entreprise a été fondée de manière pionnière par Donald Kirkpatrick (Wikipédia), qui a publié en 1959 le modèle de mesure de l'impact des formations et des cours qui porte son nom. Il est en quatre niveaux (visualisé par exemple dans ce graphique :

Au niveau 1, un feedback est recueilli auprès des participant·e·s : la «réaction» immédiate.
Au niveau 2, une évaluation des connaissances est effectuée après le cours, par exemple sous forme de test ou de quiz sur les «contenus d'apprentissage».
Le niveau 3 comprend le transfert d'apprentissage susmentionné dans la pratique : Y a-t-il des changements dans le «comportement» ?
Le niveau 4 concerne les «résultats» à long terme, c'est-à-dire les impacts dans le monde extérieur, comme par exemple une augmentation du chiffre d'affaires pour une entreprise ou l'impact social d'une ONG.

La responsabilité peu claire au niveau 3 fait partie du problème

Selon la doctrine de Kirkpatrick, des mesures d'impact devraient être effectuées à chaque niveau, mais dans la pratique, cela ne se produit généralement qu'aux niveaux 1 et 2 – c'est-à-dire immédiatement à la fin du cours. C'est le plus simple à obtenir, mais cela ne dit pas grand-chose. La raison pour laquelle le niveau 3, pourtant pertinent, est rarement mesuré est le coût plus élevé et la question de la responsabilité, qui passe de la formatrice à l'entreprise, où il n'est souvent pas clair qui est responsable. Or, c'est précisément ce transfert qui mesure finalement l'efficacité des investissements dans la formation continue. C'est une condition préalable pour que ce qui est réellement souhaité puisse se produire au niveau 4 : une amélioration du résultat d'une entreprise, d'un projet ou d'une campagne. Le «Retour sur Investissement de l'Apprentissage», en quelque sorte.

Le modèle de Kirkpatrick est un modèle linéaire qui suggère que si les niveaux 1 et 2 donnent de bons résultats, il en sera de même pour les niveaux suivants, ce qui, comme mentionné, n'est pas automatiquement le cas. Néanmoins, il est utile pour prendre conscience de l'ensemble du processus d'apprentissage. De plus, ses enfants l'ont amélioré en renforçant l'orientation processus. Il s'appelle maintenant Nouveau Kirkpatrick - avec, entre autres, les valeurs ajoutées suivantes (voir graphique ci-dessous) :

Si au niveau 2, on ne se contente pas de vérifier les connaissances acquises, mais aussi si les diplômé·e·s sont confiant·e·s dans leur capacité à transférer ce qu'ils ont appris («Confidence») et s'ils sont prêt·e·s à l'appliquer («Commitment»), la probabilité d'un transfert peut être estimée : «Plus la confiance et la volonté sont élevées, plus le transfert est important».
Nouveau Kirkpatrick prend le niveau 4 comme point de départ pour définir les mesures de formation continue. On met donc la charrue avant les bœufs et on se demande quelles capacités, compétences, esprit d'équipe ou quel savoir-faire sont nécessaires pour atteindre les résultats opérationnels souhaités. Ou dans le cas des ONG : Quel changement social est visé ? Et quelles sont les conditions internes nécessaires à cela ? Et par conséquent : Comment les campaigners, les cheffes de projet ou les équipes peuvent-ils acquérir les compétences nécessaires et les appliquer dans la pratique ?
Ces processus d'apprentissage et de transfert sont accompagnés et évalués ; mais pas comme un contrôle, plutôt en collaboration avec les parties prenantes, afin qu'elles atteignent plus probablement ce qu'elles désirent elles-mêmes.
Des soutiens tels que l'encouragement (encouragement, par ex. du temps pour expérimenter), la récompense (récompense; par ex. la reconnaissance au sein de l'équipe) et le renforcement (renforcement; par ex. le soutien par les pairs ou le mentorat) renforcent considérablement le transfert d'apprentissage. Et si les mesures de formation continue sont convenues ensemble, de telles offres de transfert peuvent être intégrées dès le début dans le processus (voir «Toolkit for Learning Transfer»).

Et comment mesure-t-on maintenant ?

Normalement avec un questionnaire, avec lequel on recueille, après différentes périodes - 3, 6, 9, et/ou 12 mois - comment les participant·e·s aux cours, dans leur auto-évaluation et dans l'avis de leur entourage, mettent en œuvre les parties apprises et où ils échouent. C'est très lourd (voir note de bas de page (1B)). Moins lourds sont les groupes de discussion ou les entretiens, c'est-à-dire la collecte de données qualitatives, avec lesquels on ne mesure pas, mais on obtient une bonne idée et une image de ce qui fonctionne et de ce qui ne fonctionne pas. Il y a de toute façon plutôt trop de questionnaires et d'évaluations.

Conclusion : Développer une conscience des méthodes d'apprentissage est d'une grande pertinence pour le travail de campagne. D'autant plus que les campagnes sont des interventions d'apprentissage social, car tout changement (souhaité) est soumis à un processus d'apprentissage. Cependant, même pour les campagnes, la mesure de leurs effets ne se fait souvent que jusqu'au niveau 2, par exemple en évaluant la résonance médiatique ou en recueillant des retours immédiatement après une activité ou une publication. C'est bien, mais ce n'est pas suffisant. Pour le transfert réel et la mesure de l'impact, les ressources ne sont souvent pas prévues.

PS : Dans le cadre de la numérisation, la formation continue en entreprise se déroule de plus en plus en ligne, pour laquelle des systèmes de gestion de l'apprentissage (LMS) sont utilisés. Cela comporte deux dangers :

Que l'on clique désormais à travers de nombreux, nombreux contenus d'apprentissage. Pensant que c'est efficace, on donne ainsi la priorité à la quantité plutôt qu'à la qualité. Mais apprendre de manière « rapide et efficace » n'est pas possible. L'apprentissage se dégrade en simple navigation ; mais seul ce que l'on applique reste.
Au niveau 3, la problématique du manque de transfert s'accentue en ligne, notamment pour l'apprentissage interpersonnel comme la formation d'équipes, le feedback, la gestion de projet ou le leadership. De tels contenus d'apprentissage nécessitent des offres hybrides, en ligne et hors ligne. Car le savoir-faire et les compétences ne peuvent pas être acquis théoriquement.

Et les opportunités sont : les LMS ont des avantages imbattables, tels que l'individualisation des contenus et des rythmes d'apprentissage, les tutoriels vidéo ou la simple saisie du succès d'apprentissage aux niveaux 1 et 2 de Kirkpatrick. Et si l'apprentissage est considéré comme un parcours d'apprentissage (learning journey) conçu et le transfert pratique mis en œuvre dans le LMS, la tendance à l'apprentissage auto-organisé peut être exploitée.

(1) p. ex. : A) «Le mythe de la chaîne d'impact dans la formation continue - examen empirique des hypothèses d'impact du modèle d'évaluation à quatre niveaux de Donald Kirkpatrick»; Revue de pédagogie professionnelle et économique (2011)
B) «Comment la formation continue devient mesurable», Société pour la recherche appliquée en formation professionnelle (2018)