Ce qu’il faut retenir (des ressources présentées)

Conception

AF042 - Concevoir le dispositif d’évaluation de la formation

AF042 – Concevoir le dispositif d’évaluation de la formation.pdf

Lire également cette méthode TRES intéressante : Nouvelle approche d’évaluation de la formation : le retour sur les attentes

S’occuper de l’évaluation dès la phase de conception. Cfr Etape #3 Design AF029 – L’évaluation

Le but de l’évaluation est de recueillir des infos utiles permettant de prendre des décisions.

L’évaluation dans les étapes du projet

  • Phase de Conception générale : quand on a définit les grandes lignes du dispositif d’évaluationLes Q : quels sont les objectifs ? comment les atteindre ? que souhait-t-on tracer des apprenants durant la formation ?
  • Phase de Conception détaillée des UE : concevoir les tests, devoirs à rendre, les productions (et les grilles d’évaluation associées).
  • (éventuellement) Phase de Diffusion du pilote : voir sur l’échantillon de formation ce que l’on peut tirer comme enseignement par rapports aux objectifs à atteindre.
  • Phase de l’Evaluation de la formation : à chaud et à froid.

Le modèle de kirckpatrick

4  niveaux pour mesurer à structurer la démarche d’évaluation = niveaux interdépendants : Niveau 1 : Satisfaction • Niveau 2 : Apprentissage • Niveau 3 : Transfert • Niveau 4 : Performance

L’intérêt de ce modèle = faire apparaitre les responsabilité à chaque niveau et d’identifier ensuite des actions correctives, des décisions.

Les étapes à suivre

(cfr AF029 pour plus de détails) :

  • Établir le cahier des charges
  • Élaborer les outils
  • Préparer les évaluateurs
  • Réaliser les évaluations
  • Interpréter les résultats
  • Engager les actions correctives
Tutorat

dddd

Outils

AF044 - Les outils de l’évaluation

AF044 – Les outils de l’évaluation.pdf AF042

Analyse de traces : témoin de l’activité des apprenants

  • Rapports de la plateforme (cela nous parvient de manière automatique, si on le désire – cela se paramètre) : le temps passé par les apprenants sur la plateforme, les scores, etc. C’est orienté vers l’individu ou cela concerne le groupe (vue plus globale).
  • Analyse des forums : soit on lit toutes les contributions et on en fait une synthèse, soit la plateforme peut générer des nuages de mots des mots-clés pour voir les sujets revenus le plus souvent, etc. l’analyse des forums est une mine pour voir ce qui préoccupe les apprenants.
  • Autres systèmes d’informations / externes : si on fait de l’analyse de performance on peut voir si dans l’entreprise il existe un système de qualité.

Évaluation formelle/organisée

Traitement (totalement ou partiellement) automatisé

Questionnaire d’évaluation dont le but est d’évaluer les connaissances, les savoirs (Niveau 2, voire Niveau 3)

  • Les outils spécialisés avec des reporting très puissants. Coûteux. Pour des volumes importants de personnes à évaluer.
  • Dans les outils de production de contenus : proposent des activités qui remontent des scores.
  • Outils intégrés dans les plateformes : Moodle, Totara. Il existe des outils pour créer des questionnaires en ligne, par exemple.

Des enquêtes (Niveau 1, mais aussi 3 et 4 pour évaluer les managers et les clients) : outils en ligne (SurveyMonKey) ou à l’intérieur des plateformes (ce dernier pour le Niveau 1)

Questionnement ouvert

Interview : ici les acteurs s’expriment. rédiger un guide d’interview et ensuite écrire une grille d’analyse dans le but de se faire un avis.

Observation terrain : je regarde si les apprenants mettent en œuvre : rédiger une grille d’observation + une grille d’analyse sur l’atteinte ou non des objectifs.

Evaluation 360° : poser les mêmes questions à l’apprenant et toutes les personnes concernées par le sujet : ses clients, ses collègues, ses managers. Ensuite une grille d’analyse pour ressortir les éléments significatifs.

Synthèse

  • Bien choisir les outils en fonction des niveaux de Kirckpatrick
  • Envisager la qualité du reporting prioritairement aux types de questions. Ne pas être obnubilé par le type de questionnement : l’interaction. Faut être obsédé d’abord par le reporting, avant. Voir la qualité du reporting que l’outils peut fournir.
Gestion de projet

AF045 - Organiser un retour d’expérience

AF045 – Organiser un retour d’expérience.pdf

Qu’est-ce qu’un REX ?

Évaluation globale à froid du dispositif de formation.

Pourquoi un REX ?

Faire évoluer le dispositif. Le principe est simple : élaborer un diagnostique (force et faiblesse) et en tirer les conséquences (processus d’amélioration continue).

Quand ?

En fin de projet quand on a des données significatives. Voir aussi le calendriers des mises à jour nécessaires.

Qui ?

Equipe projet au sens large : le plus de monde possible. C’est l’occasion de remobiliser l’équipe projet. Vison 360° : commanditaires, les personnes associées à la conception, les IT, les utilisateurs, les tuteurs, etc.

Comment ?

Outils d’évaluation sur les 4 niveaux de Kirckpatrick pour avoir une appréciation globale. Pour voir où sont les responsabilités et à quel niveau il faut agir.

Contenu ?

  • Synthèse des évaluations réalisées : les faits saillants
  • Corrections à apporter: de l’ordre de « Comment peut-on pallier les difficultés identifiées dans l’évaluation ? » que met-on en œuvre ?
  • Améliorations envisagées: il s’agit des évolution que l’on désire mettre en œuvre pour améliorer le dispositif (on hausse le niveau) soit parce que le contacte a changé
  • Plan d’actions: comment on fait ? qui fait ? comment on budgétise ?
  • Planning

(Cela peut être vu comme un mini-Cahier des charges)

Livrable

Vous devez réaliser une présentation vidéo de votre plan d’évaluation pour le dispositif « Hygiène des mains ».

Conditions de réalisation de cette activité

  • Vous travaillerez par groupe (votre trinome).
  • Vous devez appuyer votre présentation sur le fichier Powerpoint type fourni.
  • Les slides s’enchainent automatiquement en respectant le timing suivant : Philosophie du plan : 30s – Niveau 1 : 60s – Niveau 2 : 60s – Niveau 3 : 60s – Niveau 4 : 60s – Conditions de réussite : 30s
  • Vous enregistrerez votre présentation en l’enregistrant sur YouTube.
  • Vous déposerez le lien vers votre présentation dans l’espace devoir prévu pour cela, mais aussi dans le forum afin de le mettre à disposition des autres groupes.


FORUM – ACTIVITE PEDAGOGIQUE

Kirkpatrick distingue 4 niveaux d’évaluation. Lorsque l’on observe les pratiques des professionnels, on constate que le niveau le plus utilisé est le niveau 1 et le moins utilisé le niveau 4. cela vient de la difficulté croissante des moyens à déployer dans la mise en oeuvre de l’évaluation lorsque progresse dans les niveaux. Pour vous, quels seraient les critères qui vous permettraient d’apprécier l’opportunité de mesurer tel ou tel niveau ?

Réponse 1

Dans le cadre de la formation sur l’hygiène des mains, l’objectif est clair : améliorer les pratiques. Le niveau 4 d’évaluation est donc celui qui nous intéresse particulièrement. Il s’agit de faire baisser le nombre de maladies neusocomiales et donc d’augmenter la performance du personnel soignant.

Si les apprenants ont apprécié la formation, c’est bien, mais ça n’aura pas d’impact direct sur la performance et notre objectif ne sera pas atteint.

Ce qui est intéressant en séparant les niveaux d’évaluation c’est qu’on peut voir là où le système de formation est défaillant en cas d’une évaluation de la perfomance négative. Par exemple, si :

–  l’apprenant n’a pas aimé sa formation : problème de conception/de tutorat

– l’apprenant n’a pas appris : problème de pédagogie

– l’apprenant n’a pas transféré ses savoirs : problème d’adéquation des connaissances imparties aux exigences de la réalité professionnelle;

– l’apprenant n’est pas devenu plus performant : problème au sein de l’organisation qui ne permet pas aux employés de changer/améliorer ses pratiques.

Réponse 2

Pour définir les niveaux kirkpatrick les plus intéressants, il faut surtout voir la finalité de la formation et le pourquoi et par qui celle-ci a été choisie.

a) Si c’est suite à la demande des salariés (plan annuel de formation), alors il faut analyser le niveau 1, la satisfaction de l’apprenant

b) Si c’est suite à un incident, un mal fonctionnement, un nouvel outil mis en place, alors il faut analyser le niveau 2, mesurer si les compétences ont été acquises

c) Si c’est suite à des remontées de l’encadrement pour une amélioration du fonctionnement global, alors il faut analyser le niveau 3 pour voir si suite à la formation les habitudes ont changé, les bonnes pratiques se sont répandues

d) Si c’est suite à une directive venu d’en haut (hiérarchie, actionnaires..), alors il faut analyser le niveau 4 pour voir si la formation a eu un impact sur le CA, le taux d’accident du travail, les résultats globaux de l’entité.

Réponse 3

– Le critère pour le niveau 4 pourrait être l’enjeu de la formation en termes de retombées sur l’organisation. Plus il sera important (notoriété, augmentation du C.A., répercussions sanitaires, etc.) et plus la Direction sera sensible à l’intérêt de ce type d’évaluation et donc plus encline à y consacrer un budget pertinent. Toutes les entreprises n’ont cependant pas les moyens de s’offrir un niveau 4 de Kirkpatrick.

– Le niveau 3, qui porte sur le transfert des connaissances, est également une question d’enjeu. Une évaluation poussée permet déjà d’anticiper sur le niveau 4, car a priori, si l’objectif de la formation est atteint, le ou les services concernés sont forcément impactés.

Le critère peut aussi être la pertinence de la politique RH et de l’adéquation de la formation avec les besoins terrain. Des connaissances non transférées peuvent être symptomatiques d’une formation déficiente, d’un mauvais ciblage, d’un management inadéquat, etc.

– Il est difficile de se passer du niveau 2 lorsque la formation en est à ses débuts. Il permet de faire les réglages nécessaires pour que les objectifs pédagogiques soient ingérés.

– Enfin, le niveau 1 permet d’avoir une idée de la façon dont la formation a été perçue, et donc, de faire en sorte que la version / session suivante soit encore mieux perçue. Les remarques positives peuvent de surcroît être extraites et réutilisées à des fins « commerciales ». Par ailleurs, un apprenant satisfait est lui même un vecteur publicitaire.

Réponse 4

L’évaluation consiste à recueillir des informations sur lesquelles on va porter un jugement pour prendre des décisions.

Quel que soit la méthode choisie, Il faut toujours partir des objectifs visés et des questionnements posés préalablement par les parties prenantes de l’organisation, pour choisir le type d’évaluation dont on a besoin.

Donald Kirk Patrick propose une démarche d’évaluation de 4 niveaux, La typologie proposée par ce dernier est utilisée par un grand nombre de professionnels de la formation dans le monde entier (évaluation à chaux : évaluation des satisfactions et des apprentissages ; évaluation à froid : évaluation du transfert des compétences et les résultats atteints)

Pour pouvoir bien exploiter la méthode d’évaluation de Kirkpatrick dans sa globalité, à mon sens nous devons :

  • Commencer par le niveau 4, pour savoir à quoi ressemblera le succès aux yeux des parties prenantes ou de la direction, puis laisser les parties prenantes définir leurs attentes vis-à-vis du programme de la formation envisagée.
  • Identifier des indicateurs spécifiques pour répondre à ces attentes.
  • Construire et élaborer un ensemble de critères et d’indicateurs pour apprécier le degré d’atteinte des objectifs aspiré, en utilisant les niveaux d’évaluation 1, 2 et 3. Bien entendu le niveau d’évaluation adopté sera selon le niveau de la compétence à évaluer.
  • Définir des procédures et construire des outils simple d’évaluation (questionnaire, grille d’entretien individuel ou d’interview de groupe, cahier de bord, grille d’observation, etc.)

La question qu’on se pose sur quelle base peut-on choisir tel ou tel niveau d’évaluation ?

A mon avis, je crois qu’il faut commencer à partir de la fin, c’est-à-dire il faut bien connaitre les objectifs opérationnels de l’action de formation et le type de la formation, pour pouvoir choisir les niveaux d’évaluation qu’il faut.

Il faut analyser chaque situation qui pose un problème dans l’organisation, pour diagnostiquer la situation, nous pouvons utiliser soit l’arbre d’Ishikawa pour évaluer tout le dispositif, Soit employer la méthode des questionnements le QQOQCCP pour bien comprendre la situation qu’on veut corriger

Une fois le diagnostic est bien défini, on essaie de faire une classification des buts visés (niveau d’importance, leurs natures : cognitive, psychomoteur, affective etc.), également il faut décider en amont ce qui sera évalué : les connaissances, les compétences ou les performances ou les trois au même temps.

 Si l’objectif à atteindre est stratégique le niveau d’évaluation sera sans doute le niveau 4, si l’objectif est comportemental, compétence à acquérir puis à utiliser en situation de travail, le niveau d’évaluation sera le niv3 et ainsi de suite.

Réponse 5

Tous les niveaux d’évaluation proposés par Kirkpatrick, sont intéressants avant tout dans la démarche de qualité d’un acte de formation. En effet, l’évaluation sous tous ces aspects nous permet d’ajuster le dispositif, d’améliorer le contenu, le transfert et de se remettre en question en permanence.

Les 2 premiers niveaux sont les plus pratiqués car les plus simples à mettre en place lors de la formation, à quantifier et à chiffrer. Cela facilite la mise en place ainsi que l’analyse des résultats. Les plans d’actions peuvent donc être réalisés immédiatement à l’issue.

Le transfert est difficile et couteux. Sa mesure prend du temps mais c’est la seule mesure qui permette de monter l’efficacité réelle de la formation, mener des entretiens avec les apprenants ainsi que les personnes qui travaillent avec eux (encadrement, collaborateurs, clients etc).

Enfin le résultat, ou 4ème niveau est délicat car même si l’objectif de la formation est directement lié à l’indicateur choisi, ce dernier peut aussi dépendre d’autres éléments complétement indépendants de la formation. Ex : les infections nosocomiales peuvent augmenter suite à une mauvaise pratique de l’hygiène des mains, comme à un mauvais entretien du matériel médical ou encore à l’augmentation du nombre de visiteurs au sein des établissements.

Pour un organisme ou un commanditaire le choix des outils d’évaluation utilisés va être axé sur des raisons :

– de performance : en fonction des événements de l’entreprise,

– de temps : court, moyen ou long terme, en fonction de la disponibilité des tuteurs aussi,

– ou financières : le coût dépendant aussi du temps passé à évaluer.