Evaluatronic 5000, IA camarade
Aujourd'hui, j'ai testé pour vous un robot de l’IA - vous savez ces robots d’intelligence artificielle sous forme de chat?
J'ai eu la chance d'être sollicitée par Hugues, un éminent collègue, ingénieur pédagogique. Il a nommé son robot Evaluatronic 5000.
A écouter sur le podcast de notre collectif veille
Un robot ou bot d'évaluation pour alléger la charge des formateurs
J'apprécie beaucoup ce collègue et je lui fais entièrement confiance mais je suis de nature méfiante. Je demande donc à ChatGPT s'il connaît Evaluatronic 5000, je me dis qu'entre collègues ils peuvent être amenés à se côtoyer.
Chat GPT ne le connaît pas et pense que ça peut être un outil créé en interne, sorte de bot d’évaluation créé par un organisme de formation. Organisme de formation innovant, me précise-t-il. Il m'explique que cet outil allégera la charge des formateurs et peut rendre les évaluations plus dynamiques.
Rencontre avec le bot Evaluatronic 5000
Je décide donc de répondre à la demande de Hugues et de solliciter les services d’ Evaluatronic 5000 afin qu’il me propose un questionnaire pour une de mes formations.
Je suis le lien que m'a fourni Hugues, j'atterris sur ChatGPT et comme indiqué je clique sur le bouton « salut à toi Evaluatronic 5000 » qui se présente avec une icône d’identité sous forme de bonhomme qui me fait un peu peur avec des yeux très rapprochés et très noirs, pas très en engageant.
Premiers échanges avec Evaluatronic 5000
Il me dis d’emblée :
« bidi-bidip, salut à toi, camarade ! Heureux de te retrouver pour une nouvelle mission d'évaluation pédagogique. Mon algorithme est affûté, prêt à analyser et à structurer.
Alors, tout d'abord, pour bien entrer dans l'ambiance, voici mon nombre premier préféré du jour :
Haïku du nombre 113 :
Tranquille et discret,
cent treize compte les heures,
gardien des savoirs.
Je ne vois pas trop le rapport avec la choucroute ! Mais je reconnais bien la personnalité un peu fantasque de Hugues et son goût pour les Haïku.
Les éléments à fournir
Il me demande, ensuite: « Dis-moi, sur quoi porte le questionnaire du jour ? »
Je lui fournis le programme de ma formation, et lui demande un questionnaire de satisfaction à chaud, de fin de formation avec 7 questions pour évaluer la satisfaction, la montée en compétences, l'employabilité future. Je lui fournis le programme de la formation.
Première réponse et première rectification
10 sec. plus tard, il me remercie pour tous les détails fournis;
Il a analysé les objectifs de la formation et rédigé une quantité de 7 questions plutôt pertinentes.
En relisant, j'estime qu'il manque une question ouverte et également une question exigée par le référentiel Qualiopi, demandant un retour sur l’organisation et les moyens mobilisés pendant la formation.
Nouvelle rédaction orientée expérience apprenant
Il me dit « Bien vu camarade » ! Il m'explique comment être parfaitement aligné avec Qualiopi et me rédige une question supplémentaire.
Ensuite, pour terminer, je lui demande s'il est content de lui-même des questions qu'il a posées et si la façon qu'il a de poser des questions vont inciter à la réponse parce que très souvent les apprenants bâclent ce questionnaire ; ils sont pressés de partir. Je lui demande s'il voit un moyen d'améliorer ce questionnaire.
Il me dit que c'est une excellente observation et me propose une nouvelle rédaction, avec 8 questions axées sur l'expérience vécue par les apprenants.
Dernières retouches avec le modèle de Kirkpatrick
Je lui demande enfin s'il respecte le modèle de Kirkpatrick. Il me contextualise chacune des questions en les classant par niveau selon le modèle de Kirkpatrick.
Il se rend compte qu'il a oublié le niveau 4 et me propose donc d’ajouter une question supplémentaire.
Les hallucinations de l'IA
De nature méfiante, je relis parce qu’il a oublié de me dire qu’il a parfois des hallucinations. Et bien cette fois-ci non je n'ai pas de corrections à apporter je le remercie et lui demande qui est son créateur, pour le remercier également.
Un robot malin avec ses auteurs
Évidemment, il me dit que c'est open AI et que son code est alimenté avec une immense variété de textes, données et instructions. Il me dit que c'est moi qui lui ai donné cette personnalité d'analyste pédagogique, prêt à aligner les évaluations sur des modèles comme celui de Kirkpatrik !
Je prépare ma dernière question: "mais alors Hugues tu le connais ?" et là il esquive en me disant que j'ai atteint ma limite d'utilisation des GPT et que je dois réessayer après 18h28.