Secteur d'activité : Enseignement supérieur
Expert : Joe Myers, maître de conférences à l'UCL et ancien consultant en apprentissage automatique pour Quilgo
Thème : Évaluations en ligne, surveillance par IA et évolution du paysage de l'intégrité universitaire
À une époque où des outils tels que ChatGPT peuvent générer des dissertations en quelques secondes et où diverses méthodes de triche génèrent des millions de vues sur TikTok, les fondements mêmes de l'évaluation académique sont remis en question. Qu'est-ce que cela signifie réellement de tester équitablement ? Les examens en ligne pourront-ils à nouveau être sécurisés ?
Pour explorer ces sujets, nous nous sommes entretenus avec Joe Myers, professeur de mathématiques à la School of Management de l'University College London. Joe a travaillé comme consultant en apprentissage automatique chez Quilgo, où il a contribué au développement d'outils de surveillance pour les évaluations à distance. Il travaille à l'intersection de l'enseignement et de l'apprentissage automatique, et ses idées sur l'intégrité universitaire sont à la fois pressantes et pratiques.
Quilgo : Joe, peux-tu nous parler un peu de toi et de ton rôle chez Quilgo ?
Joe : Je suis chargé de cours à la faculté de gestion de l'UCL, où j'enseigne les mathématiques et l'analyse des données. Au cours des dernières années, j'ai été témoin de la transformation numérique de l'enseignement, en particulier pendant la transition vers la COVID-19, et des nouveaux défis qui l'ont accompagnée.
Chez Quilgo, je me concentre sur le développement d'algorithmes basés sur l'apprentissage automatique pour la surveillance en ligne. Nous créons des outils qui surveillent le comportement des étudiants pendant les tests, de l'activité des caméras à l'utilisation de l'écran, afin d'aider les établissements à préserver l'intégrité académique, en particulier dans les environnements à distance. Avec l'essor des grands modèles linguistiques (LLM) tels que ChatGPT, qui peuvent générer des textes incroyablement humains, les évaluations traditionnelles, telles que les dissertations, sont désormais beaucoup plus vulnérables à la triche. C'est pourquoi notre travail chez Quilgo est plus pertinent que jamais.
Quilgo : Quels sont les principaux défis auxquels sont confrontés les éducateurs en matière de tests en ligne aujourd'hui ?
Joe : En fin de compte, il s'agit d'un compromis entre flexibilité et intégrité. Les tests en ligne offrent une flexibilité significative, étant évolutifs, accessibles et pratiques. Cependant, cela augmente également le risque de malhonnêteté universitaire. C'est ce compromis qui empêche de nombreuses grandes institutions d'adopter pleinement les évaluations numériques.
Quilgo : Alors, comment envisagez-vous l'évolution de l'avenir des évaluations ?
Joe : L'essai est en train de mourir. Je pense que nous assistons à un retour à des évaluations de haute intensité et limitées dans le temps. Les dissertations sont désormais trop vulnérables aux LLM. L'approche la plus évolutive, la plus juste et la plus axée sur les données consiste à tester la compréhension dans des conditions en temps réel, ce que permettent des outils tels que Quilgo.
Quilgo : À quoi ressemble selon vous une « excellente » expérience de test numérique ?
Joe : Pour les formateurs, une excellente plateforme vise à fournir des informations précieuses. Il devrait fournir des données précises sur les difficultés des étudiants, en particulier lors des tests formatifs. En outre, il devrait automatiser la notation, rationaliser la livraison des tests et minimiser les erreurs.
Pour les étudiants, une expérience enrichissante se caractérise par la clarté et la fluidité de la progression. Ils nécessitent des tests ininterrompus avec des instructions claires et, idéalement, des commentaires constructifs.
Quilgo : Selon vous, quel rôle joue l'IA dans la protection de l'intégrité des tests ?
Joe : Une énorme. Nous voyons déjà l'IA contre l'IA : les étudiants utilisent l'IA pour tricher et les enseignants utilisent l'IA pour la détecter.
Prenez le plagiat. Avec la facilité de générer des essais à l'aide de LLM, le plagiat évolue rapidement. Mais l'IA peut riposter, en détectant le contenu généré par des machines et en scannant les séquences de surveillance pour détecter des modèles inhabituels. Imaginez un système qui signale les comportements suspects en temps réel, permettant à un surveillant humain de se concentrer uniquement sur les signaux d'alarme. C'est dans cette direction que nous allons prendre.
Quilgo : Qu'est-ce que les éducateurs ne comprennent toujours pas à propos de l'IA dans les évaluations ?
Joe : Il existe un risque d'utilisation abusive de l'IA si les évaluations sont laissées uniquement à l'IA de manière bureaucratique. Cependant, une utilisation saine implique des évaluations alimentées par l'IA dans le cadre desquelles l'évaluateur se concentre sur l'identification des principales faiblesses des étudiants et sur la fourniture de commentaires personnalisés.
De plus, la supervision humaine est cruciale pour détecter les cas de triche. Grâce à l'implication humaine, l'IA peut améliorer considérablement la productivité du processus d'évaluation, en la multipliant par 10, voire 100.
Quilgo : Utilisez-vous Quilgo dans votre enseignement ?
Joe : Oui, en particulier pour les questionnaires de mi-session de mes modules de mathématiques. Cela m'a permis d'intervenir rapidement auprès d'étudiants en difficulté. Comprendre qui est moins performant et pourquoi a complètement transformé mon approche du tutorat et de la fourniture de commentaires.
Quilgo : Avez-vous remarqué des changements dans le comportement ou les performances des élèves depuis la transition vers la surveillance en ligne ?
Joe : Absolument. La surveillance numérique fournit des informations que les tests traditionnels ne peuvent pas fournir. Vous pouvez observer les niveaux d'engagement, les tendances comportementales et même les micro-modèles dans la façon dont les étudiants interagissent avec le test. Ce type de données contribue non seulement à façonner les évaluations futures, mais permet également un feedback plus ciblé. C'est comme avoir un aperçu de l'expérience de chaque étudiant, à la fois au niveau individuel et pour l'ensemble de la cohorte.
Les données sont l'avenir de l'évaluation
Joe pense que les évaluations sont en train de subir une transformation importante. Bien que la flexibilité soit désormais une caractéristique permanente, le maintien de l'intégrité exigera des efforts. Des plateformes telles que Quilgo, qui intègrent l'IA, des informations comportementales et une supervision humaine, peuvent fournir aux éducateurs les outils nécessaires pour créer un modèle d'évaluation sécurisé, évolutif et équitable pour l'avenir.
Si la prédiction de Joe se réalise, nous pourrions éventuellement considérer les essais traditionnels comme des reliques dépassées d'une ère pré-IA.
Vous souhaitez en savoir plus sur la façon dont l'IA transforme l'intégrité universitaire ?
Lisez notre article : L'essor des outils de triche basés sur l'IA et la façon dont Quilgo garde une longueur d'avance →
Êtes-vous prêt à moderniser vos évaluations ? Essayez Quilgo gratuitement →
