Industria: Educación superior
Experto: Joe Myers, profesor de la UCL y antiguo consultor de aprendizaje automático de Quilgo
Tema: Las evaluaciones en línea, la supervisión de la IA y el panorama en evolución de la integridad académica
En una era en la que herramientas como ChatGPT pueden generar ensayos en segundos y varios métodos de engaño obtienen millones de visitas en TikTok, se cuestiona la base misma de la evaluación académica. ¿Qué significa realmente hacer pruebas de manera justa? ¿Se pueden volver a garantizar los exámenes en línea?
Para explorar estos temas, hablamos con Joe Myers, profesor de matemáticas en la Escuela de Administración del University College de Londres. Joe ha trabajado como consultor de aprendizaje automático en Quilgo, donde contribuyó al desarrollo de herramientas de supervisión para las evaluaciones remotas. Trabaja en la intersección de la educación y el aprendizaje automático, y sus ideas sobre la integridad académica son a la vez urgentes y prácticas.
Quilgo: Joe, ¿puedes contarnos un poco sobre ti y tu papel en Quilgo?
Joe: Soy profesor en la Escuela de Administración de la UCL, donde enseño matemáticas y análisis de datos. En los últimos años, he sido testigo de la transformación digital de la educación, especialmente durante el cambio de la COVID-19, y de los nuevos desafíos que la acompañaron.
En Quilgo, me centro en el desarrollo de algoritmos basados en el aprendizaje automático para la supervisión en línea. Creamos herramientas que supervisan el comportamiento de los estudiantes durante los exámenes (desde la actividad de las cámaras hasta el uso de la pantalla) para ayudar a las instituciones a preservar la integridad académica, especialmente en entornos remotos. Con el auge de los grandes modelos lingüísticos (LLM), como ChatGPT, que pueden generar textos increíblemente parecidos a los humanos, las evaluaciones tradicionales, como los ensayos, son ahora mucho más vulnerables a las trampas. Por eso, nuestro trabajo en Quilgo es más relevante que nunca.
Quilgo: ¿Cuáles son los desafíos más importantes a los que se enfrentan los educadores con las pruebas en línea en la actualidad?
Joe: En última instancia, todo se reduce a un equilibrio entre flexibilidad e integridad. Las pruebas en línea ofrecen una flexibilidad significativa, ya que son escalables, accesibles y convenientes. Sin embargo, también aumenta el potencial de deshonestidad académica. Esta disyuntiva es lo que impide que muchas instituciones importantes adopten plenamente las evaluaciones digitales.
Quilgo: Entonces, ¿cómo ve la evolución del futuro de las evaluaciones?
Joe: El ensayo está muriendo. Creo que estamos viendo un retroceso hacia las evaluaciones de alta intensidad y con limitaciones de tiempo. Los ensayos son ahora demasiado vulnerables a los LLM. El enfoque más escalable, justo y basado en datos consiste en evaluar la comprensión en condiciones de tiempo real, algo que permiten herramientas como Qulego.
Quilgo: ¿Qué te parece una «excelente» experiencia de pruebas digitales?
Joe: Para los profesores, una gran plataforma se centra en proporcionar información valiosa. Debe ofrecer datos precisos sobre los puntos en los que los estudiantes tienen dificultades, especialmente en las pruebas formativas. Además, debería automatizar la calificación, agilizar la entrega de los exámenes y minimizar los errores.
Para los estudiantes, una gran experiencia se caracteriza por la claridad y la progresión fluida. Requieren pruebas ininterrumpidas con instrucciones claras e, idealmente, comentarios constructivos.
Quilgo: En su opinión, ¿qué papel desempeña la IA en la protección de la integridad de las pruebas?
Joe: Uno enorme. Ya estamos viendo cómo la IA se enfrenta a la IA: los estudiantes usan la IA para hacer trampa y los educadores usan la IA para detectarla.
Tomemos como ejemplo el plagio. Con la facilidad de generar ensayos utilizando los LLM, el plagio está evolucionando rápidamente. Sin embargo, la IA puede contraatacar detectando el contenido generado por máquinas y escaneando las imágenes para detectar patrones inusuales. Imagine un sistema que señale los comportamientos sospechosos en tiempo real y permita a un supervisor humano centrarse únicamente en las señales de alerta. Esa es la dirección en la que vamos.
Qualgo: ¿Qué es lo que los educadores siguen malinterpretando sobre la IA en las evaluaciones?
Joe: Existe la posibilidad de un uso indebido de la IA si las evaluaciones se dejan únicamente en manos de la IA de manera burocrática. Sin embargo, el uso saludable implica evaluaciones impulsadas por la IA, en las que el evaluador se centra en identificar las principales debilidades de los estudiantes y en proporcionar comentarios personalizados.
Además, la supervisión humana es crucial para determinar los casos de trampa. Con la participación humana, la IA puede mejorar significativamente la productividad en el proceso de evaluación, multiplicándola por 10 o incluso por 100.
Quilgo: ¿Usas Quilgo en tu enseñanza?
Joe: Sí, especialmente para los cuestionarios de mitad de período en mis módulos de matemáticas. Me ha permitido intervenir desde el principio con los estudiantes que tienen dificultades. Comprender quién tiene un rendimiento inferior y por qué ha transformado por completo mi enfoque de la tutoría y la retroalimentación.
Quilgo: ¿Ha notado algún cambio en el comportamiento o el rendimiento de los estudiantes desde la transición a la supervisión en línea?
Joe: Absolutamente. La supervisión digital proporciona información que las pruebas tradicionales no pueden obtener. Puede observar los niveles de participación, las tendencias de comportamiento e incluso los micropatrones en la forma en que los estudiantes interactúan con el examen. Este tipo de datos no solo ayudan a dar forma a las evaluaciones futuras, sino que también permiten obtener comentarios más específicos. Es como tener una ventana a la experiencia de cada estudiante, tanto a nivel individual como a nivel de toda la cohorte.
Los datos son el futuro de la evaluación
Joe cree que las evaluaciones están experimentando una transformación significativa. Si bien la flexibilidad es ahora una característica permanente, mantener la integridad requerirá un esfuerzo. Plataformas como Qulego, que integran la inteligencia artificial, la información sobre el comportamiento y la supervisión humana, pueden proporcionar a los educadores las herramientas necesarias para crear un modelo de evaluación seguro, escalable y justo para el futuro.
Si la predicción de Joe se hace realidad, eventualmente podríamos considerar que los ensayos tradicionales son reliquias anticuadas de una era anterior a la IA.
¿Quiere obtener más información sobre cómo la IA está transformando la integridad académica?
Lea nuestro artículo: El auge de las herramientas de engaño de la IA y cómo Quilgo se mantiene a la vanguardia →
¿Está listo para modernizar sus evaluaciones? Prueba Quilgo gratis →
