Indústria: Ensino superior
Especialista: Joe Myers, professor da UCL e ex-consultor de aprendizado de máquina da Quilgo
Tópico: Avaliações on-line, supervisão de IA e o cenário em evolução da integridade acadêmica
Em uma época em que ferramentas como o ChatGPT podem gerar ensaios em segundos e vários métodos de trapaça atraem milhões de visualizações no TikTok, a própria base da avaliação acadêmica está sendo questionada. O que realmente significa testar de forma justa? Os exames on-line podem ser garantidos novamente?
Para explorar esses tópicos, conversamos com Joe Myers, professor de matemática na School of Management da University College London. Joe trabalhou como consultor de aprendizado de máquina na Quilgo, onde contribuiu para o desenvolvimento de ferramentas de supervisão para avaliações remotas. Ele opera na interseção entre educação e aprendizado de máquina, e suas ideias sobre integridade acadêmica são urgentes e práticas.
Quilgo: Joe, você pode nos contar um pouco sobre você e seu papel na Quilgo?
Joe: Sou professor na Escola de Administração da UCL, onde ensino matemática e análise de dados. Nos últimos anos, testemunhei a transformação digital da educação, especialmente durante a mudança da COVID-19, e os novos desafios que surgiram com ela.
Na Quilgo, eu me concentro no desenvolvimento de algoritmos baseados em aprendizado de máquina para supervisão on-line. Criamos ferramentas que monitoram o comportamento dos alunos durante os testes, desde a atividade da câmera até o uso da tela, para ajudar as instituições a preservar a integridade acadêmica, especialmente em ambientes remotos. Com o surgimento de grandes modelos de linguagem (LLMs), como o ChatGPT, que podem gerar textos incrivelmente humanos, as avaliações tradicionais, como os ensaios, agora estão muito mais vulneráveis a fraudes. É por isso que nosso trabalho na Quilgo é mais relevante do que nunca.
Quilgo: Quais são os desafios mais importantes que os educadores enfrentam com os testes on-line atualmente?
Joe: Em última análise, tudo se resume a uma troca entre flexibilidade e integridade. Os testes on-line oferecem flexibilidade significativa, sendo escaláveis, acessíveis e convenientes. No entanto, também aumenta o potencial de desonestidade acadêmica. Essa compensação é o que impede muitas instituições importantes de adotarem totalmente as avaliações digitais.
Quilgo: Então, como você vê a evolução do futuro das avaliações?
Joe: O ensaio está morrendo. Acredito que estamos vendo uma mudança para avaliações de alta intensidade e com restrição de tempo. Os ensaios agora estão muito vulneráveis aos LLMs. A abordagem mais escalável, justa e baseada em dados é testar a compreensão em condições de tempo real — algo que ferramentas como o Quilgo permitem.
Quilgo: Qual é a aparência de uma “ótima” experiência de teste digital para você?
Joe: Para instrutores, uma ótima plataforma se concentra em fornecer informações valiosas. Ele deve fornecer dados precisos sobre as dificuldades dos alunos, especialmente em testes formativos. Além disso, ele deve automatizar a avaliação, agilizar a entrega de testes e minimizar os erros.
Para os estudantes, uma ótima experiência é caracterizada pela clareza e pela progressão suave. Eles exigem testes ininterruptos com instruções claras e, idealmente, feedback construtivo.
Quilgo: Na sua opinião, qual o papel da IA na proteção da integridade dos testes?
Joe: Um enorme. Já estamos vendo IA versus IA: estudantes usando IA para trapacear e educadores usando IA para detectá-la.
Considere o plágio. Com a facilidade de gerar ensaios usando LLMs, o plágio está evoluindo rapidamente. Mas a IA pode reagir, detectando conteúdo gerado por máquina e escaneando imagens de monitoramento em busca de padrões incomuns. Imagine um sistema que sinaliza comportamentos suspeitos em tempo real, permitindo que um inspetor humano se concentre apenas nas bandeiras vermelhas. Essa é a direção que estamos indo.
Quilgo: O que os educadores ainda não entendem sobre a IA nas avaliações?
Joe: Há potencial para o uso indevido da IA se as avaliações forem deixadas exclusivamente para a IA de forma burocrática. No entanto, o uso saudável envolve avaliações baseadas em IA, nas quais o avaliador se concentra em identificar os principais pontos fracos dos alunos e fornecer feedback personalizado.
Além disso, a supervisão humana é crucial para determinar casos de trapaça. Com o envolvimento humano, a IA pode aumentar significativamente a produtividade no processo de avaliação, multiplicando-a por 10 ou até 100 vezes.
Quilgo: Você usa o Quilgo em seu ensino?
Joe: Sim, eu gosto, especialmente para questionários de meio de semestre em meus módulos de matemática. Isso me permitiu intervir precocemente com estudantes que estão com dificuldades. Entender quem está com baixo desempenho e por que transformou completamente minha abordagem de tutoria e fornecimento de feedback.
Quilgo: Você notou alguma mudança no comportamento ou desempenho dos alunos desde a transição para a supervisão on-line?
Joe: Absolutamente. A supervisão digital fornece insights que os testes tradicionais não conseguem. Você pode observar níveis de engajamento, tendências comportamentais e até micropadrões na forma como os alunos interagem com o teste. Esse tipo de dado não apenas ajuda a moldar avaliações futuras, mas também permite um feedback mais direcionado. É como ter uma visão da experiência de cada aluno, tanto em nível individual quanto em toda a turma.
Os dados são o futuro da avaliação
Joe acredita que as avaliações estão passando por uma transformação significativa. Embora a flexibilidade seja agora um recurso permanente, manter a integridade exigirá esforço. Plataformas como a Quilgo, que integram inteligência artificial, insights comportamentais e supervisão humana, podem fornecer aos educadores as ferramentas necessárias para criar um modelo de avaliação seguro, escalável e justo para o futuro.
Se a previsão de Joe se concretizar, poderemos eventualmente considerar os ensaios tradicionais como relíquias desatualizadas de uma era pré-IA.
Quer saber mais sobre como a IA está transformando a integridade acadêmica?
Leia nosso artigo: A ascensão das ferramentas de trapaça de IA e como a Quilgo se mantém à frente →
Pronto para modernizar suas avaliações? Experimente o Quilgo gratuitamente →
