Industri: Pendidikan Tinggi
Ahli: Joe Myers, dosen di UCL dan mantan konsultan Machine Learning untuk Quilgo
Topik: Penilaian Online, Pengawasan AI, dan Lanskap Integritas Akademik yang Berkembang
Di era ketika alat seperti ChatGPT dapat menghasilkan esai dalam hitungan detik, dan berbagai metode mengumpulkan jutaan tampilan di TikTok, dasar penilaian akademis sedang dihargai. Apa artinya menguji secara adil? Apakah tes online poker bisa dimainkan lagi?
Untuk mengeksplorasi topik utama ini, kami berbicara dengan Joe Myers, seorang dosen matematika di University College London's School of Management. Joe telah bekerja sebagai konsultan pembelajaran mesin dengan Quilgo, di mana ia berkontribusi pada pengembangan alat pengawasan untuk penilaian jarak jauh. Dia bekerja di bidang pendidikan dan pembelajaran mesin, dan wawasannya tentang integritas akademik sangat mendesak dan praktis.
Quilgo: Joe, apakah Anda bisa memberi tahu kami sedikit tentang diri Anda dan peran Anda di Quilgo?
Joe: Saya seorang dosen di Sekolah Manajemen UCL, tempat saya mengajar matematika dan analisis data. Selama beberapa tahun terakhir, saya telah menyaksikan transformasi pendidikan digital - terutama selama pergeseran COVID-19 - dan tantangan baru yang menyertainya.
Di Quilgo, saya fokus pada pengembangan algoritma pembelajaran berbasis mesin untuk proctoring online. Kami membangun alat yang memantau perilaku siswa selama tes - mulai dari aktivitas kamera hingga penggunaan layar - untuk membantu lembaga menjaga integritas akademik, terutama dalam pengaturan jarak jauh. Dengan munculnya model bahasa besar (LLM) seperti ChatGPT, yang dapat menghasilkan teks yang sangat mirip manusia, penilaian tradisional, seperti esai, sekarang jauh lebih rentan terhadap kecurangan. Itulah mengapa pekerjaan kami di Quilgo lebih relevan dari sebelumnya.
Quilgo: Apa tantangan paling menonjol yang dihadapi dengan pengujian online saat ini?
Joe: Ini akhirnya berakhir pada pertukaran antara fleksibilitas dan integritas. Pengujian online menawarkan fleksibilitas yang signifikan, dapat didiskusikan, dapat diakses, dan nyaman. Namun, itu juga meningkatkan potensi ketidakstabilan akademik. Pengaturan ini mencegah banyak institusi besar untuk sepenuhnya mengadopsi penilaian digital.
Quilgo: Jadi, bagaimana Anda melihat masa depan penilaian berkembang?
Joe: Esai itu sekarat. Saya percaya kita melihat pergeseran kembali ke penilaian intensitas tinggi yang membatasi waktu. Esai sekarang terlalu rentan terhadap LLM. Pendekatan yang lebih terukur, adil, dan berbasis data adalah menguji pemahaman dalam kondisi real-time - sesuatu yang memungkinkan alat seperti Quilgo.
Quilgo: Seperti apa pengalaman pengujian digital yang “hebat” bagi Anda?
Joe: Untuk struktur, platform besar berfokus pada penyediaan wawasan yang berharga. Ini harus memberikan data yang tepat tentang di mana siswa berjuang, terutama dalam tes formatif. Selain itu, tomat harus menumbuhkan, meningkatkan tes pengiriman, dan meminimalkan kesalahan.
Bagi siswa, pengalaman hebat ditandai dengan kecenderungan dan perkembangan yang meningkat. Mereka membutuhkan pengujian tanpa gangguan dengan instruksi yang jelas dan, idealnya, umpan balik yang konstruktif.
Quilgo: Dalam pandangan Anda, peran apa yang dimainkan AI dalam melindungi integritas pengujian?
Joe: Yang besar. Kita sudah melihat AI vs AI: siswa menggunakan AI untuk menipu dan belajar menggunakan AI untuk menanganinya.
Ambil plagiarisme. Dengan kemudahan menghasilkan esai menggunakan LLM, plagiarisme berkembang pesat. Tetapi AI dapat melawan - dengan tidak ada konten yang dihasilkan mesin dan merekam rekaman proktoring untuk kelas yang tidak biasa. Bayangkan sebuah sistem yang menandai perilaku yang diceritakan secara real time, memungkinkan pandangan manusia hanya fokus pada bendera merah. Itulah arah yang kita cari.
Quilgo: Apa yang masih disangkal dengan pengetahuan tentang AI dalam penilaian?
Joe: Ada potensi penggunaan AI jika penilaian diberikan kepada AI secara birokratis. Namun, penggunaan yang sehat melibatkan penilaian yang didukung AI di mana penilaian berfokus pada identifikasi kelemahan utama pada siswa dan memberikan umpan balik yang disesuaikan.
Selain itu, pengawasan manusia sangat penting untuk menentukan kasus kecurangan. Dengan keterlibatan manusia, AI dapat secara signifikan meningkatkan produktivitas dalam proses penilaian, meningkatkan 10 atau bahkan 100 kali lipat.
Quilgo: Apakah Anda menggunakan Quilgo dalam pengajaran Anda?
Joe: Ya, saya lakukan, terutama untuk belajar di tengah semester dalam modul matematika saya. Ini telah memungkinkan saya untuk berinteraksi lebih awal dengan siswa yang sedang berjuang. Memahami siapa yang berkinerja buruk dan mengapa telah sepenuhnya mengubah pendekatan saya dalam pembelajaran dan memberikan umpan balik.
Quilgo: Pernahkah Anda memperhatikan perubahan perilaku atau kinerja siswa sejak transisi ke proktoring online?
Joe: Benar sekali. Proctoring digital memberikan wawasan yang tidak dapat dilakukan pengujian tradisional. Anda dapat mengamati tingkat keterlibatan, tren perilaku, dan bahkan tingkat mikro dalam bagaimana siswa berinteraksi dengan tes. Jenis data ini tidak hanya membantu membentuk penilaian di masa depan tetapi juga memungkinkan umpan balik yang lebih terarah. Ini seperti memiliki jendela untuk pengalaman setiap siswa, baik pada tingkat individu maupun di seluruh kelompok.
Data adalah masa depan penilaian
Joe percaya bahwa penilaian sedang mengalami transformasi yang signifikan. Sementara fleksibilitas sekarang menjadi fitur permanen, menjaga integritas akan membutuhkan usaha. Platform seperti Quilgo, yang mengintegrasikan AI, wawasan perilaku, dan pengawasan manusia, dapat memberikan pengetahuan alat yang diperlukan untuk membuat model penilaian yang aman, terukur, dan adil untuk masa depan.
Jika prediksi Joe menjadi kenyataan, kita mungkin akhirnya menganggap esai tradisional sebagai karya kuno dari era Pra-ai.
Ingin mempelajari lebih lanjut tentang bagaimana AI mengubah integritas akademik?
Baca fitur kami: Munculnya Alat Kecurangan AI dan Bagaimana Quilgo Tetap Terdepan →
Siap memodernisasi penilaian Anda? Coba Quilgo secara gratis →
