Penggunaan Teknologi dalam Asesmen Pembelajaran

MK Teknologi dalam Pembelajaran

Rizqy Amelia Zein

Departemen Psikologi, Universitas Airlangga

2026-09-25

Agenda

  1. Mengapa asesmen bergeser ke ranah digital dan otomatis
  2. Ragam asesmen berbasis teknologi
  3. Penilaian otomatis (automated scoring)
  4. Learning analytics
  5. Validitas, reliabilitas, dan keadilan asesmen berbasis AI
  6. Integritas akademik di era AI

Mengapa Asesmen Bergeser? 📊

Asesmen tumbuh jadi ekosistem data

  • Asesmen tradisional: ujian kertas, dinilai manual, hasilnya statis (satu angka, satu waktu).
  • Asesmen berbasis teknologi memungkinkan: asesmen dilakukan skala besar (menilai ribuan jawaban serentak), kecepatan (umpan balik instan), dan granularitas data (rekaman atas proses asesmen, tidak terbatas pada hasil akhir).
  • Pendorong utama: kebutuhan akan asesmen formatif yang berkelanjutan, di samping sumatif di akhir masa pembelajaran.

Asesmen formatif vs. sumatif

Formatif

  • Berlangsung selama proses belajar
  • Tujuan: umpan balik untuk perbaikan
  • Risiko rendah (low-stakes)
  • Contoh: UTS, UAS

Sumatif

  • Dilakukan di akhir suatu periode belajar
  • Tujuan: mengukur capaian akhir
  • Risiko tinggi (high-stakes)
  • Contoh: UTBK, UKMPPDI

Mengapa ini penting untuk teknologi asesmen

Teknologi paling berdampak justru pada asesmen formatif, karena skala dan kecepatan umpan balik yang dibutuhkan sulit dicapai manusia sendirian

Ragam Asesmen Berbasis Teknologi 💻

Computer-based testing (CBT)

  • Ujian yang diselenggarakan lewat perangkat digital, menggantikan kertas, mis. UTBK, TOEFL iBT
  • Keuntungan: penilaian objektif otomatis (pilihan ganda), distribusi dan administrasi lebih efisien
  • Keterbatasan: soal tetap statis: semua peserta mengerjakan set soal yang sama tanpa memandang kemampuan masing-masing

Computerized adaptive testing (CAT)

  • Soal berikutnya disesuaikan secara real-time dengan performa peserta pada soal sebelumnya, berbasis item response theory
  • Jawaban benar → soal berikutnya lebih sulit; jawaban salah → soal lebih mudah
  • Hasilnya: estimasi kemampuan yang lebih presisi dengan jumlah soal lebih sedikit

Penilaian Otomatis (Automated Scoring) ✍️

Tiga generasi penilaian otomatis

  • Automated essay scoring (AES) pertama kali dikembangkan tahun 1966 oleh Ellis Page, yang memakai fitur permukaan teks (panjang kalimat, kosakata) untuk memprediksi skor manusia
  • Generasi machine learning (2000-an–2010-an): fitur linguistik lebih kaya (kohesi wacana, struktur argumen), tapi masih “atomistik”, jadi belum benar-benar “memahami” makna esai
  • Generasi LLM (2020-an–kini): model dapat mengevaluasi kualitas argumen dan memberi umpan balik berbentuk kalimat

Automation atau augmentation?

Kerangka Fügener et al. (2026) yang sudah kita bahas relevan di sini:

  • Automation — AI menggantikan penilai manusia sepenuhnya (mis. memberikan skor soal pilihan ganda secara otomatis).
  • Augmentation — AI membantu dosen: menyaring jawaban, memberi draf skor awal, menyoroti bagian bermasalah. Keputusan akhir tetap di tangan manusia.
  • Untuk asesmen berisiko tinggi (nilai akhir, kelulusan), augmentation jauh lebih aman secara etis dan legal dibanding automation.

Learning Analytics 📈

Menganalisis jejak data belajar

  • Learning analytics = pengumpulan dan analisis data interaksi peserta didik (klik, waktu akses, pola mengerjakan) untuk memahami dan meningkatkan proses belajar
  • Contoh aplikasi: dashboard kemajuan belajar, sistem peringatan dini (early-warning system) untuk peserta didik berisiko drop out, rekomendasi materi yang dipersonalisasi
  • Fokusnya: memahami proses belajar itu sendiri secara real-time, selain mengukur hasil akhirnya

Isu privasi

Data jejak belajar sangat granular dan sensitif. Siapa yang punya akses, berapa lama disimpan, dan untuk keperluan apa selain asesmen harus jelas sejak awal (informed consent).

Validitas, Reliabilitas, dan Keadilan ⚖️

Pertanyaan lama, konteks baru

  • Validitas konstruk — apakah skor AI benar-benar mengukur kemampuan yang ingin diukur, atau justru fitur permukaan yang mudah “digoreng” (esai panjang cenderung dinilai tinggi meski isinya lemah)?
  • Reliabilitas — apakah model memberi skor yang konsisten untuk kualitas jawaban yang setara?
  • Keadilan (fairness) — apakah model bias terhadap gaya menulis kelompok tertentu (penutur bahasa kedua, dialek non-standar)?

Bukti bias dalam penilaian otomatis

  • Sistem automated speech recognition, komponen kunci di balik banyak alat asesmen berbasis suara, terbukti secara sistematis kurang akurat untuk penutur kulit hitam Amerika dibanding penutur kulit putih (Koenecke et al., 2020)
  • Pola serupa berulang pada automated essay scoring: model cenderung “menghukum” gaya penulisan yang menyimpang dari norma dominan dalam data pelatihannya (mis. tulisan penutur bahasa kedua)
  • Prinsipnya sama dengan bias yang kita bahas pada reinforcement learning from human feedback: model mewarisi (dan bisa memperbesar) bias dari data pelatihannya

Implikasi praktis

AI tidak boleh menjadi satu-satunya penilai untuk asesmen berisiko tinggi. Perlu audit berkala dan manusia yang tetap terlibat dalam keputusan akhir (human-in-the-loop), termasuk jalur banding bagi peserta didik yang merasa dirugikan

Integritas Akademik di Era AI 🎓

Masalah lama dengan skala baru

  • Kecurangan akademik bukan hal baru, tapi AI membuatnya jauh lebih mudah dan sulit dideteksi.
  • Alat “AI detector” (mis. GPTZero, Turnitin AI detection) punya tingkat kesalahan (false positive/negative) yang tinggi, sehingga tidak bisa dijadikan bukti tunggal untuk menilai kecurangan akademik yang dilakukan peserta didik.
  • Konsekuensinya: mendeteksi “apakah teks ditulis AI” adalah perlombaan yang sulit dimenangkan.
  • Sejak Agustus 2026, EU AI Act mewajibkan pengembang LLM besar menandai (watermark) semua konten buatan AI.
    • Salah satu pengembang yang sudah mengumumkan watermark di seluruh produknya: Anthropic (Claude).
    • Watermark-nya disisipkan lewat pemilihan token yang keacakannya dikendalikan, sehingga sulit dihapus tanpa memparafrasekan seluruh teks output-nya.
    • Kemungkinan besar akan muncul detektor konten AI yang lebih akurat.
    • Ke depan, teks buatan AI akan jauh lebih mudah dikenali.

Arah yang lebih menjanjikan: rancang ulang asesmen

  • Asesmen otentik — tugas yang menuntut penerapan kontekstual, sehingga sulit dijawab AI dengan informasi generik
  • Asesmen berbasis proses — menilai log interaksi, draf, dan iterasi, selain produk akhir (ingat tugas UTS Anda: log interaksi dengan chatbot AI!)
  • Deklarasi penggunaan AI yang jujur dan terbuka, dibanding melarang total (yang sulit ditegakkan dan tidak realistis)
  • Asesmen lisan/interaktif (presentasi, tanya-jawab langsung) yang sulit “diwakilkan” sepenuhnya ke AI

Kaitannya dengan effortless trap

Brčić & Frljić (2026) mengingatkan: pertanyaan intinya adalah di titik mana dalam proses belajar AI ditempatkan. Kalau tugas asesmen terasa “tanpa usaha” (effortless) dengan bantuan AI, desainnya perlu ditinjau ulang

Rangkuman

  • Pertanyaan untuk dibawa pulang: kalau kelak Anda merancang ulang satu tugas di kelas yang Anda ampu, bagaimana caranya supaya proses belajar mahasiswa tetap terlihat meski mereka memakai AI?

Terima kasih!😊

Ada pertanyaan?

Paparan disusun dengan menggunakan dan Quarto dengan template dari UNAIR Theme.

Rujukan

  • Brčić, M., & Frljić, S. (2026). The effortless trap: Productive struggle, AI, and the illusion of learning. arXiv. https://doi.org/10.48550/arXiv.2606.26181
  • Fügener, A., Walzner, D. D., & Gupta, A. (2026). Roles of artificial intelligence in collaboration with humans: Automation, augmentation, and the future of work. Management Science, 72(1), 538–557. https://doi.org/10.1287/mnsc.2024.05684
  • Koenecke, A., Nam, A., Lake, E., Nudell, J., Quartey, M., Mengesha, Z., Toups, C., Rickford, J. R., Jurafsky, D., & Goel, S. (2020). Racial disparities in automated speech recognition. Proceedings of the National Academy of Sciences, 117(14), 7684–7689. https://doi.org/10.1073/pnas.1915768117
  • Page, E. B. (1966). The imminence of grading essays by computer. Phi Delta Kappan, 47(5), 238–243.
  • Siemens, G., & Long, P. (2011). Penetrating the fog: Analytics in learning and education. EDUCAUSE Review, 46(5), 30–40. https://er.educause.edu/articles/2011/9/penetrating-the-fog-analytics-in-learning-and-education
  • Wainer, H., Dorans, N. J., Eignor, D., Flaugher, R., Green, B. F., Mislevy, R. J., Steinberg, L., & Thissen, D. (2000). Computerized adaptive testing: A primer (2nd ed.). Routledge.