Penggunaan Teknologi dalam Asesmen Pembelajaran

MK Teknologi dalam Pembelajaran

Rizqy Amelia Zein

Departemen Psikologi, Universitas Airlangga

2026-09-14

Agenda

  1. Mengapa asesmen bergeser ke ranah digital dan otomatis
  2. Ragam asesmen berbasis teknologi
  3. Penilaian otomatis (automated scoring)
  4. Learning analytics
  5. Validitas, reliabilitas, dan keadilan asesmen berbasis AI
  6. Integritas akademik di era AI

Mengapa Asesmen Bergeser? 📊

Asesmen tumbuh jadi ekosistem data

  • Asesmen tradisional: ujian kertas, dinilai manual, hasilnya statis (satu angka, satu waktu)
  • Asesmen berbasis teknologi memungkinkan: skala (menilai ribuan jawaban serentak), kecepatan (umpan balik instan), dan granularitas data (jejak proses asesmen, tidak terbatas pada hasil akhir)
  • Pendorong utama: kebutuhan akan asesmen formatif yang berkelanjutan, bukan cuma sumatif di akhir semester

Asesmen formatif vs. sumatif — sekilas ulang

Formatif

  • Berlangsung selama proses belajar
  • Tujuan: umpan balik untuk perbaikan
  • Risiko rendah (low-stakes)

Sumatif

  • Dilakukan di akhir suatu periode belajar
  • Tujuan: mengukur capaian akhir
  • Risiko tinggi (high-stakes)

Mengapa ini penting untuk teknologi asesmen

Teknologi paling berdampak justru pada asesmen formatif, karena skala dan kecepatan umpan balik yang dibutuhkan sulit dicapai manusia sendirian

Ragam Asesmen Berbasis Teknologi 💻

Computer-based testing (CBT)

  • Ujian yang diselenggarakan lewat perangkat digital, menggantikan kertas — mis. UTBK, TOEFL iBT
  • Keuntungan: penilaian objektif otomatis (pilihan ganda), distribusi dan administrasi lebih efisien
  • Keterbatasan: soal tetap statis — semua peserta mengerjakan set soal yang sama tanpa memandang kemampuan masing-masing

Computerized adaptive testing (CAT)

  • Soal berikutnya disesuaikan secara real-time dengan performa peserta pada soal sebelumnya, berbasis item response theory
  • Jawaban benar → soal berikutnya lebih sulit; jawaban salah → soal lebih mudah
  • Hasilnya: estimasi kemampuan yang lebih presisi dengan jumlah soal lebih sedikit

Penilaian Otomatis (Automated Scoring) ✍️

Tiga generasi penilaian otomatis

  • Automated essay scoring (AES) pertama kali dikembangkan tahun 1966 oleh Ellis Page, yang memakai fitur permukaan teks (panjang kalimat, kosakata) untuk memprediksi skor manusia.
  • Generasi machine learning (2000-an–2010-an): fitur linguistik lebih kaya (kohesi wacana, struktur argumen), tapi masih “atomistik”, jadi belum benar-benar “memahami” makna esai.
  • Generasi LLM (2020-an–kini): model dapat mengevaluasi kualitas argumen dan memberi umpan balik berbentuk kalimat.

Automation atau augmentation?

Kerangka Fügener et al. (2026) yang sudah kita bahas relevan di sini:

  • Automation — AI menggantikan penilai manusia sepenuhnya (mis. skor pilihan ganda otomatis)
  • Augmentation — AI membantu dosen: menyaring jawaban, memberi draf skor awal, menyoroti bagian bermasalah. Keputusan akhir tetap di tangan manusia
  • Untuk asesmen berisiko tinggi (nilai akhir, kelulusan), augmentation jauh lebih aman secara etis dan legal dibanding automation penuh

Learning Analytics 📈

Menganalisis jejak data belajar

  • Learning analytics = pengumpulan dan analisis data interaksi peserta didik (klik, waktu akses, pola mengerjakan) untuk memahami dan meningkatkan proses belajar
  • Contoh aplikasi: dashboard kemajuan belajar, sistem peringatan dini (early-warning system) untuk peserta didik berisiko drop out, rekomendasi materi yang dipersonalisasi
  • Fokusnya: memahami proses belajar itu sendiri secara real-time, bukan cuma mengukur hasil akhirnya

Isu privasi

Data jejak belajar sangat granular dan sensitif — siapa yang punya akses, berapa lama disimpan, dan untuk keperluan apa selain asesmen, harus jelas sejak awal (informed consent, bukan surveillance diam-diam)

Validitas, Reliabilitas, dan Keadilan ⚖️

Pertanyaan lama, konteks baru

  • Validitas konstruk — apakah skor AI benar-benar mengukur kemampuan yang ingin diukur, atau justru fitur permukaan yang mudah “digoreng” (esai panjang cenderung dinilai tinggi meski isinya lemah)?
  • Reliabilitas — apakah model memberi skor yang konsisten untuk kualitas jawaban yang setara?
  • Keadilan (fairness) — apakah model bias terhadap gaya menulis kelompok tertentu (penutur bahasa kedua, dialek non-standar)?

Bukti bias dalam penilaian otomatis

  • Sistem automated speech recognition, komponen kunci di balik banyak alat asesmen berbasis suara, terbukti secara sistematis kurang akurat untuk penutur kulit hitam Amerika dibanding penutur kulit putih (Koenecke et al., 2020)
  • Pola serupa berulang pada automated essay scoring: model cenderung “menghukum” gaya penulisan yang menyimpang dari norma dominan dalam data pelatihannya (mis. tulisan penutur bahasa kedua)
  • Prinsipnya sama dengan bias yang kita bahas pada reinforcement learning from human feedback: model mewarisi (dan bisa memperbesar) bias dari data trainingnya

Implikasi praktis

AI tidak boleh menjadi satu-satunya penilai untuk asesmen berisiko tinggi. Perlu audit berkala dan manusia yang tetap terlibat dalam keputusan akhir (human-in-the-loop), termasuk jalur banding bagi peserta didik yang merasa dirugikan

Integritas Akademik di Era AI 🎓

Masalah lama dengan skala baru

  • Kecurangan akademik bukan hal baru, tapi AI membuatnya jauh lebih mudah, cepat, dan sulit dideteksi.
  • Alat “AI detector” (mis. GPTZero, Turnitin AI detection) punya tingkat kesalahan (false positive/negative) yang tinggi, sehingga tidak bisa dijadikan bukti tunggal untuk menilai kecurangan akademik yang dilakukan peserta didik.
  • Konsekuensinya: mendeteksi “apakah teks ditulis AI” adalah perlombaan yang sulit dimenangkan.
  • Tetapi, sejak Bulan Agustus 2026, developer LLM besar diwajibkan mematuhi EU AI Act, yang akibatnya, memaksa developer untuk mengembangkan teknologi watermarking ada seluruh AI generated content.
    • Salah satu developer yang sudah mengumumkan penambahan watermark pada seluruh produknya adalah Anthropic (Claude).
    • Teknik watermarking ini terletak pada pemilihan token yang randomnessnya dikendalikan, sehingga tidak mungkin bisa hilang tanpa melakukan parafrase menyeluruh pada teks outputnya.
    • Kemungkinan besar akan diikuti dengan munculnya AI-generated content detector dengan performa yang lebih baik.
    • Ke depan, AI-generated text akan jauh lebih visible dibandingkan saat ini.

Arah yang lebih menjanjikan: rancang ulang asesmen

  • Asesmen otentik — tugas yang menuntut aplikasi kontekstual, bukan reproduksi informasi generik yang mudah dijawab AI
  • Asesmen berbasis proses — menilai log interaksi, draf, dan iterasi, bukan cuma produk akhir (ingat tugas UTS Anda: log interaksi dengan chatbot AI!)
  • Deklarasi penggunaan AI yang jujur dan terbuka, dibanding melarang total (yang sulit ditegakkan dan tidak realistis)
  • Asesmen lisan/interaktif (presentasi, tanya-jawab langsung) yang sulit “diwakilkan” sepenuhnya ke AI

Menghubungkan ke effortless trap

Brčić & Frljić (2026) mengingatkan: pertanyaan intinya adalah di titik mana dalam proses belajar AI ditempatkan — kalau asesmen dirancang sedemikian rupa sehingga tugas terasa “tanpa usaha” (effortless) dengan bantuan AI, itu sinyal desainnya perlu ditinjau ulang

Rangkuman

  • Teknologi membuat asesmen adaptif, formatif, dan berbasis data proses, bukan lagi statis dan sumatif
  • Penilaian otomatis berkembang pesat, tapi masalah validitas, reliabilitas, dan keadilan tetap relevan. Satu potensi bias yang dibiarkan justru bisa berdampak negatif pada ribuan peserta didik sekaligus begitu diterapkan dalam skala besar
  • Kerangka automation vs. augmentation membantu menentukan kapan AI pantas menggantikan vs. sekadar membantu penilai manusia
  • Menghadapi tantangan integritas akademik di era AI, rancang ulang asesmen (otentik, berbasis proses) lebih berkelanjutan daripada sekadar mengandalkan alat deteksi AI

Terima kasih!😊

Ada pertanyaan?

Paparan disusun dengan menggunakan dan Quarto dengan template dari UNAIR Theme.

Rujukan

  • Brčić, M., & Frljić, S. (2026). The effortless trap: Productive struggle, AI, and the illusion of learning. arXiv. https://doi.org/10.48550/arXiv.2606.26181
  • Fügener, A., Walzner, D. D., & Gupta, A. (2026). Roles of artificial intelligence in collaboration with humans: Automation, augmentation, and the future of work. Management Science, 72(1), 538–557. https://doi.org/10.1287/mnsc.2024.05684
  • Koenecke, A., Nam, A., Lake, E., Nudell, J., Quartey, M., Mengesha, Z., Toups, C., Rickford, J. R., Jurafsky, D., & Goel, S. (2020). Racial disparities in automated speech recognition. Proceedings of the National Academy of Sciences, 117(14), 7684–7689. https://doi.org/10.1073/pnas.1915768117
  • Page, E. B. (1966). The imminence of grading essays by computer. Phi Delta Kappan, 47(5), 238–243.
  • Siemens, G., & Long, P. (2011). Penetrating the fog: Analytics in learning and education. EDUCAUSE Review, 46(5), 30–40. https://er.educause.edu/articles/2011/9/penetrating-the-fog-analytics-in-learning-and-education
  • Wainer, H., Dorans, N. J., Eignor, D., Flaugher, R., Green, B. F., Mislevy, R. J., Steinberg, L., & Thissen, D. (2000). Computerized adaptive testing: A primer (2nd ed.). Routledge.