Review Ahli dan Validitas Isi: Perhitungan dan Interpretasi CVI

Penyusunan Skala Psikologi

Rizqy Amelia Zein & Dian Kartika Amelia Arbi

Departemen Psikologi, Universitas Airlangga

2026-08-25

Outline

• Kenapa item perlu dinilai oleh panel ahli sebelum diujicobakan
• Menyusun panel: siapa yang dianggap ahli, dan berapa orang
• Formulir penilaian relevansi dan cara mengirimkannya
• Menghitung I-CVI dan S-CVI, dan kenapa keduanya memberikan informasi yang berbeda
• Mengoreksi kesepakatan yang terjadi secara kebetulan
• Apa yang dilakukan terhadap item yang tidak lolos
• Keterbatasan CVI

Disclosure penggunaan akal imitasi (AI)

Kami menggunakan Claude Code (Model Opus 5 dan Sonnet 5) untuk brainstorming materi, mencari referensi, dan melakukan troubleshooting kode quarto dan git. Kami (Amel dan Dian) bertanggung jawab penuh atas substansi dan penyajian presentasi ini.

Posisi Anda saat ini

• Pertemuan 9 menghasilkan uraian spesifikasi konstruk: definisi, batas, estimand, aspek, dan indikator.

• Pertemuan 10 menghasilkan kisi-kisi dan daftar item, beserta format responsnya.

• Hari ini daftar item ini akan dinilai orang lain, sebelum partisipan mengisinya.

Perkenalan singkat kalau ini pertemuan pertama dengan kelas ini. Pastikan tiap kelompok sudah membawa dokumen spesifikasi konstruk dan daftar item. Kelompok yang belum membawa tidak bisa mengikuti praktik hari ini secara penuh; minta mereka mengerjakannya di sesi ini juga.

Kaitan materi hari ini dengan yang sudah dipelajari

• Di Pertemuan 7, validitas dibahas sebagai kumpulan bukti, bukan satu angka/koefisien khusus. Salah satu sumbernya adalah bukti berdasarkan isi/konten skala dan konstruknya.

• CVI adalah cara membuat bukti validitas itu bisa dihitung dan dilaporkan.

Menyusun panel

Siapa yang dianggap ahli

• Ahli substansi konstruk — orang yang menguasai konstruknya: dosen, peneliti, atau praktisi di bidang tersebut.

• Ahli metode — orang yang menguasai penyusunan skala, yang bisa menilai apakah item ditulis dengan baik.

• Wakil populasi sasaran — orang dengan karakteristik yang mirip dengan karakteristik partisipan.

Note

Ketiganya memberi masukan yang berbeda. Panel yang seluruhnya berisi dosen cenderung melewatkan persoalan keterbacaan yang langsung terlihat oleh calon responden.

Berapa orang

• Minimal 3 orang. Di bawah itu, kesepakatan hampir tidak berarti apa-apa.

• 5 sampai 10 orang adalah keputusan yang umum diambil dan lebih aman.

• Jumlah panel menentukan kriteria kelulusan itemnya, jadi tetapkan jumlah anggota panelnya lebih dulu.

Jumlah ganjil lebih praktis

Dengan jumlah genap, kesepakatan bisa terbelah tepat separuh, dan Anda tidak punya dasar untuk memutuskan item mana yang lulus.

Untuk proyek semester ini, 3–5 penilai realistis: dosen mata kuliah terkait, mahasiswa pascasarjana, dan satu atau dua wakil populasi sasaran. Tekankan bahwa dengan panel kecil, kriterianya justru lebih ketat — semua penilai harus sepakat.

Lynn (1986).

Apa yang dikirim ke panel

1. Definisi konstruk dari Pertemuan 9, lengkap dengan batas konstruknya.
2. Kisi-kisi, supaya penilai tahu tiap item dimaksudkan mewakili aspek yang mana.
3. Daftar item dengan penomoran yang jelas.
4. Formulir penilaian beserta petunjuk pengisiannya.
5. Tenggat yang jelas.

Jangan dilakukan ❌❌❌

Mengirim daftar item tanpa definisi konstruknya. Penilai kemudian menilai relevansi berdasarkan pemahaman masing-masing tentang konstruk itu, dan hasilnya sulit ditafsirkan.

Formulir penilaian

Skala relevansi empat poin

Nilai	Keterangan
1	Tidak relevan
2	Kurang relevan, perlu banyak perbaikan
3	Cukup relevan, perlu sedikit perbaikan
4	Sangat relevan

• Empat poin, tanpa titik tengah. Penilai harus memihak: relevan atau tidak.

• Untuk perhitungan, nilai 3 dan 4 dihitung sebagai “relevan”, nilai 1 dan 2 sebagai “tidak relevan”.

Waltz & Bausell (1981); Davis (1992).

Tambahkan dua hal ini

• Kolom komentar untuk tiap item. Angka saja tidak memberi tahu apa yang harus diperbaiki.

• Satu pertanyaan di akhir: “Menurut Anda, adakah aspek penting dari konstruk ini yang belum tercakup oleh item-item di atas?”

Kenapa pertanyaan terakhir itu penting

CVI hanya memeriksa apakah item yang ada itu relevan. Ia tidak bisa memeriksa apakah ada bagian konstruk yang tidak tercakup sama sekali.

Itulah construct underrepresentation dari Pertemuan 7. Satu-satunya cara memeriksanya lewat panel adalah dengan menanyakannya secara langsung.

Menghitung I-CVI

Download Template Excel untuk menghitung CVI

• Kami menyediakan template Excel untuk menghitung I-CVI, S-CVI Universal Agreement (UA), S-CVI Average (Ave), dan chance-corrected modified Kappa (κ*).

• Konsep-konsep ini akan dijelaskan di bagian selanjutnya.

Klik di sini untuk mengunduh template

Rumusnya

\[\text{I-CVI} = \frac{\text{jumlah penilai yang memberi nilai 3 atau 4}}{\text{jumlah seluruh penilai}}\]

• Dihitung untuk tiap item, satu angka per item.

• Nilainya antara 0 dan 1.

• Contoh: dari 6 penilai, 5 memberi nilai 3 atau 4. Maka I-CVI = 5/6 = 0,83.

Contoh: 8 item, 6 penilai

Item	Penilai yang menilai relevansi	I-CVI
A1	6	1.00
A2	6	1.00
A3	5	0.83
A4	6	1.00
A5	4	0.67
A6	5	0.83
A7	6	1.00
A8	3	0.50

Minta mahasiswa menghitung sendiri kolom I-CVI sebelum ditampilkan. Ini cepat dan membuat rumusnya melekat. Tanyakan mana yang menurut mereka bermasalah sebelum kriteria diperkenalkan.

Kriteria kelulusan item

• Dengan 3 sampai 5 penilai: I-CVI harus 1.00. Semua penilai harus sepakat.

• Dengan 6 sampai 8 penilai: I-CVI minimal 0.83.

• Dengan 9 penilai atau lebih: I-CVI minimal 0.78.

Pada contoh tadi, dengan 6 penilai, dua item tidak lolos: A5 (0.67) dan A8 (0.50).

Note

Perhatikan bahwa kriterianya lebih ketat kalau penilainya sedikit. Alasannya ada di slide berikutnya.

Lynn (1986); Polit & Beck (2006).

Kesepakatan yang kebetulan

Persoalannya

• Kalau penilai memberi nilai secara asal, sebagian kesepakatan tetap akan muncul secara kebetulan.

• Dengan penilai yang sedikit, peluang kebetulan itu besar. Dengan 3 penilai, peluang ketiganya kebetulan sama-sama menilai “relevan” adalah 12.5%.

• Karena itu I-CVI saja bisa memberi angka yang terlalu tinggi.

Kappa yang dimodifikasi

Peluang kesepakatan kebetulan:

\[p_c = \binom{N}{A} \times 0{,}5^N\]

Lalu:

\[\kappa^* = \frac{\text{I-CVI} - p_c}{1 - p_c}\]

dengan \(N\) = jumlah penilai dan \(A\) = jumlah penilai yang menilai relevan.

Polit, Beck, & Owen (2007).

Hasilnya pada contoh tadi

Item	\(A\)	I-CVI	\(p_c\)	\(\kappa^*\)	Penilaian
A1	6	1.00	0.016	1.00	sangat baik
A3	5	0.83	0.094	0.82	sangat baik
A5	4	0.67	0.234	0.56	cukup
A8	3	0.50	0.313	0.27	kurang

Note

Patokan yang umum: \(\kappa^* > 0{.}74\) sangat baik, \(0{.}60\)–\(0{.}74\) baik, \(0{.}40\)–\(0{.}59\) cukup, di bawah itu kurang.

Perhatikan A8: I-CVI 0.50 terlihat seperti “setengah setuju”, tetapi setelah dikoreksi, kesepakatannya nyaris tidak lebih baik daripada tebakan acak.

Menghitung S-CVI

I-CVI vs. S-CVI

• S-CVI/Ave — rata-rata dari seluruh I-CVI. Menggambarkan relevansi rata-rata.

• S-CVI/UA — proporsi item yang disepakati semua penilai (universal agreement), yang jauh lebih ketat daripada S-CVI(Ave).

Pada contoh tadi:

\[\text{S-CVI/Ave} = \frac{6{.}83}{8} = 0{.}85 \qquad \text{S-CVI/UA} = \frac{4}{8} = 0{.}50\]

Data yang sama, tapi informasi yang berbeda

0.85 terlihat memadai.

0.50 terlihat bermasalah.

• Keduanya dihitung dari tabel yang persis sama.

• Polit & Beck (2006) menulis artikel khusus tentang keruwetan ini: banyak laporan menyebut “CVI” tanpa menjelaskan CVI yang versi mana.

Yang harus kelompok Anda lakukan

Sebutkan secara eksplisit cara perhitungan yang dipakai. Menulis “CVI = 0.85” tanpa keterangan membuat angka itu tidak bisa ditafsirkan orang lain.

Yang lazim dilaporkan adalah S-CVI/Ave, dengan patokan minimal 0.90.

Ini bagian yang paling sering salah di laporan mahasiswa. Tekankan bahwa keduanya sah, asalkan disebutkan yang mana. Kalau ada waktu, minta satu kelompok menghitung kedua angka itu dari data mereka sendiri dan membandingkannya.

Apa yang dilakukan selanjutnya

Item yang tidak lolos

• Perbaiki dulu, jangan langsung dibuang. Baca komentar anggota panel. Sering kali masalahnya ada pada penulisan kalimatnya.

• Buang kalau item itu memang mengukur hal lain, atau kalau aspeknya sudah diwakili item lain yang lebih baik.

• Pertahankan dengan alasan kalau item itu penting secara konseptual dan tidak ada penggantinya. Tuliskan alasannya di laporan.

Warning

Ingat paradoks atenuasi dari Pertemuan 7. Membuang item hanya demi koefisien reliabilitas yang lebih tinggi bisa mempersempit cakupan isi skala, dan itu justru merugikan.

Hitung ulang setelah perbaikan

Kalau A5 dan A8 diperbaiki lalu dinilai ulang, atau dikeluarkan:

• Enam item tersisa punya I-CVI: 1.00 — 1.00 — 0.83 — 1.00 — 0.83 — 1.00

• \(\text{S-CVI/Ave} = 5{.}67 / 6 = \mathbf{0{.}94}\)

• Sekarang melewati patokan 0.90.

Note

Laporkan kedua-duanya: hasil sebelum perbaikan dan sesudahnya, beserta keputusan yang diambil untuk tiap item. Yang dinilai adalah prosesnya, bukan hanya angka akhirnya.

Keterbatasan CVI

Tiga hal yang tidak diperiksa CVI

• Kelengkapan. CVI menilai item yang ada, bukan item yang seharusnya ada. Untuk itu Anda perlu bertanya langsung kepada anggota panel.

• Kejelasan bagi responden. Penilai ahli membaca item dengan cara yang berbeda dari calon partisipan. Pemeriksaan kejelasan dilakukan lewat wawancara kognitif, seperti yang dibahas di Pertemuan 7.

• Apakah konstruknya sendiri masuk akal. Kalau definisi konstruk Anda bermasalah, anggota panel akan menilai relevansi terhadap definisi yang bermasalah itu.

Tip

CVI adalah satu sumber bukti validitas, bukan penentu final. Ia “hanya” menempati satu baris pada tabel bukti validitas di Pertemuan 7.

Haynes, Richard, & Kubany (1995); Rubio dkk. (2003).

Praktik

Bagian 1: menyiapkan berkas panel

30 menit. Tiap kelompok menyiapkan:

1. Berkas untuk penilai: definisi konstruk, kisi-kisi, daftar item bernomor.
2. Formulir penilaian dengan skala 4 poin, kolom komentar, dan pertanyaan tentang kelengkapan.
3. Daftar calon penilai beserta perannya: ahli isi, ahli metode, atau wakil populasi.
4. Tenggat pengembalian.

Berkeliling dan periksa apakah definisi konstruk benar-benar disertakan — ini yang paling sering terlewat. Periksa juga penomoran itemnya konsisten dengan kisi-kisi. Kalau memungkinkan, sarankan tiap kelompok mengirim berkas ke penilai paling lambat akhir minggu ini, supaya hasilnya sudah kembali sebelum uji coba di Pertemuan 12.

Bagian 2: berlatih menghitung

25 menit. Kelompok saling bertukar peran sebagai penilai.

• Tiap anggota kelompok menilai 10 item milik kelompok lain dengan skala 4 poin.

• Kumpulkan penilaiannya, lalu hitung: I-CVI tiap item, \(\kappa^*\), serta S-CVI/Ave dan S-CVI/UA.

• Tentukan item mana yang tidak lolos, dan tuliskan satu saran perbaikan untuk masing-masing.

Tip

Latihan ini memakai kelompok sebagai penilai, jadi hasilnya bukan bukti validitas yang sesungguhnya. Tujuannya adalah memastikan perhitungannya sudah benar sebelum data dari panel yang sebenarnya masuk.

Perhitungan bisa dilakukan di kertas atau di spreadsheet. Kesalahan yang paling sering: lupa bahwa nilai 3 dan 4 dihitung sebagai relevan, dan salah membedakan S-CVI/Ave dari S-CVI/UA. Sisakan 15 menit untuk membahas hasil satu atau dua kelompok di depan kelas.

Yang harus dihasilkan

• Berkas untuk dikirim ke anggota panel yang sudah siap.
• Tabel perhitungan berisi I-CVI, \(\kappa^*\), S-CVI/Ave, dan S-CVI/UA.
• Catatan keputusan untuk tiap item: dipertahankan, diperbaiki, atau dikeluarkan, beserta alasannya.
• Daftar item hasil revisi, siap dipakai untuk uji coba.

Untuk Pertemuan 12

• Merancang uji coba: siapa respondennya, berapa banyak, dan bagaimana menjangkaunya.
• Menyusun aturan pembersihan data sebelum data masuk.
• Menyertakan satu skala pembanding yang pendek, untuk bukti hubungan dengan variabel lain.
• Menyiapkan wawancara kognitif singkat dengan 3–5 orang sebelum kuesioner disebar.

Persiapan

Bawa daftar item hasil revisi hari ini. Kalau hasil penilaian dari panel yang sebenarnya sudah kembali, bawa juga.

Ada pertanyaan❓

Catatan

• Paparan disusun dengan menggunakan dan Quarto dengan template dari UNAIR Theme.
• Kontak kami via amelia.zein@psikologi.unair.ac.id

Rujukan

AERA, APA, & NCME. (2014). Standards for educational and psychological testing. American Educational Research Association.

Davis, L. L. (1992). Instrument review: Getting the most from a panel of experts. Applied Nursing Research, 5(4), 194–197.

Haynes, S. N., Richard, D. C. S., & Kubany, E. S. (1995). Content validity in psychological assessment: A functional approach to concepts and methods. Psychological Assessment, 7(3), 238–247.

Lynn, M. R. (1986). Determination and quantification of content validity. Nursing Research, 35(6), 382–385.

Polit, D. F., & Beck, C. T. (2006). The content validity index: Are you sure you know what’s being reported? Research in Nursing & Health, 29(5), 489–497.

Polit, D. F., Beck, C. T., & Owen, S. V. (2007). Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Research in Nursing & Health, 30(4), 459–467.

Rubio, D. M., Berg-Weger, M., Tebb, S. S., Lee, E. S., & Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social Work Research, 27(2), 94–104.

Waltz, C. F., & Bausell, R. B. (1981). Nursing research: Design, statistics, and computer analysis. F. A. Davis.