Penyusunan Skala Psikologi
2026-09-14
Pertemuan 9 menghasilkan uraian spesifikasi konstruk: definisi, batas, estimand, aspek, dan indikator.
Pertemuan 10 menghasilkan kisi-kisi dan daftar item, beserta format responsnya.
Hari ini daftar item akan dinilai reviewer, sebelum partisipan mengisinya.
Di Pertemuan 7, validitas dibahas sebagai kumpulan bukti, bukan satu angka/koefisien khusus. Salah satu sumbernya adalah bukti berdasarkan isi/konten skala dan konstruknya.
CVI adalah cara membuat bukti validitas itu bisa dihitung dan dilaporkan.
Ahli substansi konstruk — orang yang menguasai konstruknya: dosen, peneliti, atau praktisi di bidang tersebut.
Ahli metode — orang yang menguasai penyusunan skala, yang bisa menilai apakah item ditulis dengan baik.
Perwakilan orang awam dengan karakteristik populasi sasaran — orang dengan karakteristik yang mirip dengan karakteristik partisipan.
Ketiganya memberi masukan yang berbeda. Panel yang seluruhnya berisi dosen cenderung melewatkan persoalan keterbacaan yang langsung terlihat oleh calon partisipan.
Minimal 3 orang. Di bawah itu, kesepakatan hampir tidak berarti apa-apa.
5 sampai 10 orang adalah keputusan yang umum diambil dan lebih aman.
Jumlah panel menentukan kriteria kelulusan itemnya, jadi tetapkan jumlah anggota panelnya lebih dulu.
Reviewer dengan jumlah ganjil vs. genap
Dengan jumlah genap, kesepakatan bisa terbelah tepat separuh, dan Anda akan kesulitan untuk memutuskan item mana yang lulus.
Klik di sini untuk melihat contoh dokumennya.
Jangan dilakukan ❌❌❌
Mengirim daftar item tanpa definisi konstruknya. Reviewer kemudian menilai relevansi berdasarkan pemahaman masing-masing tentang konstruk itu, dan hasilnya sulit ditafsirkan.
| Nilai | Keterangan |
|---|---|
| 1 | Tidak relevan |
| 2 | Kurang relevan, perlu banyak perbaikan |
| 3 | Cukup relevan, perlu sedikit perbaikan |
| 4 | Sangat relevan |
Empat poin, tanpa titik tengah. Penilai harus memihak: relevan atau tidak.
Untuk perhitungan, nilai 3 dan 4 dihitung sebagai “relevan”, nilai 1 dan 2 sebagai “tidak relevan”.
Kolom komentar untuk tiap item. Angka saja tidak memberi tahu apa yang harus diperbaiki.
Satu pertanyaan di akhir: “Menurut Anda, adakah aspek penting dari konstruk ini yang belum tercakup oleh item-item di atas?”
Kenapa pertanyaan terakhir penting disertakan
CVI hanya memeriksa apakah item yang tersedia relevan. Ia tidak bisa memeriksa apakah ada bagian konstruk yang tidak tercakup sama sekali (construct coverage).
Masalah ini disebut sebagai construct underrepresentation dari Pertemuan 7. Satu-satunya cara memeriksanya adalah dengan meminta panel menilai coverage secara langsung.
Kami menyediakan template Excel untuk menghitung I-CVI, S-CVI Universal Agreement (UA), S-CVI Average (Ave), dan chance-corrected modified Kappa (κ*).
Konsep-konsep ini akan dijelaskan di bagian selanjutnya.
\[\text{I-CVI} = \frac{\text{jumlah penilai yang memberi nilai 3 atau 4}}{\text{jumlah seluruh penilai}}\]
Dihitung untuk tiap item, satu angka per item.
Nilainya antara 0 dan 1.
Contoh: dari 6 penilai, 5 memberi nilai 3 atau 4. Maka I-CVI = 5/6 = 0.83.
| Item | Penilai yang menilai relevansi | I-CVI |
|---|---|---|
| A1 | 6 | 1.00 |
| A2 | 6 | 1.00 |
| A3 | 5 | 0.83 |
| A4 | 6 | 1.00 |
| A5 | 4 | 0.67 |
| A6 | 5 | 0.83 |
| A7 | 6 | 1.00 |
| A8 | 3 | 0.50 |
Dengan 3 sampai 5 penilai: I-CVI harus 1.00. Semua penilai harus sepakat.
Dengan 6 sampai 8 penilai: I-CVI minimal 0.83.
Dengan 9 penilai atau lebih: I-CVI minimal 0.78.
Pada contoh tadi, dengan 6 penilai, dua item tidak lolos: A5 (0.67) dan A8 (0.50).
Perhatikan bahwa kriterianya lebih ketat kalau penilainya sedikit.
Kalau penilai memberi nilai secara asal, sebagian kesepakatan tetap akan muncul secara kebetulan.
Dengan penilai yang sedikit, peluang kebetulan itu besar. Dengan 3 penilai, peluang ketiganya kebetulan sama-sama menilai “relevan” adalah 12.5%.
Karena itu I-CVI saja bisa memberi angka yang terlalu tinggi.
Peluang kesepakatan kebetulan:
\[p_c = \binom{N}{A} \times 0{.}5^N\]
Lalu:
\[\kappa^* = \frac{\text{I-CVI} - p_c}{1 - p_c}\]
dengan \(N\) = jumlah penilai dan \(A\) = jumlah penilai yang menilai relevan.
| Item | \(A\) | I-CVI | \(p_c\) | \(\kappa^*\) | Penilaian |
|---|---|---|---|---|---|
| A1 | 6 | 1.00 | 0.016 | 1.00 | sangat baik |
| A3 | 5 | 0.83 | 0.094 | 0.82 | sangat baik |
| A5 | 4 | 0.67 | 0.234 | 0.56 | cukup |
| A8 | 3 | 0.50 | 0.313 | 0.27 | kurang |
Patokan yang umum: \(\kappa^* > 0{.}74\) sangat baik, \(0{.}60\)–\(0{.}74\) baik, \(0{.}40\)–\(0{.}59\) cukup, di bawah itu kurang.
Perhatikan A8: I-CVI 0.50 terlihat seperti “setengah setuju”, tetapi setelah dikoreksi, kesepakatannya nyaris tidak lebih baik daripada tebakan acak.
S-CVI/Ave — rata-rata dari seluruh I-CVI. Menggambarkan relevansi rata-rata item.
S-CVI/UA — proporsi item yang disepakati semua penilai (universal agreement), yang jauh lebih ketat daripada S-CVI(Ave).
Pada contoh tadi:
\[\text{S-CVI/Ave} = \frac{6{.}83}{8} = 0{.}85 \qquad \text{S-CVI/UA} = \frac{4}{8} = 0{.}50\]
0.85 terlihat memadai.
0.50 terlihat bermasalah.
Keduanya dihitung dari tabel yang persis sama.
Polit & Beck (2006) menulis artikel khusus tentang keruwetan ini: banyak laporan menyebut “CVI” tanpa menjelaskan CVI yang versi mana.
Yang harus kelompok Anda lakukan
Sebutkan secara eksplisit cara perhitungan yang dipakai. Menulis “CVI = 0.85” tanpa keterangan membuat angka itu tidak bisa ditafsirkan orang lain.
Yang lazim dilaporkan adalah S-CVI/Ave, dengan patokan (rule of thumb) minimal 0.90.
Perbaiki dulu, jangan langsung dibuang. Baca komentar reviewer. Sering kali masalahnya ada pada penulisan kalimatnya.
Buang kalau item itu memang mengukur hal lain, atau kalau aspeknya sudah diwakili item lain yang lebih baik.
Pertahankan dengan alasan kalau item itu penting secara konseptual dan tidak ada penggantinya. Tuliskan alasannya di laporan.
Ingat paradoks atenuasi dari Pertemuan 7. Membuang item hanya demi koefisien reliabilitas yang lebih tinggi bisa mempersempit cakupan isi skala, dan ini justru lebih banyak merugikan Anda.
Kalau A5 dan A8 diperbaiki lalu dinilai ulang, atau dikeluarkan:
Enam item tersisa punya I-CVI: 1.00, 1.00, 0.83, 1.00, 0.83, dan 1.00
\(\text{S-CVI/Ave} = 5{.}67 / 6 = \mathbf{0{.}94}\)
Sekarang melewati patokan 0.90.
Laporkan kedua-duanya: hasil sebelum perbaikan dan sesudahnya, beserta keputusan yang diambil untuk tiap item. Yang dinilai adalah prosesnya, bukan hanya angka akhirnya.
Cakupan konstruk. CVI menilai item yang tersedia, bukan item yang seharusnya tersedia. Untuk itu Anda perlu bertanya langsung kepada reviewer.
Kejelasan bagi partisipan. Reviewer membaca item dengan cara yang berbeda dari calon partisipan. Pemeriksaan kejelasan dilakukan lewat wawancara kognitif, seperti yang dibahas di Pertemuan 7.
Apakah konstruknya sendiri masuk akal. Kalau definisi konstruk Anda bermasalah, reviewer akan menilai relevansi terhadap definisi yang bermasalah itu.
CVI adalah satu sumber bukti validitas. Ia “hanya” salah satu dari sekian banyak alternatif bukti validitas yang sudah dipelajari di Pertemuan 7.
30 menit. Tiap kelompok menyiapkan:
25 menit. Kelompok saling bertukar peran sebagai penilai.
Tiap anggota kelompok menilai 10 item milik kelompok lain dengan skala 4 poin.
Kumpulkan penilaiannya, lalu hitung: I-CVI tiap item, \(\kappa^*\), serta S-CVI/Ave dan S-CVI/UA.
Gunakan spreadsheet yang sudah disediakan untuk menghitung parameter di atas.
Tentukan item mana yang tidak lolos, dan tuliskan satu saran perbaikan untuk masing-masing.
Latihan ini tujuannya melatih mahasiswa untuk bertindak sebagai reviewer, jadi hasilnya bukan bukti validitas yang sesungguhnya. Tujuannya adalah memastikan perhitungannya sudah benar sebelum data dari reviewer yang sebenarnya sudah diperoleh.
Persiapan
Bawa daftar item hasil revisi hari ini. Kalau hasil penilaian dari reviewer yang sebenarnya sudah didapatkan, silakan bawa juga.
Ada pertanyaan?
Paparan disusun dengan menggunakan dan Quarto dengan template dari UNAIR Theme.
AERA, APA, & NCME. (2014). Standards for educational and psychological testing. American Educational Research Association.
Davis, L. L. (1992). Instrument review: Getting the most from a panel of experts. Applied Nursing Research, 5(4), 194–197.
Haynes, S. N., Richard, D. C. S., & Kubany, E. S. (1995). Content validity in psychological assessment: A functional approach to concepts and methods. Psychological Assessment, 7(3), 238–247.
Lynn, M. R. (1986). Determination and quantification of content validity. Nursing Research, 35(6), 382–385.
Polit, D. F., & Beck, C. T. (2006). The content validity index: Are you sure you know what’s being reported? Research in Nursing & Health, 29(5), 489–497.
Polit, D. F., Beck, C. T., & Owen, S. V. (2007). Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Research in Nursing & Health, 30(4), 459–467.
Rubio, D. M., Berg-Weger, M., Tebb, S. S., Lee, E. S., & Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social Work Research, 27(2), 94–104.
Waltz, C. F., & Bausell, R. B. (1981). Nursing research: Design, statistics, and computer analysis. F. A. Davis.