Apa itu Pengukuran? Dasar dan Filsafat Pengukuran Psikologi

Penyusunan Skala Psikologi

Rizqy Amelia Zein & Dian Kartika Amelia Arbi

Departemen Psikologi, Universitas Airlangga

2026-08-25

Outline

  • Apa sebenarnya yang kita lakukan ketika kita “mengukur konstruk psikologis”?
  • Sejarah singkat: pengukuran lahir dari kebutuhan sosial
  • Mengapa definisi “pengukuran” masih diperdebatkan sampai hari ini
  • Level pengukuran (Stevens) dan persoalan yang ditinggalkannya
  • Mengapa konstruk psikologis hanya bisa diukur secara tidak langsung
  • Skala, indeks, dan emergent variable
  • Apa akibat dari strategi pengukuran yang buruk?

Orientasi mata kuliah

Apa yang akan kita lakukan selama satu semester?

  • Tugas akhir: setiap kelompok (5 orang) akan menyusun sebuah skala psikologis lengkap beserta manualnya.

    • Tuliskan nama anggota kelompok Anda di spreadsheet ini.
    • Akses ke spreadsheet akan dikunci setelah Pertemuan 3.
  • Paruh pertama (Pertemuan 1–7): membangun fondasi konseptualnya. Apa itu pengukuran, asumsi apa saja yang kita pakai (yang kadang-kadang implisit dan tidak disadari), apa itu variabel laten, bagaimana memilih format respons, apa artinya skala yang reliabel dan skor yang valid.

  • Paruh kedua (Pertemuan 9–15): mengerjakan skalanya. Menetapkan konstruk, menulis item, meminta review ahli, mengambil data uji coba, menganalisis item, menyusun norma dan manual.

Penting dicatat

Paruh pertama bukan sekadar pengantar. Hampir setiap keputusan teknis yang akan Anda akan ambil di paruh kedua, misalnya berapa banyak item yang harus disertakan, format responsnya seperti apa, koefisien mana yang dilaporkan, adalah konsekuensi dari posisi konseptual yang kita bahas di paruh pertama.

Mari mulai dari pertanyaan yang paling dasar

Tiga skenario

  1. Seorang psikolog kesehatan ingin membedakan apa yang pasien inginkan dari apa yang pasien harapkan terjadi saat berkonsultasi dengan dokter. Skala yang tersedia saat ini mencampuradukkan keduanya. Ia bisa saja menyusun sendiri beberapa pertanyaan — tapi apa jaminannya pertanyaan itu mengukur sesuatu yang sesungguhnya ia ingin ukur?

  2. Seorang epidemiolog punya data survei nasional yang besar, tapi tidak ada satu pun skala stres di dalamnya. Ada beberapa item yang sepertinya menyinggung stres. Bolehkah ia menjumlahkan item-item itu dan menyebutnya “skor stres”?

  3. Sebuah tim pemasaran menemukan bahwa keputusan orang tua membeli mainan mahal dipengaruhi oleh sesuatu yang tidak bisa mereka sebut secara eksplisit, apalagi ukur.

Apa yang kesamaan dari 3️⃣ contoh tersebut?

  • Ketiganya bukan persoalan statistik. Tidak ada satu pun yang selesai dengan memilih uji statistik yang lebih canggih.

  • Ketiganya adalah persoalan pengukuran: apakah angka yang kita hasilkan benar-benar mewakili atribut yang kita klaim sedang diukur?

  • Dalam ketiga skenario ini, sayangnya, banyak yang memilih jalan pintas yang sama: susun saja itemnya, jumlahkan, lalu beri nama konstruknya.

Kenapa ini penting

Kalau jalan pintas ini diambil, seluruh kesimpulan penelitian berdiri di atas asumsi yang tidak pernah diperiksa. Masalahnya, datanya akan tetap terlihat baik-baik saja: tetap ada hasil statistik deskriptif, tetap ada p-value, tetap bisa dibuat grafiknya. Tetapi, apakah data hasil pengukuran tersebut sesuai dengan klaimnya?

Pertanyaan utama sepanjang mata kuliah ini

Apa yang membuat sebuah angka

layak disebut hasil pengukuran?


Perhatikan bahwa ini pertanyaan normatif (“layak”) yang sangat berbeda dengan pertanyaan teknis (“berapa koefisien reliabilitas skalanya?”). Jawabannya tidak dapat ditemui di dalam data, tetapi harus dijustifikasi secara proporsional.

Pengukuran lahir sebelum sains

“All measurement is social measurement”

All measurement . . . is social measurement. Physical measures are made for social purposes.

— Duncan (1984, p. 35)

  • Duncan berargumen bahwa akar pengukuran ada pada proses sosial, dan proses sosial ini mendahului sains.

  • Pemungutan suara, sensus, sistem kenaikan pangkat, misalnya, muncul untuk memenuhi kebutuhan konkrit manusia sehari-hari, bukan sebagai eksperimen untuk memuaskan rasa ingin tahu ilmuwan.

  • Pengukuran atribut fisik seperti panjang, luas, volume, berat, dan waktu dikembangkan manusia sejak peradaban kuno untuk menyelesaikan masalah praktis dan ilmu fisika kemudian dibangun di atas fondasi itu.

Jejak paling awal

  • ±2200 SM, Tiongkok — ujian untuk seleksi pegawai negeri.

  • Timbangan yang curang adalah persoalan moral.

    • QS. Al Muthoffifin: 1-3 — “Kecelakaan besarlah bagi orang-orang yang curang (yaitu) orang-orang yang apabila menerima takaran dari orang lain mereka minta dipenuhi dan apabila mereka menakar atau menimbang untuk orang lain, mereka mengurangi.
    • QS. Al An’am: 152 - “Dan sempurnakanlah takaran dan timbangan dengan adil. Kami tidak memikulkan beban kepada sesorang melainkan sekedar kesanggupannya.
    • Kitab Amsal 11:1“A false balance is an abomination to the Lord, but a just weight is a delight.”
  • Revolusi Prancis — sebagian dipicu kekesalan petani terhadap praktik penimbangan yang tidak adil.

Yang menarik dari berbagai contoh di atas

Ketika poin di atas berkaitan erat dengan keadilan, bukan hanya soal akurasi ilmiah. Sejak awal, pengukuran adalah alat kekuasaan dan pembagian sumber daya. Isu soal keadilan dalam pengukuran akan muncul lagi ketika kita membahas test bias dan penggunaan tes psikologi untuk seleksi.

Gagasan bahwa pengukuran bisa keliru justru relatif baru

  • Akhir 1660-an: Isaac Newton, waktu itu masih berusia 20-an, merupakan orang pertama yang merata-ratakan pengamatan berulang untuk mendapatkan nilai yang lebih akurat.

  • Tetapi ia menyembunyikan praktik itu selama puluhan tahun dan tidak mendokumentasikannya di laporan awalnya.

  • Kenapa disembunyikan? Karena waktu itu, perbedaan antar-pengamatan tidak dipahami sebagai bagian yang melekat pada proses pengukuran, melainkan sebagai tanda bahwa si pengamat kurang kompeten.

Error pengukuran dan penilaian moral

[17th- and early 18th-century scientists’] way of working regarded differences not as the inevitable byproducts of the measuring process itself, but as evidence of failed or inadequate skill. Error in measurement was potentially little different from faulty behavior of any kind: it could have moral consequences.

— Buchwald (2006, p. 566)

Perhatikan jaraknya

Butuh waktu satu abad setelah Newton sampai para ilmuwan secara luas menerima bahwa semua pengukuran mengandung error, dan bahwa merata-ratakan pengamatan yang dilakukan berulang justru praktik yang baik karena mengurangi dampak error pengukuran (Buchwald, 2006).

Perubahan paradigma dan perkembangan psikometri

  • Awalnya menyembunyikan perbedaan hasil pengamatan merupakan sesuatu yang lazim dilakukan.

    • Karena, ilmuwan bertanggung jawab untuk menciptakan “gambaran ideal” dari suatu fenomena alam, dengan menggunakan penilaiannya sendiri untuk menentukan apa yang seharusnya dianggap ideal.
    • Akibatnya, “nilai penyimpangan yang tidak disengaja/acak” umumnya dikecualikan dari catatan ilmiah (Daston & Gallison, 2007)
  • Dampak perubahan ini sangat besar: Error yang awalnya dianggap sebagai indikasi inkompetensi pengamat/ilmuwan, dimaknai menjadi sifat “sistematis” yang acak (stochastic) dari suatu proses pengukuran yang bisa dimodelkan/diestimasi secara matematis.

  • Tanpa perubahan paradigma ini, Classical Test Theory tidak mungkin ada sampai sekarang.

Memodelkan error pengukuran secara statistik

  • 1660-an, John Graunt mengumpulkan angka kelahiran dan kematian dari catatan baptis dan pemakaman di London, Inggris. Ia merata-ratakan nilai setiap pengamatan untuk mendapatkan nilai “sebenarnya”, yang menurutnya, tertutup oleh peristiwa tak terduga di tiap tahunnya.

  • 1777, Daniel Bernoulli membandingkan sebaran hasil pengamatan astronomi dengan jatuhnya anak panah seorang pemanah, yang sama-sama mengumpul di sekitar satu titik ketika diamati/dilakukan berkali-kali.

  • Buchwald (2006) menilai kelemahan mendasar interpretasi abad ke-18 adalah kegagalan membedakan random error dari systematic error. Perbedaan keduanya baru jelas di abad berikutnya.

Ingat analogi anak panah ini

Analogi Bernoulli menggambarkan apa yang nanti kita sebut random error, dan kenapa reliabilitas bisa dinaikkan koefisiennya hanya dengan menambah item.

Bagaimana psikometri lahir

  • Darwin mengamati dan mengukur variasi sistematis antar-spesies.

  • Sepupunya, Sir Francis Galton, menerapkan pengamatan sistematis atas perbedaan itu pada manusia dengan perhatian utama pada pewarisan sifat anatomis dan intelektual.

  • Karl Pearson, kolega Galton, mengembangkan teknik analisis statistik termasuk Product-Moment Correlation Coefficient yang memakai namanya.

  • Charles Spearman melanjutkannya dan membuka jalan bagi analisis faktor.

  • Alfred Binet mengembangkan tes kemampuan mental/intelegensi di Prancis pada awal 1900-an.

Warisan yang tidak netral

Banyak kontributor awal psikometri bekerja dalam kerangka eugenics. Teori dan analisis statistiknya masih kita pakai sampai sekarang, tetapi asumsi dan konsekuensi politis di baliknya (e.g., fertilisasi ras tertentu yang dianggap “inferior”, dst.) tidak boleh kita teruskan.

Bisakah konstruk psikologis diukur?

  • Akhir abad ke-19, Helmholtz mengamati bahwa atribut fisik seperti panjang dan massa punya struktur matematis yang sama dengan bilangan real positif: bisa diurutkan dan bisa dijumlahkan.

  • Komisi British Association for the Advancement of Science (dibentuk 1932) menyimpulkan bahwa pengukuran fundamental atas variabel psikologis itu mustahil karena persepsi indrawi tidak bisa diurutkan atau dijumlahkan seperti panjang dan massa.

  • S. S. Stevens membantah: sifat aditif yang ketat tidak diperlukan. Orang bisa membuat penilaian rasio yang cukup konsisten, misalnya menilai satu suara dua kali lebih keras dari suara lain.

  • L. L. Thurstone, di waktu yang hampir bersamaan, membangun fondasi matematis analisis faktor dan menerapkan metode psikofisika untuk scaling stimulus sosial.

Jadi, apa definisi “pengukuran”?

Definisi yang paling sering dikutip

Measurement is the assignment of numerals to objects or events according to rules.

S. S. Stevens (1946)

Terjemahan bebasnya: pengukuran adalah pemberian angka pada objek atau peristiwa menurut aturan tertentu.

  • Definisi ini sangat longgar, dan ini memang disengaja. Definisi ini dirancang supaya pengukuran psikologis bisa masuk ke dalamnya.

  • Konsekuensinya, hampir apa pun bisa disebut pengukuran, asalkan ada aturannya.

Keberatan Duncan

Measurement is not only the assignment of numerals, etc. It is also the assignment of numerals in such a way as to correspond to different degrees of a quality . . . or property of some object or event.

Duncan (1984)

Apa yang ditambahkan Duncan

Yang utama adalah syarat korespondensi. Angka tidak boleh sekadar mengikuti aturan; strukturnya harus mencerminkan struktur atributnya. Kalau A punya atribut dua kali lebih banyak dari B, angkanya harus menunjukkan kualitas tersebut.

Kritik yang lebih mendasar: Michell

  • Joel Michell (2007, 2011) berargumen bahwa definisi Stevens bukan sekadar tidak lengkap, tetapi menutupi masalah yang sebenarnya.

  • Menurutnya, pengukuran yang sesungguhnya adalah mengestimasi rasio antara besaran (magnitude) suatu atribut kuantitatif dengan satuan dari atribut yang sama.

  • Definisi ini mensyaratkan satu hal yang sifatnya empiris: atribut yang diukur harus benar-benar kuantitatif, harus benar-benar punya struktur yang bisa dijumlahkan.

Kritik utama Michell

Apakah atribut psikologis (kecemasan, kepribadian, motivasi) benar-benar kuantitatif adalah pertanyaan empiris yang seharusnya diuji lebih dulu. Menurut Michell, psikologi melewati pertanyaan itu dan langsung mengasumsikan jawabannya “ya”. Ia menyebutnya quantitative imperative, dan menilai psikometri sebagai contoh pathological science.

Anda tidak harus setuju dengan Michell

  • Banyak ahli psikometri tidak setuju dengan Michell, dan bantahan mereka juga sama kuatnya.

  • Tetapi Anda perlu tahu bahwa kritik ini benar-benar ada, dan Anda harus bisa menyebutkan asumsi apa yang sedang Anda pakai ketika Anda menjumlahkan 10 item Likert menjadi satu skor.

Penting diingat

Anda tidak mungkin “menolak teori psikometri mentah-mentah”, tetapi juga jangan “menerimanya bulat-bulat”. Latih sikap berikut ini: saya tahu persis asumsi apa yang sedang saya pakai, dan apa akibatnya kalau asumsi yang saya gunakan ini salah.

Pengukuran vs. asesmen

Pengukuran

Pemberian angka pada objek atau peristiwa berdasarkan aturan tertentu.

Hasilnya: skor.

Asesmen

Kegiatan yang lebih luas: memadukan pengukuran dengan interpretasi dan pengambilan keputusan.

Hasilnya: kesimpulan dan tindakan.

Kenapa pembedaan ini penting untuk proyek Anda

Yang Anda susun semester ini adalah alat ukur. Tetapi manual yang Anda tulis di Pertemuan 14 adalah dokumen asesmen. Manual itu harus memberi tahu penggunanya bagaimana menafsirkan skor, dan keputusan apa yang boleh (dan tidak boleh) diambil dari skor itu.

Mengapa psikologi mengukur objek ukur secara tidak langsung

Fisika vs psikologi

Fisika

Massa, kecepatan, suhu.

Bisa diamati, dikuantifikasi, dan diukur langsung dengan alat ukur.

Satuannya disepakati secara internasional.

Psikologi

Kecemasan, kepribadian, motivasi.

Tidak bisa ditimbang atau diukur dengan penggaris.

Hanya bisa disimpulkan dari hal lain yang bisa diamati.

  • Sebagian besar variabel yang menarik bagi ilmuwan sosial tidak bisa diamati secara langsung: keyakinan, motivasi, ekspektansi, kebutuhan, emosi, persepsi peran sosial.

  • Karena itu kita butuh proksi, dan konsensus ini tidak benar-benar menyelesaikan persoalan bahwa objek yang kita amati adalah barang “ghaib”.

Fisika sebenarnya juga memakai proksi

  • Tekanan darah dan suhu tubuh terlihat seperti bisa diamati langsung. Padahal yang benar-benar kita amati adalah kolom air raksa atau angka pada layar digital.

  • Kita menyebut ketinggian air raksa itu adalah “suhu”, padahal ini hanya wujud yang bisa kita lihat dari energi termal, yang sebenarnya ingin kita ukur.

  • Pada termometer, penyederhanaan ini hampir tidak bermasalah, karena hubungan antara proksi dan atributnya sangat kuat.

Bagaimana kalau hubungannya tidak sekuat itu?

Ketika hubungan antara variabel dan indikatornya jauh lebih lemah daripada pada contoh termometer, tertukarnya alat ukur dengan fenomena yang ingin diukur bisa membawa kita ke kesimpulan yang keliru sama sekali.

Contoh: dukungan sosial atau status pernikahan?

  • Seorang peneliti ingin menelaah peran dukungan sosial terhadap pencapaian profesional, memakai data sekunder.

  • Datanya lengkap soal status profesional dari waktu ke waktu, tetapi tidak ada informasi tentang dukungan sosial sama sekali.

  • Yang ada hanya beberapa item yang menanyakan status dan lama pernikahan.

  • Peneliti itu menjumlahkan item-item pernikahan tersebut, menyebutnya “skala dukungan sosial”, lalu menemukan tidak ada hubungan dengan pencapaian karir profesional.

Apa yang sebenarnya terjadi

Yang dibandingkan adalah status dan lama pernikahan dengan pencapaian profesional, bukan dukungan sosial. Status pernikahan mengabaikan aspek penting dukungan sosial (misalnya kualitas dukungan yang dirasakan) dan memasukkan faktor yang tidak relevan (misalnya responden yang usianya belum cukup untuk menikah).

Kesimpulan “dukungan sosial tidak berperan” bisa sepenuhnya salah, dan tidak ada apa pun di dalam data yang akan membantu kita untuk menjawab pertanyaan penelitian ini.

Kesalahan seperti ini sering terjadi

  • Dalam penelitian, kita hampir tidak pernah memeriksa hubungan antar-variabel secara langsung.

  • Yang kita periksa adalah hubungan antar-proksi. Dan proksi yang teramati mudah sekali tertukar dengan variabel yang tidak teramati.

  • DeVellis & Thorpe mencatat satu pola yang sering muncul: menyimpulkan bahwa sebuah konstruk tidak penting atau sebuah teori tidak konsisten, padahal yang bermasalah adalah alat ukurnya.

Kebiasaan yang perlu Anda latih

Setiap kali Anda membaca klaim bahwa “tidak ditemukan hubungan yang signifikan”, Anda perlu bersikap skeptis: jangan-jangan alat ukurnya memang tidak mampu menangkap konstruk tsb?

Level pengukuran dan masalah yang meliputinya

Empat level Stevens

Level Ciri Contoh psikologis
Nominal Kategori, tanpa urutan Jenis kelamin, etnis, diagnosis
Ordinal Berurutan, jarak tidak setara Peringkat, “jarang–kadang–sering”
Interval Jarak setara, tanpa true zero Suhu °C, (klaim) skor skala Likert
Rasio Jarak setara, ada true zero Waktu reaksi, jumlah kata yang diingat

Perhatikan kolom paling kanan

Semakin ke bawah, konstruk psikologisnya semakin sulit dicari.

True zero

  • True zero berarti angka nol menandakan ketiadaan atribut sepenuhnya.

  • Suhu dalam Kelvin punya true zero: 100 K benar-benar dua kali 50 K. Tetapi, suhu dalam Fahrenheit tidak punya true zero: 100 °F bukan dua kali lebih panas dari 50 °F.

  • Sekarang: apa artinya “kecemasan = nol”?

Psikologi hampir tidak punya skala rasio

“Tidak punya depresi sama sekali” bukan gagasan yang maknanya jelas. Karena itu, pernyataan seperti “kelompok A dua kali lebih cemas daripada kelompok B” hampir selalu tidak bisa dipertanggungjawabkan, berapa pun skornya.

Masalah utamanya

Sebagian besar data psikologi

adalah data ordinal,

tetapi diperlakukan seolah-olah interval.

Mari kita uji klaim ini

Perhatikan format respons yang paling sering Anda temui:

1 2 3 4 5
Sangat Tidak Setuju Tidak Setuju Netral Setuju Sangat Setuju
  • Apakah jarak psikologis dari “Sangat Tidak Setuju” ke “Tidak Setuju” benar-benar sama dengan jarak dari “Netral” ke “Setuju”?

  • Apakah jaraknya sama untuk semua orang? Untuk semua item? Dalam semua bahasa?

  • Tidak ada yang menjamin. Tetapi begitu kita menjumlahkan skor item, kita sudah mengasumsikan jaraknya setara.

Contoh lain: menghitung gejala

  • Bayangkan skor depresi dihitung dari jumlah gejala yang dilaporkan.

  • Apakah perbedaan antara 2 dan 4 gejala sama besarnya — secara klinis, secara konseptual — dengan perbedaan antara 4 dan 6 gejala?

  • Secara aritmetika keduanya sama-sama “2”. Secara psikologis, hampir pasti tidak.

Konsekuensi statistiknya

Teknik statistik parametrik yang akan Anda pakai untuk menganalisis data, korelasi Pearson, uji-t, ANOVA, regresi linear, mengasumsikan data interval atau rasio. Menerapkannya pada data ordinal sebenarnya melanggar asumsi dasarnya.

Lalu, apakah kita berhenti memakainya?

  • Tidak. Dalam praktiknya, skor skala Likert tetap diperlakukan sebagai interval, dan ada argumen pragmatis yang masuk akal untuk itu, terutama ketika itemnya banyak dan sebarannya tidak ekstrem.

  • Yang tidak boleh kita lakukan adalah “menutup mata” bahwa tidak ada asumsi yang sedang kita gunakan.

Yang saya harapkan dari Anda

Di laporan proyek Anda, ketika Anda menjumlahkan item menjadi skor total, saya harap Anda bisa menyebutkan asumsi yang Anda pakai, bukan sekadar melakukan sesuatu karena semua orang melakukannya. Kita perdalam ini di Pertemuan 2 dan Pertemuan 4.

Tidak semua kumpulan item bisa disebut skala

Tiga terminologi yang sering tertukar

  • Skala — itemnya adalah effect indicators: nilainya disebabkan oleh konstruk yang mendasarinya.

  • Indeks — itemnya adalah cause indicators: item-itemnya justru menentukan level konstruknya.

  • Emergent variable — sekumpulan hal yang dikelompokkan karena ada kemiripan, tanpa kesamaan sebab maupun akibat.

Skala: item sebagai akibat

  • Contoh: alat ukur depresi.

  • Bagaimana seseorang merespons “Saya merasa sedih” dan “Hidup saya terasa hampa” sebagian besar ditentukan oleh kondisi afektifnya saat itu.

  • Item-itemnya punya sebab yang sama (reflektif): kondisi depresif orang tersebut.

Implikasinya

Karena semua item disebabkan oleh sebab yang sama, item-itemnya seharusnya saling berkorelasi tinggi dan sebagian besar bisa saling ditukar. Ini yang membuat koefisien seperti \(\alpha\) dan \(\omega\) masuk akal untuk mengecek reliabilitas skala. Kita akan bahas lebih lanjut di Pertemuan 6.

Model reflektif

Indeks: item sebagai sebab

  • Contoh: elektabilitas seorang kandidat presiden.

  • Itemnya bisa berupa: efektivitas berbicara di depan publik, rekam jejak militer, daya tarik fisik, kemampuan menggerakkan relawan, potensi sumber daya finansial.

  • Karakteristik-karakteristik itu tidak punya sebab yang sama, tetapi punya akibat yang sama: meningkatnya peluang presiden tersebut terpilih.

Konsekuensi yang sering diabaikan

Pada indeks, item tidak harus berkorelasi tinggi dan tidak bisa saling dipertukarkan. Menghitung Cronbach’s alpha untuk sebuah indeks itu keliru secara konseptual, meskipun software-nya tetap akan mengeluarkan angkanya.

Model formatif

Emergent variable: sekadar dikelompokkan

  • Kalimat yang diawali kata dengan kurang dari lima huruf bisa dengan mudah dikelompokkan bersama.

  • Kelompok itu tidak punya sebab yang sama dan tidak punya akibat yang sama. Kelompok itu muncul semata karena ada individu atau sebuah software yang melihat adanya pola kemiripan antara item-item ini.

Penting diingat

Software analisis tidak bisa membedakan ketiganya. Anda bisa memasukkan apa saja ke jamovi dan ia akan memberi Anda \(\alpha\), memberi Anda faktor, memberi Anda skor total.

Yang menentukan apakah kumpulan item Anda adalah skala, indeks, atau sekadar emergent variable adalah teori Anda, bukan output software-nya.

Ringkasnya

Arah kausalitas Item saling berkorelasi? Bisa dipertukarkan?
Skala Konstruk → item Seharusnya ya Ya
Indeks Item → konstruk Tidak harus Tidak
Emergent variable Tidak ada Tidak relevan Tidak

Yang akan Anda susun semester ini

Sebuah skala, dengan effect indicators, berlandaskan Classical Test Theory. Tetapi Anda perlu tahu bahwa dua bentuk lainnya ada, supaya Anda tidak keliru memperlakukan konstruk yang sebenarnya formatif seolah-olah reflektif.

Assembly, bukan development

  • DeVellis & Thorpe mengamati bahwa untuk banyak kumpulan item, assembly (merakit) adalah istilah yang lebih tepat daripada development (mengembangkan), dalam banyak konteks.

  • Peneliti sering mengumpulkan item seadanya lalu mengasumsikan hasilnya adalah skala yang layak.

  • Tetapi, tanpa pernah memeriksa apakah item-item itu punya sebab yang sama (skala), punya akibat yang sama (indeks), atau sekadar masuk dalam satu kategori yang sama (emergent variable).

Konsekuensi dari pengukuran yang sembarangan

Kerugiannya

Kualitas pengukuran

membatasi validitas dari kesimpulan

yang bisa kita tarik dari skor hasil pengukuran.


Menambah ukuran sampel, mengganti/memodifikasi model statistik, atau memakai analisis yang lebih canggih tidak akan membantu banyak.

Contohnya: attenuation bias

Misalkan korelasi sesungguhnya antara kecemasan dan prokrastinasi adalah \(\rho_{T_X T_Y} = 0.60\).

Anda memakai skala kecemasan dengan reliabilitas \(0.70\) dan skala prokrastinasi dengan reliabilitas \(0.65\).

Korelasi yang akan Anda temukan di data Anda:

\[r_{XY} = \rho_{T_X T_Y} \times \sqrt{\rho_{XX'} \times \rho_{YY'}} = 0.60 \times \sqrt{0.70 \times 0.65} = \mathbf{0.40}\]

Anda akan melaporkan 0.40 untuk hubungan yang sebenarnya 0.60

Bukan karena Anda salah menghitung, bukan juga karena sampel Anda kurang besar. Semata-mata karena alat ukurnya noisy.

Pengukuran dan krisis replikasi

  • Banyak temuan psikologi gagal dicoba-ulang (replikasi) secara independen, dan sebagian penyebabnya adalah pengukuran yang tidak presisi, ditambah researcher degrees of freedom saat menganalisis data.

  • Alat ukur yang noisy, dikombinasikan dengan bias publikasi, justru bisa membuat effect size yang terbit tampak lebih besar, karena hanya sampel yang kebetulan menghasilkan estimasi besar yang lolos diterbitkan di jurnal.

  • Flake & Fried (2020) menyebut kumpulan kebiasaan ini questionable measurement practices: tidak melaporkan bagaimana skala dipilih, memodifikasi skala tanpa menyertakan informasi apapun, tidak melaporkan properti psikometrik dari alat ukur yang digunakan.

Nama yang sama, substansi yang berbeda

  • Fried (2017) memeriksa tujuh skala depresi yang lazim dipakai.

  • Ketujuhnya sama-sama mengklaim mengukur “depresi”. Secara keseluruhan, ketujuhnya memuat 52 gejala yang berbeda.

  • 40% gejala hanya muncul di satu skala, dan cuma 12% yang muncul di semua tujuh skala.

Apa akibatnya

Dua penelitian bisa sama-sama melaporkan “depresi”, memakai skala yang sama-sama reliabel, dan tetap saja tidak mengukur hal yang sama. Perbandingan di antara keduanya jauh lebih rapuh daripada kelihatannya.

Ini disebut jingle fallacy: mengira konstruk psikologis itu sama karena namanya sama.

Sisi etisnya

  • Peneliti sering mengambil jalan pintas dengan memakai instrumen yang terlalu pendek, dengan harapan mengurangi beban partisipan.

  • Tetapi kuesioner yang terlalu pendek untuk bisa reliabel tetap saja bukan keputusan yang tepat, meskipun terasa praktis.

  • Kuesioner reliabel yang diisi separuh partisipan memberi lebih banyak informasi daripada kuesioner tidak reliabel yang diisi semua partisipan.

Meminta waktu partisipan ada konsekuensi etisnya

Kalau datanya pada akhirnya tidak bisa dimaknai, seberapa banyak pun data yang terkumpul jadi tidak ada gunanya. Meminta 300 orang mengisi instrumen yang tidak mungkin menghasilkan kesimpulan yang sahih adalah persoalan etis.

Rangkuman

Lima poin utama

  1. Pengukuran muncul lebih dulu daripada sains — dari kebutuhan sosial soal keadilan dan pembagian sumber daya.

  2. Gagasan bahwa pengukuran mengandung error baru berumur ±250 tahun, dan tanpa perubahan paradigma ini tidak akan ada Classical Test Theory.

  3. Definisi pengukuran masih diperdebatkan. Stevens membuatnya cukup longgar supaya psikologi bisa masuk; Duncan dan Michell berargumen bahwa kelonggaran itu menutupi masalah yang belum selesai.

  4. Sebagian besar data psikologi itu ordinal, tetapi diperlakukan sebagai interval. Ini boleh dilakukan, asalkan Anda tahu bahwa Anda sedang melakukannya.

  5. Tidak semua kumpulan item adalah skala. Yang menentukan adalah arah hubungan kausalitas antara konstruk dan itemnya.

Untuk Pertemuan 2

Kita akan membahas lebih detail asumsi-asumsi yang hari ini baru disinggung:

  • Asumsi bahwa atribut psikologis terdistribusi normal — dari mana asalnya, dan apa dasarnya?
  • Asumsi bahwa atributnya continuous, bukan kategorikal.
  • Asumsi bahwa item mengukur hal yang sama untuk semua kelompok orang.
  • Asumsi bahwa responden bisa dan mau melaporkan kondisi internalnya secara akurat.

Persiapan

Baca DeVellis & Thorpe (2022), Bab 1. Kalau sempat, baca juga Bab 1 dan Bab 2 dari Petersen.

Ada pertanyaan❓

Catatan

Rujukan

Alder, K. (2002). The measure of all things. Free Press.

Bollen, K. A. (1989). Structural equations with latent variables. Wiley.

Buchwald, J. Z. (2006). Discrepant measurements and experimental knowledge in the early modern era. Archive for History of Exact Sciences, 60(6), 565–649.

DeVellis, R. F., & Thorpe, C. T. (2022). Scale development: Theory and applications (5th ed.). SAGE.

Duncan, O. D. (1984). Notes on social measurement: Historical and critical. Russell Sage Foundation.

Flake, J. K., & Fried, E. I. (2020). Measurement schmeasurement: Questionable measurement practices and how to avoid them. Advances in Methods and Practices in Psychological Science, 3(4), 456–465.

Fried, E. I. (2017). The 52 symptoms of major depression: Lack of content overlap among seven common depression scales. Journal of Affective Disorders, 208, 191–197.

Michell, J. (1997). Quantitative science and the definition of measurement in psychology. British Journal of Psychology, 88(3), 355–383.

Michell, J. (2000). Normal science, pathological science and psychometrics. Theory & Psychology, 10(5), 639–667.

Petersen, I. T. Principles of psychological assessment: With applied examples in R. https://isaactpetersen.github.io/Principles-Psychological-Assessment/

Stevens, S. S. (1946). On the theory of scales of measurement. Science, 103(2684), 677–680.