Metasains dalam Psikologi

Laman web ini berisi materi kuliah Metasains dalam Psikologi. Metasains merupakan cabang ilmu pengetahuan yang mempelajari sains secara ilmiah: bagaimana penelitian psikologi dilakukan, apa hal-hal yang dapat meningkatkan kredibilitas atau menurunkan kepercayaan pada temuan penelitian psikologi, dan bagaimana mendorong praktik meneliti yang lebih transparan dan bertanggung jawab di kalangan peneliti psikologi.

Materi berlisensi BY 4.0. Materi bebas digunakan kembali namun wajib mengatribusi sumber aslinya.

NoteUnduh materi dalam bentuk PDF

Klik navigation bar yang mengarah pada PDF materi, kemudian tekan ctrl dan p bersamaan. Setelah window untuk print muncul, pilih Save to PDF dan klik Save.

Deskripsi Mata Kuliah

Mata kuliah ini mengkaji metasains, yang merupakan studi ilmiah tentang sains itu sendiri. Mahasiswa akan belajar mendiagnosis masalah dalam praktik penelitian psikologi, mengevaluasi reformasi yang diusulkan oleh gerakan sains terbuka (open science), dan secara kritis menilai asumsi-asumsi yang mendasari metasains itu sendiri.

Mata kuliah ini diasumsikan bahwa mahasiswa sudah memiliki pemahaman dasar tentang metode penelitian psikologi (e.g., desain penelitian, pengujian hipotesis, dan statistik inferensial). Mahasiswa tidak harus memiliki latar belakang keterampilan dalam bahasa pemrograman atau analisis data tingkat lanjut.

ImportantPrasyarat

Mahasiswa diasumsikan sudah familiar dengan konsep-konsep dasar metode penelitian: desain eksperimen dan survei, pengujian hipotesis nol (NHST), nilai-p, ukuran efek, dan reliabilitas alat ukur.

Capaian Pembelajaran

Setelah menyelesaikan mata kuliah ini, mahasiswa diharapkan mampu:

  1. Mendefinisikan metasains dan membedakannya dari filsafat ilmu dan psychology of science
  2. Menjelaskan krisis replikasi dalam psikologi dan menginterpretasikan bukti empirisnya
  3. Mengidentifikasi praktik penelitian problematik (questionable research practices/QRP) dan mekanisme yang menghasilkannya
  4. Mengevaluasi praktik sains terbuka (pra-registrasi, registered reports, data terbuka) secara kritis
  5. Menganalisis struktur insentif akademik dan dampaknya terhadap kualitas penelitian
  6. Menerapkan perspektif metasains kritis untuk menilai klaim-klaim dalam literatur metasains itu sendiri

Outline Materi

Bagian 1️⃣: Apa itu Metasains?

Bagian ini memperkenalkan metasains sebagai bidang ilmu yang mempelajari sains secara empiris. Kita akan membedakan tiga jenis metasains, yaitu dasar, terapan, dan berbasis aktivisme, serta menelusuri bagaimana krisis replikasi tahun 2010-an melahirkan disiplin ilmu metasains modern.

Topik-topik:

  • Definisi metasains: studi ilmiah tentang sains itu sendiri
  • Tiga jenis metasains: dasar (mendeskripsikan problem), terapan (menguji proposal reformasi kredibilitas/intervensi), berbasis aktivisme (mendorong reformasi melalui gerakan sosial dan kebijakan)
  • Metasains sebagai persimpangan antara sains terbuka, science of science, dan methodological activism
  • Bagaimana kronologi dan konteks sosio-historis krisis replikasi?
  • Perbedaan antara metasains dan filsafat ilmu/science and technology studies (STS)

Bacaan wajib:

Buka Materi Bagian 1

Bagian 2️⃣: Krisis Replikasi

Bagian ini menelaah bukti empiris yang menyatakan adanya krisis replikasi dalam psikologi. Kita akan membedakan tiga konsep yang sering dicampur adukkan: coba-ulang (replicability), reka-ulang (reproducibility), dan keandalan (robustness), lalu mengkaji proyek-proyek replikasi berskala besar (multi-lab replication) sebagai studi kasus.

Topik-topik:

  • Membedakan tiga konsep dasar dalam metasains: coba-ulang (replicability - data berbeda), reka-ulang (reproducibility - data sama, analisis sama), keandalan (robustness - data sama, analisis berbeda)
  • Temuan Many Labs 1, Open Science Collaboration (2015): hanya ~39% studi psikologi berhasil dicoba-ulang
  • Studi Many Labs sebagai pendekatan diagnostik sistematis
  • Studi apa yang berhasil dicoba-ulang dan apa yang tidak?
  • Faktor-faktor yang memengaruhi kemampuan coba-ulang
  • Krisis replikasi: Krisis vs. self-correction

Bacaan wajib:

Buka Materi Bagian 2

Bagian 3️⃣: Praktik Penelitian Problematik

Bagian ini membahas questionable research practices (QRP), yaitu praktik penelitian yang tidak selalu disengaja, tetapi secara sistematis menjelaskan fenomena false positive dalam literatur ilmiah.

Topik-topik:

  • Fleksibilitas pengambilan keputusan peneliti (researcher degrees of freedom) sebagai sumber bias
  • P-hacking: memanipulasi analisis data hingga nilai-p < .05
  • HARKing (Hypothesizing After Results are Known)
  • Selective reporting: hanya melaporkan hasil yang signifikan
  • Prevalensi QRP: survei dan bukti empiris (John et al., 2012)
  • “Aturan main” dalam penelitian dan bagaimana insentif membentuk perilaku peneliti

Bacaan wajib:

  • Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
  • John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth-telling. Psychological Science, 23(5), 524–532. https://doi.org/10.1177/0956797611430953
  • Wicherts, J. M., et al. (2016). Degrees of freedom in planning, running, analyzing, and reporting psychological studies. Frontiers in Psychology, 7, 1832. https://doi.org/10.3389/fpsyg.2016.01832
  • Bakker, M., van Dijk, A., & Wicherts, J. M. (2012). The rules of the game called psychological science. Perspectives on Psychological Science, 7(6), 543–554. https://doi.org/10.1177/1745691612459060

Buka Materi Bagian 3

Bagian 4️⃣: Ancaman Sistemik terhadap Sains

Bagian ini menerapkan kerangka Munafò et al. (2017) untuk memetakan ancaman terhadap klaim saintifik di setiap tahap siklus penelitian, mulai dari merumuskan hipotesis hingga mempublikasikan temuan penelitian.

Topik-topik:

  • Siklus metode hypothetico-deductive dan titik-titik kerentanannya
  • Bias konfirmasi, hindsight bias, dan apophenia sebagai ancaman kognitif
  • Statistical power yang rendah sebagai masalah struktural
  • Publication bias dan file drawer problem
  • Solusi yang diusulkan: transparansi metode dan pelaporan, reka-ulang komputasi (computational reproducibility), evaluasi terhadap kualitas penelitian, dan sistem insentif di komunitas akademik

Bacaan wajib:

Buka Materi Bagian 4

Bagian 5️⃣: Masalah Pengukuran dan Teori

Krisis replikasi bukan hanya masalah metodologi dan statistik. Di baliknya ada masalah konseptual yang lebih mendasar: konstruk psikologi sering tidak terdefinisi dengan jelas dan teori yang terlalu lemah untuk menghasilkan prediksi yang dapat diuji.

Topik-topik:

  • Construct validity dan mengapa pengukuran yang kurang andal menyebabkan kegagalan coba-ulang
  • Proliferasi konstruk dalam psikologi
  • Jingle-jangle fallacy
  • Standar theory-building dalam psikologi: apakah teori kita sudah cukup kuat?
  • Meehl dan masalah “teori lunak” (soft science)

Bacaan wajib:

  • Flake, J. K., & Fried, E. I. (2020). Measurement Schmeasurement: Questionable measurement practices and how to avoid them. Advances in Methods and Practices in Psychological Science, 3(4), 456–465. https://doi.org/10.1177/2515245920952393
  • Meehl, P. E. (2004). Theoretical risks and tabular asterisks: Sir Karl, Sir Ronald, and the slow progress of soft psychology. Applied & Preventive Psychology, 11(1), 1–22. (Cetak ulang dari artikel asli tahun 1978 di Journal of Consulting and Clinical Psychology, 46(4), 806–834.) https://doi.org/10.1016/j.appsy.2004.02.001

Buka Materi Bagian 5

Bagian 6️⃣: Struktur Insentif dan Sistem Publish or Perish

Terkadang, praktik penelitian yang problematik dilakukan tanpa niat buruk, melainkan dari tekanan struktural ekosistem akademik. Bagian ini menganalisis bagaimana sistem insentif yang berlaku di komunitas akademik, justru kontraproduktif pada tujuan akumulasi pengetahuan yang akurat.

Topik-topik:

  • Mengapa klaim yang “dipublikasikan di jurnal” tidak selalu “benar”
  • Sistem peer review dan bias terhadap hasil positif
  • Tekanan publish or perish pada peneliti awal karir
  • Konflik kepentingan: insentif pribadi vs. kemajuan ilmu pengetahuan
  • Strategi reformasi: akurasi klaim/temuan penelitian vs. kemudahan publikasi

Bacaan wajib:

  • Nosek, B. A., Spies, J. R., & Motyl, M. (2012). Scientific Utopia II: Restructuring incentives and practices to promote truth over publishability. Perspectives on Psychological Science, 7(6), 615–631. https://doi.org/10.1177/1745691612459058

Buka Materi Bagian 6

Bagian 7️⃣: Sains Terbuka dan Reformasi Praktik Penelitian

Bagian ini mengevaluasi reformasi utama dalam gerakan sains terbuka, mulai dari pra-registrasi hingga registered reports, beserta bukti efektivitasnya.

Topik-topik:

  • Membuka komunikasi ilmiah: preprint, open data, open materials
  • Pra-registrasi: mendaftarkan hipotesis dan rencana analisis sebelum mengumpulkan data
  • Registered Reports: tinjauan sejawat berbasis protokol, sebelum melihat temuan penelitian
  • Standar pelaporan: TOP Guidelines, CONSORT, checklist transparansi
  • Badges dan insentif jurnal untuk praktik terbuka
  • Many Labs 5: apakah pre-data peer review meningkatkan kemampuan coba-ulang?

Bacaan wajib:

Buka Materi Bagian 7

Bagian 8️⃣: Sains Kolaboratif dan Studi Many Labs

Bagian ini mengkaji team science dan model penelitian terdistribusi sebagai solusi struktural untuk masalah replikabilitas dan generalisabilitas.

Topik-topik:

  • Crowdsourcing sains: logika di balik studi multi-lab replications
  • Desain Many Labs: mengapa data dari banyak lokasi lebih informatif
  • Adversarial collaboration dan blind analysis
  • Many Labs 4: kegagalan mereplikasi efek mortality salience, dengan dan tanpa keterlibatan penulis asli
  • Trade-off: standardisasi vs. validitas ekologis

Bacaan wajib:

Buka Materi Bagian 8

Bagian 9️⃣: Metasains Kritis: Menguji argumen pengusul reformasi

Bagian ini menerapkan cara berpikir kritis terhadap metasains itu sendiri. Apakah gerakan sains terbuka juga memiliki bias, asumsi yang tidak diuji, dan praktik yang bermasalah?

Topik-topik:

  • Apa itu metasains kritis? Meta-meta-science sebagai domain metasains
  • Questionable Metascience Practices (QMP)
  • Risiko gerakan berbasis aktivisme yang mendominasi metasains
  • Apakah metasains termasuk dalam “hard core” Lakatosian yang tidak dapat difalsifikasi?
  • Bagaimana menjadi peneliti metasains yang kritis dengan tetap mempraktikkan praktik penelitian yang bertanggung jawab

Bacaan wajib:

Buka Materi Bagian 9

Bagian 🔟: Sintesis dan Masa Depan Metasains

Bagian penutup ini mengintegrasikan topik-topik dalam mata kuliah ini, mengevaluasi bukti perubahan budaya meneliti dalam psikologi, dan mendiskusikan pertanyaan-pertanyaan terbuka yang belum sepenuhnya terjawab.

Topik-topik:

  • Apa yang sudah berubah sejak 2011? Bukti pergeseran budaya penelitian
  • Metasains dan kebijakan sains: implikasi untuk jurnal, lembaga pemberi dana, dan universitas
  • Metasains dan kepercayaan publik terhadap ilmu pengetahuan
  • Apakah reformasi yang ada sudah cukup, atau perlu perubahan yang lebih radikal?
  • Pertanyaan terbuka: seperti apa ilmu pengetahuan yang sudah direformasi itu?

Buka Materi Bagian 10

Penilaian

Komponen Penilaian Bobot Deskripsi
Analisis QRP/QMP 30% Identifikasi dan analisis satu QRP atau QMP dalam artikel yang dipublikasikan. Mahasiswa menjelaskan mekanisme, dampak, dan alternatif yang lebih baik.
Evaluasi Studi Replikasi 20% Evaluasi mendalam terhadap satu studi dari studi Many Labs yang dipilih oleh mahasiswa. Mencakup ulasan tentang desain penelitian, interpretasi hasil, dan implikasi metodologis.
Makalah Akhir atau Proposal Reformasi 50% Pilihan: (a) Makalah kritis tentang perdebatan metasains (e.g., apakah pra-registrasi efektif? apakah krisis replikasi sudah lewat/selesai?), atau (b) Proposal reformasi praktik penelitian yang konkret untuk konteks psikologi di Indonesia. Panjang: 2.500–4.000 kata.
TipPanduan untuk mahasiswa S1 dan S2

Mata kuliah ini diikuti oleh mahasiswa S1 dan S2. Untuk analisis QRP/QMP standar penilaian yang sama berlaku untuk semua mahasiswa. Untuk makalah akhir, mahasiswa S2 didorong memilih topik yang lebih kompleks dan mengintegrasikan literatur yang lebih luas, sementara mahasiswa S1 dapat berfokus pada satu isu yang spesifik dan konkret.

Referensi