Praktik Verifikasi dan Pembersihan Data

Literasi Data dan Penulisan Ilmiah

Rizqy Amelia Zein

Departemen Psikologi, Universitas Airlangga

2026-09-25

Agenda

  1. Mengapa tahap Verify sering dilewatkan
  2. Tiga kriteria dataset yang siap dianalisis, dan empat cara memverifikasinya
  3. Masalah data yang umum ditemui, termasuk outlier dan pola missing value
  4. Clean: alur kerja dan tiga aktivitas pembersihan data
  5. Mendokumentasikan proses pembersihan data
  6. Praktik langsung: membersihkan dataset yang “kotor”

Verify: Seperti Apa Dataset yang Siap Dianalisis? ✅

Tahap yang paling sering dilewatkan

  • Setelah susah payah menemukan dan memperoleh data (Pertemuan 3), godaan terbesar adalah langsung melakukan analisis data.
  • Melewatkan verifikasi berarti Anda berisiko membuang waktu menganalisis data yang jelek, atau lebih parah, menarik kesimpulan yang salah.
  • Ingat kerangka Data Pipeline: Verify, Clean, dan Analyze tidak selalu berjalan secara linear.

“Semua data pada dasarnya jelek, kita hanya perlu tahu seberapa jelek.” (Open Knowledge Foundation, 2021)

Verifikasi membantu Anda untuk mengetahui batasan yang melekat pada data Anda sebelum menganalisis.

Tiga kriteria data yang baik

Menurut Open Knowledge Foundation (2021), ada tiga kriteria:

  • Trustworthiness (dapat dipercaya) — seberapa baik data merepresentasikan realitas yang ingin digambarkannya?
    • Ini butuh pemahaman atas metodologi di balik pengumpulan data tersebut.
  • Completeness (kelengkapan) — seberapa baik data mencakup keseluruhan realitas yang ingin ditangkap?
    • Data bisa tidak lengkap karena praktik pengumpulan yang tidak konsisten, atau elemen kunci yang tidak direkam sama sekali.
  • Quality (kualitas struktur & dokumentasi) — apakah data mengikuti prinsip tidy data (Pertemuan 2)?
    • Apakah ada dokumentasi yang menjelaskan artinya? Apakah dokumentasinya akurat?

Metadata, codebook, dan data inventory

Metadata

“Data tentang data” — siapa pembuatnya, kapan dibuat, format nilai yang diharapkan.

Data dictionary/codebook

Dokumen yang menjelaskan arti setiap kolom dan nilainya. Penting untuk kolom berkode singkat, mis. E1–E10 pada dataset Big Five kita.

Data inventory

Daftar seluruh dataset yang dimiliki/dirilis suatu organisasi atau lembaga riset.

Dataset psikometrik terbuka yang baik selalu menyertakan codebook. Kalau tidak ada codebook sama sekali, maka ini 🚩🚩🚩.

4️⃣ metode verifikasi data

  1. Bertanya ke sumbernya — pembuat/penyedia data biasanya adalah ahli terbaik soal datanya sendiri. Jangan berusaha memaknai data sendirian kalau sumbernya bisa dihubungi.
  2. Bertanya ke ahli — pakar di topik yang relevan bisa membantu Anda memahami data yang ambigu atau memilih di antara beberapa sumber data yang berbeda.
  3. Pemeriksaan statistik — hitung ringkasan statistik dasar untuk memahami bentuk data sebelum menganalisisnya lebih jauh (lihat slide berikutnya).
  4. Common sense check — kemampuan mengenali pola yang aneh atau nilai yang “tidak masuk akal”, berdasarkan pengetahuan Anda tentang topiknya (Open Knowledge Foundation, 2021).

Pemeriksaan statistik sebagai alat verifikasi

Sebelum menganalisis, hitung dulu ringkasan sederhana untuk setiap kolom numerik:

Statistik Fungsi Kegunaan untuk verifikasi
Mean & Median AVERAGE(), MEDIAN() Nilainya jauh berbeda? Tanda ada nilai ekstrem
Min & Max MIN(), MAX() Di luar rentang yang wajar (mis. skor Likert 1–5 tapi ada nilai 8)?
Modus MODE() Nilai yang paling sering muncul, apakah masuk akal?
Count COUNTA() Jumlah sel terisi sama di semua kolom? Kalau tidak, ada missing value
Standar deviasi STDEV() Nilai > mean + 2×SD kemungkinan adalah outlier

Tabel di atas merupakan pemeriksaan cepat untuk memastikan data Anda masuk akal sebelum dianalisis sesuai dengan hipotesis/pertanyaan penelitian yang Anda ajukan.

Masalah Data yang Umum Ditemui ⚠️

Daftar masalah yang sering muncul

  • Missing value yang tidak konsisten — sel kosong? Angka 0? Teks "NA"? Ketiganya sering dipakai bergantian dalam satu dataset yang sama.
  • Baris atau nilai terduplikasi
  • Format tanggal tidak konsisten (01/02/2024 bisa berarti 1 Februari atau 2 Januari, tergantung konvensi)
  • Satuan tidak dicantumkan (detik? menit? milidetik?)
  • Nama kolom ambigu (skor — skor apa, dari skala berapa?)
  • Provenance (asal-usul) tidak terdokumentasi
  • Nilai yang mencurigakan (respons Likert bernilai 5, tapi skalanya 1–4)
  • Total berbeda dari agregat yang dipublikasikan

Tiga jenis nilai yang bermasalah

  • Wild codes (nilai di luar rentang) — nilai yang berada di luar rentang yang valid.
    • Contoh: skor 9 pada skala Likert 1–6; usia partisipan 350 tahun; skor IQ 250; kode jenis kelamin M atau Pria padahal codebook hanya mengizinkan 1/2.
  • Inconsistent values (nilai yang tidak koheren) — tiap nilai valid sendiri-sendiri, tapi saling bertentangan ketika dibandingkan antarkolom.
    • Contoh: usia 40 tahun tapi tahun lahir 2000 pada survei yang diisi 2025; pekerjaan “dokter spesialis” tapi pendidikan tertinggi “SMA”.
  • Implausible values (nilai yang tidak masuk akal) — valid secara teknis (dalam rentang, konsisten antarkolom), tapi tidak masuk akal secara substantif.
    • Contoh: durasi tidur 20 jam per malam; penghasilan rumah tangga Rp1 triliun/bulan.

Ketiganya beririsan dengan “nilai yang mencurigakan” di slide sebelumnya. Wild codes paling mudah dicegah sejak desain kuesioner dengan membatasi input yang bisa dimasukkan. Inconsistent dan implausible values baru terlihat lewat pemeriksaan silang antarkolom atau pengetahuan tentang topiknya, seperti di tahap Verify.

Nilai ekstrem (outlier)

  • Outlier: nilai yang jauh berbeda dari sebagian besar data lainnya.
    • Beda dengan wild codes atau implausible values: outlier bisa jadi valid, hanya jarang terjadi.
    • Contoh: satu partisipan berusia 45 tahun dalam sampel mahasiswa S1 yang mayoritas 18–22 tahun. Ini belum tentu berarti ada kesalahan input, hanya saja, sangat jarang mahasiswa S1 usianya 45 tahun.
  • Deteksi cepat: urutkan kolom atau buat boxplot untuk melihat ujung distribusinya, atau pakai Z-score, yang mana, nilai di luar mean ± 2SD patut dicurigai, di luar ± 3SD patut diperiksa lebih lanjut. Karena mean dan SD sendiri terpengaruh outlier, batas median ± 2,5 × MAD (median absolute deviation) lebih kokoh (Leys et al., 2013).

Kapan boleh menghapus outlier?

Hati-hati‼️

Menghapus outlier tanpa justifikasi yang jelas termasuk questionable research practice (Bakker & Wicherts, 2014).

  • Kalau ternyata salah input (typo, nilai yang mustahil), maka boleh dikoreksi atau dihapus, asal didokumentasikan di logbook.
  • Kalau nilainya valid, maka jangan dihapus begitu saja. Laporkan dua versi analisis (dengan dan tanpa outlier tersebut) kalau outlier ini memang mengganggu analisis data.

Missing value

Tidak semua missing value dapat mengganggu proses analisis data. Polanya perlu diamati untuk menentukan seberapa aman ketika Anda mengabaikannya begitu saja. Berikut jenisnya (van Buuren, 2018):

  • Missing completely at random (MCAR) — hilangnya data benar-benar murni kebetulan, tidak berkaitan dengan variabel apa pun.
    • Contoh: kuesioner dikirim ke 500 mahasiswa, 50 tidak merespons karena emailnya masuk folder spam secara acak. Paling aman untuk langsung dihapus.
  • Missing at random (MAR) — probabilitas hilangnya data berkaitan dengan variabel lain yang terekam di dataset, bukan dengan data itu sendiri.
    • Contoh: mahasiswa laki-laki lebih jarang menjawab pertanyaan tentang “kesulitan mengekspresikan emosi”, tapi di dalam kelompok jenis kelamin yang sama, kemungkinan tidak menjawab tidak bergantung pada skornya. Hilangnya berkaitan dengan jenis kelamin (terekam), bukan skornya sendiri.
  • Not missing at random (NMAR) — van Buuren (2018) menyebutnya missing not at random (MNAR); probabilitas hilangnya data berkaitan langsung dengan data yang tidak terekam itu sendiri.
    • Contoh: mahasiswa yang paling sering menyontek justru paling mungkin tidak menjawab pertanyaan “seberapa sering Anda menyontek?” sehingga paling berisiko menghasilkan bias.

Bagaimana mendeteksi polanya?

Bagaimana menentukan polanya?

Pakai reasoning: variabel apa yang mungkin menjelaskan mengapa sebagian responden tidak menjawab pertanyaan tertentu?

Penanganan statistik untuk MAR/NMAR (mis. multiple imputation) di luar cakupan mata kuliah ini. Sekarang, Anda cukup mengenali polanya dulu, karena itu yang menentukan apakah aman langsung dihapus atau perlu didiskusikan lebih lanjut.

Studi kasus: dataset Big Five yang “kotor”

Dataset psikometrik yang dikumpulkan secara daring dan terbuka (siapa saja bisa mengisi), seperti dataset contoh kita, cenderung punya masalah berikut:

  • Entri tidak lengkap — responden berhenti di tengah jalan, meninggalkan sisa item kosong.
  • Item reverse-scored belum dibalik — sebagian item Big Five ditulis dengan arah terbalik (mis. item N4 “Saya jarang merasa sedih” (“I seldom feel blue”) untuk mengukur Neuroticism), dan kalau tidak dibalik dulu skornya, hasil AVERAGE() per skala akan salah total.
  • Kode negara yang tidak standar — di dataset asli ada nilai (nu dan kode non-negara A1/A2; di file latihan nanti, campuran nama negara, kode ISO, dan nilai kosong.

Perhatikan

sebagian masalah ini (mis. item reverse-scored) tidak akan terlihat lewat pemeriksaan statistik dasar — ini butuh pengetahuan tentang metodologi instrumen, bukan cuma angka. Inilah kenapa metode verifikasi “bertanya ke sumber/ahli” tetap penting, bukan hanya “pemeriksaan statistik.”

Clean: Membersihkan Data 🧹

Alur kerja: tiga tahap pembersihan data

  1. Screening — mencari kasus/nilai yang bermasalah: wild codes, inconsistent values, pola missing value yang mencurigakan. Gunakan range checks, frequency counts (tabel frekuensi), dan inspeksi visual.
  2. Diagnosing — menentukan skala masalahnya. Seberapa banyak nilai yang bermasalah? Terkonsentrasi di kolom/responden tertentu, atau tersebar merata?
  3. Editing — barulah di tahap ini data benar-benar dirapikan: tidying, editing konten, dan consolidation.

Urutannya penting

Jangan langsung “mengedit” sebelum screening dan diagnosing selesai. Memperbaiki nilai satu per satu tanpa memetakan skala masalahnya dulu berisiko membuat Anda melewatkan pola yang lebih besar — misalnya satu kolom yang seluruhnya salah kode.

Istilah Editing di tahap 3 ini adalah payung besar untuk tiga aktivitas di slide berikutnya (tidying, editing konten, consolidation). Jangan tertukar dengan “data editing” sebagai salah satu dari ketiganya. Tiga tahap ini mengikuti Van den Broeck et al. (2005); pembagian isi tahap Editing diadaptasi dari Open Knowledge Foundation (2021).

3️⃣ aktivitas pembersihan data

3️⃣ aktivitas di dalam tahap Editing:

  1. Data tidying — membersihkan struktur data, tanpa mengubah isinya. Ini adalah lanjutan langsung dari prinsip tidy data Pertemuan 2 (Wickham, 2014).
  2. Data editing — mengubah isi/konten data agar siap dianalisis (typo, spasi berlebih, nilai salah).
  3. Data consolidation — menambahkan data pelengkap ke dataset utama Anda (merging).

Norma umum di sains data adalah ilmuwan/praktisi data menghabiskan 80% waktunya bekerja untuk membersihkannya (Open Knowledge Foundation, 2021). Angka ini sebenarnya ungkapan populer; survei terhadap praktisi data melaporkan angka sekitar 45–60%.

Data tidying: masalah format

  • Informasi yang tersebar di banyak kolom padahal seharusnya satu (mis. nama depan, tengah, belakang → digabung jadi satu kolom “Nama Lengkap” dengan CONCATENATE()).
  • Satu kolom berisi banyak informasi sekaligus padahal seharusnya dipisah (mis. kolom “Kota, Negara” → dipisah jadi dua kolom lewat Split text to columns).
  • Header berlapis/gabungan sel — spreadsheet menganalisis data dengan lebih baik kalau header hanya satu baris tunggal.

Data editing: masalah konten

Masalah Formula/cara mengatasi
Spasi berlebih (di awal/akhir/tengah teks) TRIM()
Kapitalisasi tidak konsisten UPPER(), LOWER(), PROPER()
Kesalahan ketik/ejaan Find and replace, atau verifikasi manual untuk dataset kecil
Baris terduplikasi Fitur Remove Duplicates pada spreadsheet
Nilai kosong/salah yang mencurigakan Kembali ke metode verifikasi: cek ke sumber, cek metodologi

Setelah menerapkan formula pembersihan, salin nilainya (paste values only) ke atas kolom asli sebelum menghapus kolom bantuan. Supaya dataset Anda tidak bergantung selamanya pada formula yang sifatnya perantara.

Data consolidation: menggabungkan data pelengkap

  • Kadang Anda perlu menambahkan informasi dari dataset lain ke dataset utama, misalnya menambahkan data demografis wilayah ke dataset survei berbasis kode pos.
  • Syarat pentingnya: kedua dataset harus sudah bersih (tidak ada masalah format/konten) sebelum digabungkan, kalau tidak, kesalahan dalam dataset akan makin banyak.
  • Fungsi FILTER() atau VLOOKUP() di spreadsheet bisa menarik nilai dari dataset pelengkap berdasarkan nilai yang cocok di dataset utama.

Praktik terbaik dalam membersihkan data

  • Selalu simpan cadangan data mentah — jangan pernah membersihkan di atas file asli.
  • Buat tab baru untuk tiap tahap pembersihan — supaya Anda bisa kembali ke langkah sebelumnya kalau ada kesalahan.
  • Jangan menghapus data mentah — data “kotor” tetap punya nilai, mis. untuk mempelajari jenis dan frekuensi kesalahan itu sendiri.
  • Dokumentasikan setiap langkah pembersihan — detail caranya di slide berikutnya.

Mendokumentasikan proses pembersihan data

  • Tentukan exclusion criteria sebelum mengambil data, bukan setelah melihat hasil analisis. Menentukannya belakangan termasuk questionable research practice.
  • Catat setiap langkah di logbook (atau langsung di script R/Python): kasus yang dihapus dan alasannya, variabel yang dimodifikasi, nilai ekstrem yang ditemukan, keputusan atas missing value.
  • Dokumentasi ini menolong ingatan Anda yang terbatas.
    • Anda mungkin tidak ingat lagi kenapa satu baris tertentu dihapus enam bulan setelah mengambil keputusannya.

Contoh exclusion criteria

“Kami akan mengeluarkan partisipan yang menyatakan datanya tidak boleh dipakai (item ‘use-me’), berusia di bawah 18 tahun, atau menjawab nilai yang identik untuk seluruh item (straight-lining) pada skala X.”

Mendokumentasikan proses pembersihan data

Contoh log singkat (bisa jadi tab tersendiri di spreadsheet, atau file .txt/.md terpisah)

## Versi 1.1 (2025-02-20)
- Menghapus 3 kasus dengan *missing value* >50%
- Memperbaiki koding jenis_kelamin (1=L, 2=P)

## Versi 1.0 (2025-02-15)
- Data cleaning awal
- Mengedit wild codes pada variabel pendidikan

🧩 Aktivitas mandiri: susun checklist verifikasi

Kerjakan secara mandiri (10 menit)

Bayangkan Anda baru saja mengunduh dataset Big Five dari Open-Source Psychometrics Project. Susun checklist verifikasi singkat (5–7 poin) yang akan Anda jalankan sebelum mulai menganalisisnya. Gunakan tiga kriteria data yang baik dan empat metode verifikasi sebagai panduan.

Contoh: “Apakah ada codebook yang menjelaskan arti kolom E1–E10?”

🧩 Praktik: membersihkan potongan dataset Big Five

Kerjakan secara mandiri (25–30 menit)

Unduh potongan kecil dataset Big Five berikut — 18 baris respons N1–N10 (item Neuroticism) yang sengaja dibuat “kotor” untuk latihan: pertemuan4_dataset_kotor.csv. Ikuti langkah berikut:

  1. Identifikasi minimal 4 masalah data yang muncul (rujuk daftar masalah umum tadi).
  2. Golongkan tiap masalah: apakah itu masalah tidying (format) atau editing (konten)?
  3. Tuliskan formula yang akan Anda pakai untuk memperbaiki tiap masalah (TRIM(), PROPER(), Remove Duplicates, dst.).
  4. Refleksikan: masalah mana yang tidak bisa diperbaiki dengan formula saja, dan butuh keputusan/pengetahuan tambahan (mis. item reverse-scored)?

Penutup

Kesimpulan Pertemuan 4

  • Data yang baik punya tiga sifat: trustworthy, complete, dan quality (terstruktur & terdokumentasi).
  • Empat cara memverifikasi: bertanya ke sumber, bertanya ke ahli, pemeriksaan statistik, dan common sense check.
  • Masalah data yang umum sering tidak terlihat sampai Anda benar-benar memeriksanya — wild codes, inconsistent dan implausible values, serta missing value dengan pola MCAR/MAR/NMAR yang risikonya berbeda-beda.
  • Outlier tidak otomatis “salah”, maka hapus hanya kalau ada justifikasi jelas, dan laporkan dua versi analisis apabila perlu.
  • Alur kerja pembersihan: Screening (temukan) → Diagnosing (ukur skalanya) → Editing (tidying + editing + consolidation).
  • Selalu bekerja di atas salinan, jangan buang data mentahnya, dan dokumentasikan tiap langkah lewat logbook dan exclusion criteria yang jelas.

Referensi

Terima kasih!😊

Ada pertanyaan?

Paparan disusun dengan menggunakan dan Quarto dengan template dari UNAIR Theme.