Mengapa Hasil Survei Itu Lain Sendiri

Denny JA

(Dan Kisah Front Runner Gary Hart)

Opini, Akuratnews.com - Bahkan kritik yang keras sejauh berdasarkan prinsip keilmuan sangat sehat untuk pertumbuhan dunia profesi. Apalagi jika itu hanya review sesama rekan sejawat dalam rangka memperkaya wawasan.

Prinsip inilah yang akhirnya membuat saya ikhlas menjawab pertanyaan itu. Berkali-kali saya ditanya di japri, mengapa survei Pollmark, pimpinan Eep Saefulloh Fatah punya hasil yang berbeda sendiri?

Jika yang berbeda sendiri adalah tokoh dan lembaga survei abal-abal tentu tak perlu diperhatikan. Tapi Eep dan Pollmark termasuk mereka yang serius. Ia layak mendapat review yang serius pula.

Ketika 6-8 lembaga survei lain yang sudah malang melintang, tingkat elektabilitas Jokowi di angka 53-58 persen, kok di Survei Eep yang dipublikasi di waktu yang sama, Jokowi hanya 40 persen? Hal yang sama dengan Prabowo. Ketika di lembaga survei lain, Prabowo sudah di angka 30-35 perses, di survei Eep hanya 25 persen?

Saya akan membahas survei Eep lebih pada sisi metodologi survei saja.

Untuk menjawab kasus itu, saya menghindari dua hal.

Pertama, saya tidak menghakimi hasil survei Eep dengan hasil survei lembaga lain.

Kita dapat mengkategorikan lembaga survei papan. Cukup dua saja ukurannya. Ia pernah melakukan Quick Count nasional dan hasilnya terbukti akurat. Ia juga melaksanakan Quick Count itu bersama TV Nasional. Asumsinya, TV nasional sudah memiliki kriteria standard ketika memilih partner.

Tapi dua kriteria itu harus digabung karena pernah pula terjadi Quick Count di TV nasional yang hasilnya ternyata salah. Itu kasus Pilpres 2014.

Yang lolos dengan gabungan dua kriteria itu memang tak banyak. Termasuk di dalamnya: LSI Denny JA, SMRC, Indikator, Charta Politika.

Di semua lembaga surve yang lolos kriteria, elektabilitas Jokowi versus Prabowo berkisar antara 52-58 persen versus 30-35 persen.

Tapi sekali lagi, bukan hasil itu yang menjadi ukuran untuk menyatakan Eep salah hanya karena hasilnya berbeda sendiri. Walau berbeda hasil survei Eep tak nanggung-nanggung, di atas 10 persen, sekitar 3 kali margin of error.

Saya pun tidak menghakimi survei Eep dari kepentingan pihak yang membiayai. Eep berterus terang PAN membiayai serial surveinya. PAN mencalonkan Prabowo.

Dimunculkan isu, Eep sengaja mengecil-ngecilkan elektabilitas Jokowi di bawah 50 persen, bahkan hanya 40 persen. Agar masuk akal, elektabilitas Prabowo ia kecil kecilkan pula hanya 25 persen. Yang penting walau Prabowo tetap kalah dua digit, posisi Jokowi hanya 40 persen. Itu sinyal Jokowi bisa dikalahkan. Diupayakan timbul efek: Aha!!! dari klien dari capresnya.

Sekali lagi, percakapan ala warung kopi itu tidak saya jadikan sandaran.

Yang saya jadikan sandaran adalah keunikan metodeloginya. Eep sendiri menyampaikan metodologi itu.

Eep melakukan survei pada 73 dapil (dari 80 dapil yang ada). Survei dilakukan dalam 6 seri waktu. Yaitu sejak bulan Oktober 2018 (7-12 okt: 10 dapil), (18-24 okt: 10 dapil), (20-28 okt: 10 dapil), bulan Desember (5-12 des: 20 dapil), (16-21 des: 11 dapil). Terakhir survei di bulan Januari (16-21 Jan: 11 dapil) dan Febuari (5-12 Feb, 12 dapil).

Singkat kata data tersedia dalam 6 seri waktu survei dari bulan Oktober hingga Januari. Jika survei ini hanya memotret dapil masing masing tentu tak ada masalah.

Diskusi menjadi menarik karena 6 seri survei dalam rentang waktu 4 bulan (Okt-Feb) dari 73 dapil digabungkan untuk membuat kesimpulan elektabilitas Capres tingkat nasional. Dari metodologi ini keluar angka Jokowi 40 persen vs Prabowo 25 persen.

Sah kah menggabungkan 6 seri survei dari kumpulan dapil dalam rentang 4 bulan yang berbeda? Valid kah metode riset seperti ini?

Saya mulai menjawab dengan dua ilustrasi. Pertama kisah Gary Hart. Ia capres Amerika Serikat yang kisahnya baru saja difilm kan berjudul Front Runner.

Seminggu lalu saya menonton film itu. Hal dasar dari kisah Gary Hart sudah lama saya ketahui. Tapi film ini memberikan drama detail menggambarkan kejatuhan Gary Hart.

Pada bulan Febuari 1987, Gary Hart tampil gemilang sebagai Front Runner. Ia calon terkuat partai demoktat. Media mainstream menggambarkannya sebagai Kennedy baru karena kharisma dan artikulasi intelektual.

Namun hanya tiga bulan kemudian, popularitasnya jatuh. Pada bulan Mei 1987, Hart mengundurkan diri sebagai bakal calon presiden.

Hanya 3 bulan mengubah popularitas seorang tokoh dari Front Runner, yang paling unggul, menjadi pecundang. Satu penyebab: beredar kisah perselingkuhan Gary Hart dengan seorang wanita. Perselingkuhan itu menjadi drama yang mempertanyakan karakter dan kejujurannya sebagai pemimpin.

Dalam tanya jawab di hadapan wartawan, istri Gary Hart ada di sana. Wartawan Washington Post bertanya: Apakah anda pernah melakukan hubungan seksual dengan wanita lain setelah menikah? Lama Gary Hart terdiam. Ia akhirnya menjawab: itu bukan pertanyaan yang adil.

Media heboh. Rumahnya selalu dipenuhi pers. Anak-anaknya diburu, dan menjadi celotehan kawan sekolah. Selingkuhannya Dona Rice pun menyembunyikan diri.

Sebaliknya kisah Jimmy Carter. Ia juga calon presiden Amerika Serikat. Ketika ia mengumumkan pencalonannya pada bulan Januari 1976, ia dijuluki “Jimmy Who?” Walau ia gubernur dari negara bagian, Georgia, ia nyaris tak dikenal secara nasional.

Galup Poll bulan Januari 1976 mencatat, saat itu yang berniat memilih Jimmy Carter hanya 4 persen saja secara nasional. Tapi hanya dua bulan kemudian, Jimmy tak hanya mengungguli semua bakal calon presiden dari Demokrat. Ia bahkan mengungguli pertahana Gerald Ford!!

Hanya dalam waktu dua bulan, Jimmy Carter berubah dari “Jimmy Who” menjadi Front Runner. Sebaliknya hanya dalam waktu 3 bulan, mengubah Gary Hart dari front runner menjadi pecundang.

Untuk elektabilitas calon presiden yang cair, dukungan padanya di satu bulan dengan empat bulan berikutnya dapat berubah sama sekali.

Eksperimen Eep menyatukan begitu saja elektabilitas Jokowi (dan Prabowo di bulan Okt 2018 di 10 dapil) dengan elektabilitas Jokowi (dan Prabowo di bulan Febuari 2019 di 12 dapil), menyatukan saja rentang waktu empat bulan elektabilitas dalam satu hitungan, tentu beresiko.

Sangatlag mungkin Jokowi yang kalah di bulan Oktober di dapil A, ketika digabung dengan Jokowi di dapil lain di bulan Febuari 4 bulan kemudian, bisa jadi di dapi A pada bulan Febuari dukungan Jokowi sudah menang.

Jelaskah ilustrasi ini?

Mungkin perlu ditambahkan dengan simulasi tambahan. Eep menyatukan elektabilitas Jokowi di satu tempat dengan elektabilitas Jokowi di tempat lain 4 bulan sebelumnya.
Bermasalah kah?

Bagaimana jika yang disatukan adalah elektabilitas Jokowi bukan 4 bulan, tapi 4 tahun sebelumnya? Bagaimana jika yang disatukan adalah elektabilitas Jokowi sepuluh tahun sebelumnya?

Simulasi ini segera memberi petunjuk pada kita lebih cepat. Tentu saja 10 tahun lalu, siapa yang mengenal Jokowi? Menyatukan dukungan Jokowi di jawa pada tahun 2019 dengan dukungan Jokowi di Sumatra pada tahun 2009 (sepuluh tahun lalu), pasti salah!!!

Aha!! Berarti jarak waktu penggabungan memainkan peran sentral mengukur validitas hasil survei. Tapi berapa jarak waktu kah yang masih valid untuk digabung? Jarak waktu 10 tahun jelas terlalu lama. Bagaimana jika jarak waktunya 4 tahun? Bagaimana jika 4 bulan seperti eksperimen Eep?

Untuk kasus Jimmy Carter dan Gary Hart bahkan penggabung seri data dari tempat yang berbeda dalam waktu 4 bulan bisa sangat keliru.

Setelah dua ilustrasi itu dapat kita rasakan pokok masalah.

British Polling Council dan AAPOR (American Association of Public Opinon Research) juga sudah membuat panduan.

Ada isu yang bertahan lama seperti sikap publik atas isu kebudayaan. Kepercayaan atau ketidak percayaan publik pada katakanlah agama, atau hobi mereka pada seni, itu termasuk persepsi yang bertahan lama.

Namun opini atas calon presiden, apalagi dalam masa kampanye, bahkan dapat berubah dalam hitungan hari.

Survei untuk elektabilitas capres sebaiknya dilakukan dalam satu waktu, sepanjang waktu survei itu saja. Katakanlah untuk satu minggu di setiap bulan dapat dikerjakan survei nasional.

Dalam waktu empat bulan, kita dapat mendapatkan empat tracking survei nasional. Naik dan turun elektabilitas calon presiden secara nasional mudah dilihat setiap bulan. Empat survei nasional dalam empat bulan pasti lebih informatif ketimbang satu survei gabungan dalam rentang 4 bulan.

Kepentingan utama survei Eep agaknya pertama tama soal elektabilitas partai dan caleg di setiap dapil. Itu masuk akal karena klien Eep adalah PAN, bukan Prabowo.

Namun karena Eep mengerjakan begitu banyak dapil, 73 dapil dari 80 dapil, walau dilakukan dalam waktu yang berbeda rentang 4 bulan, eep membuat eksperimen menyatukan jawaban dapil untuk isu nasional calon presiden.

Maka lahirlah itu elektabilitas Jokowi vs Prabowo 40 persen vs 25 persen. Hasil yang berbeda sendiri karena buah dari metodologi survei yang berbeda sendiri pula.

Mungkinkah ini sejenis game “beli satu dapat dua?” Maksud sebenarnya hanya satu: mengukur partai di dapil. Tapi beli satu dapat dua karena bisa dibuat simulasi nasional soal isu kedua capres karena toh jumlah dapil yang disurvei cukup banyak. Survei capres hanya efek sambilan saja?

Ataukah Eep memang sejak awal berniat mengukur elektabilitas capres dengan kumpulan dapil dalam rentang 4 bulan? Survei manakah tingkat dunia yang menjadi rujukannya untuk kasus capres?

Salahkah Eep? Jimmy Carter dan Gary Hart mungkin lebih tepat untuk menjawabnya.

Penulis Oleh: Denny JA

Penulis:

Baca Juga