Kajian psikologi didapati palsu dalam lebih daripada 50% kes

2024 Pengarang: Seth Attwood | [email protected]. Diubah suai terakhir: 2023-12-16 16:12

Terdapat "postur kuat" yang membina keyakinan dan mengurangkan hormon tekanan. Apabila orang memegang secawan minuman hangat di tangan mereka, mereka menjadi lebih mesra kepada orang di sekeliling mereka. Kemahuan adalah sumber yang kita belanjakan apabila kita menentang godaan. Keupayaan untuk menangguhkan ganjaran menentukan kejayaan masa depan kanak-kanak.

Kenyataan ini sangat serupa antara satu sama lain: di belakangnya terdapat penyelidikan psikologi yang terkenal, buku terlaris sains popular, ruangan dalam majalah popular dan ceramah TED.

Mereka juga mempunyai satu lagi persamaan: semuanya ternyata salah.

Krisis kebolehulangan telah menimbulkan keraguan pada keseluruhan bidang sains. Banyak keputusan, yang dipetik secara meluas dalam media, kini dianggap sebagai keterlaluan atau palsu. Apabila saintis cuba meniru kedua-dua eksperimen psikologi klasik dan baru-baru ini, keputusannya adalah konsisten, dengan kira-kira separuh daripada kes berjaya dan separuh lagi gagal.

Krisis itu akhirnya menjadi jelas pada 2015, apabila saintis yang diketuai oleh Brian Nosek memeriksa 100 kajian psikologi. Mereka dapat mencapai keputusan awal hanya dalam 36 kes. Ketua pengarang Lancet Richard Horton tidak lama kemudian menyatakan:

Tuduhan terhadap sains agak mudah: sekurang-kurangnya separuh daripada kesusasteraan saintifik adalah salah. Mengalami kajian dengan saiz sampel yang kecil, kesan yang sedikit dan analisis yang salah, serta obsesi terhadap trend fesyen yang meragukan kepentingannya, sains telah beralih ke arah kejahilan.

Kebolehulangan adalah salah satu keperluan utama untuk pengetahuan saintifik. Lebih baik hasilnya dihasilkan semula, lebih dipercayai - ini adalah satu-satunya cara untuk memisahkan corak sebenar daripada kebetulan mudah

Tetapi ternyata keperluan ini tidak selalu dipenuhi.

Krisis bermula dengan perubatan, tetapi psikologi yang paling terjejas. Pada musim panas 2018, saintis cuba meniru pilihan kajian psikologi yang diterbitkan dalam Sains dan Alam Semula Jadi, jurnal saintifik paling berprestij di dunia. Daripada 21 eksperimen, hanya 13 telah disahkan - malah dalam kes ini, keputusan asal telah dibesar-besarkan sebanyak kira-kira 50%.

Selalunya, ujian kebolehulangan gagal oleh kajian yang direplikasi secara meluas dalam media dan berjaya mempengaruhi kesedaran awam. Sebagai contoh, karya yang enjin carian menjejaskan ingatan, dan membaca fiksyen mengembangkan keupayaan untuk berempati. Jika percubaan berulang gagal, ini tidak bermakna hipotesis asal tidak bernilai. Tetapi penyelidikan yang lebih baik kini diperlukan untuk membuktikannya.

Bagaimana untuk meramal masa depan dengan statistik

Pada tahun 2011, ahli psikologi terkenal Amerika Daryl Boehm menerbitkan artikel yang membuktikan kemungkinan kewaskitaan. Kesimpulan ini bukanlah hasil imaginasi ganasnya, tetapi berdasarkan penyelidikan berdekad-dekad, yang melibatkan ratusan orang. Ramai yang mengesyaki bahawa Boehm memutuskan untuk mengatur sesuatu seperti penipuan Sokal dan mendedahkan psikologi dengan artikel palsu dengan kesimpulan yang tidak masuk akal. Tetapi mengikut semua piawaian metodologi, artikel itu sangat meyakinkan.

Dalam salah satu eksperimen Behm, dua skrin diletakkan di hadapan peserta - mereka perlu meneka imej mana yang tersembunyi di belakang. Gambar dijana secara rawak sejurus selepas pemilihan dibuat. Sekiranya peserta melakukan kerja yang baik, ini menunjukkan bahawa mereka boleh menjangka masa depan. Percubaan menggunakan dua jenis imej: neutral dan lucah.

Boehm mencadangkan bahawa jika deria keenam wujud, ia mungkin mempunyai asal usul evolusi purba. Jika ya, maka kemungkinan besar ia selaras dengan keperluan dan desakan kita yang paling kuno

Peserta meneka imej lucah 53% pada masa itu - sedikit lebih kerap daripada yang sepatutnya jika ia adalah peluang murni. Memandangkan bilangan eksperimen yang banyak, Boehm boleh mendakwa bahawa pandangan jauh wujud.

Kemudian, pakar mendapati bahawa semasa menganalisis keputusan, dia menggunakan kaedah yang tidak betul sepenuhnya. Sebagai peraturan, hasil penyelidikan dianggap boleh dipercayai jika kebarangkalian ia diperoleh secara tidak sengaja tidak melebihi 5%. Tetapi terdapat banyak cara untuk mengurangkan nilai ini ke tahap yang diperlukan: menukar parameter awal analisis, menambah atau mengalih keluar bilangan contoh yang diperlukan daripada sampel, menggunakan hipotesis yang lebih berjaya selepas mengumpul data.

Masalahnya ialah bukan sahaja Boehm, tetapi juga ramai saintis lain menggunakan teknik yang sama. Menurut tinjauan 2011, hampir separuh daripada ahli psikologi mengakui ini

Apabila artikel peramal itu keluar, saintis sosial Joseph Simmons, Leaf Nelson, dan Uri Simonson menyedari bahawa sains sedang menuju kehancurannya sendiri. Mereka membina beberapa model komputer dan mendapati bahawa menggunakan teknik statistik yang agak standard, anda boleh meningkatkan tahap hasil positif palsu beberapa kali. Ini bermakna kaedah yang saintifik secara formal boleh membawa kepada kesimpulan yang tidak masuk akal sama sekali.

Untuk menggambarkan ini, saintis menjalankan eksperimen yang mengesahkan bahawa mendengar lagu "When I'm Sixty-four" menjadikan pendengar lebih muda setahun setengah.

“Semua orang tahu bahawa adalah salah untuk menggunakan teknik sedemikian, tetapi mereka menganggap bahawa ini adalah pelanggaran dalam kepentingannya - seperti melintas jalan di tempat yang salah. Ia ternyata lebih seperti rompakan bank, tutup Simmons.

Bagaimana untuk membezakan penyelidikan yang buruk daripada yang baik

Tidak lama kemudian menjadi jelas bahawa isu kebolehulangan tidak terhad kepada psikologi. Dalam penyelidikan kanser, bukti saintifik disokong dalam 10-25% kes. Dalam bidang ekonomi, 7 daripada 18 eksperimen makmal tidak dapat ditiru. Penyelidikan kecerdasan buatan juga menunjukkan tanda-tanda krisis.

Tetapi kehilangan kepercayaan dalam sains, nampaknya, masih tidak berbaloi. Para saintis telah pun menghasilkan beberapa cara yang telah meningkatkan kebolehpercayaan dan kualiti penyelidikan baharu

Beberapa tahun yang lalu, hampir tiada siapa yang menerbitkan hasil eksperimen berulang, walaupun ia dijalankan. Ini tidak diterima, tidak membawa geran dan tidak menyumbang kepada kerjaya saintifik yang berjaya. Menurut tinjauan Alam Semulajadi, lebih daripada 70% ahli psikologi telah mencuba dan gagal menghasilkan semula penyelidikan orang lain, kira-kira separuh tidak dapat mengulangi mereka sendiri, dan hampir tiada siapa yang berusaha untuk menghebahkan keputusan ini.

Apabila krisis kebolehulangan muncul, banyak yang telah berubah. Penyelidikan berulang secara beransur-ansur menjadi perkara biasa; data eksperimen mula diterbitkan lebih dan lebih kerap dalam domain awam; jurnal mula menerbitkan keputusan negatif dan merekodkan rancangan keseluruhan penyelidikan walaupun sebelum ia bermula.

Penyelidikan telah menjadi lebih meluas - sampel 30-40 orang, yang agak standard dalam psikologi, kini sesuai dengan sangat sedikit orang. Organisasi antarabangsa yang besar - seperti Psychological Science Accelerator - sedang menguji hipotesis yang sama di beberapa makmal di seluruh dunia.

Sebelum menyemak artikel dari Alam dan Sains, yang kami tulis pada mulanya, saintis diminta untuk membuat pertaruhan pada undian. Mereka terpaksa meramalkan penyelidikan mana yang akan lulus ujian dan mana yang akan gagal. Secara keseluruhan, kadar adalah sangat tepat. "Ini bermakna, pertama, komuniti saintifik boleh meramalkan karya mana yang akan dapat diulang, dan, kedua, bahawa kemustahilan untuk mereplikasi kajian itu bukan kebetulan semata-mata," kata penganjur eksperimen itu.

Para saintis secara amnya pandai membezakan penyelidikan yang boleh dipercayai daripada yang tidak boleh dipercayai - itu berita baik. Kini pakar dari Pusat Sains Terbuka, bersama-sama dengan agensi DARPA, cuba mencipta algoritma yang akan melaksanakan tugas yang sama tanpa campur tangan manusia.

Terdapat terlalu banyak artikel yang diterbitkan setiap tahun untuk menyemak semula secara manual walaupun sebahagian kecil daripadanya. Jika kecerdasan buatan turun ke perniagaan, semuanya akan menjadi lebih mudah.

Sudah dalam ujian pertama, AI berjaya mengatasi ramalan dalam 80% kes.

Apakah yang paling kerap membuat penyelidikan tidak boleh dipercayai? Sampel kecil, tidak konsisten dalam bilangan, pengesahan hipotesis yang terlalu cantik. Dan juga - keinginan untuk sensasi dan jawapan yang terlalu mudah untuk soalan yang sukar.

Terlalu baik untuk menjadi kenyataan

Cara paling mudah untuk mencipta penyelidikan sensasi adalah melalui penipuan. Ahli psikologi sosial terkenal Diederik Stapel menggunakan data rekaan dalam beberapa dozen artikel saintifik. Penyelidikan Stapel tersebar melalui akhbar dan majalah dengan pantas, dia menerima beberapa anugerah saintifik berprestij, diterbitkan dalam Sains dan dianggap sebagai salah satu pakar terbesar dalam bidangnya.

Setelah ternyata untuk masa yang lama Stapel tidak menjalankan penyelidikan sama sekali, tetapi hanya mencipta data dan memberikannya kepada pelajar untuk dianalisis.

Ini sangat jarang berlaku dalam sains. Lebih kerap kuat, tetapi kenyataan yang salah timbul atas sebab lain. Orang ramai terdesak mencari jawapan yang mudah, mudah difahami dan berkesan untuk soalan yang menarik. Ia boleh menjadi sangat mudah untuk tergoda untuk berfikir bahawa anda mempunyai jawapan ini, walaupun anda benar-benar tidak. Mengejar kesederhanaan dan kepastian adalah salah satu sebab utama mengapa banyak kajian gagal menguji kebolehulangan. Berikut adalah beberapa contoh yang ketara.

Percubaan marshmallow

Dalam eksperimen, kanak-kanak diminta memilih antara satu ganjaran kecil - seperti marshmallow - yang boleh diterima serta-merta, dan ganjaran berganda jika mereka boleh menunggu sebentar. Kemudian ternyata kanak-kanak yang menerima anugerah kedua semakin berjaya apabila dewasa. Kajian ini menjadi sangat popular dan mempengaruhi beberapa kurikulum sekolah.

Pada 2018, percubaan diulang pada sampel yang lebih luas. Ternyata kekayaan dalam keluarga adalah faktor yang lebih penting, di mana tahap kawalan diri juga bergantung.

"Poses Kekuatan" dan "Poses Kelemahan"

Para peserta dalam eksperimen mengambil salah satu daripada dua pose selama dua minit: mereka bersandar di kerusi dan melemparkan kaki mereka di atas meja ("pose kekuatan") atau menyilangkan tangan mereka ke dada mereka ("pose kelemahan"). Hasilnya, peserta dari kumpulan pertama berasa lebih yakin dan lebih kerap bersetuju untuk mengambil risiko dalam perjudian. Mereka yang duduk dalam kedudukan yang kuat meningkatkan tahap testosteron mereka, dan mereka yang duduk dalam kedudukan yang lemah meningkatkan kortisol. Dalam eksperimen berulang, hanya satu kesan yang dihasilkan semula: "postur kekuatan" membantu para peserta berasa lebih yakin, tetapi tidak mengubah tingkah laku atau parameter hormon mereka.

Persatuan dengan usia tua membuat anda bergerak lebih perlahan

Peserta dalam eksperimen diminta untuk menyelesaikan beberapa teka-teki. Jika kata-kata dimasukkan ke dalamnya yang dikaitkan dengan usia tua - "pelupa", "orang tua", "sunyi" - maka para peserta meninggalkan bilik dengan kadar yang lebih perlahan.

Dalam percubaan baru-baru ini, percubaan itu berjaya dihasilkan semula hanya dalam satu kes: jika penguji sendiri tahu bahawa dalam ujian itu para peserta membayangkan pada usia tua. Kesannya sendiri kekal, tetapi sebabnya sudah berbeza.

Objek panas menjadikan orang lebih mesra

Peserta dalam eksperimen dibenarkan memegang secawan kopi panas atau sejuk untuk masa yang singkat, dan kemudian diminta untuk menilai personaliti orang itu menggunakan penerangan ringkas. Peserta yang memegang secawan kopi panas menilai orang itu sebagai lebih disukai. Dalam eksperimen lain, peserta diberi item dalam bungkusan hangat atau sejuk dan kemudian diminta untuk menyimpannya atau memberikannya kepada rakan. Jika item itu dibalut dalam bungkusan yang hangat, peserta lebih cenderung untuk memilih pilihan kedua. Percubaan berulang dengan sampel yang lebih luas tidak menghasilkan keputusan sedemikian. Nampaknya pakaian hangat tidak akan menjadikan anda seorang altruis.

Kemahuan akan habis apabila kita menentang godaan

Di hadapan peserta dalam eksperimen itu diletakkan dua pinggan - dengan biskut dan lobak. Dalam kumpulan pertama, para peserta dibenarkan makan biskut, dan dalam kumpulan kedua, hanya lobak. Kemudian setiap peserta diminta untuk menyelesaikan teka-teki yang mustahil. Peserta yang hanya makan lobak pada bahagian pertama percubaan berputus asa lebih awal daripada yang lain. Dalam eksperimen berulang, keputusan tidak disahkan.

Dalam sesetengah kes, keupayaan untuk mengawal diri tidak berkurangan, malah semakin meningkat dari semasa ke semasa. Ramai ahli psikologi kini menganggap konsep "willpower" terlalu mudah.

Banyak yang telah dilakukan dalam psikologi dunia untuk menjadikan penyelidikan lebih dipercayai dan boleh dihasilkan semula. Di Rusia, masalah ini masih belum dapat difahami.

"Dalam psikologi Rusia, masalah krisis terutamanya berkaitan dengan belia saintifik, yang sebahagian besarnya berorientasikan sains Barat," kata Ivan Ivanchey, profesor bersekutu di RANEPA, kepada Knife. - Kawalan ke atas kualiti penerbitan dalam bahasa Rusia biasanya tidak begitu tinggi. Jurnal jarang menolak artikel, jadi banyak penyelidikan berkualiti rendah diterbitkan. Sampel kecil sering digunakan, yang juga mengurangkan kemungkinan pembiakan yang berjaya. Terdapat syak wasangka bahawa, jika seseorang serius menangani isu kebolehulangan karya berbahasa Rusia, banyak masalah boleh ditemui. Tetapi tiada siapa yang terlibat secara langsung dalam perkara ini."

Pada Januari 2019, diketahui bahawa kerajaan Rusia akan memperluaskan keperluan saintis dengan ketara dari segi bilangan penerbitan: bilangan minimum artikel yang diterbitkan setiap tahun harus meningkat sebanyak 30-50%.

Para saintis dari ahli akademik yang berpengaruh "Kelab 1 Julai" mengkritik inisiatif itu: "Tugas sains bukanlah untuk menghasilkan bilangan penerbitan maksimum, tetapi untuk meneroka alam semesta dan mendapat manfaat daripada pengetahuan yang diperoleh untuk manusia." Kemungkinan besar, keperluan baru hanya akan meningkatkan skala masalah.

Kisah tentang krisis kebolehulangan bukanlah cerita tentang kiamat yang akan datang dan pencerobohan orang gasar. Sekiranya krisis itu tidak berlaku, semuanya akan menjadi lebih teruk: kami masih akan merujuk kepada penyelidikan yang salah dengan penuh keyakinan bahawa kami mengetahui kebenaran. Mungkin masa tajuk berita berani seperti "Saintis British telah membuktikan" akan berakhir. Tetapi khabar angin bahawa sains sudah mati harus dianggap agak keterlaluan.