Kira-kira 50% daripada eksperimen saintifik ternyata TIDAK boleh dihasilkan semula

2024 Pengarang: Seth Attwood | [email protected]. Diubah suai terakhir: 2023-12-16 16:12

Secara kebetulan, dalam aliran berita dan maklumat, saya terjumpa satu artikel dalam Nature Scientific Reports. Ia membentangkan data daripada tinjauan 1,500 saintis mengenai kebolehulangan hasil penyelidikan saintifik. Jika sebelum ini masalah ini dibangkitkan untuk penyelidikan biologi dan perubatan, di mana dalam satu pihak ia boleh dijelaskan (korelasi palsu, kerumitan umum sistem yang dikaji, kadangkala perisian saintifik pun dituduh), sebaliknya, ia mempunyai fenomenologi. watak (contohnya, tikus cenderung berkelakuan berbeza dengan saintis jantina yang berbeza (1 dan 2)).

Walau bagaimanapun, tidak semuanya lancar dan dengan lebihsains semula jadi seperti fizik dan kejuruteraan, kimia, ekologi. Nampaknya disiplin ini adalah berdasarkan eksperimen yang boleh dihasilkan secara "benar-benar" yang dijalankan di bawah keadaan yang paling terkawal, sayangnya, hasil tinjauan yang menakjubkan - dalam setiap erti kata: sehingga 70%pengkaji yang dihadapi Tidak boleh dihasilkan semulaeksperimen dan keputusan yang diperoleh bukan sahaja oleh kumpulan saintis lain, TAPI dan oleh pengarang / pengarang bersama karya saintifik yang diterbitkan!

Adakah setiap burung pasir memuji payanya?

Walaupun 52% responden menunjukkan krisis kebolehulangan dalam sains, kurang daripada 31% menganggap data yang diterbitkan pada asasnya tidak betul dan majoriti menunjukkan bahawa mereka masih mempercayai karya yang diterbitkan.

Sudah tentu, anda tidak sepatutnya menggodam semua sains hanya berdasarkan tinjauan ini: separuh daripada responden masih ahli sains yang dikaitkan, dalam satu cara atau yang lain, dengan disiplin biologi. Seperti yang penulis perhatikan, dalam fizik dan kimia, tahap kebolehulangan dan keyakinan dalam keputusan yang diperoleh adalah lebih tinggi (lihat graf di bawah), tetapi masih tidak 100%. Tetapi dalam perubatan, perkara-perkara sangat buruk berbanding yang lain.

Satu jenaka terlintas di fikiran:

Marcus Munafo, ahli psikologi biologi di Universiti Bristol, England, mempunyai minat yang lama dalam kebolehulangan data saintifik. Mengimbas kembali zaman pelajarnya, dia berkata:

Suatu ketika saya cuba menghasilkan semula percubaan daripada kesusasteraan yang kelihatan mudah bagi saya, tetapi saya tidak dapat melakukannya. Saya mengalami krisis keyakinan, tetapi kemudian saya menyedari bahawa pengalaman saya tidak begitu jarang berlaku.

Masalah kedalaman latitud dan longitud

Bayangkan anda seorang saintis. Anda terjumpa artikel yang menarik, tetapi keputusan / eksperimen tidak boleh diterbitkan semula di makmal. Adalah logik untuk menulis tentang ini kepada pengarang artikel asal, meminta nasihat dan bertanya soalan yang menjelaskan. Menurut tinjauan, kurang daripada 20%telah melakukan ini dalam kerjaya saintifik mereka!

Penulis kajian menyatakan bahawa, mungkin, kenalan dan perbualan sedemikian terlalu sukar untuk saintis itu sendiri, kerana mereka mendedahkan ketidakcekapan dan ketidakkonsistenan mereka dalam isu tertentu atau mendedahkan terlalu banyak butiran projek semasa.

Selain itu, minoriti mutlak saintis cuba menerbitkan penyangkalan keputusan yang tidak boleh dibuat semula, sambil menghadapi tentangan daripada editor dan pengulas yang dituntutmengecilkan perbandingan dengan penyelidikan asal. Adakah menghairankan bahawa peluang untuk melaporkan ketidakbolehulangan hasil saintifik adalah kira-kira 50%.

Mungkin, maka, adalah berbaloi untuk sekurang-kurangnya menjalankan ujian kebolehulangan di dalam makmal? Perkara yang paling menyedihkan ialah satu pertiga daripada responden walaupun TIDAK PERNAHdan tidak berfikir tentang mencipta kaedah untuk mengesahkan data untuk kebolehulangan. Hanya 40%menunjukkan bahawa mereka kerap menggunakan teknik tersebut.

Satu lagi contoh, seorang ahli biokimia dari United Kingdom, yang tidak mahu mendedahkan namanya, mengatakan bahawa percubaan untuk mengulang, menghasilkan semula kerja untuk projek makmalnya hanya menggandakan masa dan kos bahan, tanpa memberi atau menambah sesuatu yang baru kepada kerja itu. Pemeriksaan tambahan hanya dijalankan untuk projek inovatif dan keputusan luar biasa.

Dan, tentu saja, soalan abadi Rusia yang mula menyeksa rakan sekerja asing: siapa yang harus dipersalahkan dan apa yang perlu dilakukan?

Siapa yang bersalah?

Pengarang kerja mengenal pasti tiga masalah utama kebolehulangan hasil:

• Tekanan daripada pihak atasan supaya karya diterbitkan tepat pada masanya
• Pelaporan terpilih (nampaknya, ini bermakna penindasan beberapa data, yang "merosakkan" keseluruhan gambar)
• Analisis data tidak mencukupi (termasuk statistik)

Apa nak buat?

Daripada 1,500 yang ditinjau, lebih daripada 1,000 pakar bercakap menyokong peningkatan statistik dalam mengumpul dan memproses data, meningkatkan kualiti pengawasan daripada bos, dan perancangan eksperimen yang lebih rapi.

Kesimpulan dan beberapa pengalaman peribadi

Pertama sekali, walaupun bagi saya, sebagai seorang saintis, hasilnya adalah menakjubkan, walaupun saya sudah biasa dengan tahap tertentu yang tidak dapat dihasilkan semula hasilnya. Ini amat ketara dalam kerja-kerja yang dilakukan oleh orang Cina dan India tanpa "audit" pihak ketiga dalam bentuk profesor Amerika / Eropah. Adalah baik bahawa masalah itu diiktiraf dan memikirkan penyelesaiannya. Saya secara bijaksana akan berdiam diri tentang sains Rusia, berkaitan dengan skandal baru-baru ini, walaupun ramai yang jujur menjalankan tugas mereka.

Kedua, artikel itu mengabaikan (atau lebih tepatnya, tidak menganggap) peranan metrik saintifik dan jurnal saintifik yang disemak oleh rakan sebaya dalam kemunculan dan perkembangan masalah ketakbolehhasilan hasil penyelidikan. Dalam mengejar kelajuan dan kekerapan penerbitan (baca, peningkatan dalam indeks petikan), kualiti menurun secara mendadak dan tidak ada masa untuk pengesahan tambahan keputusan.

Seperti yang mereka katakan, semua watak adalah rekaan, tetapi berdasarkan peristiwa sebenar. Entah bagaimana seorang pelajar berpeluang menyemak artikel, kerana tidak setiap profesor mempunyai masa dan tenaga untuk membaca artikel dengan teliti, jadi pendapat 2-3-4 pelajar dan doktor dikumpulkan, dari mana kajian itu terbentuk. Kajian telah ditulis, ia menunjukkan ketidakbolehhasilan keputusan mengikut kaedah yang diterangkan dalam artikel. Ini jelas ditunjukkan kepada profesor. Tetapi untuk tidak merosakkan hubungan dengan "rakan sekerja" - selepas semua, mereka berjaya dalam segala-galanya - semakan itu "diperbetulkan". Dan terdapat 2 atau 3 artikel sedemikian diterbitkan.

Ternyata lingkaran setan. Saintis menghantar artikel itu kepada editor jurnal, di mana dia menunjukkan " dikehendaki"Dan, terutamanya," tidak diingini »Penilai, iaitu, sebenarnya, hanya meninggalkan mereka yang bersikap positif terhadap pasukan pengarang. Mereka menyemak kerja itu, tetapi mereka tidak boleh "membuat komen" dan cuba memilih yang lebih kecil daripada dua kejahatan - berikut adalah senarai soalan yang perlu dijawab, dan kemudian kami akan menerbitkan artikel itu.

Contoh lain, yang dibincangkan oleh editor Nature hanya sebulan yang lalu, ialah panel solar Grazel. Oleh kerana minat yang luar biasa dalam topik ini dalam komuniti saintifik (lagipun, mereka masih mahukan artikel dalam Alam Semulajadi!), Editor terpaksa membuat soal selidik khas di mana mereka perlu menunjukkan banyak parameter, menyediakan penentukuran peralatan, sijil., dsb. untuk mengesahkan bahawa kaedah untuk mengukur panel kecekapan mematuhi beberapa prinsip dan piawaian umum.

DAN, ketiga, apabila sekali lagi anda mendengar tentang vaksin ajaib yang menakluki segala-galanya dan semua orang, cerita baru tentang Jobs in a skirt, bateri baru atau bahaya / faedah GMO atau radiasi telefon pintar, terutamanya jika ia dipromosikan oleh penulis kuning dari kewartawanan, kemudian layan dengan pemahaman dan jangan cepat membuat kesimpulan. Tunggu pengesahan keputusan oleh kumpulan saintis lain, pengumpulan tatasusunan dan sampel data.

PS:Artikel itu telah diterjemahkan dan ditulis dengan tergesa-gesa, tentang semua ralat dan ketidaktepatan yang diperhatikan, sila tulis dalam LAN.