Bài luận của khách của Kip Hansen – ngày 29 tháng 2 năm 2022
Chính xác là gì hiệu ứng suy giảm? Có phải thực tế là một số tác dụng được khoa học khám phá sẽ giảm dần theo thời gian khi chúng được nghiên cứu và tìm hiểu nhiều hơn? Hầu như, nhưng không thực sự. Wiki có định nghĩa này cho chúng ta:
“Các hiệu ứng suy giảm có thể xảy ra khi các tuyên bố khoa học nhận được sự ủng hộ giảm dần theo thời gian. Thuật ngữ này lần đầu tiên được mô tả bởi nhà cận tâm lý học Joseph Banks Rhine vào những năm 1930 để mô tả sự biến mất của perc ngoại cảmeptitrên (ESP) các thí nghiệm tâm linh do Rhine thực hiện trong quá trình nghiên cứu hoặc thời gian. Nói một cách tổng quát hơn, Cronbach, trong bài báo tổng quan về khoa học “Ngoài hai lĩnh vực tâm lý học khoa học” [ also .pdf here ] gọi hiện tượng này là “phân rã khái quát hóa”.[1] Thuật ngữ này một lần nữa được sử dụng trong Bài báo năm 2010 của Jonah Lehrer xuất bản năm Người New York. ”
Một số giữ điều đó hiệu ứng suy giảm không chỉ là một giảm hỗ trợ theo thời gian mà nó đề cập đến một giảm kích thước hiệu ứng theo thời gian – hoặc, theo một số, cả hai do cái này hay cái khác. Đó là, hỗ trợ giảm vì kích thước hiệu ứng được tìm thấy giảm hoặc do giảm hỗ trợ, kích thước hiệu ứng được báo cáo giảm. Nguyên nhân được trích dẫn của hiệu ứng suy giảm là: thiên vị xuất bản, thiên vị trích dẫn, thiên vị phương pháp luận và tác động của người điều tra. Phần 1 của loạt bài này là một ví dụ về hiệu ứng điều tra viên.
Hãy hoàn toàn rõ ràng: Không có trường hợp nào hiệu ứng suy giảm đề cập đến sự suy giảm thực tế về hiệu ứng trong thế giới thực của một số hiện tượng vật lý, nhưng chỉ về kích thước hiệu ứng được tìm thấy và / hoặc được báo cáo trong các báo cáo nghiên cứu theo thời gian.
Một trong những cuộc thảo luận hay nhất về hiệu ứng suy giảm đã được xuất bản trong Người New York hơn một thập kỷ trước. Trong một bài báo có tiêu đề: “The Truth Wears Off – Có điều gì sai trong phương pháp khoa học?” của Jonah Lehrer. Với 2100 từ, thời lượng đọc khoảng 10 phút – và giá trị mỗi phút.
Tác phẩm của Lehrer bắt đầu với điều này:
“Sự điên rồ của giả thuyết là ở điểm: [Jonathan] Học sinh biết trước rằng [ think ESP –kh ] thiếu giải thích khoa học. Nhưng anh ta không thử nghiệm năng lực ngoại cảm; anh ta đang thử nghiệm hiệu ứng suy giảm. “Lúc đầu, dữ liệu trông thật tuyệt vời, đúng như chúng tôi mong đợi,” Schooler nói. “Tôi không thể tin được mức độ nhận biết trước mà chúng tôi đã tìm thấy. Nhưng sau đó, khi chúng tôi tiếp tục chạy các đối tượng, kích thước hiệu ứng “- một thước đo thống kê tiêu chuẩn -” tiếp tục ngày càng nhỏ hơn. ” Các nhà khoa học cuối cùng đã kiểm tra hơn 2.000 sinh viên chưa tốt nghiệp. “Cuối cùng, kết quả của chúng tôi giống như của Rhine,” Schooler nói. “Chúng tôi đã tìm thấy hiệu ứng huyền bí mạnh mẽ này, nhưng nó đã biến mất trên chúng tôi.”
Điều đáng lo ngại là hiệu ứng suy giảm có thể có nghĩa là có gì đó sai với phương pháp khoa học. Một số nhóm đã thực hiện một nghiên cứu cẩn thận cách đây hai năm và nhận thấy những tác động thực sự ấn tượng, mạnh mẽ, nhưng kể từ đó, các nghiên cứu bổ sung đã cho thấy những tác động ngày càng ít mạnh mẽ hơn, khiến giả thuyết được ủng hộ ban đầu của họ bị nghi ngờ. Chuyện gì đang xảy ra vậy?
Nhiều độc giả am hiểu về thống kê, và có thể nhận ra khả năng rằng hiệu ứng này không gì khác hơn là hồi quy về giá trị trung bình. Khi thí nghiệm được lặp lại và thu thập được nhiều điểm dữ liệu hơn, các con sán thống kê ban đầu, lúc đầu có một số điểm cao hoặc thấp bất thường, sau đó càng ngày càng có nhiều kết quả trong giá trị trung bình của toàn bộ kết quả có xu hướng thoái lui về trung bình thống kê thực. Tôi sẽ không dành quá nhiều thời gian cho việc này, nhưng hình ảnh này sẽ giúp ích cho khái niệm:
Nhưng chúng tôi gặp vấn đề với kết quả ESP của mình – họ chỉ tìm thấy giá trị cao của khả năng ESP, không phải một số thực sự cao và một số thực sự thấp, không giống như các số được tạo ngẫu nhiên của chúng tôi trong biểu đồ ở trên. Không có ngoại lệ cả hai cao và thấp, khó có thể trách kết quả ESP hồi quy. Nguyên nhân có thể xảy ra nhất và thông thường nhất của điều này là các nhà điều tra – các nhà nghiên cứu – đang tìm kiếm ESP, không tìm kiếm sự văng mặt của ESP. Đây là nguyên tắc mà người ta thường tìm thấy những gì người ta đang tìm kiếm, hoặc cố ý hoặc thông qua một số hiệu ứng tâm lý.
Trên thực tế, tôi có một người thân có truyền thống gia đình ủng hộ số 13 – con số may mắn của ông cố. Vì vậy, người thân của tôi rất ngạc nhiên về tần suất số 13 hoặc các tổ hợp có chứa số đó (313, 1313, 3131, 1:13, v.v.) xuất hiện trong cuộc sống hàng ngày – và hoàn toàn tin rằng nó xuất hiện thường xuyên hơn mức có thể thống kê được. Họ nhìn thấy những gì họ đang tìm kiếm. Hoặc, thông báo các lần xuất hiện của số vì chúng rất nhạy cảm để làm như vậy.
Trong khoa học và nghiên cứu, điều này thường là không cố ý – nó có thể là kết quả của việc thiết kế nghiên cứu kém, phương pháp thu thập dữ liệu sai lệch hoặc quan sát chủ quan thiên về kỳ vọng. Các nghiên cứu phụ thuộc vào dữ liệu “bằng mắt thường” – một con người có đồng hồ bấm giờ, đếm số lần một con tinh tinh sử dụng tay phải hoặc tay trái, tốc độ phản ứng của một con nhện với các kích thích, v.v. – có thể dễ dàng trở nên tồi tệ. Những loại nguyên nhân này sẽ là vấn đề phương pháp luận.
Hoặc nếu Jonathan Schooler đúngtrong một trường lớn hơn, nó có thể do sai lệch xuất bản và đặc biệt kết quả chưa được công bố. Các tạp chí thích các kết quả lớn. Các tạp chí không thích các nghiên cứu vô hiệu, tiêu cực hoặc “không tìm thấy gì”. Điều đó có nghĩa là khi một phân tích tổng hợp được thực hiện trên các bài báo đã xuất bản, nó thường là các nghiên cứu với kết quả lớn được tìm thấy – và không nhiều nghiên cứu được tìm thấy rất nhỏ hoặc không có tác dụng. Những bài báo có hiệu ứng rỗng hoặc rất nhỏ này có thể đã xuất hiện trên các tạp chí không có ảnh hưởng thực sự: tạp chí không phải tiếng Anh, tạp chí nhỏ hoặc khó hiểu. Schooler chỉ ra rằng nhiều nghiên cứu với những phát hiện vô hiệu hoặc những tác động nhỏ bị từ chối và không được công bố hoặc tệ hơn là không bao giờ được viết bởi những nhà nghiên cứu biết cơ hội công bố của họ là rất xa vời.
Trong các lĩnh vực nghiên cứu mới, các nhà khoa học có xu hướng tìm kiếm những phát hiện tương tự như những kết quả lớn đã mang lại danh tiếng và thành công cho những người đầu tiên báo cáo các hiện tượng mới. Khi họ tìm thấy chúng, họ vội vàng xuất bản. Mặt khác, nếu họ không tìm thấy kết quả ấn tượng lớn, họ có thể nghĩ rằng họ đã sai lầm theo một cách nào đó và không sẵn sàng đi theo xu hướng mới. Sai lệch xuất bản hiệu ứng phân tích tổng hợp. Trong hầu hết các lĩnh vực, những lĩnh vực không bị chính trị hóa hoặc không được thực thi đồng thuận, cuối cùng đã đi đúng hướng, ngày càng có nhiều tác động thực tế hơn được tìm thấy, chúng ta thấy hiệu ứng suy giảm và khoa học tiếp tục phát triển.
Một cách khác mà các phân tích tổng hợp có thể bị sai lệch là:
Thiên vị trích dẫn
Việc trích dẫn hoặc không trích dẫn các kết quả nghiên cứu, tùy thuộc vào bản chất và hướng của kết quả. Các tác giả có xu hướng trích dẫn kết quả tích cực thay vì kết quả tiêu cực hoặc vô hiệu, và điều này đã được thiết lập trên nhiều chủ đề. Trích dẫn khác biệt có thể dẫn đến nhận thức trong cộng đồng rằng một can thiệp là hiệu quả khi nó không hiệu quả và nó có thể dẫn đến đại diện quá mức các kết quả tích cực trong các đánh giá có hệ thống nếu khó xác định được những kết quả không được trích dẫn.
Tổng hợp có chọn lọc các kết quả trong một phân tích tổng hợp là một dạng thiên vị trích dẫn đặc biệt ngấm ngầm có khả năng ảnh hưởng đến kiến thức. “ – Wiki
Đối với thiên vị trích dẫn và thiên vị xuất bản, hãy nghĩ đến ảnh hưởng của hai điều này đối với các đối tượng có nhận thức về cộng đồng phụ thuộc vào phân tích tổng hợp, như Báo cáo Đánh giá của IPCC hoặc các báo cáo của NOAA và NASA về mực nước biển, khí hậu hoặc các hiện tượng thời tiết khắc nghiệt – chỉ sử dụng những gì mà tác giả của các báo cáo đó coi là các nghiên cứu “được phê duyệt” và các nguồn “có thẩm quyền”. Một trong những bước đầu tiên của quá trình phản ứng tổng hợp là thu thập những giấy tờ cần xem xét và, tất cả đều quá thường xuyên, đã được phê duyệt và có thẩm quyền trong thực tế chỉ đơn giản có nghĩa là “đồng ý với chúng tôi”.
Sự thiên vị về phương pháp luận
Đây là một danh mục rộng các vấn đề nhưng là một trong những vấn đề có cách giải quyết đơn giản nhất. Trong giai đoạn đầu tiên của khoa học axit hóa đại dương, có rất nhiều sai lệch: sai lệch lớn nhất là tiên nghiệm cho rằng việc hạ thấp độ pH của nước biển là không tốt – điều đó chắc chắn dẫn đến những tác động bất lợi. Nhưng để chứng minh điều này, vì “nó quá rõ ràng”, các nhà nghiên cứu không chuyên về hóa học nước đại dương đã thực hiện các thí nghiệm “hạ thấp độ pH” bằng phương pháp dễ dàng nhất, phương pháp họ đã học ở trường trung học, họ chỉ thêm axit vào nước biển. Chris Cornwall và Catriona Hurd đã xuất bản một bài báo quan trọng đặt ra một số quyền vô nghĩa đó (xem đây và đây). Sau khi các phương pháp được sửa chữa, các thí nghiệm về viêm khớp bắt đầu ít thấy các tác dụng phụ hơn. Và bây giờ, trong lĩnh vực đó, với các bài báo về hiệu ứng hành vi của cá được cho là rất đáng nghi ngờ, lĩnh vực này đang bị vùi dập trong đám đông khủng hoảng khí hậu. Để bảo vệ các nhà nghiên cứu viêm khớp, các tiêu chuẩn đã được phát triển cho các phương pháp nghiên cứu viêm khớp thích hợp và được xuất bản bởi European Pđi lên OCean MỘTcidification (EPOCA) – nơi sản xuất tập sách “Hướng dẫn về các phương pháp hay nhất để nghiên cứu axit hóa đại dương và báo cáo dữ liệu”.
Trong các lĩnh vực khác, sự thiên lệch về phương pháp luận đang tràn lan. Trong lĩnh vực mực nước biển, vẫn còn nhiều bài báo chỉ đơn giản là dữ liệu trạm đo thủy triều trung bình (máy đo thủy triều mà mỗi máy đo mực nước biển tương đối tại một vị trí duy nhất) và sau đó dán các phép đo mực nước biển vệ tinh của mực nước biển eustatic đến chuỗi quan sát của máy đo thủy triều về mực nước biển tương đối tại địa phương (một sai lầm rất táo, cam và chuối trái cây salad) hoặc sự điên rồ phương pháp luận mới nhất của tái tạo mực nước biển hỗn hợp (mà phạm tất cả các lỗi trên cộng lại).
Đã và đang có nhiều giải pháp được đề xuất cho những gì đang được gọi là Phong trào Khoa học Tiết kiệm trong đó bao gồm chi tiết nghiêm túc nhân rộng những phát hiện quan trọng và đăng ký trước của các nghiên cứu (bao gồm giả thuyết, thu thập dữ liệu, phương pháp, phương pháp phân tích dữ liệu, mọi điều). Đăng ký trước cho phép đánh giá ngang hàng về nghiên cứu được đề xuất, trước khi nỗ lực và tiền bạc được chi cho một kế hoạch sơ sài.
Theo quan điểm của tôi, các lĩnh vực nghiên cứu cần tập hợp những bộ óc sáng suốt nhất của họ lại với nhau và bố trí các mục tiêu nghiên cứu thực sự để củng cố nền tảng của họ và chỉ ra chỗ hổng kiến thức của họ – thiết lập các mục tiêu để tái tạo và xác minh kiến thức nền tảng và lấp đầy các lỗ hổng kiến thức. Toàn bộ điểm của Khoa học Tiết kiệm là tách biệt điều tốt với điều xấu, sự thật khỏi những huyền thoại, những nguyên tắc cơ bản được khám phá từ những mốt khoa học hiện nay.
Nói cách khác, chúng ta cần đừng lừa dối xung quanh. Chúng tôi cần một số nhà nghiên cứu làm việc điên rồ nghiên cứu bầu trời xanh. Nhưng chúng tôi đang rất cần khoa học cải huấn nghiên cứu – khoa học được thực hiện để sửa chữa những sai sót khoa học của quá khứ. Có quá nhiều lĩnh vực như nghiên cứu viêm khớp, nghiên cứu mực nước biển, nghiên cứu rạn san hô đã đi lang thang trên những con đường nguy hiểm để Khoa học không ở đâutheo mốt Câu chuyện Just So các phiên bản của thực tế, meme được biến thành Facts ™, do chính họ tạo ra ex nihilo, để chuyển tiếp các chương trình nghị sự về chính trị và xã hội.
# # # # #
Bình luận của tác giả:
Hiệu ứng giảm không nhất thiết có nghĩa là ai đó đang gian lận. Nó chỉ có thể có nghĩa là những gì thoạt nhìn có vẻ quan trọng không phải là vấn đề lớn. Thật không may, một số nhà nghiên cứu trẻ tuổi đã thành công với Tìm kiếm lớn thường muốn cưỡi ngựa đó đến một vị trí, tài sản và danh vọng. Khi các nhà nghiên cứu tiếp theo không thể tái tạo và đặt câu hỏi về (các) Tìm kiếm Lớn ban đầu, rắc rối xảy ra. Những người cố gắng sửa chữa các hồ sơ khoa học bị phỉ báng vì “tấn công khoa học” mặc dù bản thân họ là nhà khoa học.
Khoa học không thể tự sửa chữa nếu những người cố gắng sửa chữa cần thiết bị tấn công vì làm như vậy.
Nếu đưa ra bất kỳ điều gì khác ngoài nhận xét chung chung, hãy gửi nhận xét của bạn tới một cá nhân cụ thể theo tên / người xử lý. Điều này làm cho các cuộc trò chuyện dễ theo dõi hơn nhiều. Đối với tôi, hãy bắt đầu với “Kip…”
Cảm ơn vì đã đọc.
# # # # #
Có liên quan
