研究方法:排除作假的誤差 艾俠

  我以前提過我在考慮一種新的科學研究方法,現在我要寫清楚這個想法。此構想是為了解決一種問題:無論研究者再怎麼排除誤差,只要社群不信任研究者,資料本身的信度就會失去意義。我認為針對排除研究者作假的可能性來設計一種新的研究方法,能夠減少此問題對某些研究的影響。


fake science experiments by Craig Lupien (Boston)

  一直以來,科學社群都有迴避這種問題的方式,其中最重要的一種就是看研究是否能被學術主流接受;一定程度地違背現有的理論模型、或者太多人作過卻未曾成功的研究(例如冷融合),就漸漸不會被社群認真看待。這種規則現在也已固定在學術期刊的同儕審查制度中。本來,這在保持我們的學術品質上確實是相當有效的,然而我認為它有一些潛在的缺點,會在特定的情況中表現出負面影響:

  1. 任何不被學術主流認同的研究方向,即使研究者是誠實的,也注定了要面對忽視與非必要的質疑,使該領域中建立理論的效率變差。
  2. 這種差別待遇把整個作假的高風險群丟掉而迴避了前述問題,除此之外並不提供辨識真假的功能。因此當研究牽涉到實際利益(科學家收受利益團體贊助)或者公眾議題(拿研究成果來說服非科學社群的人),研究者不再被社群相信有極高的誠信時,研究成果仍會失去說服力。

  科學社群對作假問題的迴避造成一種很有趣的現象,就是科學家再怎麼懷疑某個研究的資料像是做過的,檯面上會做的動作通常就只是挑其他方面(如統計方法)的毛病。本來,檢查實驗的再現性是一種十分客觀有效的標準,然而人們不會真的去重複所有他們懷疑的實驗。一下子就訴諸再現性是太理想化的,更別提當再現者本身也受懷疑時到底要重複多少次才能達到我們需要的可信度。

實現方法

  還不知道。

  我目前有一些很原始的想法,主要是要讓實驗或整個研究基於社群來確立;過程本身必須透明公開。總之保持要處理的核心部分是在受公證的情況下進行。此概念有個極端的實現方式:在所有你要說服的族群中找出幾個有公信力的代表性人物來共同研究,並且將過程錄影公開。這個方法能達到我所構想的目標,但它門檻太高,十分難以被實施。不過我們可以以它為基礎,來設想更有效、消耗資源更少的方法。

  再進一步,如果新方法所消耗的資源能壓低到只略多於原有方法的程度,那麼學術界就可以開始認為它是在作那些可疑的研究時應採用的方法。因為如果以一般標準來研究這些題目,我們會無法不考慮研究者的誠信問題。這樣一來,研究冷融合、超能力、或者收受廠商贊助研究基因改良作物危害性的研究者,就必須依循這樣的新方法;如果他們不採取這種方法,就能夠認為他們沒有合理地選擇有效的方法。這就像雙盲實驗興起之後,以人為研究對象的實驗漸漸都必須實施雙盲,來排除一些舊有方法無法排除的誤差。

  這樣的方法可能可以分成好幾種。或許能有針對實驗的以及針對整個研究計畫的;能有對象是科學社群的以及對象是公眾的。

結語

  我認為我們的確有對這種新方法的需求,而且它似乎沒有什麼理由不可能被設計出來。我目前還沒有辦法構築出比較具體的形式,所以在這裡寫下想法,希望能有人繼續發展;如果沒有,那麼或許我在其他領域忙完之後,會回來考慮這件事情。


  Scistarter 和這個構想有點距離(就科學研究來說它還不夠嚴謹),但其架構或許能作為我們參考的對象。另參考 PanSci 的報導

  單就同儕審查來說,曾有其他人提出過類似的問題。根據 Peer review in medical journalsEugene D. Rubin 和 Conor M. Burke 指出了醫學界的同儕審查有幾種風險(他們的立場和本文不太相同,不過其中的第一項就是這裡考慮的問題之一):

  1. 排除了和正統理論衝突的想法或研究成果,因而阻礙醫藥技術的發展。
  2. 正統理論所包含的錯誤觀念或作法會一直延續下去。
  3. 幫錯誤的或偽造的研究提供認證。
  4. 擱置對病人有益的資訊,造成病情惡化。

  最後要說明這篇文章的題目為什麼使用「排除作假的誤差」。對研究者來說,作假的意義顯然和誤差不同;然而對於研究的讀者,研究者作假的可能性和資料收集過程發生錯誤的可能性,同樣導致研究的不可信。在這層意義上,它們對讀者來說同樣都是誤差。

2013 年 3 月 20 日 4:07
LOADING...