包牌式的學術研究

最近我要開始作實驗了。把問卷設計完之後，我心裡頭很自然地浮現了一個想法：「要不要再多測一些東西，比較保險？」 為什麼多測一些東西會比較保險？是在保什麼險？

當心理學家想知道A和B之間是否有關聯時，照理說問卷上只需要測A和B；但大部份人不會這樣作。因為只放A, B太危險了，萬一發現A, B之間沒關聯怎麼辦？沒有發現關聯的論文是不能發表的（也因此拿不到錢、換取不到名聲）。於是一個普遍的想法就是：「多測一些東西，比較保險！」

此時有很多作法。例如採用各種不同的方式測量A, B，於是我們施測了A1, A2, A3、B1, B2, B3；這樣就有九種AXB的組合，只要發現任何一種AB組合有關聯，寫論文時就宣稱A, B有關聯。 那剩下8種組合發現AB沒關聯怎麼解釋？不用解釋，藏起來就好了。例如，如果發現A1B1有關聯，論文中就言之鑿鑿地宣稱自己只測量了A1B1，沒有多作什麼手腳。

這有點像買樂透時的包牌，沒事包個幾萬塊的牌，中獎機率可以提昇非常多；不過包牌而中獎的人們會誠實地說他包了牌，而學者們在中獎後常常一臉無辜地說：我沒有包牌，我只買一張彩券就中了。 這種作法讓我們的知識變得非常不可靠。以上面的例子來說，如果我們作了九種AB組合中，發現只有一組有關聯，有8組沒有關聯；此時我們大概不會認為A, B之間很強的關係；但是如果論文宣稱只測了一組就發現了A, B的關聯，我們會誤以為A, B具有很高的關聯。

我一直自認為自己具有很好的科學素養，更在意研究結果是否呈現事實，而非能否發表。但是當我今天心中浮現：「要不要再多測一些東西，比較保險一點？」的想法時，我啞然失笑，這學術社會化的黑暗影響力實在比我想像中的厲害許多。

ps. 現狀其實比我描述的更糟。例如，我們可以像上面說的施測9組AB組合，然後「重覆作5次」，於是就有9*5=45組AB組合。最後挑出其中有效果的5組，隱藏剩下的40組；然後宣稱我只作了5組，而且每次都發現AB具有關聯。於是在論文中會如此下結論：「......連續5個實驗結果都發現AB具有顯著的關係，此一效果非常穩定......。」