Mturk式的實驗

最近讀期刊，發現愈來愈多學者開始使用Mturk來作實驗；Mturk是一種線上付費的平台，只要把實驗材料po上平台，用很低的成本，例如付給一個人0.5美元，就可以在短期內蒐集大量的實驗資料。

我不太確定用Mturk作調查研究有沒有問題，但用Mturk作「實驗」讓我覺得很怪異；過去老師們告誡我們實驗必須在控制嚴謹的環境下執行、以及現在我自己在課堂上教導學生內在效度有多重要，這些諄諄教悔突然都變得很諷剌；就像學校教我們不要闖紅燈，走在馬路上卻發現大家都在闖紅燈，而且新聞還大力誇讚闖紅燈的人真帶種！

我不能理解我的同行們怎能接受這類實驗刊登在指標期刊上？又如何能說服自己去相信這類實驗的結果？「實驗怎麼做出來的不重要，只要最後顯著就好。」或許以後我們應該這樣教學生。Mturk的便利，以及不管嚴不嚴謹，有資料就好的特性，對社會科學有強大的破壞性。

心理學一直是這樣。當我看到JPSP上刊登了大量的Mturk式的實驗時，就覺得這是一個沒有希望的科學。要求重視重覆驗證、要求公開資料、要求這個、要求那個，作這些枝枝葉葉的修剪都救不了這個學科，因為腐壞的地方是在根。就像在黑商橫行的世道，你對那些東西能吃、那些東西不能吃，總是感到無所適從；在這個時代，要如何判斷那些研究結果是可信的也不容易。

除了內在效度問題外，用Mturk作實驗還有另一種強大的破壞性。它讓研究者輕易地蒐到大量的樣本，然後可以從中刪除掉「不盡人意」的樣本，寫出完美的論文；你可以蒐集300個人，然後選擇性地報告其中100個人。這種操作模式，在傳統實驗的操作下是不容易作到的，因為傳統的實驗操作成本很高，每個樣本都得來不易，更遑論要蒐集數百人的實驗資料；現在就算蒐個500筆資料只呈現其中50筆的代價也很低。學者們應該沒這麼惡劣吧？嗯...應該是吧；對了，最近選舉到了，我想我們也應該相信政治家，他們是無私的，一切都是出自真心為了老百姓著想。