2019年11月29日 星期五

學術是怎麼過勞而死的

今天我的一個學生的研究「台灣民眾可接受的諮商價格及其影響因素」被《中華心理衛生期刊》直接退稿。理由之一是主編或編輯們覺得這個主題不是這期刊所關注的。因此連送審查都不願意。

學術和人類多數互動一樣,是由權力去運作的。當權者覺得重要的、有價值的東西,才會被學術雜誌刊登。而對於什麼才重要這件事,我和學術的當權者們一直有很大的歧異。至於是他們正確,或是我才是對的,一百年後自然會揭曉;只可惜我們都看不到。

想到這件事時,我不自覺總會想到近期沸沸揚揚,明星高以翔因為拍戲過勞,卻不斷忍耐,最後身體承受不住而死的新聞。以前年輕時面對這些投稿問題,我總告訴自己:「再撐一下就好」、「再忍耐一下論文就可以被接受刊登了」,而且我因此取得了很不錯的成就。但是現在想來,這些成就的代價太大。因為就在這不斷地再撐一下的過程中,我那顆飛揚的學術的心,死去了。

「你就是沒拿到好處,所以在抱怨!」
我已經是教授了,沒有升等壓力,也對和其他人競逐名聲資源並不感興趣,多一篇少一篇論文對我來說沒有多少差別。當初之所以將這篇論文投稿,是因為我認為這論文中的訊息應該是諮商界會想知道的,它很值得和諮商界的人分享;而結果大出我意料,至少當權者們覺得這件事並不重要。

你知道人們願意為了諮商付出每小時多少錢嗎?有或沒有心理師證照有多少差別呢?而對於一般的求助問題和嚴重如自殺的求助問題,人們的願付價格會不會不一樣?在學術期刊上,你找不到這些問題的答案,你只會看到許多抽象建構寫得洋洋灑灑的研究,和許多使用華麗如結構方程式、路徑分析的研究。

對於什麼才重要這件事,我和學術的當權者們一直有很大的歧異。至於是他們正確,或是我才是對的,一百年後自然會揭曉。

2019年11月20日 星期三

我們間接殺了人

如果有一天,人們說佛陀根本就不是什麼先知,只是個招搖撞騙的流浪漢,而佛教徒覺得無所謂,那是個什麼樣的世界?

最近《科學》 (Science) 刊登了一篇研究,它重作了100個刊登在心理學頂尖期刊的研究,想看看能不能複製出同樣的結果;結果大約50%~64%的研究無法被成功複製。這背後的意涵是什麼呢?如果極端一點來說,這意思是說,那些所謂最好的心理學研究,可能有超過一半、甚至近2/3是不真實的。未來我們作研究時,不必發問卷、不用作實驗,也不需要什麼複雜的統計,直接丟硬幣就可以了。正面就下結論支持假設、反面下結論不支持假設,這樣可能會猜對50%,比現在的36%~50%來得更好。

說好的啤酒呢?

或是我換另一方式來說明這件事,這件事很像在測酒駕。一般心理學家都宣稱,他們的研究成果犯錯的可能性只有5%,但《科學》的這篇調查告訴我們,雖然學者們口口聲聲說他們犯錯的機率只有5%,實際上錯誤率卻高達50%~64%。這就像酒測時,有人宣稱他只喝了酒精含量五趴的啤酒,但一測酒精濃度,你發現他喝的應該是六十四趴的高梁 。到底啤酒是怎麼變成高梁的?5%是怎麼變成64%的?這背後究竟是命運的安排、情感的糾葛、還是藏著什麼不可告人的祕密?在下結論前,請讓我再補充一件事,事實上那100個研究中,應該有許多宣稱他們犯錯的機率不只小於5%,是小於0.1% (沒錯,是百分之零點一;p < .001),因此這並不是一個從5% 變成64%的故事,而是一個從0.1% 變成64%的故事,不是啤酒變高梁的故事,是可口可樂變成高梁的故事,是酒精濃度爆增六百四十倍的故事。

我們正被寫入歷史


更重要的是,我們在談的不是一個學者或一篇論文,而是一百篇論文看到的現象。如果《科學》的這篇調查暗示我們可能有人作了壞事,那麼不是一個人作了壞事,而是多數的人都在作壞事。就科學來說,這可能是有史以來最不可思議的一個共犯結構。我想了好久,腦海中都想不出人類歷史上曾經有哪個時期、哪個領域的科學家們,大家一起把操弄資料當作正常的科學活動,大家集體把操弄的結果視為真理,公諸於領域中最高的聖堂。我們這一代的行為科學家將來一定會在科學史上被大大地記下一筆,成為科學發展史中的奇觀。

馬照跑、舞照跳

50%~64%無法被重製,而且這些研究都是我們寫論文時大量引用的研究,是我們在授課時指定學生閱讀的重要教材;更慘的,是很多學者窮其一生追求的目標。儘管對心理學家們來說,《科學》的這個調查,所揭示的應該是一件極其荒謬可怕的事,但這件事並沒有真的引起什麼騷動,對心理學家們來說,這只是一個茶餘飯後的話題。仔細想想,就會發現這個震撼彈一點都不震撼,這對一門科學來說是非常奇怪的現象;就像有人說聖經上寫的東西都是假的,而基督徒覺得無所謂;或是像突如其來了七、八級的大地震,櫥櫃上的東西都砸下來了,地板也裂開了,但大家無動於衷,繼續喝茶聊天。

就心理學來說,頂尖期刊的研究有超過一半,甚至近2/3可能是假的,這件事很嚴重,但這並不是最嚴重的。最嚴重的問題是大家無所謂,「馬照跑、舞照跳。」那些被點名的頂尖期刊,像 JPSP、Psychological Science,會因此怎麼樣嗎?不會,未來我們仍然會繼續要求學生讀這些期刊論文,我們自己在寫論文時仍會大量引用它們 (最厲害的是,我們引用了一堆有問題的研究後,還能推導出假設,而且最後還能證明假設成立);幾年後 JPSP、Psychological Science 還是所謂的頂尖期刊,大家仍然會拼了命想把高梁酒裝在可樂瓶裡端上去。如果你和我一樣是在學術圈打滾的人,一定能理解我的這個預測不會太離譜;而如果你不是在這圈子打滾的人,可能會覺得我在胡說八道,怎麼可能會這樣?但,真的就是會這樣。

那又怎麼樣?

當我看到新聞中宗教衝突不斷、恐怖攻擊頻傳,乃至於一些殘酷冷血的社會事件時,我常想,為什麼發展了一百多年的行為科學,在耗費了成千上億的資源後,對這些事情似乎完全無能為力?那可是成千上億的錢、一百多年的時間、無數的聰明人才啊。如果長久以來,我們不為了個人私慾而對研究虛構造假,安安份份地從事科學研究,踏踏實實地累積知識,會不會今天我們已經有部份的成就可以去對抗這世間的殘酷了?然後,幾天前我看到敘利亞的難民,小男童伏屍沙灘的畫面。如果我們這些共犯有罪,或許我們的最大的罪不是浪費了人類的資源,而是,我們間接殺了人。

後記:

摘述我 2012年,在《本土心理學研究》上寫的一段文字,你可以說我在兩三年前預見了今天,或許你會因此相信我說的:我們這一代的行為科學家將來一定會在科學史上被大大地記下一筆,成為科學發展史中的奇觀。

「...相較於多數學者,筆者對現存心理學文獻非常不信任;這種不信任究竟是筆者過度悲觀,又或者是其他學者過度樂觀?只要從諸如JPSP等主流期刊中隨機選出幾篇研究,進行重覆驗證,就可以知道答案...一百年後的心理學家會如何看待這個時代的心理學研究?他們會對目前文獻所呈現的完美研究成果感到讚嘆信服,又或者會心生困惑,甚至覺得荒謬?這個問題的答案,無需等到一百年後才回答,只要現在開始重覆驗證,答案呼之欲出。」【摘自:顏志龍 (2012)。百年後的心理學家將如何看待現在的心理學研究?本土心理學研究, 38, 189-200。】

問卷分析概念介紹


 #本文是《傻瓜也會跑統計》第二篇的部份內容初稿,該章節是介紹各種和問卷分析有關的統計方法,但仍在寫作中,目前這篇文章只有對問卷分析的概念作介紹,並不包含實際的統計操作說明。#

 單元45 問卷分析常用的統計(初稿) 

      「問卷分析該用什麼統計?」、「信度分析該用什麼統計?」、「效度分析該用什麼統計?」學生常常有這些疑問,但是其實這些問題本身就有問題;這就像有人問你「吃東西該用什麼餐具?」你會覺得這問題有些奇怪,因為世上並沒有一種餐具適用於吃所有東西。吃飯要用筷子、吃豆花要用湯匙、吃牛排要用刀叉、吃蝦子最好是男友或女友幫你剝好殼送到嘴邊—要明確地知道要吃什麼食物,才能知道該用什麼餐具。同樣地,「問卷分析該用什麼統計?」這類問題也很奇怪,我們必須明確地知道要作問卷分析的哪一部份,才能知道該使用什麼統計方法。簡單來說,問卷分析、信度分析、效度分析都只是一個大概念,它們下面有一些細項,這些細項才決定了應該使用哪一種統計方法。本單元簡要地介紹問卷分析的概念,然後說明在執行這些分析時常用的統計方法,並且也會指引你在《傻瓜也會跑統計》系列作的何處可以找到統計操作的指南。我們要讓你覺得買了《傻瓜也會跑統計》系列作真是物超所值,這兩位作者根本就是你生命中的天使。 

單元45-1  和問卷有關的三種分析

      「我想要作一道乾式熟成牛排!」當有人這樣說時,你可能會問他,你知道要作出乾式熟成牛排包含哪些步驟嗎?學藝多年的師傅可以立刻告訴你它包含三道工法:風乾、煙燻、熟成。高手和一般人的差別在於他們看得到事情的全貌,不會迷失在紛雜的細節中。因此要理解問卷分析,你必須能看到問卷分析的全貌—而且不用學藝多年;既然你花錢買了這本書,我們現在就告訴你(如果你的書是借來的,請立刻闔上書本,還給人家,現在去買一本):和問卷有關的統計分析,大致上由三道工法組成:(一)項目分析(item analysis)、(二)信度(reliability)分析、(三)效度(validity)分析。理解這三道工法,你才能完整地理解問卷分析的統計,也才能知道自己需要什麼。關於這三道工法我們說明如下。 

(一)項目分析(關於項目分析的統計方法,請參考單元45-2 
1.     什麼是項目分析? 
                坦白說,「項目」(item)這個詞翻譯得不太好,項目其實就是「題目」的意思;因此項目分析就是「題目分析」,故名思義就是對每個題目作分析,看看題目的測量品質如何,然後決定某個題目是否要保留、修改、或是刪去。這邊有一個很重要的觀念,項目分析是針對「單一題目」去作分析,而信度分析和效度分析,則是針對問卷的某個「量表」(通常由多個題目組成)去作分析。 
2.     何時會作項目分析? 
        (1)  當你的研究目的是要發展量表時,你得挑出好的題目,淘汰或修改不好的題目,此時就會使用項目分析決定某個題目是否保留、修改,或是刪除。 (2)  有時雖然你論文的目的並不是要發展量表,但是你對論文中所使用的工具不是那麼有信心(例如使用你自己編的題目,或是使用別人的題目但是擔心這些題目不適用於你的樣本),此時也可以作項目分析,來檢查每個題目的品質如何,考慮後續分析是否要保留或刪除某些題目。《傻瓜也會跑統計前篇》的附錄:「跑統計之前你該作的事」,其中的第四步驟,就是在指引你作這件事。這部份就看你自己覺得有無必要,或是指導教授是否要求了。 

(二)信度(關於信度分析的統計方法,請參考單元45-3 
1.什麼是信度? 
           「信度」指的是整體觀察分數變異當中真分數變異所佔的比例。古典測驗理論假設觀察分數是由真分數和誤差組成,也就是X=T+E…….算了,如果我們也用這樣的方式說明,就違背了本書「需要統計之矜寡孤獨廢疾者,皆有所養」的統計大同目的了。你可以很簡單地將信度理解為「某個測量不包含誤差的程度」,信度愈高表示測量誤差愈少。例如,如果你分析後得到信度值為 .9,會比信度 .8好,這表示前者的測量誤差比較少。但是信度這個概念常常和效度有所混淆。如果耐心讀完接下來的效度,你就可以對兩個概念有所理解與區辨。 
2.何時會作信度分析: 
        信度分析算是社會科學論文中的基本款,只要你的論文使用問卷作為測量工具,在絕大部份的情況下都得報告信度。 

(三)效度(關於效度分析的統計方法,請參考單元45-4 
1.什麼是效度 
              效度指的是「測量是否測到我們想測的構念」。例如你想測「領導潛能」,於是用了一些題目來測量這個構念,那麼這些題目真的有測到「領導潛能」嗎?這就是效度。當問卷題目測到我們想測的構念的程度愈高時,表示它的效度愈高。 
2.何時會作效度分析: 
        相較於信度分析是社會科學論文中的基本款,效度分析算是進階款。由於效度分析通常涉及比較複雜的研究設計,不是隨隨便便就能作出來的,所以很多論文並不會特別去作效度分析,這不只是學位論文如此,很多刊登在專業期刊上的正式學術論文也是如此。但是:(1)如果你的論文本身就是作量表發展,那麼通常得進行效度分析,因為這是量表發展中很重要的一部份。(2)或是,雖然你的論文不是作量表發展,但指導教授要求你要呈現效度證據,那你也只能硬著頭皮作了。 
3.信度和效度有什麼不同?
        信度和效度是兩個不同的概念,但常常被混淆。前面提到信度指的是「某個測量不包含誤差的程度」,這時候的「誤差」指的是「就這個測量本身而言是否有誤差,不管這個測量是在測什麼」。舉例來說,如果我們有一個題目「你是男生或女生」,用來測量一個人的「領導潛能」。「你是男生或女生」這個題目的測量結果幾乎不會有誤差,這次答男生的人,下次再作答還是會答男生,這次答女生的人,下次也仍會答女生;因此「就這個題目而言」,它的測量很穩定,信度幾乎是1。但是「你是男生或女生」並不是測量「領導潛能」的好題目,因此這題目用來測量「領導潛能」的效度並不好。在這個例子中,我們有一個信度很好,但效度不好的題目。就信度來說,這題目的測量誤差很小,但就效度來說,它並沒有測量到我們所想要測的構念。

              理解問卷分析的三道工法—「項目分析」、「信度分析」、「效度分析」後,以下我們分別說明這三個程序中常用的一些統計方法,以及你在《傻瓜也會跑統計》系列作的哪些地方可以找到操作指南.....(努力趕工中)