2012年2月4日

視覺和聽覺的共同運作

最近看到很多篇視覺和聽覺共同運作的文章,還是都把它們寫在這篇吧。

先是天下雜誌2011教育特刊,一篇《鍛鍊會思考的Y世代國軍》的文章,中正預校少將校長李國榮說「兵永遠看你怎麼做,不聽你怎麼說」,這是在講軍事教育最重要的是身體力行。他常用一個小遊戲來解釋身教的重要性。

每一次,他用拇指與中指捲成一個圈,交代大家放到額頭上;但他自己,卻把手圈放到鼻頭。結果,大家都不自覺地跟隨他,把手放到鼻頭上。
上課的時候常常有這個經驗,上課說的事,學生好像都沒聽見似的,一定要寫在黑板上才行。


另外一篇,是今早讀的,曾志朗在科學人2012年2月份的《聽不清楚?戴上眼鏡吧!
他讓一群近視眼的學生聽他念一段課文,但學生得一會兒戴上眼鏡,另外一會兒又脫下眼鏡,就這樣來來回回數次。結果學生發現沒戴眼鏡時,課文聽不清楚,而眼鏡一戴上,卻又清清楚楚。

原來這和動用的認知資源有關係,要聽懂課文得動用較多的認知資源,可是脫下眼鏡時,眼前模糊看不清楚,就得動用更多資源去看清楚外面事物,這樣一來,視覺搶走了聽覺的資源,看不清楚時,自然也就聽不清楚。

文章中還有談到,兩個不同感官在各自運作的時候,不盡然都處於資源競爭的狀況,有時也可以整合達到相輔相成的效果。

他提到加州理工學院的一篇研究,是讓受試者在螢幕前做視覺偵測。螢幕會出現兩次滿佈光點的畫面,其中一個畫面的少數光點會朝著同一個方向移動,受試者要指出哪一次的畫面含有同方向移動的光點。研究者發現,如果做這事的當下,有不相干的聲音從一邊流動到另外一邊,會使受試者偵測的能力更好,而且聲音移動的方向,若是和光點移動的方向一致時,增強的效果更是明顯。

為了找這篇研究的原始出處,我花了一早上的時間,文章的關鍵字太少,只能用加州理工學院(caltech)、視覺偵測...去找,最後的結果是找不到。不過也意外看到他們學校生物系裡幾個做和認知相關的實驗室的網站。也許該研究就出自這實驗室吧?


Shimojo Psychophysics Laboratory
http://neuro.caltech.edu/page/

Koch Laboratory
http://www.klab.caltech.edu/



這研究,其實讓我聯想到很多狀況,我有個學生看書時一定要聽音樂,他說聽了音樂更能專心。有另外一個學生也想學他那樣,看書聽個音樂,結果他完全看不下書。這也許和習慣有關係,也可能和聽的音樂類型有關。到底是如何呢?

另外一個想法,就是做不同的工作時,聽不同的音樂會不會有加成或減弱的影響呢?例如寫書法時畫國畫時,就聽個國樂,是不是會表現得比較好呢?打電動時,如果沒有配樂,表現是不是會比較好呢?

另外一個和視覺聽覺有關係的經典實驗是麥格克效應(McGurk Effect),這實驗是在《大腦當家》裡看到的。

洪蘭教授在這書的導讀裡,寫了
一九八一年,我在哈斯金實驗室(Haskins Laboratories)時,做過一個實驗:給受試者左耳聽一個刺激,右耳聽一個刺激,它們可以在大腦中彙整成一個完整的語音出來。跨感官的整合就更奇妙了,最好的例子是麥格克效應(McGurk Effect):在課堂上叫一個高的學生站前面,矮的站後面,同步發音,高的作/ba/音的嘴型,矮的發/ga/的聲音,結果全班都聽到/da/的聲音;如果叫學生閉上眼睛,他們都聽到/ga/的聲音。這個實驗屢試不爽,只要開關眼睛就會使你聽到不同的聲音。這原因是當大腦的視覺和聽覺管道同時接受到兩種相矛盾的訊息時,它不知道應該相信誰的,因此就把兩者綜合一下,學生就聽到/da/了。人家說政治是妥協,其來有自,早在大腦中就如此了。

這裡有段影片,就是大腦當家的作者提供的。



而這本書裡提到的其他有趣實驗,都可以在他的網站上看到
http://www.brainrules.net/


另外,Wikipedia上的這個資料,也值得看看
http://en.wikipedia.org/wiki/Multimodal_integration