感覺聯盟
"人類感覺功能彼此合作的程度，遠超出我們所知：我們的聽覺十分依賴我們所見與所感。 "
撰文／羅森布魯姆（Lawrence D. Rosenblum）
翻譯／謝伯讓
|
重點提要
|
1970年代末，美國聯邦調查局雇用了托馬斯（Sue Thomas）及其他八位失聰人士分析指紋。該組織認為，失聰人士可能比較能夠負責在這種精細的工作上。從第一天開始，托馬斯就覺得這個工作窮極無聊，她不斷向上司抱怨，當她和其他同事一起被老闆召見時，她已經做好離職的準備。
不過她並沒有被開除，實際上她升遷了。其他同事讓她觀看一部有兩名嫌疑犯在對話的無聲影片，要求她解讀對話內容。
托馬斯的同事在與她互動的過程中，發現她可以快速精準地讀唇語。正如他們所料，托馬斯輕易解讀了嫌犯的對話，並發現他們與一個非法賭博集團有關。從此她成為聯邦調查局第一位失聰唇語專家。
托馬斯的技能來自長年依賴讀唇語的溝通習慣，我們其實也仰賴類似技巧。事實上，當看不到說話者的口唇時，我們理解語言的能力會下降，特別是在吵雜的環境中，或是說話者有濃重外地口音時。除了用耳朵外，學習用眼睛來感知語言也是典型語言發展的重要部份。因此，無法看見周遭說話者嘴形的眼盲嬰兒，通常會花較久的時間才能學會語言的某些面向。我們很自然會把所見到的唇形和聽見的字整合在一起。近來關於多感覺語言感知的研究已帶來革命性的成果，幫助我們理解大腦如何整合來自不同感覺的資訊。
神經科學家和心理學家已揚棄早期把大腦類比為瑞士刀的想法（各個特定的腦區只負責特定的感覺）。現在認為大腦在演化過程中趨向大量跨感覺的聯結。換言之，大腦中各個感覺區域彼此是互相連接的。
我們的感覺總是彼此窺視、相互幫忙。例如視覺皮質雖然主要在處理視覺，但也有解讀其他感覺訊息的能力。正常人在矇住眼睛90分鐘後，視覺皮質就會幫忙使得觸覺更加敏感。同樣的，腦部造影實驗也顯示盲人的視覺皮質會重組為聽覺所用。當我們吃洋芋片時，酥脆的咀嚼聲會決定我們對洋芋片的口味評價，而研究人員可透過操弄你聽到的聲音來改變你的評價。我們看的角度、站的位置，以及看到的東西，也都會影響我們的身體姿勢。簡言之，過去15年的腦科學研究顯示：感覺並非單獨運作。多感覺的革命性發現在現實生活與科技應用層次上也有貢獻：研究上的發現促進了新的助聽與輔助裝置發展，例如植入式人工電子耳。
無聲的音節
一項最早為人所知的多感覺感知實徵是由麥格克（Harry McGurk）和麥當勞（John McDonald）在1976年所發現的麥格克效應（McGurk Effect）。當你觀看某人「ga」的無聲嘴形並同時聽到「ba」的語音時，你會聽到「da」。來自視覺的無聲「ga」音節會改變你對「ba」的聽覺，因為大腦會把聽到和見到的資訊整合在一起。25年來的研究發現，不論人們說的是哪種語言，都可體驗到麥格克效應。
觸覺也會影響聽到的話。1991年美國達特茅斯學院的法洛爾（Carol Fowler）及同事要受試者嘗試一種叫做「塔讀碼」的技巧：透過手指觸摸說話者的嘴唇、臉頰和脖子來辨讀話語內容。在植入式人工電子耳發明前，很多聾盲人士（包括海倫凱勒）都是仰賴這個技巧。結果發現，受試者感觸到的音節會改變他們聽到的音節。
1997年，時任英國牛津大學的凱維特（Gemma Calvert）檢視辨讀唇語時活化的腦區，結果發現：之前沒有任何讀唇語經驗的受試者在辨讀無聲朗讀者讀一到九數字的臉部動作時，聽覺皮質有反應。這是第一個顯示跨知覺反應可以出現在原本以為是特化處理單一感覺腦區的研究。之後新的研究發現更進一步的知覺整合證據，例如，科學家現在知道，聽覺腦區也會處理眼睛所見到的語言訊息。以前他們認為此區域只會處理較基礎的聲音。神經造影研究也顯示：麥格克效應發生時（把「ba」聽成「da」時），腦部的反應宛如外在刺激真的是「da」一樣。
這些發現顯示，大腦會同時權衡來自眼、耳，甚至是皮膚的資訊，彙整來自各個感覺模組不同型式的訊息。
全都寫在臉上
還有一些例子也顯示不同感覺可以互相支援、處理相同型式的資訊。例如人說話的特殊方式會透露出本性，無論是被聽見或看見都一樣。筆者和同事拍攝人們說話的方式，透過後製移除所有可辨識的臉部訊息（把臉孔的臉頰和口唇活動轉變成螢火蟲般的移動閃爍光點）。當播放這些移動光點給受試者看時，受試者仍可辨讀這些沒有臉的光點並認出他們的朋友。
由語音轉變而來的簡單聲音，也可以用來辨識說話者的身分。美國哥倫比亞大學的雷梅茲（Robert Remez）及同事把錄得的正常語音化約成正弦波，聽起來就像是電影「星際大戰」中機器人R2-D2發出的聲音。儘管其中欠缺語音的典型特徵，例如音頻和音色，這些正弦波仍保有能讓人辨識出說話者身分的語言風格資訊。最讓人驚訝的是：受試者可以把來自同一個人的正弦波和沒有臉的光點影像正確配對。
簡化的聲音和視覺影像都保有說話風格的資訊，這個現象告訴我們：這些獨特的知覺模組在腦中其實互有關聯。神經造影研究也支持這種連結的觀點：聆聽熟人的聲音會讓大腦中的梭狀迴（與人臉辨識有關的腦區）產生反應。
這些發現引發另一個更詭異的假說預測：如果這些不同的知覺混合在一起，那學習讀唇語應該可以同時改善以聽覺辨讀同一唇語說話者的能力。筆者要求沒有讀唇語經驗的受試者觀看某人無聲的說話影像一個小時，然後他們要透過聽覺去辨讀一些有背景雜音的句子，其中一半受試者聽到的句子是先前讀唇語對象所說的，結果發現前者較能辨識出雜音中的語句......
