106,42 卷 3 期,93-118 頁 DOI: 10.6172/BSE.201711_42(3).0004
邱倚璿
輔仁大學心理系副教授
失聰手語使用者短期記憶能力較弱原因,可能是手語視覺空間形式不擅於時 間次序的記憶運作所致。本研究欲探討短期記憶,失聰手語者與聽力正常非手語 者於時間次序運作的異同,以及時間次序與空間位置對其短期記憶的影響。實驗 一比較失聰手語者與聽常非手語者於三種不同時間空間一致性下,兩種刺激(數 字、中文雙字詞)之項目再認表現。時間空間一致性包含時間空間一致(刺激依 序由左至右呈現)、時間空間不一致(數字刺激隨機出現)與僅有時間次序(刺 激依序呈現於螢幕中央)等,此效果可反映出內在時間次序與空間位置之整合運 作狀況;實驗二探討不同時間空間一致性下,數字刺激的項目與位置再認表現;
實驗三中,運用兩種隨機出現作業(25% 項目及位置再認,75% 項目再認),探 討在偶發性的位置判斷作業時,時間空間一致性之影響。本研究結果為:實驗一 發現兩族群都出現序列位置效果,於時間空間一致情境優於僅有時間次序;實驗 二發現兩族群僅在正確率中有一致性優勢;實驗三發現失聰手語者於項目與位置 再認表現明顯劣於聽常非手語者,但於項目再認中相對差異較小。除了時間次序 外,同時提供有規律的空間位置可以協助短期記憶表現;時間次序與空間位置整 合是於作業要求下發生,符合時間次序與空間位置兩者平行但可彙整的論點。失 聰手語者與聽常非手語者有相似的內隱時間次序運作,但被要求回憶位置時,失 聰手語者整合時間次序與空間位置運作,會需要耗費較多的認知資源。
關鍵詞:手語、失聰/聾人/聽障、空間位置、時間次序、短期記憶
時間次序與空間位置訊息於記憶運作 中的運用:以失聰手語使用者為例
*本文作者通訊方式([email protected])
** 致謝:感謝曾經協助此研究的同學們(吳銘達、林可璇、齊棊、邱建忠、王 靜誼、周恩存、趙心瑜),多謝各位在執行自己的論文的同時,也能抽空協 助此研究之進行。更感謝參與研究的臺灣失聰手語朋友,透過您的參與,
我們將能夠對於臺灣手語與聾人有更清楚的認識。本研究計畫是由科技部
(MOST 102-2410-H-030-084)補助。
緒論
短期記憶可暫時地維持與儲存訊息,以 利後續的處理運作。然而,由於短期記憶的 容量(capacity)是有限的,短期記憶的廣度 往往是作為短期記憶資源的一個指標。過去,
在失聰手語使用者(本文後續將簡稱為失聰 手語者)的短期記憶廣度研究中,時常發現 失聰手語者的數字記憶廣度較聽力正常非手 語使用者(簡稱為聽常非手語者)來得少,
其可能原因包含不同語言形式於記憶維持或 消退速度的差異(Baddeley & Hitch, 1974)、
不 同 語 言 更 新 複 誦 的 速 率 差 異(Klima &
Bellugi, 1979; Tzeng, 2002)、不同語言中項 目之間相似性高低的差異,以及不同語言形 式對於時間次序編碼的差異(Boutla, Supalla, Newport, & Bavelier, 2004) 等, 尤 其 是 比 較 聽覺與視覺的編碼特性時,聽覺訊息於時序 上 的 編 碼(temporal coding)有相對的優勢
(Lechelt, 1975),而視覺訊息則是較容易 使 用 到 空 間 編 碼(spatial coding)(Kubovy, 1988)。根據這些假設不禁令人思考:在短 期記憶測量中,除了時間次序訊息之外,若 提供空間位置訊息,是否也會影響聽常非手 語者與失聰手語者的記憶表現呢?
本研究欲探討失聰手語者於短期記憶中 時間次序表徵之運作特性,研究中,將操弄 時間次序與空間位置的一致性(時間次序與 空間位置一致:記憶項目依序由左至右出現;
時間次序與空間位置不一致:記憶項目隨機 出現在可能的空間位置中;僅有時間次序:
記憶項目依序呈現於螢幕中央),藉以了解 聽常非手語者與失聰手語者於短期記憶中的 次序運作特性的異同,並能夠對於短期記憶 的不同形式的次序表徵運作方式有所貢獻。
由於過去關於失聰者時間次序的研究,多是 從記憶廣度著手,因此,以下將從短期記憶
運作的歷程,簡單分為刺激輸入、登錄編碼 與回憶產生等階段,來回顧失聰手語者較差 短期記憶表現的可能發生原因,接著再對記 憶歷程中的時間次序研究做一整理。從這些 研究也可發現對於失聰者較不擅於時間次序 編碼運作的假設與研究相當有限,因此,本 研究將以對記憶項目的再認作業之序列位置 效果,作為內隱時間次序運作的指標,再運 用項目及位置的再認判斷表現,作為外顯時 間及位置訊息整合運作的推論。
一、刺 激 輸 入、 登 錄 編 碼
(encoding)、回憶產生與兩者 之間的複誦機制階段
(一)刺激輸入
在聽常非手語者的短期記憶中,不同 刺激輸入的形式(口語聽覺、文字視覺)會 影響到記憶表現,而聽覺呈現往往優於視 覺 呈 現(Penney, 1989)。 形 式 所 造 成 的 記 憶表現的差異,有可能是因為刺激的視覺形 式與內在短期記憶的音韻表徵形式不同,需 經過工作記憶中的內在口語複誦(subvocal rehearsal)進行轉換,需使用較多認知資源所 致(Baddeley & Hitch, 1974)。因此,假設刺 激呈現是以參與者的內在語言音韻表徵呈現 時,應該會有記憶運作上的優勢。許多研究 為了要能較合理地評估失聰手語者與聽常非 手語者的記憶表現,便在失聰手語者的短期 記憶研究以手語呈現刺激,以減少失聰手語 者對於呈現刺激所需進行的轉換。不過,研 究結果發現,聽常非手語者無論是給予文字 呈 現 刺 激(Bellugi, Klima, & Siple, 1974),
或是給予由英文使用者所說出英文刺激錄影
(Boutla et al., 2004; Hall & Bavelier, 2011),
失聰手語者的記憶表現比起聽常非手語者依 舊較短,使得轉換內在語言音韻表徵的說法 被反駁(Hanson & Lichtenstein, 1990)。
(二)回憶產生
在回憶產生時,由於真實打出手語詞彙 的速度較慢,所以有可能在回憶時因為語言 產生較久,而造成記憶表現較差。不過,有 研究者曾記錄失聰手語者與聽常非手語者在 字母記憶廣度的報告速度,結果發現無論是 在順向或逆向的記憶廣度中,失聰手語者都 顯著比聽常非手語者短,但回憶時的回憶報 告速率(每秒鐘所回憶出來的項目數),反 倒是失聰手語者(3.52 個)顯著比聽常非手 語者(2.69 個)快,因此排除了因回憶產生 時,語言產生速度較慢而影響記憶表現的疑 慮(Bavelier, Newport, Hall, Supalla, & Boutla, 2008)。
(三)登錄編碼
在登錄編碼階段中,過去較多的研究認 為失聰手語者與聽常非手語者的表現差異,
主要反映出兩種語言的內在音韻特性不同,
例如:更新複誦的速率、音韻結構相似程度 與形式特性等。
1. 複誦速率
記憶作業中,若使用不同音節長度的 語言刺激材料,因其被更新複誦的速度不同 而影響到短期記憶表現,此稱為詞長效果
(Baddeley, Thomson, & Buchanan, 1975)。
在美國手語研究中,也發現手語的詞長效果
(Wilson & Emmorey, 1998), 同 樣 地, 在 臺灣自然手語與中文文法手語的記憶廣度比 較中,也發現中文文法手語有較長的語言產 生時間、較慢的複誦速率,而出現較差的 中 文 文 法 手 語 記 憶 表 現(Liu, Tseng, & Liu, 2008)。若比較手語與口語於單一詞彙的語 言產生效率,手語比起口語,會需要耗費較 多的時間(Klima & Bellugi, 1979),這使得 手語有如較長的詞彙一般,在記憶複誦時,
單位時間內可以被複誦的項目數量相對較少,
而 有 較 差 的 短 期 記 憶 表 現(Baddeley et al.,
1975)。因此,若以統計方法排除了兩種語 言產生效率差異時,失聰手語者與聽常者的 差異便不復見(Tzeng, 2002)。然而,也有 研究直接在刺激材料中控制了手語與口語詞 彙的發音長度後,依舊發現失聰手語者的記 憶廣度較少(Boutla et al., 2004),這些研究 顯示語言更新複誦的速率因素,並不能完全 解釋失聰手語者的短期記憶表現。
2. 音韻結構相似程度
記憶刺激內容本身也會影響記憶表現,
例 如: 數 字、 字 母 與 詞 彙 等, 其 所 測 出 的 記憶結果往往便有不同(Loftus, 1974)。另 外,項目可能數量(數字與字母的數量相對 是有限範圍)、項目之間的音韻相似性,
以及是否會受到長期記憶的語意訊息協助
(詞彙項目往往有較多語意訊息的連結與幫 助)、刺激頻率、刺激具象或抽象程度等,
也都會影響到記憶表現。而當短期記憶廣度 以數字為刺激材料時,手語數字之間的音韻 表徵比起口語數字之間的音韻表徵有更高的 相似性,因此,手語數字音韻表徵之間的相 似性容易造成短期記憶上的錯誤,而有較差 的記憶表現。然而,當以字母為刺激,控制 了手語音韻表徵的相似性與複雜度(Boutla et al., 2004),或是以詞彙為刺激,控制了 手語音韻結構的複雜度時(僅採用一隻手、
移動距離較少、手語手形沒有改變的手語 語 詞 )(Geraci, Gozzi, Papagno, & Cecchetto, 2008),失聰手語者依舊呈現出較短的記憶 廣度。這顯示出手語的音韻結構相似性與複 雜度等,仍舊無法完全解釋失聰手語者的記 憶表現。不過,此現象也可能反映出短期視 覺記憶運作是以物體項目為記憶單位,無論 物體項目中具有多少特徵或特徵的複雜度高 低,短期視覺記憶依舊約是三至四個項目
(Luck & Vogel, 1997),而手語的短期記憶 廣度正反映出手語的視覺記憶特性。
3. 形式特性
依 照 工 作 記 憶 模 型, 記 憶 項 目 在 更 新複誦運作時,口語語言訊息會仰賴語音 迴 路(phonological loop) 之 內 在 發 音 複 誦
(articulator)(Baddeley & Hitch, 1974),而 視覺空間模板則運用內在繕寫(inner scribe)
(Logie, 1995)。在複誦機制中,內在口語複 誦的運作機制相對是被研究得較為清楚的,
人們往往可以清楚地意識到如何複誦口語語 言訊息;在口語記憶若同時加入執行功能作 業(如數字加法或減法的轉換作業)時,無 論有無加入影響複誦機制的咬音干擾作業,
執行功能作業的表現都不會有太大的影響,
顯示出內在發音複誦對於注意力資源的需求 相對較少(Emerson & Miyake, 2003)。相對 地,在視覺空間模板(visuospatial sketchpad)
中,無論是被動的視覺貯存區(visual cache)
或 主 動 更 新 訊 息 的 內 在 繕 寫 機 制(inner scribe),研究則較少(Baddeley, 2012),人 們通常無法清楚了解自己是如何更新複誦視 覺空間訊息;若是在視覺心像產生、維持與 操作的過程中,被要求同時進行執行功能作 業(如隨機產生字母作業),此時,心像的 產生與操作歷程,都會受到干擾,顯示在視 覺空間模板主動地更新運作時,會需要相對 較多的注意力資源挹注(Bruyer & Scailquin, 1998)。
過 去 研 究 認 為 手 語 雖 然 也 具 有 類 似 口 語 語 言 的 工 作 記 憶 運 作 機 制(Wilson
& Emmorey, 1997, 1998) 與 神 經 運 作 機 制
(Bavelier et al., 2008; Rönnberg, Rudner, &
Ingvar, 2004),但其形式的視覺空間性,及 其具有語言中的時序性,使得在短期記憶中 需要結合兩種特性,因而增加了記憶負擔
(Geraci et al., 2008),同時也使得在記憶運 作時有更多的認知資源需求。在此,我們可 以合理地推論兩種記憶形式所需要的認知資
源不同,而手語在記憶運作中需要更多的認 知資源。
在編碼的形式特性上,口語聽覺音韻表 徵反映出聽覺的時序特性,對於時間次序的 維持較有效率,而手語音韻表徵則是反映出 視覺空間特性,對於時間次序的編碼與維持 相 對 不 利(Watkins, LeCompte, Elliott, & Fish, 1992),很可能因此造成失聰手語者短期記憶 廣度相對低落(Boutla et al., 2004; Emmorey &
Wilson, 2004)。同時,過去研究也發現,若 僅以項目內容作為計分標準,則手語的記憶 表現便與口語沒有太大的差異(Bavelier et al., 2008),支持了短期記憶中時間次序運作對 手語者的影響。然而,在不支持時間次序的 研究中,研究者使用名詞作為記憶廣度材料,
測量失聰手語者的手語記憶廣度與聽常非手 語者的聽覺與視覺文字記憶廣度,同時以項 目與次序分別計分(Gozzi, Geraci, Cecchetto, Perugini, & Papagno, 2011), 結 果 發 現, 無 論是項目或是次序計分,失聰手語者的記憶 廣度都比聽常非手語者來得短,駁斥手語記 憶廣度較短的原因是因為手語形式不擅於維 持 時 間 次 序 的 說 法。Hirshorn、Fernandez 與 Bavelier(2012)也認為,失聰手語者能夠運 作時間次序,與聽常者的記憶表現差異,主 要是因為兩族群所運用的表徵與所需耗費的 認知資源有所不同所致。他們透過測量空間 記憶廣度,來澄清兩族群之差異並非在時間 次序的運作。在實驗程序中,螢幕中會依序 於空間中出現數個白色方格,其中亦包含時 間次序,由於呈現的速度控制,數個白色方 格出現的方式,知覺上是分別出現在不同的 空間位置,藉此減少參與者運用動態軌跡的 方式來登錄方格的時間次序訊息,之後,在 每題目標項中,白色方格之間會出現一個箭 頭,參與者需判斷箭頭的方向是否符合方格 出現的先後次序關係,參與者最多可以正確
回答的方格數,即為其空間記憶廣度。實驗 結果發現,失聰手語者(5.23 個)的空間記 憶廣度顯著大於聽常者非手語者(4.32 個),
因此,Hirshorn 等人認為失聰手語者亦可以運 作時間次序。然而,於此實驗設計中,不僅 包含了時間次序,同時也提供了空間位置,
很可能失聰手語者可以有效地運用空間位置 來協助其時間次序的運作。除此之外,記憶 廣度作業所需要維持的不僅是內容而已,對 於項目的呈現時間次序,也需要維持並有意 識地提取出來,這使得在短期記憶廣度的測 量中,記憶項目與時間次序訊息同等重要。
若改以再認作業時,則次序訊息不再是有意 識地提取,透過序列位置效果的評估,則可 提供時間次序內隱的運作。本研究將採用再 認作業,透過比較僅有時間次序、提供時間 空間位置一致性等情境,來釐清失聰手語者 於時間次序的內隱運作型態,以及時間次序 與空間位置訊息之間的運作關係。接著,我 們將回顧過去有關短期記憶的時間次序訊息 運作。
二、短期記憶中的記憶項目、時間次 序與空間位置訊息之關係
(一)記憶項目與時間次序的關係
關於記憶項目與時間次序的研究,早期 有Conrad(1965)根據參與者記憶的錯誤型 態,發現在具有音韻相似的項目之間出現了 次序交換的錯誤,因而傾向認為項目與次序 之 間 的 記 憶 運 作 是 單 一 系 統 處 理(Conrad, 1965)。然而,後續一些研究則認為項目與 時間次序是獨立運作的:在快速呈現記憶刺 激材料時,對於記憶時間次序的影響會遠大 於記憶項目的表現,顯示出次序訊息在編碼 運作過程中較為緩慢,並需要較多的認知資 源(Matthews & Henderson, 1970);在自由回 憶作業延宕報告時,次序訊息比起項目往往
更快被遺忘(Bjork & Healy, 1974)。
除 此 之 外,McElree 與 Dosher(1993)
的研究分別採用項目再認作業與次序再認作 業,來了解作業對於記憶表現的影響。項目 再認作業是要求參與者必須判斷所出現的兩 個項目,哪一個是出現在先前的記憶列之 中,而次序再認作業中,參與者必須判斷所 出現的兩個項目,哪一個在先前的記憶列之 中出現較晚。結果發現,在操弄記憶長度與 作業(項目再認、時間次序再認)時,提取 效率(每增加一個單位所需要多增加的反應 時間)於次序作業中會顯著慢於項目的提取 效 率(McElree & Dosher, 1993)。當參與者 在記憶時,若要求同時進行手指輕敲(finger tapping)的干擾作業,則會發現此干擾作業僅 會對於次序的回憶造成影響(Henson, Hartley, Burgess, Hitch, & Flude, 2003)。透過腦造影 研究也發現,當參與者在做次序判斷時,其 大腦前額葉(prefrontal cortex)與頂葉(parietal cortex)比起在做項目的判斷作業時會有更 強的神經激發(Henson et al., 2003; Marshuetz, Smith, Jonides, DeGutis, & Chenevert, 2000)。
這些研究不僅顯示出項目與次序的運作之間 是相互獨立的,同時,次序訊息的運作會比 項目訊息運作來得更耗費認知資源。
(二)時間次序與空間位置的關係
在短期記憶的研究中,往往是分別針 對項目與時間次序訊息,或者項目與空間位 置之間的運作關係做一探討。若根據過去文 獻進一步比較時間次序與空間位置之間的運 作關係,則可發現兩者之間的關係可視為 是:兩者完全平行獨立運作(Smyrnis et al., 2005)、兩者有階層從屬關係(時間次序為 主、空間位置為延伸出來的)(Estes, 1972, 1997),以及兩者可平行運作,但在一些情 境作業下,可彼此相互彙整(Healy, 1975a)
等觀點。
在支持時間次序與空間位置完全平行獨 立 運 作 的 論 點 中,Smyrnis 等 人(2005) 探 討時間次序與空間位置訊息如何影響一個動 作判斷作業的執行。實驗中,參與者在一個 昏暗的環境下,螢幕上會出現二至四個不同 位置(記憶負擔)的亮點記憶刺激,並在延 宕了兩秒後會出現一個提示亮點,參與者必 須依照不同作業(空間作業、時間序列次序 作業、結合空間與次序作業)需求做出判斷 的動作。在空間作業中,二至四個不同位置
(記憶負擔)的亮點記憶刺激呈現後會消失 不見,參與者必須記憶空間位置,並在提示 亮點出現後,移動去點選距離提示亮點位置,
最近的其中一個先前亮點記憶刺激位置;在 時間序列次序作業中,亮點記憶刺激呈現後 不會消失,參與者需要記住的是這些刺激的 呈現次序,當提示亮點出現時,參與者則去 點選提示亮點位置的下一個位置;在結合空 間與次序作業中,亮點記憶刺激呈現後會消 失,參與者需要記住刺激的呈現次序與空間 位置,當提示亮點出現時,參與者則去點選 提示亮點位置的下一個位置。結果發現,在 序列錯誤的分析中,在時間序列次序作業與 結合作業皆會因記憶負擔增加而犯錯機率增 高,但兩者之間並無交互作用,顯示出時間 次序訊息在兩作業中的運作是相似的;而在 空間方向錯誤的分析中也發現,在空間位置 作業與結合作業中,皆會因記憶負擔增加而 犯錯機率增高,但兩者之間同樣並無交互作 用,反映出空間位置訊息在兩作業中的運作 也是相似的;在反應時間的分析中,發現時 間次序作業與結合作業隨著記憶負擔增加所 增長的反應時間遠大於空間位置作業,同時,
結合作業所增長的反應時間遠短於非空間位 置作業與時間次序作業的加總,反映出空間 位置與時間次序訊息兩者是平行、獨立地運 作(Smyrnis et al., 2005)。
在支持時間次序與空間位置兩者為階層 從屬關係的論點中,往往認為在短期記憶作 中,音韻表徵的聲音特性傾向以時間次序為 主、空間位置為輔運作。例如:在Estes(1972, 1997)的擾動激發模型(perturbation model)
中,便認為記憶項目表徵會與控制脈絡的節 點形成連結,當提取時,相關的脈絡節點也 會被激發起來,同時,脈絡節點也有分群階 層,較低層級的序列節點能形成音素,較高 層級的序列節點則可形成音節、詞彙或記憶 列。而時間與空間雖為不同的運作機制,時 間訊息為主要且自動化的運作,空間訊息會 需要藉由時間訊息來協助運作。當刺激依序 呈現時間次序訊息時,可以自動化地被登錄 儲存,而序列位置效果可以在時間位置上被 觀察到,由於空間訊息是由時間訊息協助運 作,因此在空間位置上,也可以被觀察到相 似的序列位置效果型態(Estes, 1972, 1997)。
在支持時間次序與空間位置兩者平行但 可整合的論點中,Healy(1975b)提出時間 次序與空間位置兩者有不同的運作機制,但 在音韻運作被干擾的情況或是被要求對於時 間次序與空間次序做判斷時,兩者會彼此彙 整而形成單一的型態。Healy 在特定的子音字 母 中(B、P、F、S、K、M、H、L), 每 一 次嘗試會依序呈現其中四個字母並出現在不 同位置,每一次嘗試的時間次序與空間次序 是相互獨立的;在記憶項目開始呈現之前,
參與者會接受到出現的前線索或是記憶項目 呈現結束後的後線索,透過前線索或後線索 來決定所需回憶的順序為時間次序或是空間 次序。結果發現,不論線索出現的先後,時 間次序的正確率皆遠優於空間次序,但序列 位置效果在時間與空間位置上是不相同的,
時間位置顯示出序列位置效果,但空間位置 呈現出的是倒U 字形的效果。另外,Healy
(1975a)操弄刺激的語音相似性(相似語
音如BP、FS,不相似語音如 KM、HL)與 延宕的時間,結果發現,時間次序回憶與空 間位置回憶,在較短的延宕時間下表現差不 多,但是在較長的延宕時間時,空間次序回 憶反倒是較有優勢;在較短的延宕時間下,
時間次序回憶較易受到語音相似的刺激而產 生記憶錯誤;在較長的延宕時間下,時間次 序回憶便較不受到語音相似性的混淆。而空 間次序回憶不論是在延宕時間短或長時,都 不受到語音相似的影響。當分析兩者的序列 位置回憶正確率時,兩者也反映出不同的效 果,不論是以時間次序回憶或空間次序回憶,
時間位置的初始效果量都比空間位置要來得 大。當加入語音干擾作業時,僅會干擾時間 次序回憶情境,但結果依舊發現兩者都有初 始效果。作者推論參與者在時間次序時,會 單純仰賴語音方式記憶,但若是語音運作受 到干擾或是同時被要求需記憶時間次序與空 間位置時,兩者的記憶運作表現則會相當雷 同, 會 形 成 時 間 空 間 型 態(temporal-spatial patterns)來協助記憶(Healy, 1975a)。
由上述的研究可發現,過去在要求受試 者直接依序回憶出項目,反映出較外顯的時 間次序運作;相對地,序列位置效果往往被 視為是內在對次序訊息形成表徵與運作的內 隱性指標,而且無論作業是自由回憶或是再 認作業,往往都可發現序列位置效果,但於 再 認 作 業 中 效 果 相 對 較 小(Corballis, 1967;
Oberauer, 2003)。本研究中將採用再認作業,
藉此減低在回憶作業中手語與口語產生速度 差異所造成的影響,以及對於時間次序與空 間位置外顯且刻意地提取的情況。於實驗一 分析各族群的序列位置效果,作為推論各族 群是否進行內在次序表徵運作的依據;實驗 二與實驗三中則包含直接要求參與者判斷項 目與其位置(空間次序),反映出對於次序 表徵的外顯回憶表現。
除此之外,以上的研究多以聽常非手 語者為主要的研究對象,在失聰族群的時 間次序與空間位置的比較中,O´Connor 與 Hermelin(1973)曾使用在水平方向呈現由左 至右的三個位置,之後隨機在這些位置一次 呈現一個數字(時間次序與空間位置次序不 一致),要求參與者直接報告「中間的」數 字,或者以再認作業判斷所呈現的數字是否 為「中間的」數字。結果發現,聽常小孩傾 向報告/判斷以時間次序定義的中間數字,
而失聰小孩則傾向報告/判斷以空間次序來 定義的中間數字,反映出兩族群所擅長使 用的次序回憶不同(O´Connor & Hermelin, 1973)。而在聽常非手語者身上也可發現,
一般聽常非手語者的成人主要仰賴時間次序,
而失聰手語者則傾向以空間位置編碼(Wilson, 2001)。這些研究反映出時間次序與空間次 序之間是可分別獨立運作的,只是不同個體 所仰賴偏重的有所差別。
本研究欲探討於短期記憶的表現中,時 間次序訊息外,當同時也提供空間訊息時,
失聰手語者能否運用空間位置訊息來幫助記 憶。研究假設,失聰手語者也類似聽常非手 語者的內隱時間次序運作,但在面對要求外 顯提取時間次序訊息時,由於手語視覺空間 特性,在記憶運作中需要整合並使用更多認 知資源,因而不利其記憶表現。在實驗一中,
我們首先針對短期記憶中,刺激(數字、中 文雙字詞)呈現於三種時間空間一致性(時 間空間一致:刺激依序由左至右位置呈現;
時間空間不一致:刺激隨機出現在位置中;
僅有時間次序:刺激依序出現在螢幕中央)
下的項目再認表現。參與者必須對於記憶項 目內容做再認判斷,此時,刺激呈現時之時 間次序訊息,影響的是記憶登錄的運作。實 驗結果將透過比較各族群的正確率、反應時 間以及序列位置效果,來釐清失聰手語者的
短期記憶表現與聽常非手語者是否有所差異。
參與者若能夠運用刺激呈現時的時間與空間 訊息一致性作為登錄輔助,則可能可使得其 記憶表現獲得提升;在實驗二中,參與者則 需要同時判斷記憶項目與呈現位置,透過此 作業迫使參與者登錄、維持與提取刺激項目 呈現的對應位置,但顧及同時要記憶位置之 作業難度較高,實驗二與實驗三的記憶長度 皆調整為四個項目;實驗三中,參與者有 75% 的機率為項目再認作業,但有 25% 為項 目與位置再認作業,若是兩作業情境表現相 似,則可推論時間與空間一致性訊息的整合 於記憶提取階段會自動地運作擷取出來,若 兩情境有差異,則反映出記憶判斷作業影響 到記憶訊息整合與提取運作,由此,也可以 協助了解不同參與者族群在的記憶運作特性。
透過此研究所操弄的時間空間一致性,
可對於時間次序與空間位置的關係做一澄清。
若是時間次序與空間位置訊息完全平行獨立 運作,則時間空間一致性的操弄不會對於參 與者的記憶表現有所影響,但時間空間一致 情境應可提供空間位置作為其他參照輔助,
相較於僅有時間情境而言有較佳的記憶表現;
若是兩者為階層從屬關係,特別是以時間次 序為主時,則當時間空間不一致,空間位置 訊息可被忽略或抑制,即使作業中要求對於 空間位置進行判斷,時間空間一致性的操弄 以及與僅有時間次序情境應不會造成太大差 異;若時間次序與空間位置兩者平行但可彼 此彙整,則在未要求判斷位置訊息時,時間 空間一致性不會造成太大的效果,但當要求 回憶空間位置時,則兩者會有彙整,此時,
時間空間一致性便會影響到參與者的記憶表 現。除此之外,在臺灣,由於特殊教育回歸 主流政策的施行,使得失聰並能夠流利地使 用手語的族群年齡普遍較長,多為30歲以上,
因此,本研究中主要邀請與失聰手語者年齡
無顯著差異的聽常非手語者族群,作為比較 的對象。
研究方法與結果
一、實驗一:僅有時間次序訊息的項 目再認表現
(一)方法 1. 參與者
本實驗邀請以中文為母語的24 位聽常非 手語者(男性八位,年齡介於30 與 50 歲,
平均年齡為36 歲)與 24 位失聰手語者(男 性八位,年齡介於27 與 48 歲,平均年齡為 36 歲),聽常非手語者與失聰手語者於年齡 上未有顯著的差異[t (46) = .02, p = .98]。失聰 手語者除了聽力限制外(聽力損失至少100 分貝以上),無其他生理或心理疾病,皆未 接受耳蝸植入(cochlear implant)手術,並接 受高中以上的教育訓練,平時與其他失聰人 士互動時,會以臺灣手語為主要溝通語言。
所有參與者皆身心健康,視力正常或矯正至 正常,會使用與閱讀中文;在參與本實驗之 前,都了解並同意本實驗之目的與程序,同 時也清楚了解實驗過程中參與者自身的權益 與意願。不同實驗區段的先後次序,會在參 與者之間平衡。
2. 刺激材料
刺激材料以視覺呈現數字與中文雙字 詞。數字為黑底白字、20 點字的黑底白字阿 拉伯數字(0 至 9,共 10 個數字)。中文雙 字詞為黑底白字、由兩個繁體中文字組成的 10 個雙字詞,字體大小為 20,此 10 個雙字 詞為「椅子、手錶、鋼琴、汽車、月亮、蘋果、
老鼠、醫生、鑰匙、蛋糕」。在每一個嘗試 次中,參與者需記憶六個數字或雙字詞。
若以臺灣手語音韻結構來比較數字與中
文雙字詞時,0 至 9 等 10 個數字的臺灣手語 音韻結構皆是單手手語並無運動路徑,彼此 手語手形相似性高;而10 個雙字詞「椅子、
手錶、鋼琴、汽車、月亮、蘋果、老鼠、醫生、
鑰匙、蛋糕」,則是分別有五個單手手語與 五個雙手手語,六個手語無運動路徑,彼此 手語手形相似度較低,僅有少數手語具有相 同手型,例如:「月亮、蛋糕」皆為臺灣手 語六的手型,但「月亮」為單手運動、「蛋糕」
為雙手呈現。
3. 實驗程序
本實驗邀請不同參與者族群(失聰手語 者、聽常非手語者),並操弄記憶刺激材料
(數字、中文雙字詞)以及時間與空間一致 性(一致、不一致、僅有時間次序)。在時 間與空間一致性下,是指刺激會依序從左至 右位置出現,不一致情況是刺激會以隨機方 式出現在不同位置,僅有時間次序情境下,
記憶刺激會在螢幕中央依序出現。不同刺激
材料情境與時間空間一致性情境,會於不同 實驗區段進行,不同參與者接受實驗區段次 序有交互平衡。正式實驗前會先練習,在參 與者熟悉實驗程序後才進入正式實驗,總共 有144 題數字嘗試次與 108 題中文雙字詞嘗 試次。在嘗試次的程序中,500 毫秒凝視點出 現後,一次會出現一個記憶刺激,每個記憶 列共有六個記憶刺激,每個記憶刺激呈現時 間為700 毫秒,在 300 毫秒的遮蔽物之後,
於螢幕中央會出現一紅色目標刺激,參與者 必須以按鍵判斷該目標刺激是否有出現於此 記憶列中,實驗各情境中目標出現與未出現 的機率相同。實驗情境程序可請參照圖一。
(二)結果與討論
1. 記憶正確率與反應時間
在正確率中,進行參與者族群(失聰手 語者、聽常非手語者)與記憶刺激材料(數 字、中文雙字詞)與時間空間一致性(一致、
不一致、僅有時間次序)之三因子混合變異
圖一 中文刺激呈現時,時間與空間一致情境、不一致情境與僅有 時間次序情境,參與者需要判斷目標刺激是否於此嘗試中出 現過
數分析。結果發現,族群主要效果未達顯著 [F(1, 46) = 2.95, p = .09, η2G = .02 ],顯示聽 常非手語者(.90)與失聰手語者(.89)的記 憶正確性相似;記憶材料達顯著[F(1, 46) = 14.34, p < .01, η2G = .08],反映出數字(.93)
比中文雙字詞(.88)有較高的再認正確率;
時間空間一致性主要效果達顯著[F(2, 92) = 3.43, p < .05, η2G = .01 ],事後比較顯示,時 間空間一致(.92)比起僅有時間次序(.90)
會有較高的正確率。所有二因子交互作用與 三因子的交互作用都未達顯著差異,顯示出 不同族群於兩種記憶材料中的表現相似。由 於各組參與者的正確率都相當高,以下將進 行正確判斷目標項反應時間之分析。結果發 現,族群主要效果達顯著[F(1, 46) = 21.28, p <
.01, η2G = .07 ],顯示失聰手語者(719 毫秒)
比起聽常非手語者(879 毫秒)有顯著較快的 反應判斷;記憶材料也達顯著[F(1, 46) = 4.23, p < .05, η2G = .02],反映出數字(753 毫秒)
比中文雙字詞(844 毫秒)有較快的反應判斷 速度;時間空間一致性主要效果未達顯著[F(2, 92) = .07, p > .05, η2G < .01],但交互作用未達 到顯著[F(2, 69) = 2.35, p > .05, η2G = .06],所 有二因子交互作用與三因子的交互作用都未 達顯著差異,顯示兩族群於各情境的表現型 態相似。透過項目再認作業的正確率與反應 時間之分析可發現,當未直接要求對時間次 序做回憶或判斷時,失聰手語者再認記憶表 現與聽常非手語者有相似的正確率(Bavelier et al., 2008)。不過,失聰手語者比起聽常非 手語者有較快的反應時間,顯示出失聰手語 者於記憶判斷反應速度上具有優勢。
雖然所有的交互作用都未達顯著,但由 於數字與中文雙字詞有顯著的不同,以下將 進一步分別對於兩種刺激材料進行參與者族 群(失聰手語者、聽常非手語者)與時間空
間一致性(一致、不一致、僅有時間次序)
之二因子混合變異數分析。在數字刺激中,
對正確率進行分析,發現所有的效果皆未達 顯著,若對反應時間分析,同樣也未有任何 顯著效果,顯示兩族群於數字刺激中有相 似的項目再認表現。在數字刺激中,對正確 率進行分析,依舊發現所有的效果皆未達顯 著,但在對反應時間分析中,發現顯著的參 與者族群效果[F(1, 46) = 4.20, p < .05, η2G = .08],其餘效果皆未達顯著。此結果進一步 釐清了失聰手語者的較快反應速度,主要是 發生在中文雙字詞中。若換另一個角度,針 對反應時間分別比較兩族群於記憶刺激材料
(數字、中文雙字詞)與時間空間一致性(一 致、不一致、僅有時間次序)之二因子受試 者內變異數分析,則於失聰手語者中所有效 果皆未達顯著,但在聽常非手語者中的刺激 材料主要效果達顯著[F(1, 23) = 9.40, p < .01, η2G = .18],而兩族群於數字的相似表現但 在中文雙字詞的不同表現,可能正反映出兩 族群內在不同的音韻表徵運作。聽常非手語 者在記憶編碼數字與中文雙字詞時,會受到 刺激材料的中文音韻長度而有影響,當數字 僅有一個字詞而中文雙字詞為兩個時,於單 位時間內數字可以被運作與提取的效率較佳;
然而,失聰手語者較不受到中文音韻長度而 有刺激材料的差異,顯示出其內在於記憶編 碼數字與中文雙字詞時,相對較不仰賴中文 音韻結構。失聰手語者對於數字與此10 個雙 字詞,兩者的手語音韻結構雖有差異,但若 以影響短期記憶較大的手形相似性與手語產 生時間(運動路徑)來看,兩種刺激材料各 有強項與弱勢,加上雙字詞的習得年齡相當 早且頻率相當高,因此,本實驗所使用的兩 種刺激材料,於失聰手語者內在皆以臺灣手 語表徵運作,兩者手語音運結構語特性接近,
因而不易在失聰手語者中看到刺激材料運作 的差異。
除此之外,時間空間一致性的操弄,僅 在正確率分析中發現時間空間一致性的表現 優於時間次序。若是以難易度來評估的話,
僅有時間次序情境的難度相對較高,主要是 對於多數人而言,特別是失聰手語者,空間 位置比起時間次序更為具象、較容易編碼,
使得在提供空間位置的情境下,有其相對優 勢。不過,本實驗結果未出現任何交互作用,
可能是因為實驗作業的整體難度對於參與者 而言,是簡單的,使得不同刺激於不同時間 空間一致情境的交互影響便不易顯現出來,
倘若個體面對較困難的情境、較高的認知負 擔時,我們推論記憶內容的難易度以及運作 特性上的交互影響應較容易顯現出來。
本實驗再認作業表現與過去對於回憶作
業的差異,可能反映在記憶線索有無提供、
提取歷程的有無、處理深度的深淺、儲存運 作差異、意識介入程度以及記憶策略等(Haist, Shimamura, & Squire, 1992; Jacoby, Toth, &
Yonelinas, 1993)。但由於本研究並未對相關 因素做一操弄,因此無法有效推論失聰手語 者為何在此再認作業中的表現與過去的記憶 廣度作業之間的差異。然而,從實驗資料可 得知,失聰手語者的反應速度較聽常非手語 者來得快,可能反映出失聰手語者在記憶運 作策略上與聽常非手語者不同。
2. 序列位置
接著,將以時間次序的序列位置效果來 評估失聰手語者內隱運用時間次序於記憶中的 表現。研究分析中加入六個位置探討其時間次 序中的序列位置表現,但鑑於原先已有三個獨 變項,若直接加入便顯得在解釋結果時過於複
圖二 失聰手語者與聽常非手語者對於數字與中文雙字詞,於時間空間一致情境、不一致 情境與僅有時間次序情境下的記憶正確率與反應時間
雜,因此,以下將分別對於數字與中文雙字詞 分別進行參與者族群(失聰手語者、聽常非手 語者)、時間空間一致性(一致、不一致、僅 有時間次序)與六個時間次序位置之三因子混 合變異數分析。在數字刺激中,結果發現族群 主要效果[F(1, 46) = .22, p > .05, η2G < .01 ] 以 及時間空間一致性[F(2, 92) = .42, p > .05, η2G
< .01] 皆未達顯著,六個時間次序位置達顯著 [F(5, 230) = 9.96, p < .01, η2G = .06],事後比較 顯示,第四至第六個位置比第一至第三個位置 有較高的正確率,反映出新近效果;其餘所有 交互作用皆未達顯著。此結果顯示在時間次序 編碼運作中,失聰手語者與聽常非手語者常有 相似的運作機制。在中文雙字詞刺激中也出 現類似的結果,族群主要效果[F(1, 46) = 1.82, p > .05, η2G = .01 ] 以及時間空間一致性 [F(2, 92) = .11, p > .05, η2G = .01] 皆未達顯著,六個 時間次序位置達顯著[F(5, 230) = 23.07, p < .01, η2G = .12],事後比較顯示第六與第五個位置 比第一至第三個位置有較高的正確率,再次反 映出新近效果。
根據實驗一的結果,我們可發現在短 期記憶的運作中,數字的提取運作會顯著正 確,且快於中文雙字詞的運作,顯示刺激的 特性會影響到記憶的表現,尤其是本研究中 的中文雙字詞已經選定為頻率較高、範圍特 定的10 個詞彙時,此差異依舊存在。同時,
在項目再認作業中,也發現失聰手語者的數 字與中文雙字詞的記憶表現未必會比聽常非 手語者來得差;在序列位置的分析中,兩族 群皆可發現新近效果,此顯示即使在項目再 認作業中不太需要運用到時間次序訊息,但 時間次序的運作仍可快速地被啟動運作,因 此,無論是刻意的依序回憶,或是不刻意提 取 地 自 由 回 憶 與 再 認 作 業(Corballis, 1967;
Oberauer, 2003),皆可觀察到序列位置效果,
反映出所有參與者族群皆有相似的內隱時間
次序運作。
簡而言之,本實驗結果發現在中文雙字 詞刺激中,失聰手語者與聽常非手語者有相 似的記憶正確率,但卻比聽常非手語者有更 快的反應判斷速度;若透過數字與中文雙字 詞的比較,可發現兩者的差異僅在聽常非手 語者中發現,但在失聰手語者則不存在,反 映出失聰手語者並未受到中文音韻長度的影 響,而以使用臺灣手語進行記憶運作。同時,
實驗結果發現時間空間一致性(一致情境優 於僅時間次序情境)的優勢,這顯示出在短 期記憶中,除了時間線索外,當同時提供有 規律次序的空間位置訊息時,能幫助所有族 群包含失聰手語者的記憶表現;同時,一致 性的效果也反映出參與者在登錄記憶項目時 可以同時登錄時間與空間一致性的訊息。不 過,由於實驗結果未發現時間空間一致與時 間空間不一致的差異,可能是由於實驗一中,
回憶作業是主要是項目內容,使得時間次序 與空間位置兩者的確可以平行登錄與運作,
但不必然於實驗一中進行時間與空間訊息的 彙整,僅於作業要求包含回憶空間位置時,
時間與空間兩者才會有彙整之必要。因此,
即使刺激材料呈現了時間次序與空間位置關 係,但不盡然在提取時便會運用到相關訊息,
在對目標刺激做判斷時,也不確定是否會自 動地運用時間空間一致性。
所以,在實驗二的作業中,簡化了實驗 一的一些實驗條件:刺激項目為數字,長度 為四個項目;參與者在登錄訊息時,刺激呈 現會有不同的時間與空間一致性訊息(一致、
不一致);目標刺激呈現時,會出現在由左 至右四個可能的位置,為了凸顯位置訊息的 重要性與必要性,參與者需要判斷該項目及 對應的位置是否為此嘗試中的記憶項目與空 間位置。此實驗作業迫使參與者記憶並提取 判斷項目及空間位置,結果可協助澄清在記
憶不同階段,時間空間一致性的影響。
二、實驗二:不同時間空間一致性下 的項目及位置再認表現
(一)方法 1. 參與者
研究中邀請21 位以中文為母語的聽常非 手語者(男性六位,年齡介於35 至 45 歲,
平均年齡為40 歲)與 21 位失聰手語者(男 性12 位,年齡介於 33 至 48 歲,平均年齡為 39 歲),聽常非手語者與失聰手語者於年齡 上未有顯著的差異[t (40) = .1.17, p = .25]。其 中,實驗二與實驗三的聽常非手語者相同,
這些參與者於這兩個實驗的先後次序在參與 者之間已做平衡。失聰手語者除了聽力限制 外(聽力損失至少100 分貝以上),無其他 生理或心理疾病,皆未接受耳蝸植入手術,
並有高中以上的教育程度,平時以臺灣手語 為與其他失聰人士互動的主要語言。所有參 與者皆身心健康,視力正常或矯正至正常,
並會使用與閱讀中文。
2. 刺激材料
刺激材料為20 點字的黑底白字阿拉伯數 字(0 至 9 共 10 個數字)。
3. 實驗程序
本實驗操弄刺激材料呈現時的時間次序和 空間位置一致性(一致、不一致)。實驗中,
目標數字出現與未出現的機率相同,時間空間 一致與不一致會於兩個不同實驗區段進行,不 同參與者接受此兩個實驗區段次序有交互平衡。
在嘗試的程序中,在時間空間一致情形 下,於500 毫秒凝視點出現後,會依序由左 至右出現四個數字,每個數字呈現時間為700 毫秒,在1,000 毫秒的遮蔽物「XXXX」,接 下來於螢幕中央會出現一目標數字,目標數 字會出現在特定位置,其他位置則以下標線 呈現,參與者需同時判斷數字與該位置是否 與記憶陣列相同,總共有192 題嘗試。為了 促使參與者對於位置訊息的記憶,於「不正 確」反應嘗試中,包含一半嘗試次為項目內 容正確但位置錯誤,另一半則為項目與位置 皆錯誤。實驗二之刺激呈現方式請參照圖三。
圖三 實驗二中,刺激呈現之時間空間一致與不一致情境,
參與者需判斷項目與其位置是否於此嘗試中出現
位置兩者之關係來協助記憶提取的正確性,
但此整合訊息的提取效率,使得失聰手語者 與聽常非手語者皆無法運用時間空間一致性 訊息來提升記憶提取的運作效率。
在實驗一項目再認作業中,研究結果發 現參與者對於時間與空間訊息是相當自動化 地登錄記憶運作,當作業要求判斷項目及空 間位置時(實驗二),則時間與空間整合的 訊息可以幫助記憶做出正確的提取。接著,
不禁令人思考時間與空間訊息整合的運作是 自動化的嗎?抑或是因作業需求而定?因此,
在實驗三中,實驗要求參與者在75% 的題目 嘗試次中,僅需要回憶項目內容,但有25%
需要回憶項目與位置,透過兩作業情境的比 較,進一步協助了解不同參與者族群的時間 空間彙整運作的自動化特性。若是一致性的 效果於兩種作業情境中皆有出現,則可推論 時間與空間一致性的訊息整合運作是較為自 動化的,或者也可能反映出在運用時間空間 整合資訊時,是較為模組化而沒有彈性的。
儘管整體作業中僅有25% 的機率要求回憶項 目與位置,但由於參與者在使用與不使用之 間的轉換較為困難,故仍採用時間空間彙整 訊息來運作;不過,若是一致性的效果於兩
(二)結果與討論
在 正 確 率 中, 針 對 參 與 者 族 群( 失 聰 手語者、聽常非手語者)與刺激材料呈現時 的時間和空間一致性(一致、不一致)進行 混合二因子變異數分析。結果發現,參與者 族 群 達 顯 著[F(1, 40) = 20.35, p < .01, η2G = .34],顯示失聰手語者的正確率比聽常非手語 者顯著較低,一致性效果亦達顯著[F(1,40) = 11.52, p < .01, η2G = .08],反映出時間和空間 線索一致下有較高的正確率,而交互作用未 達顯著[F(1,40) = 1.06, p = .31, η2G = .24]。此 結果反映出參與者皆有進行時間次序與空間 位置訊息的彙整運作。在反應時間中,變異 數分析結果發現參與者族群[F(1,40) = 7.24, p
< .05, η2G = .15] 達顯著,反映出聽常非手語 者的反應時間顯著較慢於失聰手語者,但一 致性[F(1,40) = 1.01, p > .05, η2G < .01] 與交互 作用[F(1,40) = .29, p > .05 , η2G = .08] 未達顯 著, [F(1,120) = 5.12, p < .01, η2G = .08]。實 驗二結果可參照圖四。
綜合而論,實驗二的結果發現兩族群的 時間空間一致性優勢,僅在正確率中出現,
於反應時間中卻沒有差異。簡而言之,失聰 手語者能夠依照作業要求,整合時間與空間
圖四 失聰手語者與聽常非手語者於記憶項目及位置作業中,對於刺激材料呈現於 時間空間一致與不一致情境之正確率與反應時間
種作業情境中皆未出現,則可能反映出參與 者僅用空間位置訊息來幫助記憶提取與判斷;
若是兩種作業情境有差異,則反映出記憶判 斷作業影響到時間空間整合訊息於記憶提取 時的運用。
三、實驗三:不同時間空間一致性下,
25% 項目及位置再認,75% 項目 再認
(一)方法 1. 參與者
邀請21 位聽常非手語者(男性六位,年 齡介於35 至 45 歲,平均年齡為 40 歲)與 21 位失聰手語者(男性11 位,年齡介於 30 至 48 歲,平均年齡為 37 歲),聽常非手語者 與失聰手語者於年齡上未有顯著差異[t (40) = .1.97, p = .06]。失聰手語者除了聽力限制外(聽 力損失至少100 分貝以上),無其他生理或 心理疾病,皆未接受耳蝸植入手術,並有高 中以上的教育程度,平時以臺灣手語為與其 他失聰人士互動的主要語言。所有參與者皆 身心健康,視力正常或矯正至正常,並會使 用與閱讀中文。本實驗中有15 位失聰手語者 之前曾經接受過實驗二的施測。曾經參與實 驗的經驗會使得理解實驗要求與程序較為容 易,但由於兩個實驗進行時間相隔至少有一 個月,對於實驗結果的影響較少。
2. 刺激材料 同實驗二。
3. 實驗程序
本實驗操弄參與者族群(失聰手語者、
聽常非手語者)、數字刺激呈現時的時間與 空間一致性(一致、不一致)與回憶作業類 型(25% 項目與位置再認作業、75% 項目再 認作業)。在項目與位置再認作業中,參與 者需同時判斷目標數字項目內容與所呈現位
置是否與先前的記憶項目位置完全相同,占 25% 嘗試,其嘗試程序以及目標刺激呈現與 實驗三相似;而在項目再認作業中,參與者 僅需判斷呈現於螢幕中央的目標數字是否出 現於先前記憶陣列中,此作業類型占75% 嘗 試。兩種再認作業嘗試於各區段中會隨機出 現,實驗中目標數字出現與未出現的機率相 同。時間與空間一致與不一致會於兩個不同 實驗區段進行,不同參與者接受此兩個實驗 區段次序有交互平衡,總共有144 題嘗試。
(二)結果與討論
在正確率中,針對參與者族群(失聰手 語者、聽常非手語者)、刺激呈現時的時間 和空間一致性(一致、不一致)與記憶判斷 作業(25% 判斷數字項目與位置、75% 判斷 數字項目)進行混合設計三因子變異數分析。
在正確率上,發現參與者族群達顯著[F(1,40)
= 10.35, p < .01, η2G = .10], 顯 示 失 聰 手 語 者的正確率比起聽常非手語者低,一致性 [F(1,40) = 9.92, p < .01, η2G = .03] 和判斷作業 [F(1,40) = 33.72, p < .01, η2G = .17] 的主要效 果也都達顯著,顯示參與者於25% 項目及位 置作業之正確率比起75% 數字項目作業來得 差,此兩族群的記憶表現也易受到判斷作業 特性的影響;而在二因子交互作用中,一致 性和判斷作業達顯著[F(1,40) = 11.46, p < .01, η2G = .05],但在族群和一致性 [F(1,40) = .02, p > .05, η2G < .01]、族群和判斷作業的交互作 用[F(1,40) = 1.29, p > .05, η2G = .01] 與三因子 交互作用[F(1,40) = .66, p > .05, η2G < .01] 都 未達顯著。由於一致性和判斷作業的交互作 用達顯著,後續單純主要效果分析結果發現,
判斷作業的差異(內容作業優於內容及位置 作業)在一致情境中有差異[F(1,80) = 4.68, p
< .05, η2G = .06],在時間線索和空間線索不 一致的情形下也達顯著[F(1,80) = 43.61, p <
.001, η2G = .35];而一致性的優勢只在 25%
的記憶項目及位置判斷作業達顯著[F(1,80) = 21.30, p < .01, η2G = .21],但在 75% 的記憶項 目判斷作業中未達顯著[F(1,80) = .38, p > .05, η2G < .01]。綜合以上結果,可發現參與者於 項目及位置作業中一致性的優勢,顯示時間 與空間訊息的整合似乎是在作業要求的情況 下才會進行,反映出時間與空間訊息整合並 非是自動化的運作。
在反應時間中,三因子混合變異數分析 發現參與者族群的主要效果[F(1,40) = 16.73, p < .01, η2G = .27] 達顯著,聽常非手語者的 反應速度顯著慢於失聰手語者,判斷作業主 要效果達顯著[F(1,40) = 163.84, p < .01, η2G
= .14],而一致性效果未達顯著 [F(1,40) = .10, p > .05, η2G < .01];在二因子交互作用中,
族群和判斷作業的交互作用達顯著[F(1,40)
= 56.99, p < .01, η2G = .06],但族群和一致性 [F(1,4 0) = .23, p > .05, η2G < .01]、一致性和 判斷作業交互作用[F(1,40) = .05, p < .05, η2
G < .01] 與三因子交互作用 [F(1,40) = .26, p <
.05, η2G = .02] 都未達顯著。由於族群和判斷 作業的交互作用達顯著,後續單純主要效果 分析結果發現,判斷作業的差異(項目作業 優於項目及位置作業)於失聰手語者[F(1,40)
= 13.79, p < .01, η2G = .25] 以及聽常非手語者 [F(1,40) = 204.04, p < .01, η2G = .84] 中皆可發 現,此結果顯示出記憶項目與空間訊息的記 憶提取與判斷,可能並非為相同或同時運作,
因此,當作業中對於空間訊息做判斷時,在 原本記憶項目的運作外,還需再增加對於空 間位置的提取,使得記憶表現在項目及位置 作業中有相對較高認知需求,造成較低的正 確率與較長反應時間。同時,失聰手語者比 起聽常非手語者有較快的反應時間,無論是 在項目作業及位置[F(1,40) = 31.44, p < .01, η2
G = .28] 或項目作業中 [F(1,40) = 5.69, p < .05, η2G = .07] 皆可發現,不過,依據效果量可發 現失聰手語者的優勢於項目作業及位置作業 是相對較為明顯的,反映出失聰手語於者內 在記憶提取運作過程中,對於位置訊息的運 作是相對較有效率的(可參照圖五)。
總 括 來 說, 實 驗 三 的 結 果 發 現, 失 聰 手語者及聽常非手語者在項目與位置作業之 正確率與反應時間表現皆劣於項目作業,此 現象也可能反映出失聰手語者與聽常非手語 者在轉換作業時所消耗的執行功能資源,使 其在相對較困難的作業中表現較差。除此之 外,雖然正確率分析在族群與判斷作業的交 互作用未達顯著,但若將兩族群的正確率表 現於兩種判斷作業分別進行考驗比較,則可 發現失聰手語者較低的正確率只會出現在項 目與位置判斷作業中,而於項目判斷作業中 沒有差異,此情況可能反映出族群的差異較 容易在困難的作業中顯現,同時,此結果型 態也與前記憶廣度的研究中,失聰手語者在 次序計分中居劣勢的發現相似(Bavelier et al., 2008),只是於本實驗中時間次序改為空間 位置而已。此現象很可能是失聰手語者在記 憶過程中,手語表徵已經需要耗費較多認知 資源做同時性與時序性的結合,若記憶作業 再包含其他結合,例如:短期記憶廣度作業 中,項目與時間次序的結合,以及實驗二與 實驗三作業中,項目與空間位置結合,失聰 手語者往往會顯露出其運作上的弱勢。
同時,於正確率中,時間空間一致性的 效果僅在項目與位置判斷作業時出現,顯示 時間次序與空間位置的彙整是在特定的作業 要求下才會發生,時間空間的整合運作並非 完全自動發生,符合時間次序與空間位置兩 者平行但可彙整的論點(Healy, 1975b)。在 反應時間中,時間空間一致性的效果未出現,
比較兩族群在記憶刺激材料(數字、中文雙 字詞)與時間空間一致性(一致、不一致、
僅有時間次序)的表現,探討時間次序與空 間位置一致性對於項目記憶表現的影響,並 分析兩族群的序列位置效果,作為推論參與 者是否進行內在次序表徵運作的依據;實驗 二與實驗三包含直接要求參與者判斷項目與 其位置(空間次序),則是反映出對於次序 表徵的外顯回憶表現。實驗一結果發現了時 間空間一致性(一致情境優於僅時間次序情 境)的優勢,但未顯現出時間空間不一致所 造成的干擾效果,此現象很可能是失聰手語 顯示失聰手語者與聽常非手語者的時間空間
整合訊息無法有效影響記憶提取的運作效率,
反映出時間空間位置訊息整合對於記憶正確 性的運作是有幫助的,但在運作速度與效率 的影響或幫助,則是相對有限。
綜合討論
本研究探討於短期記憶中,失聰手語者 與聽常非手語者於時間次序運作上的異同,
以及時間次序與空間位置訊息對其記憶的影 響。研究採用再認作業,於實驗一中,透過
圖五 失聰手語者與聽常非手語者於 25% 項目及位置再認作業與 75% 項目再 認作業中,對於刺激呈現時間空間一致與不一致情境下,其正確率與反 應時間之平均數(平均標準誤)
者與聽常非手語者都能對於刺激呈現時的時 間次序與空間位置訊息編碼運作,但由於作 業未要求位置的判斷,參與者並未整合兩者 之間的訊息;同時,研究結果也反映出,依 序呈現刺激材料於有規律的空間位置時,能 幫助失聰手語者的記憶表現;除此之外,在 實驗一的各情境中,失聰手語者皆出現序列 位置的新近效果,顯示失聰手語者的內隱時 間次序編碼運作與聽常非手語者相似。
Corballis(1967)曾提出短期記憶中,自 由回憶所獲得的序列位置效果,不必然是反 映出項目與其時間次序在記憶儲存階段的運 作,若是儲存階段,當改以再認作業時,應 該會出現記憶較為穩定、存於長期記憶的初 始效果,而不會出現短期記憶痕跡較不穩定 的新近效果;然而,於再認作業的結果中,
卻發現有明顯的新近效果以及較弱的初始效 果,而認為序列位置的效果不完全在記憶儲 存維持中,而可能會發生在提取的歷程中。
因此,由於未有其他實驗操弄與控制,本研 究於實驗一所觀察到的新近效果,除了可能 發生在訊息登錄編碼階段外,不排除也有可 能反映在提取階段的運作。
實驗二探討時間空間一致性對於項目與 位置判斷的影響,結果發現失聰手語者與聽 常非手語者僅在正確率中看到一致性的優勢,
此結果也於實驗三重現,反映出失聰手語者 能夠整合時間與空間位置兩者之關係來協助 記憶提取,但此整合訊息對於記憶提取運作 效率的助益有限。總而言之,當作業未要求 判斷位置訊息時,人們可以平行登錄時間次 序與空間位置訊息,但兩者並未有整合;只 有在要求判斷位置時,人們才會進行時間次 序與空間位置訊息的整合運作,協助記憶的 提取運作(Healy, 1975b)。不過,失聰手語 者運用整合訊息來提取時有較差的正確率,
反映出失聰參與者與聽常非手語者在外顯次 序表徵運作上的差異,此一現象也適用於解 釋過去失聰手語者在短期記憶依序回憶中的 劣勢(Bavelier et al., 2008)。
根據本研究結果,可以更細緻地剖析短 期記憶中的時間次序與空間位置訊息,在兩 個不同記憶歷程(登錄/維持與提取)的運 作方式。在登錄/維持階段,時間次序與空 間位置訊息是分別進行,而兩者之間協調互 動的必要性,首先會取決於刺激材料的複雜 度,當刺激材料較為簡單時,兩者可以平行 運作,或以其中一個訊息管道為主即可,通 常是以時間次序為主,而空間位置訊息若未 被主動維持複誦時,相對會比較容易遺失,
其原因是在再認作業中,位置不總是作為區 別不同物體的特徵,物體的位置訊息固然重 要,但卻不是一個有效的區辨與提取線索。
不過,我們合理推論當刺激負擔較大時,透 過加入空間位置訊息(時間次序與空間位置 尚未整合),可幫助記憶項目的登錄與維持;
當記憶作業要求對空間位置做判斷時,時間 次序與空間位置訊息才會進行整合運作。只 是,當時間次序與空間位置兩者被整合時,
兩者是一比一的結合,還是有所偏重,則無 法於本研究中釐清,尤其是失聰手語者與聽 常非手語者兩族群在整合時間次序與空間位 置時,其所偏重的方式是否有所不同,還需 要未來更多的研究來釐清。除此之外,記憶 項目內容的組織方式也可能會影響到回憶 的 序 列 位 置 型 態(Jones, Beaman, & Macken, 1996)。失聰手語者在短期記憶中組織記憶 項目的方式與聽常非手語者成人是否相同,
也是未來可以持續探究之處。
根據工作記憶的模型,兩種不同形式的 整合需仰賴事件緩衝器(episodic buffer)的 運作(Baddeley, 2000, 2012)。過去,在手語
翻譯員與失聰手語者的研究中,皆發現手語 翻譯員或失聰手語者對於手語詞彙的記憶運 作,不僅會使用到口語音韻表徵或手語音韻 表徵,其他如視覺特徵或是口部的發音動作,
也都會同時作為記憶的策略。使用更多元的 音韻表徵(Hirshorn et al., 2012; Wang & Napier, 2013),使在手語者之工作記憶的事件緩衝 器於短期記憶作業中,相較於非手語者,需 要負擔更多整合記憶表徵的功能,因而可能 影響其短期記憶表現。同樣地,在本研究中,
時間次序與空間位置的整合,很可能也是透 過事件緩衝器運作,因此,原本手語者在記 憶項目內容的表徵便已經需要耗費較多的事 件緩衝器運作,在資源有限的情況下,手語 者所能運用整合時間次序與空間位置訊息的 剩餘資源便相對有限,這也是可能導致手語 者於時間次序與空間位置整合運作中無法有 效加速記憶提取運作的原因之一。
除此之外,關於失聰手語者對於時間次 序與空間位置一致性的資料型態與聽常非手 語者不同,也可能與臺灣手語運作有關。在 臺灣手語語法中,往往透過於不同空間位置 打出該事物手語詞彙後,便借用該空間位置 來代替該事物,而該事物於手語語句中的文 法主受格關係,則是需透過呼應動詞的方向,
或非呼應動詞中的語意主動性或輔助的眼神 手指朝向或者以語意訊息(主詞往往是有生 命、能運動者;受詞則較為無生命、無法移 動者)來表達。手語詞彙發生的先後時間次 序也許有其必要性,但詞彙先後可能是反映 實際情況中的發生先後,對於手語語言理解 與產生的運作影響較小。
最後,有些研究認為時間次序的運作與 語言產生(Dell, Burger, & Svec, 1997)以及語 言習得(Gupta & MacWhinney, 1997)有關;
不過,亦有些研究認為短期記憶廣度所探討
的時間次序,處理運作較慢,與語言句法中 的次序運作是不同的(Lewis, Vasishth, & Van Dyke, 2006)。至於失聰手語者的時間次序表 徵方式,是否會影響到其語言習得、語言產 生、書面語的學習或其他認知能力,則需要 更多的研究持續關注這個議題。
研究總結
本研究探討失聰手語者於短期記憶中時 間次序與空間位置的表徵特性,結果發現,
在記憶作業中未要求判斷位置時,失聰手語 者可以透過所提供的空間位置獲得記憶的幫 助,在內隱的時間次序編碼或提取運作以及 時間次序與空間位置平行運作中,都具有與 聽常非手語者相似的機制;但在外顯作業中 要求回憶位置時,失聰手語者在時間次序與 空間位置整合運作,與聽常非手語者有所差 異,失聰手語者較低的正確性與較快的反應 判斷速度,一方面反映出求速度勝於正確性 的反應判斷策略,另一方面也反映出失聰手 語者於短期記憶運作中,若要結合項目與其 他資訊(無論是時間次序或是空間位置),
會需要耗費較多的認知資源,但相對地,失 聰手語者也可運用時間空間整合訊息來提升 記憶提取的運作效率。
參考文獻
Baddeley, A. (2000). The episodic buffer: A new component of working memory? Trends in Cognitive Sciences, 4(11), 417-423.doi:
10.1016/S1364-6613(00)01538-2
Baddeley, A. (2012). Working memory: Theories, models, and controversies. Annual Review of Psychology, 63(1), 1-29. doi:10.1146/
annurev-psych-120710-100422
Baddeley, A., & Hitch, G. (1974). Working memory. Psychology of Learning and Motivation, 8, 47-89. doi:10.1016/S0079- 7421(08)60452-1
Baddeley, A., Thomson, N., & Buchanan, M.
(1975). Word length and the structure of short-term memory. Journal of Verbal Learning and Verbal Behavior, 14(6), 575- 589.doi: 10.1016/S0022-5371(75)80045-4 Bavelier, D., Newman, A. J., Mukherjee, M.,
Hauser, P., Kemeny, S., Braun, A., & Boutla, M. (2008). Encoding, rehearsal, and recall in signers and speakers: Shared network but differential engagement. Cerebral Cortex, 18(10), 2263-2274. doi:10.1093/cercor/
bhm248
Bavelier, D., Newport, E. L., Hall, M., Supalla, T., & Boutla, M. (2008). Ordered short- term memory differs in signers and speakers: Implications for models of short- term memory. Cognition, 107(2), 433-459.
doi:10.1016/j.cognition.2007.10.012
Bellugi, U., Klima, E. S., & Siple, P. (1974).
Remembering in signs. Cognition, 3(2), 93- 125.doi:10.1016/0010-0277(74)90015-8 Bjork, E. L., & Healy, A. F. (1974). Short-term
order and item retention. Journal of Verbal Learning and Verbal Behavior, 13(1), 80-97.
doi: 10.1016/S0022-5371(74)80033-2 Boutla, M., Supalla, T., Newport, E. L., &
Bavelier, D. (2004). Short-term memory span: Insights from sign language. Nature Neuroscience, 7(9), 997-1002. doi:10.1038/
nn1298
Bruyer, R., & Scailquin, J.-C. (1998). The
visuospatial sketchpad for mental images:
Testing the multicomponent model of working memory. Acta Psychologica, 98(1), 17-36. doi: 10.1016/S0001-6918(97)00053-X Conrad, R. (1965). Order error in immediate recall
of sequences. Journal of Verbal Learning and Verbal Behavior, 4(3), 161-169. doi:http://
dx.doi.org/10.1016/S0022-5371(65)80015-9 Corballis, M. C. (1967). Serial order in recognition
and recall. Journal of Experimental Psychology, 74(1), 99-105.doi:10.1037/
h0024500
Dell, G. S., Burger, L. K., & Svec, W. R.
(1997). Language production and serial order: A functional analysis and a model.
Psychological Review, 104(1), 123-147.
doi:10.1037/0033-295X.104.1.123
Emerson, M. J., & Miyake, A. (2003). The role of inner speech in task switching: A dual- task investigation. Journal of Memory and Language, 48(1), 148-168. doi: 10.1016/
S0749-596X(02)00511-9
Emmorey, K., & Wilson, M. (2004). The puzzle of working memory for sign language. Trends in Cognitive Sciences, 8(12), 521-523.
doi:10.1016/j.tics.2004.10.009
Estes, W. K. (1972). The associative basis of stimulus coding. In A. W. Melton & E.
Martin (Eds.), Coding processes in human memory (pp. 161-190). Washington, DC: VH Winston & Sons.
Estes, W. K. (1997). Processes of memory loss, recovery, and distortion. Psychological Review, 104(1), 148-169. doi:10.1037/0033- 295X.104.1.148
Geraci, C., Gozzi, M., Papagno, C., & Cecchetto,