手語經驗對視覺空間 心像運作影響之實驗研究

110，46 卷 1 期，85-103 頁 DOI: 10.6172/BSE.202103_46(1).0004

＊本文作者通訊方式（[email protected]）。

手語經驗對視覺空間 心像運作影響之實驗研究

手語運用視覺空間特性呈現文法規則以達成語言溝通，本研究欲探討使用 臺灣手語的使用者，相較於未有手語經驗的非手語者，是否在心像產生與心像 維持運作上有所不同。本研究的心像實驗作業是以中文數字作提示，要求受試 者於4 × 5 方格中形成對應的阿拉伯數字心像，之後延宕一段時間（刺激間距 ISI），於方格中的一個細格會出現一個目標項 X，受試者需以按鍵判斷目標 項位置是否出現在先前產生的心像路徑中。實驗操弄第一個受試者內獨變項為 ISI，一組為心像產生（200、400 毫秒），另一組為心像維持（800、2000 毫秒）；

第二個受試者內獨變項為目標項X 出現在心像位置，依照筆劃順序先後分為早 筆劃與晚筆劃位置，早晚筆畫差異可視為是心像完整性的指標，當有完整的心 像時，早晚筆劃的差異便不復存在。實驗邀請24 位失聰手語者、19 位聽常手 語者，與24 位聽常非手語者參與，以澄清聽力、手語經驗與心像運作的關係。

研究結果發現在心像產生ISI 為 400 毫秒時，失聰手語者、聽常手語者早晚筆 劃未有差異，顯示出手語使用者此時已產生完整的心像；在心像維持ISI 為 800 毫秒時，失聰手語者與聽常手語者相較於聽常非手語者有較高的正確率，但在 2000 毫秒時則表現相似。基於上述結果以及失聰手語者與聽常手語者在心像運 作的表現型態相似，本研究結果顯示出臺灣手語經驗與心像運作有關，手語經 驗能促使手語者在心像產生與短期心像維持有其運作優勢，同時，手語和空間 認知的相互作用關係可以提供更全面的觀點來了解語言如何塑造思想。

關鍵詞： 中文、心像產生、心像維持、手語、失聰 / 聾人

邱倚璿

輔仁大學心理學系 副教授

緒論

人 類 的 心 智 表 徵 除 了 有 命 題

（proposition）的特性，也包含了心像（mental imagery） 的 運 作（Kosslyn, Thompson, &

Ganis, 2006；Pearson & Kosslyn, 2015）。

透 過 心 像 的 運 作， 人 們 可 根 據 過 往 的 知 覺 經 驗， 在 即 使 沒 有 任 何 感 官 刺 激 的 狀 態 下， 能 夠 從 記 憶 中 提 取、 重 組、 建 構 與 運 作（Kosslyn, 1994；Kosslyn, Cave, Provost, & von Gierke, 1988；Kosslyn, Ganis,

& Thompson, 2001；Kosslyn et al., 2006；

Pearson & Kosslyn, 2015）， 在 學 習、 記 憶、推理運作、情緒與心理健康中，心像 更是不可或缺的重要表徵與能力（Pearson

& Kosslyn, 2015）。 有 些 研 究 發 現， 空 間 心像的訓練能促使科學、科技、工程、物 理、 數 學 能 力 等 學 科 與 工 作 職 能 的 提 升

（Kozhevnikov, Motes, & Hegarty, 2007；Uttal

& Cohen, 2012；Wai & Benbow, 2009）， 即 使是在語言運作過程中，心像的訓練與運用 也能夠提升中文詞彙學習（Shen, 2010）、

英文拼字能力（Ormrod, 1985）、成語理解

（Nippold & Duthie, 2003）、以及故事閱讀 理解（Joffe, Cain, & Mari

心像運作除了會受到受試者因素如性 別、 年 齡（De Beni, Pazzaglia, & Gardini, 2007；Palermo, Piccardi, Nori, Giusberti, &

Guariglia, 2016）而有不同的能力外，也會受 到後天特別訓練而有所提升（Rademaker &

Pearson, 2012；Uttal & Cohen, 2012），其中，

在後天經驗中，學習中文文字視覺結構特 性（Lai & Leung, 2012； Sugishita & Omura, 2001），以及使用美國手語語言的視覺空間 形 式（Emmorey, Kosslyn, & Bellugi, 1993；

Flaherty, 2003），分別與心像能力是存在著

正向的關係。本研究欲探討臺灣手語使用 者，相對於聽力正常未學習過臺灣手語者，

是否因為長期使用臺灣手語情況下，發展出 不同的心像產生與心像維持能力。不過，鑒 於臺灣有許多聽力限制但是以中文口語訓練 為主的人士，因此，本文中將以「失聰」指 稱聽力有明顯限制的族群，「聽常」表示聽 力正常的人士；以「手語者」表示對於臺灣 手語能流利使用的人士，而「非手語者」則 是未學習過任何手語。

在語言經驗與視覺空間認知能力的研究 中，Flaherty（2003）曾回顧象形文字與手 語經驗的影響，中文使用者和日文使用者，

在長期使用象形文字後，會比起拼音文字的 使用者，對於概念中的空間與形狀能夠有效 運作（Stevenson et al., 1985），日本失聰手 語者也會比美國失聰手語者對於抽象圖形有 更好的記憶表現（Flaherty, 2000），這兩個 實證研究支持了象形文字對於視覺空間心像 的正向關係。Emmorey 等人（1993）探討美 國手語經驗對於視覺空間能力的影響，比較 了失聰手語者、聽常手語者以及聽常非手語 者，發現手語經驗對於一些視覺空間認知能 力有所助益；同時，Bellugi 等人（1990）發 現了中文失聰手語的孩童比起中文聽常非手 語孩童，對於空間中運動訊息有更好的記憶 與分析表現，推論兩組孩童的表現差異是來 自於手語經驗。不過，由於上述研究中的中 文使用者是孩童，受到中文文字的影響較成 人來得少，因此我們懷疑：若是長期使用中 文後，手語經驗是否依舊與視覺空間能力有 關？人們心像運作的能力是否受到某一種後 天訓練後，基於人類知覺的運作限制，即使 再接受到其他的心像訓練，也不會有更好的 表現？若是如此，人們若是學習過中文或手 語其中一種，應該就足以提升心像表現；相

對的，若是中文與手語經驗對於心像運作的 影響有所不同，則對於能夠流利使用中文和 手語者，其心像運作應該會比起只能使用中 文者來得好。本研究透過邀請三組能流利使 用中文的成人受試者（失聰手語者、聽常手 語者、聽常非手語者）可進一步澄清此問題，

將長期使用中文視為是一控制變項，透過本 研究探討臺灣手語經驗與心像能力的關係，

有助於釐清語言運作與視覺空間認知能力之 間的互動關係，更能在了解此關係後，對於 手語語言推廣發展提供一個可能的方向。若 手語經驗與心像運作存在著相關，反映出語 言經驗與視覺空間能力之間有著密切的互動 機制，彼此相互影響，同時，若透過手語的 學習及使用能提升心像運作能力，無論是否 有聽力的限制，無論是否長期使用中文，都 可以嘗試透過手語語言的運作，訓練到視覺 空間能力，進而提升學科學習、工作職能與 心理健康。

一、心像的運作機制與應用

首先，對本研究所使用的一些心像專有 名詞做澄清與限定。雖然心像通常包含不同 的感官知覺，但本研究所指稱的心像，將限 定在視覺空間心像，主要目的在於了解手語 者的視覺空間心像運作情況；除此之外，心 像與視覺空間工作記憶，都是指人們內在操 弄維持視覺訊息表徵的運作機制，不過，由 於過往此兩個領域所使用的實驗作業不同，

因而較少直接比較。近期一些研究發現，心 像與視覺空間記憶之間有相當高的關聯性，

心像比較清晰的人通常也有較好的視覺空 間 記 憶 表 現（Keogh & Pearson, 2014）；心 像運作與視覺空間工作記憶運作時，大腦的 主要視覺皮質也有相當高的重疊性（Albers, Kok, Toni, Dijkerman, & de Lange, 2013；

O'Craven & Kanwisher, 2000）；研究者更提 出視覺心像與視覺空間工作記憶都是仰賴描 繪 表 徵（depictive representation）， 有 著 相 似的運作機制，例如當受試者被要求在視覺 空間工作記憶中維持一些項目時，若出現與 項目相似的視覺心像運作，則心像運作的表 現也會受到影響（Borst, Ganis, Thompson, &

Kosslyn, 2012）。不過，也有些研究認為心 像與視覺空間工作記憶有著不同的運作機制

（Zeman et al., 2010）。基於本研究的目的在 於了解手語者的視覺空間心像運作，而非比 較心像與視覺空間工作記憶的異同，同時，

本研究主要運用心像的實驗典範（Emmorey et al., 1993；Kosslyn et al., 1988），因此，研 究中將以心像研究為主要的文獻回顧，並且 將心像維持歷程視為是與視覺空間工作記憶 相似的運作歷程。

過去的視覺心像理論研究中，往往發 現心像的運作與真實視知覺歷程相當相似。

例如在心像掃描作業中，當要掃視兩個事物 的距離越遠時，反應時間便越長（Borst &

Kosslyn, 2008；Denis & Kosslyn, 1999）；

在心像旋轉作業中，心像旋轉的角度越大，

所 需 要 的 反 應 時 間 也 會 越 長（Shepard &

Metzler, 1971）；在大腦激發活動研究也顯 示出，視知覺歷程與心像運作在一些聯合 皮質激發運作，也有著相當高重疊（Ganis, Thompson, & Kosslyn, 2004），支持心像與 知覺的運作相似。此外，心像與知覺的運作 也會彼此相互影響，人們在一些知覺作業上 的練習與學習，往往可以提升知覺作業表 現，當運用心像練習時，也可以發現心像中 的學習效果在知覺作業表現上能有所提升

（Tartaglia, Bamert, Mast, & Herzog, 2009），

顯示出在心像中的運作效果，是可以影響到 實際的知覺運作機制。雖然心像與知覺有許

多相似性，近期一些研究者提出心像與知覺 之間的差異，例如Laeng 與 Sulutvedt（2013）

要求受試者聽到「陽光普照的天空」或「黑 暗無光的房間」語句時，在心中產生對應的 心像，即使實驗情境的光照環境沒有變化，

但受試者的眼睛瞳孔也會出現對應的調節，

以適應心像的內容，基於眼睛瞳孔的調節並 非意識所能調控，因此，研究者強調心像是 知覺透過由上而下的運作，是一種特徵較不 清楚、較微弱的知覺運作形式。

近年來，有許多研究探討心像的實際應 用。 在 教 育 領 域，Uttal 與 Cohen（2012）

透 過 後 設 研 究 來 了 解 空 間 思 考（spatial thinking）能力（包含心像能力）與科學教 育（包含科學、科技、工程與數學）之間的 關係，發現空間思考能力能夠預測日後科學 的學習表現，是進入科學學習的關鍵途徑，

並在訓練空間思考後一段間再測試，也能夠 持續發現訓練的效果。Shen（2010）探討第 二語言為中文的學習者，若同時給予口語加 上文字心像的編碼，會比起單一口語編碼學 習方法，在記憶一些抽象詞彙的字形與意 義時會有更好的記憶維持表現；人們在理 解成語時，內在心像表徵的複雜度與理解 的深度之間存在著關係（Nippold & Duthie, 2003）；Joffe 等 人（2007） 訓 練 有 語 言 障 礙的孩童，在理解句子、故事時同時產生心 像，結果發現這些孩童在文字字面的問題

（literal question）理解中能有顯著的提升。

在心理領域，Pearson 等人（2015）除了探討 心像的基本運作、神經機制外，更積極推動 心像在精神疾患中的運用，例如治療師可以 透過引導病患重新詮釋過往的心像（imagery rescripting）（Holmes, Arntz, & Smucker, 2007）， 轉 化 與 產 生 正 向 心 像（Hirsch, Clark, Mathews, & Williams, 2003），運用心

像於認知行為治療。透過心像為主的治療方 法，能夠改善社交恐懼症者的社會互動狀況

（Hirsch et al., 2003），調整創傷後症候群

（Holmes et al., 2007）、 憂 鬱 症（Williams, Blackwell, Mackenzie, Holmes, & Andrews, 2013）的情緒反應與症狀。簡而言之，透過 對於心像運作的了解與應用，不僅能在教育 學習上有所提升，更能對於心理情緒健康有 所助益。

二、手語使用者的心像能力

關於失聰手語者的視覺心像研究，最初 Conlin 與 Paivio（1975）基於雙重編碼的假 設，認為具體名詞同時具有語意及視覺影像 編碼，在比較失聰手語者與聽常非手語者記 憶一串具體詞彙是否有差異時，結果發現兩 組人表現相似，推論失聰者並沒有更優異的 視覺心像能力。

不 過， 在 心 像 旋 轉 的 研 究 中， 研 究 者 發 現 了 失 聰 手 語 者 有 更 快 的 心 像 旋 轉 能 力

（Emmorey, Klima, & Hickok, 1998；Emmorey et al., 1993）。 而 這 樣 的 心 像 旋 轉 的 優 勢 主 要 是 因 為 視 覺 形 式 的 手 語 經 驗 所 導 致

（Chamberlain & Mayberry, 1994），與手語的 流暢度有關係，但與手語的習得年紀或是聽 力 損 失 與 否 無 關（Talbot & Haude, 1993）。

而手語經驗之所以會對於心像旋轉造成影響，

主要是因為手語同時溝通時，由於表達者與 接收者的視覺角度有所差異，需要進行相關 的心智轉換（mental transformation），使得手 語使用者有較突出的相關心像能力（Emmorey et al., 1993），但是這樣的轉換機制並非自動 化的，即使是流利手語使用者在轉換的過程 中，也是有相當的認知負擔（Emmorey et al., 2019）。

Emmorey 等人（1993）運用 Kosslyn 等

人（1988）的心像產生與心像維持實驗典範

（Kosslyn et al., 1988），有系統地探討失聰 手語者的心像運作，發現失聰手語者有較 快的心像產生能力，而這樣的優勢主要是 因為失聰手語者更側化運用右腦來處理心像

（Emmorey & Kosslyn, 1996）。對於心像運 作的探討，Emmorey 等人（1993）在心像產 生作業中，呈現500 毫秒英文小寫字母做為 心像提示線索，受試者看到提示線索後，以 4 × 5 方格為背景，要產生英文大寫字母的 心像。提示線索結束延宕一段時間，刺激間 距（interstimulus interval, ISI）500 毫秒後，

4 × 5 方格中會出現一個目標項 X，受試者 需要判斷目標項X 所處的位置，是否是包含 在剛才心像位置中。研究刺激料依照英文大 寫字母的複雜度，區分為簡單心像（L、C、

U,、F、H）與複雜心像（P、J、O、S、G），

同時，依據每個大寫字母筆劃產生的先後，

目標項X 出現在心像位置時，可以再細分為 早筆劃位置（early-imaged segment）與晚筆 劃位置（late-imaged segment）。研究中比較 了失聰手語者、聽常非手語者，以及10 位出 生在失聰手語者家庭從小使用手語的聽常手 語者（hearing-of-deaf, HD），研究結果發現 失聰手語者與聽常手語者的表現形態相似，

手語者與聽常非手語者在簡單心像中有相似 的反應速度，不過，手語者比聽常非手語者 能夠更快地產生複雜心像，顯示出手語者在 複雜心像產生的優勢。在心像維持作業中，

則操弄ISI 為 500 或 2500 毫秒，兩種刺激間 距是在不同實驗區段進行，受試者需要判斷 目標項是否出現在先前記住幾何圖形心像的 位置。在心像維持實驗中，為了避免長期記 憶的影響，採用了4 × 5 方格中的三種不同 複雜度的幾何圖形，受試者需要先記住這些 幾何圖形，才開始正式實驗。結果發現：要

維持複雜圖形心像需要較長的時間，ISI 較長

（2500 毫秒）時也會需要較長反應時間，而 ISI 的反應時間差異，在複雜圖形心像中更為 顯著，顯示出人們對於要較長時間維持複雜 圖形心像是有較高的認知負擔的。不過，失 聰手語者和聽常非手語者並未出現差異，聽 常手語者的表現和聽常非手語者較為相似，

該研究推論手語經驗對於心像維持運作的影 響不大。值得注意的是，該研究發現失聰手 語者在心像維持作業中有較高的錯誤率，作 者認為可能是失聰手語者在剛開始記憶三種 不同複雜度的幾何圖形時，耗費較少時間記 憶所致。不過，在此我們不禁會提出疑問：

倘若失聰手語者在面對熟悉的圖形時，是否 就能比較有效地維持心像？除此之外，由於 該研究中的刺激間距是在不同實驗區段，受 試者較容易發展出對應的心像運作策略，或 許這也是該研究未發現不同族群在心像維持 差異的原因。

因 此， 在Emmorey 等 人（1993） 的 研 究基礎下，本研究欲透過合適的實驗設計，

釐清手語經驗對於心像產生與維持的可能影 響與關係。關於心像產生的時間，本研究根 據Podgorny 與 Shepard（1978）以及 Kosslyn 等人（1988）的研究成果，人們在產生英文 大寫字母心像時，依照大寫字母的筆劃複雜 度，大約會需要300 至 750 毫秒。實驗中將 採 用 與Emmorey 等人（1993）心像產生相 似的實驗典範，但改以中文數字做為提示線 索，在4 × 5 方格的背景，以阿拉伯數字 2 至9 作為心像內容。本研究參照過往的心像 研究，產生作業的刺激間距（ISI）設定為 500 毫秒以下，心像維持作業的 ISI 為 500 毫秒以上（過去研究曾使用500 毫秒、2500 毫秒或3000 毫秒）（Emmorey et al., 1993；

Kosslyn et al., 1990；Piccardi, Nori, Palermo,

Guariglia, & Giusberti, 2015）。 同 時 根 據 Emmorey 等人（1993）的心像產生作業結果，

一般成人的正確率可達90％以上的，顯示 出心像產生作業的ISI 為 500 毫秒時難度較 低。本研究透過提高作業難度，嘗試能更精 細地釐清三個族群之間的心像運作異同，因 此，在提示線索呈現設定為500 毫秒，心像 產生作業的ISI 縮短為 200 毫秒、400 毫秒，

心像維持作業的ISI 定為 800 毫秒、2000 毫 秒，將分別對於心像產生與心像維持歷程進 行統計分析。同時，在實驗區段中，提示線 索呈現400 毫秒後，不同的 ISI（200、400、

800 或 2000 毫秒）會隨機呈現，由於受試者 在這樣的實驗設計下，較不容易針對特定的 刺激間距發展出對應的策略，我們認為此實 驗設計將可更真確地反映出受試者的心像運 作歷程。實驗中也將阿拉伯數字依照其書寫 筆劃，將有出現在該心像的目標項位置，再 細分為現在該數字的早筆劃位置與晚筆劃位 置，實驗將特別關注早晚筆劃的差異，研究 假設：心像產生是一種序列的過程，若是處 於心像正在產生的歷程，則由於早筆劃的處 理是相對較為快速完成，因此早筆劃則會有 較高的正確率或較快的反應時間；相對的，

當早晚筆劃的差異較小甚至消失時，則反映 出視覺心像已經產生或接近完成，這一點主 要是基於人們可以同時處理視知覺影像（即 視知覺的同時性），以及視覺心像與視知覺 有相似的運作特性，我們合理推論當視覺心 像已經完整時，早晚筆劃的差異也就相對較 小或不復存在。

本研究關注手語經驗是否與視覺空間心 像運作之間依舊存有正向關係。研究邀請三 個族群（失聰手語者、聽常手語者、聽常非 手語者），操弄ISI〔心像產生 ISI（200、

400）、心像維持 ISI（800、2000 毫秒）〕，

以及目標項出現在心像的位置（早筆劃位 置、晚筆劃位置）。研究分析除了對於三個 族群進行三因子混合變異數分析外，同時會 對三個族群各自進行二因子完全受試者內變 異數分析，並透過三個族群各自的資料型態 作為推論：由於三族群都是長期使用中文文 字的狀況下，若是手語失聰者與聽常手語者 的資料型態相似，但與聽常非手語者有所不 同，則會推論失聰手語者於此心像運作表現 與手語經驗有關；相對的，若手語失聰者的 資料型態與聽常手語者、聽常非手語者有所 不同，而聽常手語者、聽常非手語者的資料 型態較為相似，則會推論心像運作表現與聽 力限制較為有關。

研究方法

一、受試者

實驗邀請24 位失聰手語者（女性 14 位，

平均年齡為35.83 歲），失聰手語者聽力損 失至少100 分貝以上，皆未接受耳蝸植入手 術，並以臺灣手語為日常生活主要溝通語言；

19 位聽常手語者（女性 15 位，平均年齡為 35.16 歲），其母語為中文，學習過並能流 利使用臺灣手語溝通；24 位母語為中文的聽 常非手語者（女性14 位，平均年齡為 35.29 歲）。失聰手語者對於自己的中文能力、臺 灣手語能力做自評（非常不流利1–5 非常流 利），平均分別為3.79 與 3.38，自陳報告已 學習臺灣手語平均為16.92 年，使用臺灣手 語平均每週約29.75 小時。聽常手語者有 14 位具有丙級或乙級的臺灣手語翻譯員證照，

已學習臺灣手語平均為15.93 年，使用臺灣 手語平均每週約9.47 小時，對自己的中文能

力做自評（非常不流利1–5 非常流利），平 均分別為3.95。在中文能力自評中，聽常手 語者與失聰手語者未達顯著差異[t (41) =.65, p > .05, Cohen's d = .20 ]，在每週手語使用時 數中，失聰手語者有顯著較長的使用時數[t (28) = 3.05, p < .01, Cohen's d = .89 ]。所有參 與者皆為視力正常或矯正至正常，有正常的 視覺辨色能力，能夠閱讀中文，無其他神經 生理或心理疾病。在參與本實驗之前，都瞭 解並同意本實驗之目的與程序，同時也清楚 瞭解實驗過程中受試者自身的權益與意願。

二、刺激材料

在實驗中，以黑底白色格線4 × 5 的方 格，作為心像產生、心像維持的位置背景。

實驗中，心像內容是使用阿拉伯數字2 至 9，

並依照本實驗所提供的4 × 5 的方格所佔據 的位置為主（請參照圖一）。為了避免心像 提示與阿拉伯數字有相似的視覺外型特徵而 減輕了受試者心像產生運作的需求，因此，

在 空 白 的4 × 5 的方格上方，以中文數字

（二、三、四、五、六、七、八、九）作為 心像提示。在心像判斷呈現時，目標項則為 4 × 5 方格中的一個紅色圓點。每個阿拉伯 數字刺激，會依照筆畫順序分為前半與後半，

並將所佔據的位置分為的早筆劃位置與後半 的晚筆劃位置。

三、實驗程序

本實驗邀請三組受試者族群（失聰手語 者、聽常手語者、聽常非手語者），操弄ISI

（200、400、800、2000 毫秒）以及目標項 出現在心像的位置（早筆劃位置、晚筆劃位 置）。正式實驗之前，受試者會需要先熟悉 阿拉伯數字2 至 9 在 4 × 5 方格所佔據的位 置，以及各個刺激所產生的筆畫順序。在實 驗嘗試次的程序中，於200 毫秒凝視點「+」

出現後，接著出現400 毫秒的心像提示呈現

（空白4 × 5 方格與上方一個中文數字）；

之後，僅上方中文數字提示消失，方格則依 舊呈現於螢幕中，以協助受試者可以依據所 提供的方格相對位置，產生合適的阿拉伯數 字 心 像； 經 過200、400、800 或 2000 毫 秒 時間間隔，方格中會出現一個紅色圓點的目 標項，受試者必須以按鍵判斷該目標項是否 有包含在數字心像位置中。不同時間間隔情 境ISI 會以隨機方式出現，並有相同的出現 機率；實驗中目標項有出現於心像位置中與 未出現在心像位置中的機率相同，目標項出 現在早筆劃位置與晚筆劃位置，機率也是相

圖一　實驗刺激阿拉伯數字 2 至 9，於 4 × 5 的方格中所佔據的位置

後半

圖一 三、

操弄 位置 4 × 序中 白 4 舊呈 拉伯 紅色 中。

標項

半的晚筆劃

一 實驗刺

、實驗程序 本實驗邀 弄 ISI（200 置、晚筆劃

5 方格所佔 中，於 200

4 × 5 方格與 呈現於螢幕 伯數字心像 色圓點的目

。不同時間 項有出現於

劃位置。

刺激阿拉伯數 序

邀請三組受試 0、400、80 劃位置）。正

佔據的位置 毫秒凝視點 與上方一個 幕中，以協助 像；經過 200 標項，受試 間隔情境 I 於心像位置中

數字 2 至 9

試者族群（

00、2000 毫 正式實驗之前

置，以及各個 點「 +」出現 個中文數字）

助受試者可以 0、400、80 試者必須以按

ISI 會以隨機 中與未出現

14 

，於 4 × 5

失聰手語者 毫秒）以及 前，受試者 個刺激所產 現後，接著

） ；之後，僅 以依據所提 00 或 2000 按鍵判斷該

機方式出現 現在心像位置

的方格中所

者、聽常手 及目標項出現 者會需要先熟 產生的筆畫順 著出現 400 毫 僅上方中文數 提供的方格相 毫秒時間間 該目標項是否 現，並有相同 置中的機率

所佔據的位置

手語者、聽常 現在心像的 熟悉阿拉伯 順序。在實 毫秒的心像 數字提示消 相對位置，

間隔，方格 否有包含在 同的出現機 率相同，目標

置

常非手語者 的位置（早筆 伯數字 2 至

實驗嘗試次的 像提示呈現

消失，方格則 產生合適的 格中會出現一 在數字心像位 機率；實驗中 標項出現在早

者），

筆劃 9 在 的程

（空

則依

的阿

一個

位置

中目

早筆

同。實驗前會有24 題的練習題，受試者須達 熟悉實驗程序才進入正式實驗，總共有256 題嘗試次。實驗程序請參照圖二。

研究結果

一、心像產生（ISI 為 200、400 毫秒）

本 研 究 參 照Emmorey 等 人（1993） 的 研究結果，主要分析正確率與反應時間，進 行三族群（失聰手語者、聽常手語者、聽常 非手語者）、ISI（200、400 毫秒）與筆劃

（早筆劃、晚筆劃）之 3 × 2 × 2 三因子混 合變異數分析。正確率的結果發現三因子交 互作用[F(2, 46) = .25, p > .05, η² G = .001 ]、

所有二因子交互作用[F < 1.5 ] 都未達顯著；

受試者族群主要效果達顯著[F(2, 64) = 3.99, p < .05, η² G = .06 ]，聽常手語者有顯著較 聽常非手語者高的正確率；早晚筆劃達顯著 [F(1, 64) = 4.79, p < .05, η² G = .01 ]，早筆劃 有較高的正確率。在反應時間中，排除每位 受試者大於或小於兩個標準差的極端值後，

再進行後續統計分析。三因子混合變異數分 析結果發現三因子交互作用接近顯著[F(2, 46) = 2.73, p = .07, η² G = .003 ]，二因子交互 作用中，族群與早晚筆劃、族群與ISI [F < 1 ] 都未達顯著，僅 ISI 與早晚筆劃達顯著 [F(1, 64) = 6.50, p < .05, η² G = .09 ]，單純主要效 果顯示早晚筆劃的差異主要是在ISI 為 200 毫秒時出現，但在ISI 為 400 毫秒時則未有 差異；受試者族群主要效果達顯著[F(2, 64)

= 6.73, p < .01, η² G = .16 ]，聽常手語者比起 失聰手語者、聽常非手語者有顯著較快的反 應 時 間；ISI [F(1, 64) =9.74, p < .01, η2 G = .01 ]、早晚筆劃主要效果皆達顯著 [F(1, 64)

= 4.79, p < .05, η² G = .01 ]。

本研究將分別針對三組受試者於目標項 判斷的正確率及正確反應時間，各自進行2

（ISI 200、400 毫秒）× 2（早筆劃、晚筆劃）

之二因子完全受試者內變異數分析，尤其著 重在早晚筆劃的差異，實驗結果請參照表一。

在正確率中，失聰手語者的ISI 主要效果、早 晚筆劃以及二因子交互皆未達顯著差異，聽 常手語者、聽常非手語者的三個效果亦未達 顯著。在反應時間中，排除每位受試者大於 或小於兩個標準差的極端值後，再進行後續

圖二　心像運作作業中，單一嘗試次之程序與呈現時間

劃位 熟悉

圖二

一、

間，

秒）

結果 用 [F

= .0

= 4.

試者

位置與晚筆 悉實驗程序

二 心像運作

、心像產生 本研究參照

，進行三族

）與筆劃（

果發現三因

F < 1.5

]都未 06 ]，聽常手

.79, p < .05, 者大於或小

筆劃位置，機 序才進入正式

作作業中，

生（

照 Emmore

群（失聰手 早筆劃、晚 因子交互作用 未達顯著；

手語者有顯著 , η

= .01 ] 小於兩個標準

機率也是相 式實驗，總

單一嘗試次

00、400 毫

ey 等人（1 手語者、聽常

晚筆劃）之 用[F(2, 46)

受試者族群

著較聽常非 ]，早筆劃有 準差的極端

15 

相同。實驗前 總共有 256 題

次之程序與

研究結果

毫秒）

1993）的研 常手語者、

之 3 × 2 × 2

= .25, p > . 群主要效果 非手語者高的

有較高的正 端值後，再進

前會有 24 題 題嘗試次。

與呈現時間

研究結果，主

、聽常非手語

三因子混合 05, η

= .0 果達顯著 [F(

的正確率；

正確率。在反 進行後續統計

題的練習題 實驗程序請

主要分析正 語者） 、 ISI

合變異數分 001 ]、所有 (2, 64) = 3.9 早晚筆劃達 反應時間中

計分析。三

題，受試者須 請參照圖二

正確率與反應 I（200、40 分析。正確率 有二因子交互

99, p < .05, 達顯著[F(1 中，排除每位 三因子混合變

須達 二。

應時 00 毫 率的 互作

η

, 64)

位受

變異

統計分析。失聰手語者的ISI 主要效果、早 晚筆劃皆未達顯著差異，但二因子交互達顯 著[F(1, 23) = 9.84, p < .01, η² G = .30 ]，單純 主要效果顯示早晚筆劃的差異僅在ISI 為 200 毫秒時依舊存在[F(1, 46) = 11.79, p < .001]，

但在ISI 為 400 毫秒時早晚筆劃則消失 [F(1, 46) = .15, p > .05]，顯示出此時已經完成心像 產生作業。聽常手語者的ISI 主要效果未達 顯著，但早晚筆劃[F(1, 18) = 22.45, p < .001, η² G = .56 ]、二因子交互 [F(1, 18) = 5.01, p <

.05, η² G = .22 ] 達顯著，單純主要效果顯示 聽常手語者早晚筆劃的差異僅在ISI 為 200 毫秒時[F(1, 36) = 4.44, p < .05]，但在 ISI 為 400 毫秒時早晚筆劃則消失 [F(1, 36) = .15, p

> .05]，顯示出聽常手語者也已經完成心像產 生作業。聽常非手語者的ISI 主要效果 [F(1, 23) = 6.65, p < .05, η² G = .22 ]、早晚筆劃[F(1, 23) = 13.38, p < .01, η² G = .37 ]皆達顯著差異，

但二因子交互未達顯著，顯示出聽常非手語 者在兩個ISI 狀態下，都在產生心像的歷程 中，因此，早晚筆劃的差異皆有出現。

簡而言之，此結果顯示出失聰手語者與 聽常手語者在早晚筆劃的操弄，僅在ISI 為 200 毫秒中發現，當 400 毫秒時早筆劃的差 異也就不復存在，推論此時失聰手語者與聽 常手語者已經產生完整心像，相對的，聽常 非手語者早筆劃的差異於400 毫秒時依舊存 在。此結果相當可能是反映出失聰手語者與 聽常手語者內在產生心像歷程可能相對較為 快速，因此在400 毫秒時已經完成，因此，

我們推論心像產生運作表現差異與手語經驗 有關，手語經驗能促使心像產生更為有快速 有效率。

二、心像維持（ISI 為 800、2000 毫秒）

以 下 將 進 行3（失聰手語者、聽常手

表一　三組受試者於心像產生（200、400 毫秒）情境下，早晚筆劃位置之正確率、反應 時間的平均數（標準差）與以及二因子完全受試者內ANOVA 統計考驗結果

心像產生 描述統計 ANOVA

ISI 200 400 ISI 筆劃 交互作用 筆劃單純

主要效果 筆劃 早 晚 早 晚 F p ^{η2 G} F p ^{η2 G} F p η² G 200

毫秒 400 毫秒 失聰手語 正確率 .94

(.06) .93 (.06)

.92 (.06)

.92

(.08) 1.74 .20 .07 .19 .66 .01 .03 .86 .001 - - 反應

時間 1039 (239)

1129 (251)

1049 (296)

1039

(216) 3.69 .07 .14 3.36 .08 .13 9.84 .005 .03 .0001 .70 聽常手語 正確率 .97

(.05) .93 (.11)

.94 (.10)

.94

(.06) .25 .62 .01 1.58 .23 .08 .90 .36 .05 - - 反應

時間 808 (161)

898 (161)

816 (194)

852

(187) 1.08 .31 .06 22.45 .001 .56 5.01 .04 .22 .04 .70 聽常非手語 正確率 .92

(.09) .88 (.11)

.89 (.11)

.88

(.12) .45 .51 .02 3.67 .07 .14 .71 .41 .03 - - 反應

時間 1046 (234)

1099 (211)

998 (210)

1058

(235) 6.65 .02 .22 13.38 .001 .34 .03 .87 .001 - -

語者、聽常非手語者）× 2（800、2000 毫 秒）× 2（早筆劃、晚筆劃）之三因子混合 變異數分析。正確率結果發現三因子交互作 用[F(2, 46) = .66, p > .05, η² G = .003 ]、所有 二因子交互作用[F < 2.56 ] 都未達顯著；受 試者族群主要效果達顯著[F(2, 64) = 6.01, p

< .01, η² G = .094 ]，聽常非手語者比起失聰 手語者、聽常手語者有顯著較低的正確率；

ISI 達 顯 著 [F(1, 46) = 11.00, p < .01, η² G = .147]，在 2000 毫秒時有顯著較高的正確率；

筆劃未達顯著[F(1, 46) = .96, p > .05, η² G = .003]。在反應時間中，結果顯示三因子交互 作用[F(2, 46) = .10, p > .05, η² G = .001 ]、所 有二因子交互作用[F < 2.30 ] 都未達顯著；

受試者族群主要效果達顯著[F(2, 64) = 5.21, p < .01, η² G = .122 ]，聽常手語者有顯著較 失聰手語者快的反應時間；ISI 達顯著 [F(1, 46) = 38.20, p < .001, η² G = .038]， 在 2000

毫秒時有顯著較快的反應時間；筆劃未達顯 著[F(1, 46) = .40, p > .05, η² G = .006]。

以下針對三組受試者各自進行ISI（800、

2000 毫秒）與筆劃（早筆劃、晚筆劃）之二 因子完全受試者內變異數分析，尤其著重在 早晚筆劃的差異。實驗結果請參照表二。在 正確率中，失聰手語者、聽常手語者的所有 效果未達顯著，聽常非手語者的早晚筆劃以 及二因子交互未達顯著，但ISI 主要效果達 顯著[F(1, 23) = 12.25, p < .01, η² G = .35 ]，

其在2000 毫秒時有顯著較高的正確率。在 反應時間中，排除每位受試者大於或小於兩 個標準差的極端值後，再進行後續統計分 析。失聰手語者的早晚筆劃、二因子交互作 用皆未達顯著差異，但ISI 主要效果達顯著 [F(1, 23) = 7.30, p < .05, η² G = .24 ]；其他兩 組受試者也出現相似的資料型態，聽常手語 者[F(1, 19) = 12.74, p < .001, η² G = .42 ] 與

表二　三組受試者於心像維持（800、2000 毫秒）情境下，早晚筆劃位置之正確率、反應 時間的平均數（標準差）與以及二因子完全受試者內ANOVA 統計考驗結果

心像維持 描述統計 ANOVA

ISI 800 2000 ISI 筆劃 交互作用

筆劃 早 晚 早 晚 F p ^{η2 G} F p ^{η2 G} F p ^{η2 G}

失聰手語 正確率 .94 (.06)

.94 (.06)

.96 (.05)

.94

(.08) 1.25 .28 .05 1.19 .29 .05 .27 .61 .001 反應

時間 998 (218)

1021 (275)

963 (251)

960

(228) 7.30 .01 .24 .24 .63 .01 .42 .52 .02 聽常手語 正確率 .97

(.09) .95 (.09)

.98 (.0.9)

.98

(.05) 1.06 .32 .06 .30 .59 .02 .35 .56 .02 反應

時間 835 (202)

836 (188)

742 (142)

741

(148) 12.74 .002 .42 .001 1.00 .001 .93 .93 .001 聽常非手語 正確率 .89

(.12) .87 (.10)

.92 (.10)

.93

(.11) 12.25 .002 .35 .03 .86 .001 1.14 .30 .05 反應

時間 986 (246)

1002 (242)

876 (171)

881

(194) 18.14 .001 .44 .43 -.52 .02 .17 .69 .007

聽常非手語者[F(1, 23) = 18.14, p < .001, η² G

= .44 ] 皆只在 ISI 主要效果達顯著。此結果 顯示出三個族群在兩種不同ISI 情境下，心 像維持的狀況相似，根據結果，我們合理地 推論手語經驗與心像維持運作的關係較小。

簡而言之，透過早晚筆劃為指標，可發 現三個族群於800 毫秒與 2000 毫秒皆未顯 現出早晚筆劃的差異，反映出已完成心像。

不過，失聰手語者與聽常手語者在有相當較 高的正確率，而聽常非手語者於800 毫秒甚 至有低於九成的正確率，到2000 毫秒時有 顯著較高的正確率，反映出手語者在維持心 像，尤其是在較短的心像維持時間，有較清 晰的優勢。

討論

本研究探討手語經驗能否影響視覺空間 心像的運作，實驗中邀請三個族群（失聰手 語者、聽常手語者、聽常非手語者），操弄 ISI〔心像產生 ISI（200、400）、心像維持 ISI（800、2000 毫秒）〕，以及目標項出現 在心像的位置（早筆劃位置、晚筆劃位置），

針對受試者對於目標項判斷的正確率及反應 時間做分析，並將早晚筆劃差異情況當作心 像運作狀態的指標。

結果發現在心像產生中，雖然失聰手語 者與聽常非手語者的反應時間沒有差異，但 聽常非手語者在ISI 200 及 400 毫秒時，依舊 可發現早晚筆劃的差異，顯示出聽常非手語 者的心像尚未全部完成；相對的，失聰手語 者、聽常手語者對於早晚筆劃的差異僅在ISI 200 毫秒，但在 ISI 400 毫秒則有相似的表 現，合理推論手語者時間間距400 毫秒時已 完成在心像產生的歷程。而早晚筆劃變項作

為心像產生完成的合理指標，也可從心像維 持作業的結果中獲得肯定。簡言之，手語者 在較短的時間內便已經生成完整的心像，其 心像產生的效率較好。在心像維持中，可發 現早晚筆劃的差異無論是在不同的受試者族 群或是ISI 中都未達顯著差異，再次驗證三 組受試者在800、2000 毫秒時已經完成心像；

同時，聽常非手語者其在較長的ISI 2000 毫 秒相對於800 毫秒時，有較高的正確率、較 快的反應速度，顯示給予足夠長的時間，心 像完成度或是心像品質能夠較為穩定，使得 人們對於內在心像的判斷會有較好的表現。

值得注意的是，失聰手語者、聽常手語者的 正確率在ISI 未有顯著，手語者在 ISI 800 毫 秒時已經有較高的正確率，反映出手語者在 心像維持的較早階段已經有相當好的心像品 質。

本實驗結果與Emmorey 等人（1993）的 研究發現，都發現失聰手語者在心像產生上 有較好的表現，不過，本實驗更進一步發現 手語者在較短時間的心像維持運作中也具有 優勢。此結果與1993 年研究結果的差異，可 能是來自於實驗設計本身，Emmorey 等人的 心像維持作業中，刺激間距是分別在不同的 實驗區段進行，受試者較易形成策略因應。

但在本實驗刺激間距則為隨機呈現，而失聰 手語者由於手語語言的特性，長期且頻繁在 心像運作的使用與練習，便可能使得其有較 靈活、有效率的運作機制。第二點是兩研究 實驗刺激的差異，Emmorey 等人研究於心像 產生與維持作業使用不同的實驗刺激，在心 像產生時是使用英文大寫字母，而在心像維 持作業中，是使用無意義的刺激型態，目的 是為了防止長期記憶的語意知識對於心像維 持造成影響，因此，在進行這些無意義的刺 激型態的心像維持之前，受試者必需透過多

次的練習，來熟悉這些無意義刺激型態，不 過，該研究後續的分析也發現，在心像維持 正式實驗前，失聰手語者比起聽常非手語者 花費相對較少的時間練習這些無意義的刺激 型態，該實驗的結果有可能也會受到兩族群 先前練習熟悉度的差異所導致。相對的，本 實驗的心像產生與心像維持是使用相似的實 驗作業與刺激（阿拉伯數字），透過刺激間 距長短來做為區分，由於受試者對於阿拉伯 數字多是非常熟悉的，僅需要少量練習以熟 悉各個數字在4 × 5 的方格中的對應位置，

即可開始進入正式實驗。本實驗使用受試者 熟悉的阿拉伯數字，雖然可以排除個體對於 刺激熟稔的差異，但不諱言，此結果也限制 了推論的範圍，反映出失聰手語者對於心像 維持的較好能力可能是僅限於熟悉的事物。

另 外， 在Emmorey 等 人（1993） 的 心 像研究中，聽常手語者的表現與失聰手語 者相似，但本研究的聽常手語者的表現相 當優異突出，其原因可能來自本研究中的聽 常手語者多為專業的手語翻譯員，流利的雙 語使用者在一些認知能力上具有優勢，尤其 是在執行功能或認知控制（Bialystok, 2009, 2017），雖然在美國手語的聽常手語者中未 發現有較好的認知控制表現（Emmorey, Luk, Pyers, & Bialystok, 2008）， 但 仍 需 要 更 進 一步釐清是否因為認知控制能力的提升進而 影響到許多相關的認知能力；此外，聽常手 語者學習手語的原因，除了可能是因為個人 興趣、需求，也無法排除是因為原本自身已 具備較好的視覺空間能力，才會受到手語的 吸引。建議在未來的聽常手語者研究與訓練 中，一方面可以多測量其他重要的認知能力 如執行功能，另一方面可以在學習期或初期 對其相關的認知能力進行前測，並在學習一 段時間後進行後測，將可以更清楚地釐清手

語經驗學習對於聽常者的影響。

除此之外，本研究對於受試者的語言能 力，僅以主觀自評的方法有其研究限制。語 言能力若僅透過自評，往往受到個人其他非 語言的主觀因素而有所誤差，對於母語為中 文的成年人，即使可以自然使用中文，其中 文能力也都存在著相當程度的差異，日後除 了自評部分外，宜發展適合成人的中文語言 能力的客觀評估方式，以釐清中文能力與其 他認知能力之間的關係。在評估臺灣手語能 力部分，聽常手語者的手語能力可以透過證 照取得情況作為客觀參照，相對失聰手語者 往往沒有機會接受臺灣手語能力的評估。日 後研究也可透過劉秀丹、劉俊榮、曾進興與 張榮興（2015）所發展的臺灣自然手語理解 能力測驗，包含詞彙理解、句法理解與故事 理解6 題，作為臺灣手語理解能力的指標。

綜合而論，本實驗結果反映出手語者在 心像運作的歷程中，無論是心像產生或是短 期心像維持都有正向的關係，反映出語言與 認知運作並非各自獨立運作，彼此之間是相 互影響。不過，由於本實驗心像維持時間ISI 最長僅為2000 毫秒，更長的刺激間距中，手 語者心像維持是否依舊有其優勢，尚無法從 本實驗得知，不過，從手語語言使用的觀察，

手語者時常會運用到不同的空間位置作為所 指稱的事物，而且在語言的表達過程中，這 些空間位置指稱的事物需要被維持的時間通 常會更久，絕對不像本實驗中最長的刺激間 距僅有2000 毫秒而已；同時，在說明空間 位置與所指稱事物後，依舊有許多手語詞彙 及語句會在有限的空間中出現，這不禁令人 合理懷疑：是否失聰手語者在心像維持時，

更能夠不受到其他訊息的干擾。在未來的研 究中，可以加入其他視覺運作干擾，以更進 一步了解手語者的心像維持運作機制，釐清

手語經驗與心像維持機制的關係；另外，在 未來的研究中，建議也可以同時測量手語者 的心像能力與其他學科表現或工作職能，將 可更清楚了解手語經驗的影響，以及其學習 遷移在其他能力上的情況。

本研究發現臺灣手語經驗與心像運作有 著正向的關係，在手語語言的推廣中，可鼓 勵人們無論聽力限制與否，都有機會能夠透 過手語訓練，強化視覺空間表徵能力。同時，

基於先前研究發現心像運作也能運用在科學 學習、語言學習、心理健康等場域（Ormrod, 1985；Pearson et al., 2015；Shen, 2010；Uttal

& Cohen, 2012），針對失聰者，若有臺灣手 語的能力，不僅有溝通無礙的語言運作，同 時強化其視覺空間認知能力，也能有機會提 升科學、中文學習、工作職能及心理健康。

結論

心像是一個重要的認知能力，並會受到 許多後天學習經驗影響，本研究探討使用臺 灣手語的手語者之心像運作。實驗結果發現 在心像產生作業ISI 為 400 毫秒時，手語者 便已經產生好完整的心像，在心像維持作業 ISI 為 800 毫秒時，手語者也有相當高的正確 率。同時輔以失聰手語者與聽常手語者於心 像產生作業、心像維持作業都出現較相似的 資料型態，推論手語經驗與心像運作有著正 向關係，使得手語者在心像產生與短時間心 像維持都有其優勢，反映出語言經驗與認知 運作之間相互影響。

參考文獻

劉秀丹、劉俊榮、曾進興、張榮興（2015）：

臺灣手語理解能力標準化測驗的編製與

發展。特殊教育研究學刊，40（3），27- 57。[Liu, Hsiu-Tan, Liu, Chun-Jung, Tseng, Chin-Hsing, & Chang, Tung-Hsing (2015).

Development of a standardized Taiwanese Sign Language comprehension test. Bulletin of Special Education, 40(3), 27-57.] https://

doi.org/10.6172/BSE.201511.4003002 Albers, A. M., Kok, P., Toni, I., Dijkerman,

H. C., & de Lange, F. P. (2013). Shared representations for working memory and mental imagery in early visual cortex.

Current Biology, 23(15), 1427-1431. https://

doi.org/10.1016/j.cub.2013.05.065

Bellugi, U., O’Grady, L., Lillo-Martin, D., O’Grady Hynes, M., van Hoek, K., & Corina, D. (1990). Enhancement of spatial cognition in deaf children. In V. Volterra, & C. J. Erting (Eds.), From gesture to language in hearing and deaf children (pp. 278-298). Berlin/

Heidelberg, Germany: Springer. https://doi.

org/10.1007/978-3-642-74859-2_22

Bialystok, E. (2009). Bilingualism: The good, the bad, and the indifferent. Bilingualism:

Language and Cognition, 12(1), 3-11. https://

doi.org/10.1017/S1366728908003477 Bialystok, E. (2017). The bilingual adaptation:

How minds accommodate experience.

Psychological Bulletin, 143(3), 233-262.

https://doi.org/10.1037/bul0000099

Borst, G., Ganis, G., Thompson, W. L., & Kosslyn, S. M. (2012). Representations in mental imagery and working memory: Evidence from different types of visual masks. Memory and Cognition, 40(2), 204-217. https://doi.

org/10.3758/s13421-011-0143-7

Borst, G., & Kosslyn, S. M. (2008). Visual mental

imagery and visual perception: Structural equivalence revealed by scanning processes.

Memory and Cognition, 36(4), 849-862.

https://doi.org/10.3758/MC.36.4.849

Chamberlain, C., & Mayberry, R. I. (1994). Do the deaf``see'' better? Effects of deafness on visuospatial skills TENNET V meetings, Montreal, Canada.

Conlin, D., & Paivio, A. (1975). The associative learning of the deaf: The effects of word imagery and signability. Memory and Cognition, 3(3), 335-340. https://doi.

org/10.3758/BF03212921

De Beni, R., Pazzaglia, F., & Gardini, S. (2007).

The generation and maintenance of visual mental images: Evidence from image type and aging. Brain and cognition, 63(3), 271-278. https://doi.org/10.1016/

j.bandc.2006.09.004

Denis, M., & Kosslyn, S. M. (1999). Scanning visual mental images: A window on the mind.

Cahiers de Psychologie Cognitive, 18(4), 409-465.

Emmorey, K., Klima, E., & Hickok, G. (1998).

Mental rotation within linguistic and non- linguistic domains in users of American sign language. Cognition, 68(3), 221-246. https://

doi.org/10.1016/S0010-0277(98)00054-7 Emmorey, K., & Kosslyn, S. M. (1996). Enhanced

image generation abilities in deaf signers: A right hemisphere effect. Brain and Cognition, 32(1), 28-44. https://doi.org/10.1006/

brcg.1996.0056

Emmorey, K., Kosslyn, S. M., & Bellugi, U.

(1993). Visual imagery and visual-spatial language: Enhanced imagery abilities in

deaf and hearing ASL signers. Cognition, 46(2), 139-181. https://doi.org/10.1016/0010- 0277(93)90017-P

Emmorey, K., Luk, G., Pyers, J. E., & Bialystok, E. (2008). The source of enhanced cognitive control in bilinguals: Evidence from bimodal bilinguals. Psychological Science, 19(12), 1201-1206. https://doi.org/10.1111/j.1467- 9280.2008.02224.x

Emmorey, K., Secora, K., & Brozdowski, C.

(2019). Assessing the comprehension of spatial perspectives in ASL classifier constructions. The Journal of Deaf Studies and Deaf Education, 24(3), 214-222. https://

doi.org/10.1093/deafed/enz005

Flaherty, M. (2000). Memory in the deaf: A cross- cultural study in English and Japanese.

American Annals of the Deaf, 145(3), 237- 244. https://doi.org/10.1353/aad.2012.0106 Flaherty, M. (2003). Sign language and Chinese

characters on visual-spatial memory:

A literature review. Perceptual and Motor Skills, 97(3), 797-802. https://doi.

org/10.2466/pms.2003.97.3.797

Ganis, G., Thompson, W. L., & Kosslyn, S.

M. (2004). Brain areas underlying visual mental imagery and visual perception: an fMRI study. Cognitive Brain Research, 20(2), 226-241. https://doi.org/10.1016/

j.cogbrainres.2004.02.012

Hirsch, C. R., Clark, D. M., Mathews, A., &

Williams, R. (2003). Self-images play a causal role in social phobia. Behaviour Research and Therapy, 41(8), 909- 921. https://doi.org/10.1016/S0005- 7967(02)00103-1

Holmes, E. A., Arntz, A., & Smucker, M. R. (2007).

Imagery rescripting in cognitive behaviour therapy: Images, treatment techniques and outcomes. Journal of Behavior Therapy and Experimental Psychiatry, 38(4), 297-305.

https://doi.org/10.1016/j.jbtep.2007.10.007 Joffe, V. L., Cain, K., & Marić, N. (2007).

Comprehension problems in children with specific language impairment: does mental imagery training help? International Journal of Language and Communication Disorders, 42(6), 648-664. https://doi.

org/10.1080/13682820601084402

Keogh, R., & Pearson, J. (2014). The sensory strength of voluntary visual imagery predicts visual working memory capacity.

Journal of Vision, 14(12):7, 1-13. https://doi.

org/10.1167/14.12.7

Kosslyn, S. M. (1994). Image and brain.

Cambridge, MA: MIT Press.

Kosslyn, S. M., Cave, C. B., Provost, D. A., & von Gierke, S. M. (1988). Sequential processes in image generation. Cognitive Psychology, 20(3), 319-343. https://doi.org/10.1016/0010- 0285(88)90002-3

Kosslyn, S. M., Ganis, G., & Thompson, W. L.

(2001). Neural foundations of imagery.

Nature Reviews Neuroscience, 2(9), 635-642.

https://doi.org/10.1038/35090055

Kosslyn, S. M., Margolis, J. A., Barrett, A. M., Goldknopf, E. J., & Daly, P. F. (1990).

Age differences in imagery abilities. Child Development, 61(4), 995-1010. https://doi.

org/10.2307/1130871

Kosslyn, S. M., Thompson, W. L., & Ganis, G.

(2006). The case for mental imagery. Oxford,

UK: Oxford University Press.

Kozhevnikov, M., Motes, M. A., & Hegarty, M. (2007). Spatial visualization in physics problem solving. Cognitive Science, 31(4), 549-579. https://doi.

org/10.1080/15326900701399897

Laeng, B., & Sulutvedt, U. (2013). The eye pupil adjusts to imaginary light. Psychological Science, 25(1), 188-197. https://doi.

org/10.1177/0956797613503556

Lai, M. Y., & Leung, F. K. S. (2012). Visual perceptual abilities of Chinese-speaking and English-speaking children. Perceptual and Motor Skills, 114(2), 433-445. https://doi.

org/10.2466/10.24.27.PMS.114.2.433-445 Nippold, M. A., & Duthie, J. K. (2003). Mental

imagery and idiom comprehension. Journal of Speech, Language, and Hearing Research, 46(4), 788-799. https://doi.org/10.1044/1092- 4388(2003/062)

O'Craven, K. M., & Kanwisher, N. (2000).

Mental imagery of faces and places activates corresponding stiimulus-specific brain regions. Journal of Cognitive Neuroscience, 12(6), 1013-1023. https://doi.

org/10.1162/08989290051137549

Ormrod, J. E. (1985). Visual memory in a spelling matching task: Comparison of good and poor spellers. Perceptual and Motor Skills, 61(1), 183-188. https://doi.org/10.2466/

pms.1985.61.1.183

Palermo, L., Piccardi, L., Nori, R., Giusberti, F., & Guariglia, C. (2016). The impact of ageing and gender on visual mental imagery processes: A study of performance on tasks from the Complete Visual Mental Imagery

Battery (CVMIB). Journal of Clinical and Experimental Neuropsychology, 38(7), 752- 763. https://doi.org/10.1080/13803395.2016.

1161735

Pearson, J., & Kosslyn, S. M. (2015). The heterogeneity of mental representation:

Ending the imagery debate. Proceedings of the National Academy of Sciences of the United States of America, 112(33), 10089-10092. https://doi.org/10.1073/

pnas.1504933112

Pearson, J., Naselaris, T., Holmes, E. A., &

Kosslyn, S. M. (2015). Mental imagery:

Functional mechanisms and clinical applications. Trends in cognitive sciences, 19(10), 590-602. https://doi.org/10.1016/

j.tics.2015.08.003

Piccardi, L., Nori, R., Palermo, L., Guariglia, C., &

Giusberti, F. (2015). Age effect in generating mental images of buildings but not common objects. Neuroscience Letters, 602, 79-83.

https://doi.org/10.1016/j.neulet.2015.06.058 Podgorny, P., & Shepard, R. N. (1978). Functional

representations common to visual perception and imagination. Journal of Experimental Psychology: Human Perception and Performance, 4(1), 21-35. https://doi.

org/10.1037/0096-1523.4.1.21

Rademaker, R., & Pearson, J. (2012). Training visual imagery: Improvements of metacognition, but not imagery strength.

Frontiers in Psychology, 3(224), 1-11. https://

doi.org/10.3389/fpsyg.2012.00224

Shen, H. H. (2010). Imagery and verbal coding approaches in Chinese vocabulary i n s t r u c t i o n . L a n g u a g e Te a c h i n g

Research, 14(4), 485-499. https://doi.

org/10.1177/1362168810375370

Shepard, R. N., & Metzler, J. (1971). Mental rotation of three-dimensional objects.

Science, 171(3972), 701-703. https://doi.

org/10.1126/science.171.3972.701

Stevenson, H. W., Stigler, J. W., Lee, S. Y., Lucker, G. W., Kitamura, S., & Hsu, C.

C. (1985). Cognitive Performance and Academic Achievement of Japanese, Chinese, and American Children. Child Development, 56(3), 718-734. https://doi.

org/10.2307/1129761

Sugishita, M., & Omura, K. (2001). Learning Chinese characters may improve visual recall.

Perceptual and Motor Skills, 93(3), 579-594.

https://doi.org/10.2466/pms.2001.93.3.579 Talbot, K. F., & Haude, R. H. (1993). The relation

between sign language skill and spatial visualization ability: Mental rotation of three- dimensional objects. Perceptual and Motor Skills, 77(3_suppl), 1387-1391. https://doi.

org/10.2466/pms.1993.77.3f.1387

Tartaglia, E. M., Bamert, L., Mast, F. W., &

Herzog, M. H. (2009). Human perceptual learning by mental imagery. Current Biology, 19(24), 2081-2085. https://doi.org/10.1016/

j.cub.2009.10.060

Uttal, D. H., & Cohen, C. A. (2012). Spatial thinking and STEM education: When, why, and how? In B. H. Ross (Ed.), Psychology of Learning and Motivation (Vol. 57, pp. 147- 181). Cambridge, MA: Academic Press.

https://doi.org/10.1016/B978-0-12-394293- 7.00004-2

Wai, J., Lubinski, D., & Benbow, C. P. (2009).

Spatial ability for STEM domains: Aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of educational Psychology, 101(4), 817.

https://doi.org/10.1037/a0016127

Williams, A. D., Blackwell, S. E., Mackenzie, A., Holmes, E. A., & Andrews, G. (2013).

Combining imagination and reason in the treatment of depression: A randomized controlled trial of internet-based cognitive- bias modification and internet-CBT for depression. Journal of Consulting and Clinical Psychology, 81(5), 793-799. https://

doi.org/10.1037/a0033247

Zeman, A. Z. J., Della Sala, S., Torrens, L.

A., Gountouna, V. -E., McGonigle, D. J., & Logie, R. H. (2010). Loss of imagery phenomenology with intact visuo-spatial task performance: A case of

‘blind imagination’. Neuropsychologia, 48(1), 145-155. https://doi.org/10.1016/

j.neuropsychologia.2009.08.024

收稿日期：2020.08.03 接受日期：2020.12.15

The Influence of Sign Language Experience on Imagery Abilities

2021, 46(1), 85-103

DOI: 10.6172/BSE.202103_46(1).0004

ABSTRACT

Purpose: In sign language, visual-spatial spaces are used to represent grammar rules to achieve language communication. This study examined whether the signers who had learned Taiwanese Sign Language (TSL) had different internal mental imagery processing than those who had no experience in sign languages. Methods: In this study, Chinese numerals were employed as probes in the experiment on internal mental images. The participants were required to form mental images corresponding to Arabic numbers in a 4 × 5 grid.

After a period of delay (interstimulus interval [ISI]), a target X appeared in one of the grids. The participants had to determine whether the position of the target item appeared in the previously generated mental image path by pressing buttons. The first within-subject variable was ISI. One group of ISI was formed for image generation (200 and 400 ms) and the other group was formed for image maintenance (800 and 2000 ms). The second within- subject variable was the positioning of the target X in the mental image (early-imaged and late-imaged segments). The division of mental images into early-imaged and late- imaged segments was conducted according to the order of strokes in each mental image.

Furthermore, on the basis of the assumption of the sequential process in image generation, the difference between early-imaged and late-imaged segments was considered an indicator of the integrity of the mental image. If the participants completed their mental images, the difference between early-imaged and late-imaged segments disappeared. The experiment recruited 24 deaf signers, 19 hearing signers, and 24 hearing nonsigners to clarify the impact of hearing loss and sign language abilities. Results/Findings: The results highlighted that

Yi-Shiuan Chiu

Associate professor, Dept. of Psychology, Fu Jen Catholic University

during the image generation with ISI 200 ms, all participants demonstrated superior performance in the early-imaged segment condition. During the image generation with ISI 400 ms, the nonsigners still showed the effects of early-imaged and late-imaged segments. However, no differences were observed among signers in the early-imaged and late-imaged segments. This findings indicated that the signers had already produced a complete mental image by that time. When the mental image was maintained for 800 ms in the image maintenance task, the signers had a higher accuracy than the hearing nonsigners. However, the signers and nonsigners performed similarly when ISI 2000 ms was employed. The deaf signers and the hearing signers demonstrated similar performance patterns in both image tasks, highlighting the critical role played by experience in TSL. Conclusions/Implications: Our findings revealed that experience in sign language proved advantageous for signers in terms of mental image generation and short-term mental image maintenance. The interaction of sign languages and spatial cognition could offer a more comprehensive view of how language shapes the mind.

Keywords: Chinese characters, hearing impaired/deaf, image generation, image maintenance, signed languages