國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
31
制引發注意力攫取效果。此外，Mishra, Olivers, and Huettig (2012)根據「快速且 有效率」（fast and efficient）、「非意向」（unintentional）、「無意識」
（unconscious）和「過度學習」（overlearned）四項有關自動化（automaticity）
的標準，評估過往文獻透過視覺情境典範觀察到的語言中介眼動效果。他們主 張，視覺情境典範所觀察到的語言中介眼動合乎「無意識」和「過度學習」兩 項標準，因此語言對於眼動行為的指導作用很可能源於自動化的處理機制，然 而他們也認為這項初步結論仍需其他檢驗不同自動化標準的實證資料佐證。
第五節 小結
根據前列文獻探討結果，跨感官視聽理解期間的視覺注意力運作受到多種 因素共同影響。具體來說，本論文旨在探討視覺場景、口語詞彙、作業目標及 預覽時間等變項如何隨時間改變視聽理解過程中的注意力導引和物體凝視行為 表現在視覺空間的分布情況。
一、 研究架構
本論文構想之跨感官視聽理解模式如圖2-7 所示。該模式的主要成分包括 情境因素、刺激輸入、感官記憶、工作記憶、長期記憶及視覺注意力運作。視 聽輸入資訊的表徵激發及整合發生在工作記憶，運作模式主要參考Baddeley 的 工作記憶模型。在跨感官視聽理解過程中，視聽感官刺激首先經眼睛和耳朵接 收後，分別傳送至工作記憶專職語音或視覺表徵類型的次系統，接著再進行語 音和視覺表徵的整合。長期記憶作為一項世界知識的既存資料庫，各種有關現 行處理項目的語言或視覺表徵知識會被主動提取，介入影響工作記憶的運作。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 2-7 本論文構想之跨感官視聽理解模式
口語刺激的表徵處理發生在工作記憶的「語音迴路」次系統，包含三項次 成分：第一，前揭口語刺激可提供前語境線索，使理解者得以透過語法規則預 測即將指稱的對象，例如聽到特定動詞「吃」會預期接續可食用的物體（例如
「蛋糕」）；第二，物理聲波訊號隨時間不斷更新提供起音、尾音和聲調等構成 完整詞彙的語音表徵；第三，詞彙項目可激發相關的語義和視覺表徵。
場景刺激的表徵處理發生在工作記憶的「視覺空間暫存裝置」次系統，包 含兩種途徑：一為發生在早期視覺處理階段、針對視覺陳列進行統計分析的整 體處理，包括兩種表徵類型：一，與意義無關的物理訊號強度表徵（例如來自 亮度和對比向度的視覺凸顯性）；二，與意義有關的場景主旨表徵（例如人工或 天然場景類型）；二為發生在稍後視覺處理階段、針對個別物體進行細節分析的 局部處理，包括物體表徵結合及所在空間位置的寫入，此階段處理對認知資源 耗損量較大，故僅能對視覺刺激建立少量的物體檔案（object file）(Kahneman et al., 1992)。此外，Ferreira et al. (2013)的「適應性觀點」主張視聽理解過程中 視覺刺激的處理難度愈高，視覺表徵對視覺注意力運作的影響程度愈低。根據 其實驗結果，造成視覺資訊處理難度的因素有二：在空間向度上，視覺陳列包 含的物體項目個數愈多，視覺資訊處理難度愈高。在時間向度上，相關口語訊 號出現前未提供充足的視覺陳列預覽時間，視覺資訊的處理難度愈高。
除了視聽感官刺激的處理次系統之外，工作記憶模型亦包含「中央執行功 能」次系統，主宰資訊整合期間的認知控制（cognitive control）功能。儘管在
‧
Huettig, Olivers, et al. (2011)的討論中未側重這項成分，但這項運作單元被過去 研究證實對雙重作業（dual task）的行為表現有顯著影響(Baddeley, 1996; Lavie, Hirst, De Fockert, & Viding, 2004)。因此，在跨感官視聽理解歷程中，中央執行 功能預期受到視聽理解作業開始之前指派的「作業目標」影響，調節視聽感官
‧
為反應的影響。根據Ferreira et al. (2013)的「適應性觀點」，充分的預覽時間可 降低視覺資訊的處理難度，幫助理解者提早建立各項視覺物體的表徵資訊，並 可能影響理解者的「注意力心向」（attentional set），經由工作記憶的中央執行功 能調控語音或圖像表徵在視聽理解歷程的重要性，改變視聽刺激對視覺注意力‧
‧
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
階段，口語詞彙辨識完成將啟動口語指涉連結機制，此時轉由場景一致目標物 體佔有凝視優勢。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
39