一、視聽覺的資訊處理過程
（一）視覺與聽覺系統的定義
雖然過去很多研究，都是將感官形式(modality)分開來單一討論，但毎個人會 產生各種行為與知覺，都是因為受到整合後的感官資源(sensory sources)所影響 (Ghazanfar & Schroeder, 2006)。因此，本文將把重點放置於，視覺(visual)與聽覺 (auditory)感官彼此之間的競合情形。但為何只針對兩項感官進行討論 ？ 見表 2-2-1，觀察身邊常見的媒體，顯然與視聽覺有著密切的關連性。斷言之，視覺及 聽覺絕對是媒體與個體之間的兩大感官系統。
表2-2-1 常見媒體與五大感官的關係
類型 名稱 視覺 聽覺 觸覺 味覺 嗅覺 報紙
平面
雜誌
廣播
電波
電視
網路 網路 ()
()：關於網路，也有越來越多的觸覺研究(Kitagawa & Spenc, 2006)被討論著，但不是本文主要討 論的項目。
所有的感官系統中，視覺正是最複雜、高度發展且重要的一種，其促使個體 察覺物理環境中的多端變化，再透過大腦的訊息整合與回饋，產生足以適應環境 的行為。而媒體便是透過銀幕或書面來呈現各式的視覺效果，導致感官經常面臨 著被分割使用的情形，展開不只一項任務的執行過程(Schmitt, Anderson & Collins, 1999)。以國內新聞內容為例，包含了主要新聞內容的文字概要、左方跑馬燈、下 方跑馬燈、地方電視服務網提供的上方跑馬燈等，似乎是給了閱聽人一個包羅萬 項的視覺挑戰。
聽覺，除了隨時接收來自外界的聲音之外，人們還經常透過耳朵替眼睛指出 正確方向，甚至是當視覺感官已經無暇停止之時，聽覺也可以代替理解其他訊息 來源的內容 (游恆山譯，2004) 。對於媒體而言，聽覺的形式非常多樣化，包含 說話、歌唱、音樂、聲響等。
至此了解，視覺與聽覺其實是在多重感官(multi-modalities)的型態下交互合 用，並非各自獨立運作的感官條件；例如上網和電視都分別符合此種類型，且因 應使用媒體時的差異狀況，其所主要使用的感官會有所不同，像是一位邊寫功課 邊打開電視的學生，就是正在「聽」電視而非看電視。
至於同時性媒體使用之情形，就是更複雜的多重感官。Gyselinck等學者(2008) 曾經提到：「在新科技林立且快速發展的今日，生活中有關多媒體系統(multimedia
system)的型態也漸漸增加甚至產生許多的問題，尤其是從教育領域出發的學者，
都積極探討多媒體系統如何被個體優化學習」。這裡的多媒體系統，不太像是前面 所稱的多元媒體，如電視或網路等；多媒體系統被認知心理學派定義為，一個整 合多種類型訊息的系統，包含了文字訊息(verbal information)、圖像訊息(pictorial information)、聲音訊息(sound information)，即所有的訊息來源都與視聽覺感官緊 密相關。因此，有必要從根本的理論基礎出發，解釋視聽覺資訊處理(information processing)的過程(Gardner,2008)。
（二）視聽覺的資訊處理過程
早期關於訊息處理的原始標準理論，是由Atkinson 與 Shiffrin（1968；轉引自 陳學志等譯，2004）提出，該理論規劃了一個可以遵行的模型：個體在處理訊息 來源時，首先面臨外在環境刺激的輸入(environmentel input)，且每一種不同形式的 刺激會由專門的感官登錄(sensory registers)，隨後被送往短期記憶(short-term store) 進行控制處理(control processess)，並與長期記憶(long-term store)保持傳送或提取的 來往關係。此外，在這一塊領域上的認知理論，對人類資訊處理的過程，總是抱 著比較悲觀的想法，基本假設「個體的處理系統具有嚴格的限制」，因為有限的能 力，導致我們無法應付超過負荷的同時性刺激（Broadbent, 1958; Deutsch & Deutsch, 1963; Atkinson & Shiffrin, 1971; Lachter, Forster & Ruthruff, 2004; Moore, Burton &
Myers, 2004；轉引自 Gardner, 2008）。
1.工作記憶(Working Memory)
只是，經過四十多年的演變，今日討論的訊息處理過程，似乎不再只是透過 該標準理論行徑般的簡單。「工作記憶(working memory，簡稱WM)」－過去普遍 被稱為短期記憶－的概念被持續熱烈討論著。簡單定義為，是在複誦(rehearsal)、
編碼(coding)、選擇(decision)、提取策略(retrieval strategies)的過程中，所發生具有 複雜性能的認知活動，如語言處理和視覺思維 (Baddeley & Hitch, 1974；轉引自 Gyselinck et. al, 2008)。換言之，其經常與所歷經任務之訊息，有著短暫儲存且具 操弄性的關連(Baddeley, 1998; Wheeler & Treisman, 2002)。
有別於過去僅強調容量小、時間短的研究發現，Baddeley(1986；轉引自李玉 琇，2000)強調這一部份的記憶，才是執行許多基本認知的地方。也有學者(Gyselinck, Jamet & Dubois, 2008)回應，無論是想探討個體在閱讀、聆聽文字，或者是個體在 欣賞圖片等行為，都先必須了解工作記憶與該記憶本身的能力限制。畢竟，工作 記憶是感官登入後的第一處理站，當感官登入系統感受到大量的同時性刺激時，
工作記憶會主動設起有限能力的屏障，如守門員(gatekeeper)般的規範刺激來源 (Gardner, 2008)。至於有限的範圍究竟為多少，過去曾有研究數據表示，真正可以 被工作記憶同時處理的項目，最多為5至9個(Miller, 1956)；但事實上，至今仍然無 法有個明確的統計數字，因為能力的限制與否，是很難用數字評估或設限的，況 且人們經常把相似的項目聯合處理，企圖增加之後資訊處理的速度（Cowan, 1999, 2001；轉引自Saults & Cowan, 2007）。
而工作記憶是由很多獨立成份組成的複雜系統（Baddeley, 1998；楊治良等，
2001; Gyselinck et. al, 2008），包括(1)視空間工作記憶(visuospatial WM)：主要負責
視 覺 訊 息 的 保 存 與 控 制 。 (2) 文 字 工 作 記 憶 (verbal WM) ： 其 實 就 是 語 音 環 (phonological loop)，負責以語音為基礎的訊息，透過重複默讀來活化可能消退的語 音儲存，有效保持記憶的廣度；其他以非聽覺形式輸入的訊息，也能被編碼成語 音型式並保存在語音環。(3)中央執行系統(the central executive)：此系統依賴著前 兩個子系統，且每一個人都能發展自己獨特的應對機制及儲存緩衝器(storage buffers) (Baddeley, 1986；轉引自Saults & Cowan, 2007)。
2. 注意力與注意力分散效應(Split-attention Effects)
注意力是包含了一系列複雜的心理操作過程，如決定有興趣的目標、隨著時 間也能保持專注、編碼刺激物的屬性、脫離或轉移原本的目標 (Posner & Petersen, 1990；轉引自Seidman, Breiter, Goodman, Goldstein, Woodruff, O'Craven, Savoy &
Tsuang, 1998)。同篇文章的作者又表示，注意力其實還有一項特殊的成份－警戒 性(vigilance)，意即處於隨時查覺與回應任何細小變化的待命狀態。特別的是，當 人類在警戒時，可以根據不同刺激的感官模式、複雜性、感官接收的清晰程度、
記憶承載量，來系統性的要求原本就有能力限制的注意力，它應該付出的處理程 度。而在這方面的研究，曾有學者（Nuechterlein, Parasuraman & Jiang, 1983; Cohen et al., 1994; Comblatt, Risch, Paris, Friedman & Erlenmeyer-Kimling, 1988；皆轉引自 Seidman, Breiter, Goodman, Goldstein, Woodruff, O'Craven, Savoy & Tsuang, 1998）
以嚴厲的任務刺激，促使個體削弱感官接受的清晰度，或者是強迫增加記憶承載 的能力；總結發現，一旦面臨過量的資訊，個體只好盡力的加強工作記憶處理、
分散注意力、增大推論的過程，與減少接受刺激的清晰度，幫助度過訊息處理的 過程。
由此可見，注意力是先於工作記憶的資訊處理階段，還導引了工作記憶釋放 與回饋的多寡，決定到底要先選擇哪一種感知的過程。因此只有持續保持注意力 的活度，才能讓來自內外部的干擾，促使資訊不斷的被加工處置。至於，注意力 的分散性到底是如何表現？首先討論何謂注意力分散效應，Mayer與Moreno(1998) 表示，由於資訊通常是以兩種或更多的形式呈現，包含圖畫與文字等，迫使注意 力必須先被分開或交叉執行後再整合完成；而關於注意力分散效應的研究，該兩 名學者曾研究發現，學生在面對圖像式的資訊時，以默念文字成為聽覺感官的處 理過程，整體表現會比直接將圖像理解為視覺感官來得好。
同時，注意力分散效應，又與工作記憶中的雙碼理論有相當的關聯性。雙碼 理論(dual-coding theory)主張(Paivio, 1986)：人們在資訊處理過程中，至少會有兩 個 編 碼 系 統 正 在 進 行 ， 包 含 文 字 訊 息(verbal information) 系 統 與 非 文 字 訊 息 (non-verbal information)系統。前者意指任何有關語言的刺激，有可能是說話、文 字、文章；非文字訊息則是關於圖像等文字訊息外的刺激範圍。而這兩個編碼系 統，除了能獨自編碼訊息，還能透過交叉聯繫，互相分享編碼的訊息(Gardner, 2008)。例如圖片(pictures)就能被讀者以任一種方式處置，因為只要是能夠方便於 讀者記憶的方式，都有可能被選為使用。
而注意力是否有任何限制呢？因為注意力擁有的選擇性功能，足以讓我們放 棄部分不需要接收的刺激，更方便在過多的資訊來源之下，追求那些有效且重要 的環境線索。最早由Broadbent(1958)提出的過濾理論(filter theory)，認為所有同時
間下的刺激，在通過感官登錄的階段後，會一起進入一個短暫儲存的緩衝器 (buffer)，而依照順序分別過濾處理這些刺激，但只有經過過濾篩選的訊息，才能 進入後續有限容量的處理系統。Deutsch與Deutsch（1963；轉引自阮啟宏等，2005）
則否定了過濾器存在的說法，表示在感官登錄後，只有最重要的訊息可以進入儲 存與反應的階段；即認為注意力的選擇不在訊息處理的指認階段(identification stage)，而是較後期的反應階段(response stage)，且主張過濾的過程是交給了工作記 憶(Gardner, 2008)。
Treisman(1969)從兩者之中，又提出了一個折衷的（阮啟宏等，2005）理論，
它僅改變了Broadbent(1958)的部份說法，認為過濾器的處理方式，應該是有系統的 按照資訊層次來進行，透過每次有限的容量讓過濾器中的資訊通過，而其他不被 注意到的訊息則是以逐漸削弱的方式消失。而無論是以上哪一種理論，都有相當 的研究支持該理論的說法。只是，更晚期的注意力選擇模式又表示，工作記憶的 容量其實不可小看，因為被迫處理同時發生的刺激項目，絕對不僅只於Miller(1956) 所提的5至9個而已。尤其個體會因為個人差異，其所設置的喚起察覺(arouse awareness)之水平也會有所不同，導致每個人的注意力有高有低(Deutsch & Deutsch, 1963; Gardner, 2008)。例如，個人感到高喚起程度的刺激時，注意力會在選擇該一 刺激後，即刻進入資訊處理的過程。
3. 認知負荷理論(Cognitive Load Theory)
注意力分散效應，其實也是來自認知負荷理論的重要發現。認知負荷理論對 認知架構有幾點假設（Sweller, 1994, 1999, 2005; Sweller et al., 1998；轉引自 Gyselinck et. al, 2008; Sweller, 1988；吳瑞源，2008）：(1)根據認知資源的有限性，
認為工作記憶的容量是有限的，(2)長期記憶的容量有限，(3)知識是以各式複雜
認為工作記憶的容量是有限的，(2)長期記憶的容量有限，(3)知識是以各式複雜