雙碼理論

第二章、文獻探討

本研究旨在探討先備能力相異之大學生在不同使用情境觀看英語新聞 影片時，字幕呈現內容對大學生的學習動機、學習效益、認知負荷及視覺 疲勞的影響，從雙碼理論探討運用影片於英語教學的效益；再者，探討無 所不在學習環境及影片字幕與外語學習相關文獻，最後整理與歸納影片教 學可能造成的認知負荷及視覺疲勞。

本章節分為五節，第一節為「雙碼理論」；第二節為「影片字幕與外語 學習相關研究」；第三節為「使用情境」；第四節為「認知負荷」；第五節為

「視覺疲勞」之基本定義。

第一節 雙碼理論

Paivio（1986）提出雙碼理論（dual-coding theory），以此解釋人類接收 訊息時的處理及運作方式，雙碼理論假設人類認知系統有兩個子系統：語 文系統、非語文系統。圖 2.1 為雙碼理論編碼模式，認知系統的兩個子系統 可互連且同時獨立處理語文（verbal）與非語文（nonverbal）如圖片、影像 等訊息，語文訊息與非語文訊息間亦有其關連性的存在，即「參照連結」

（referential connection）。兩個子系統對於訊息的處理及組織各有不同的方 式，語文系統的訊息較傾向於個別、順序的方式來處理和組織訊息，這些 訊息在處理或儲存時的基本單元為語文元（logoens），語文系統在受到語言 或文字刺激（verbal stimuli）後，會把接收到的刺激作語文表徵（verbal representations），並將其編碼（verbal encoding）後儲存於文字記憶區中，

形成心智語言（mental language）；非語文系統則偏向以整體、平行的方式 來 處 理 及 組 織 訊 息 ， 這 些 訊 息 在 處 理 及 儲 存 時 的 基 本 單 位 為 意 象 元

（imagens），非語文系統處理所有的非語文刺激（nonverbal stimuli），包含 圖像、週遭環境的聲音、情緒及動作等，將非語文訊息作非語文表徵

（nonverbal representations）且儲存其編碼（nonverbal encoding）在非語文

10

（representational connection），參照連結（referential connection），以及關聯 性連結（associative connection）。

表徵連結，是指當個體接觸到外界刺激時，直接引起的表徵作用。語 文性刺激進入記憶系統後，會被編為特定的語意碼，或啟動相對應的語文 表徵。相同地，非語文刺激進入記憶系統後，也會以該形式被編為意象碼，

或引發相對應的意象表徵。

語文刺激

（verbal stimuli）

非語文刺激

（nonverbal stimuli）

感官系統（sensory system）

表徵連結（representational connections）

（nonverbal system

）

（verbal system

）

關聯性連結

（associative connection）

關聯性連結

（associative connection）

11

參照連結，語文系統及非語文系統之間的組織藉由參照聯結得以完成，

語詞可以激發意象，意象亦可能激發語意，兩個系統之間透過相互參照而 產生聯結。給予適當的情境線索，會提高參照連結發生的可能，例如以圖 片來展示文字內容。參照性連結一旦建立，日後若面臨適當的情境或外來 刺激，個體將會自動地自兩種表徵系統中啟動相關符號以供運思。Paivio 認為，資訊若能以語文與非語文兩種形式編入長期記憶中，日後回憶的成 效將可大為增進。

關聯性連結，是指同一系統中，擁有相同屬性的元素間所形成的連結 關係。Paivio 認為記憶系統中各元素的組織是有階層性的，人會依性質、型 態、種類、特徵或其他分類原則，將互有關聯的元素組織在一起。

Paivio 除了將訊息運作處理的過程分為三個，其理論還包含兩個假設：

（一）同時使用兩種編碼會有相互增強的效果，透過語文與非語文方式學 習的學習效果應該會較僅有一種的效果好。Paivio 認為，個體可以透過參照 連結同時運用語文系統及非語言系統來學習，兩個系統交互參照進而輔助 學習。；（二）透過非語文學習的學習效果會比透過語文學習好，其原因在 於 Paivio 認為觀看非語文訊息時，大腦會自動將非語文訊息轉換為語文訊 息來處理，但看到文字時卻無法將其轉換為非語文訊息。

在此理論被提出後，相關的理論與研究便不斷的發展，大多的結果顯 示支持與肯定雙碼理論，因此本研究參考雙碼理論，提供語文與非語文的 訊息給先備能力相異之大學生在不同的使用情境中進行學習。

12