多媒體學習認知理論

目前已經有不少教學中使用的表徵研究，多數探討怎樣的表徵能增進學生學習的成 效，抑或干擾學生學習。Paivio (1986)發表了雙重編碼理論（dual coding theory），他認 為處理視覺資訊及語文資訊是由工作記憶中的兩個獨立的系統。Mayer & Moreno (2003) 根據雙重編碼理論研究，又提出了多媒體學習認知理論（cognitive theory of multimedia learning），這個理論有三個假設，一、雙重渠道（dual channel）：人們有分開的資訊處

圖2-3-1：多媒體學習認知理論（修改自 Mayer & Moreno, 2003）

Baddeley (2002)的工作記憶理論包含語音迴路(phonological loop)和視覺空間模板 (visual-spatial sketchpad)（如圖 2-3-2）。影像訊息進入視覺空間模板，語言和文字訊息 會 進 入 語 音 迴 路 ， 訊 息 進 入 此 獨 立 的 兩 個 通 道 後 ， 會 傳 送 至 中 央 執 行 器(central

excutive)，經由中央執行器分配腦資源，除了視覺空間模板和語音迴路外，還有緩衝區 域(episodic buffer)，當視覺訊息或語文訊息過多時，訊息會進入緩衝區，因此這三個區 域的空間是可動的。處理訊息中會與長期記憶區的訊息連結或互動，最後所有訊息也可 能儲存於長期記憶區。

綜合Mayer & Moreno (2003)和 Baddeley (2002)的理論，我們可以知道語文訊息和 視覺訊息皆有各自的空間，當一個概念用兩種表徵表達時，就是開啟兩個通道的空間，

因為還有緩衝區域可運用，所以空間是有彈性的。但空間還是有限制的，所以仍需注意 避免訊息過多，超過認知負荷。Cook (2006)概述教學時使用表徵應有的考量中提到，使 用雙重表徵教學比單一表徵教學好，因為可以提升工作記憶區的容積；在表達語文訊息 時，使用講述法較使用書寫法好，因為可以減少視覺注意力的競爭；教學上的引導可幫 助學生建構概念，因為將建構基模時需要的認知負荷降至最低。Ferk et al. (2003)在化學 分子的表徵研究上發現，大學生及中學生都較易理解實體模型、實體模型圖片或電腦 3D 模擬圖片，較不易理解其他 2D 的分子圖形。所以，若以多媒體認知理論來說明，

就是由於較具體的視覺影像可以降低學生的認知負荷，使學生在接收較具體的視覺影像 後對建構認知有較好的成效。

圖2-3-2：工作記憶理論 (Baddeley, 2002)

中央執行區

視覺通道 緩衝區 語音迴路

視覺 語義

事件

長期記憶 語言

液態系統 固態系統

本研究的多媒體課程包含語音和視覺訊息，且同步配合顯示。陳怡仁（2007）研究 發現動畫適合搭配語音，而模擬適合搭配文字，故本研究中的動畫即搭配語音，因考慮 化學課程需較大的認知負荷，所以仍顯示部份文字符號表徵，以減少認知負荷；而模擬 操作即搭配文字說明。Johnstone (1991)也認為，課堂上教師若在表徵間快速轉換，會使 學生的工作記憶區超過負荷，所以本研究的電腦多媒體將微觀表徵變成可見的具體影像 動畫，學生也能按部就班的依序由巨觀現象至微觀，再由微觀推至符號表徵的公式及圖 表表徵的學習，而模擬操作時學生即能自行控制學習時間，達到適性學習的目的。

第四節 腦波圖(EEG)在認知的應用

我們如何認定腦的歷程與認知歷程相關？且知道腦的歷程如何引起認知歷程？

Ward (2003)從兩方面說明：首先，要從解剖學描述腦區的功能，當操作特定認知任務時，

哪個腦區會增加活動，通常使用的儀器為PET 和 fMRI，會在任務的起點存取腦區活化 的影像。但認知歷程並非靜止的，而是動態的，即使是最單純的知覺、記憶或決定，都 是時間性的歷程。當我們認為腦的活動和認知活動相關時，是在描述認知任務表現的一 連串腦區活化。這樣的方法是有限制的，因為我們無法描述這些活化區的經歷細節。另 一個較合適的方法是使用EEG 嘗試描述腦波如何活動，在測量 EEG 時，在頭皮表面的 各個區域要放上電極，以記錄不同腦區的電位差，推測出腦的活動。所以記錄到的訊息 無法準確的反映某個特定區域細胞的活動，但可以顯示出時間上的變化。例如，睡眠中 的腦波圖可以顯示出整個大腦電位的變化，在做夢時和深度睡眠時不同。應用 EEG 可 以進一步找出電位變化與某個事件之關的關連，稱為事件關連電位(Event-Related Potential, ERP)藉由多次平均腦波圖波以抵消掉與事件無關的電位活動，抽取出跟事件 相關的成份，最後，波形會顯示出與電位活動在時間上變化有關的特別高峰，但只對於 該電位活動的位置能提供粗略的訊息（Luck, 2005）。

EEG 以往都被用於醫學界與心理學界，像是深度睡眠或作夢的腦波，或腦傷病患 的治療等，所以我們已可推測腦波的頻率和某些事件有關連。近年來，有許多 EEG 證

據展現腦活動與認知歷程兩者間的關係。Ward (2003)回顧文獻，展示出腦波的頻率和事 件相關如下：小孩長大的過程中α波逐漸提昇，θ波和δ波則逐漸下降，這樣的現象可 說明α波與認知的形成有關。而α波為放鬆波，在閉眼時較強，張眼時較弱，整體而言，

α波的下降被認是加強注意力、警覺和一般的任務負荷；相反的，θ波會在記憶任務中 提昇，尤其在編碼的任務。但α波在 Sternberg 的記憶掃描任務(memory-scanning task) 的認知負荷時會增加，表示需要壓制較多的分心。此外，當注意力應用於內在的心智想 像時，與注意力相關腦區的α波，會大於當注意力應用於外在的、訊息進入的任務，表 示 在 想 像 任 務 時 會 抑 制 外 在 訊 息 的 進 入 。 α 波 和 θ 波 的 發 生 在 皮 質 丘 腦 迴

（cortico-thalamic circuits）作不同認知操作時，α波為搜尋和補償；θ波為編碼。γ波 也被認為與記憶有關，它會短暫出現在兩個腦區，當癲癇患者成功記憶時，鼻側皮質和 海馬迴會放出40Hz 的γ波，事件結束後兩者同時消失。γ波還被認為是連結腦區的機 制，當學習時，它能瞬間橫跨兩腦區，讓腦區結合活化。此外，成功進行回憶任務時，

額葉皮質與頂葉皮質之間有強γ波的連結，此兩區產生更多的θ波及γ波頻譜。所以，

γ波和θ波活動的相互影響可能被包含於記憶任務中。

Sewards & Sewards (1999)認 為 α 波 和 β 波 皆 與 視 覺 知 覺 有 關 ， α 波 出 現 於 parvocellular（視覺系統），β波出現於 magnocellular pathway（位於下視丘），此兩種振 動模式是相關的。Fizgibbon et al. (2004)進行視覺棋盤、預期、閱讀、減法、音樂、文 字學習、文字回憶、影片片斷(strictly ballroom)六種認知任務的實驗，探討腦波的現象。

他發現在期望、學習、閱讀、減法任務時尾部和中央區的α波增加，此兩區為視覺和運 動系統；除了棋盤任務以外，其他的任務在對稱兩邊及中間的前額θ波增加。學習任務 為意圖的事件記憶編碼(episodic memory-encoding)任務，之前的研究發現事件記憶編碼 的腦區為前額葉、小腦及顳葉中間的腦區，但在Fizgibbon et al. (2004)的研究中並未在 小腦和顳葉兩區記錄到θ波，在前額葉的θ波也未達顯著差異。因此他將無語言的視覺 控制情境對照視覺語言編碼任務，發現也許語言與尾部的γ波增強有關，尾部與閱讀相 關，但與事件編碼相反。此時，即顯現出 EEG 的限制：無法提供相隔太遠的訊息。在 閱讀任務時，γ波活化的腦區和腦部影像研究一致，出現在頂葉、顳葉和枕葉，這些區

域包含識字及理解功能。在減法任務中γ波增加最多，它也是唯一在額葉大範圍顯現出 θ波的任務，表示此數學推理任務中需要注意力。另外，在枕葉也有明顯的γ波，表示 減法運算時可能需要視覺想像。而回憶、音樂及觀看影片片斷任務時在只在小數量的控 制區有明顯的γ波表示這些任務並不複雜，且此研究中的回憶任務為被動的，所以受試 者不需積極參與任務。

Jaušovec (1996)針對不同能力的學習者在進行問題解決時其α波的變化情形，研究 結果發現當高能力學習者在進行問題解決時，其α波出現的強度比一般能力學習者要 高，一般能力的學習者其在枕葉及額葉的α波強度明顯低於高能力的學習者。高能力者 心智負荷較小，較低的心智活動是因為其有較多且精簡的基模。而研究結果也發現，無 論是高能力學習者或低能力學習者在進行問題解決，其左右半腦的顳葉部份(T3,T4 電極 位置)都出現類似的強度，顯示這兩個區塊可能是問題解決成功的關鍵。Jaušovec (2000b, 2000c)測量不同學習者在進行問題解決時的α波，研究結果發現，當能力較好且具有創 造力的學生在解決創造性問題時，呈現出較少的心智活動，表示α波的強度較強，且其 腦內各區塊的合作程度也比一般的學習者要高。Lamm et.l(2005)依照 Vitouch el al.神經 效能假說設計實驗，Vitouch el al.假設高智商者的中心神經系統較低智商者具較高的效 能，在視覺空間想像任務中，低能力者在解題時在枕葉、頂葉和額葉的皮質較活化。但 Lamm et al.(2005)的研究結果無法顯示出此兩群人的腦波有差異，他認為不同的視覺任 務可能讓結果不同。

Göker (1997)針對生手及專家在進行問題解決時其腦內的活動差異進行研究，結果 發現，當生手進行問題解決時，其額葉的活化程度較高，而專家腦部活化程度較高的區 域則是頂葉。Jin (2006)的研究在於比較能力較好的學生及一般能力的學生在建立科學假 設並嘗試針對問題進行因果解釋時腦波的差異。結果顯示，在建立科學假設時，能力較 好的學生其腦內在建立科學假設時，大腦皮質間的訊息傳遞及交互連接較為活躍。

Baddeley (2002)提出工作記憶理論：視覺空間模板及語音迴路收到訊息後，經由中 央執行器分配腦資源。處理視覺空間訊息由Brodmann 分區來看，行進的路徑有六個步

Baddeley (2002)提出工作記憶理論：視覺空間模板及語音迴路收到訊息後，經由中 央執行器分配腦資源。處理視覺空間訊息由Brodmann 分區來看，行進的路徑有六個步