多媒體輔助字彙學習

通訊作者：林至誠，E-mail：cclin@ntnu.edu.tw 收稿日期：2010/11/18；修正日期：2011/01/19；接受日期：2011/02/21。

多媒體輔助字彙學習：文獻回顧

林至誠

英語學系 國立臺灣師範大學 副教授

摘要

由於電腦科技的普及，「多媒體注釋」於過去15年間吸引了語言學習相關的任課老師及 研究學者的注意。透過學生使用多媒體注釋的學習成果，我們了解到學生在學習字彙時所需 要的輔助媒介為何、學習喜好與輔助媒介之間的關係。本文從過去15年的研究成果中歸結出 兩點結論：多樣注釋比單一注釋顯著有效；輔助圖片比其他輔助注釋顯著有效。此外，本文 並提出三個包括認知負荷、輔助影片與行動載具等今後研究的方向。最後，根據文獻本文提 出有關使用多媒體注釋的教學建議，以便任課老師採用。 關鍵字：多媒體注釋、多媒體學習、字彙學習、單字注釋

壹、前言

英語字彙的教與學一直是國內英語教學界的一個重要議題，小從各級學校英語課堂中字 彙教學的多樣化，大到訂定全國國中、小學的基本字詞（教育部 2003）以及高中生的單字量 （大學入學考試中心 2002），在在都顯示英語字彙教學在國人心目的重要性。同樣地，在國 際的語言教學界，字彙學習也占有一席之地，舉凡語言習得、教學方法、教材研發等，都有 專門針對字彙學習的部分。難怪有學者會說：沒學文法幾乎不能溝通；沒學字彙根本無法溝 通（Without grammar very little can be conveyed, without vocabulary nothing can be conveyed） （Wilkins 1972: 111）。既然字彙一定要學，那麼老師應該如何教授、學生應該如何學習， 就要認真地思考了。有些字彙，如經常出現、高頻率的基本詞彙，就需要老師清楚地呈 現，以教導學生某個單字的字形、字音、字義、相關變化、語用情形及文化背景等（Nation 2001）。有了老師的基本介紹之後，學生就得要將老師所教授的轉換成自身的知識，不管是 自行造句練習，或是運用於日常生活中等，都是要將老師以形式為主（form-focused）的課 堂講授，轉變成以意義為主（meaning-focused）的學習經驗。然而，課堂上所教授的字彙量 畢竟不夠大，學生還得要自己從其他管道來增加更多的字彙，廣泛閱讀（extensive reading） 就是常被提起的；學生從廣泛閱讀當中，非刻意地學習字詞、增加字彙量（incidental vocabulary learning），才足以應付各個階段的學習（Krashen 1989）。 從廣泛閱讀來學習單字，這個方法的優點是因為有些單字的呈現富有文脈，所以學生 學習單字就可能會以意義為基礎；一旦從文章、文脈中學會某個單字的字形與字義，那個單 字會記得比較牢、比較久。可是，以泛讀來學單字的缺點是：學生常會錯字義、錯學單字， 因為學生不一定對所有單字的文脈都很清楚，而且也常會只想要猜對字義而忽略了認識字形 （Hulstijn, Hollander, and Greidanus 1996）。因此為了解決學生閱讀時遇到生字的問題，才 有了強化文本（text enhancement）的解決方案―單字注釋，也就是在文章中，提供學生可 能不懂的生字字義，以便學生了解文章的內容並學會單字。近年來，因為電腦科技的發達， 在多媒體的文本上加註單字的注釋也已經十分普遍，更有甚者，在知識資料庫豐富的網站 （如：Answers.com、thefreelibrary.com），使用者只要隨意雙擊任一字，就會出現解釋該字 的說明視窗，十分便利。本文所要回顧的研究，就是從1996到2010年這15年來，多媒體在輔 助字彙學習研究上的進展。首先，本文就單字注釋與多媒體兩方面，探討單字注釋的發展及 多媒體的學習理論基礎，然後針對過去15年來的文獻，討論字彙學習與多媒體注釋的研究成 果，最後，再小結過去的研究，並提出今後的研究方向及教學建議。

貳、單字注釋與多媒體學習理論

一、單字注釋

單字注釋（gloss/annotation）指的是伴隨著單字的字義解釋，它可以是字典上的定義、 同義字或簡易的說明。單字注釋主要出現在閱讀文章的頁緣，方便需要的學生查閱，目的是 讓學生在閱讀文章時，不要為了翻字典查閱陌生的字詞而中斷對文章的理解（Lomicka 1998; Nagata 1999; Nation 2001）。如前言中所述，單字注釋的設計，乃是源自於改進非刻意字彙 學習的強化文本。在廣泛閱讀的學習中，學生固然可以享受到了解文章的樂趣，然而在非刻 意情況之下學習字彙的成果，常令人擔憂。因此，藉由學生的母語或目標語來注釋生字的強 化文本，就成了眾多教師所採用的改進方式（Hulstijn 1992; Hulstijn et al. 1996; Nagata 1999; Watanabe 1997）。為了引起學生的注意，這些有注釋的單字在文本中會以粗體或加底線的方 式呈現，使這些單字成為學習的目標，增加字彙學習的機會；有了這些出現在頁緣的單字注 釋，學生得以更精準地理解閱讀內容，遂使學生的閱讀更加有趣（Jacobs, Dufon, and Fong, 1994; Nagata 1999）。

有關單字注釋的研究，教師及學者大致肯定單字注釋對字彙學習的輔助。以頁緣注釋 （marginal gloss）來說，不論是以學生的母語呈現注釋，或是以目標語來說明字義，其字彙 學習的效果均比查閱字典或沒有其他注釋輔助的字彙學習效果好（Hulstijn et al. 1996; Jacobs et al. 1994; Watanabe 1997）。此外，關心單字注釋的學者也常將多項選擇注釋（multiple-choice glosses）與單一注釋（single gloss）做比較。其中，多項選擇注釋指的是需要學生從兩 個或三個注釋中選出恰當的注釋，這樣的設計比直接閱讀單一注釋在字彙學習上要來得有效 果，其原因是學生需要動腦筋從文脈來判斷目標字彙的字義，於是就加深了對目標字彙的印 象、學習（Hulstijn 1992; Nagata 1999; Rott 2005; Rott, William, and Cameron 2002）。其他有 關單字注釋的研究發現，還包括以句子來說明字義的注釋也有成效（Grace 1998, 2000），就 是結合文字與圖畫的注釋，也有好的效果（Kost, Foss, and Lenzini 1999）。由於電腦科技的 發展，學者們也嘗試在電腦的文本加上注釋，他們想要知道的是：多媒體的注釋（文本、圖 片、影片或動畫）是否也能夠像紙本的注釋一樣，可以幫助學生有效地學習目標字彙？透過 多媒體的輔助，學生所學的目標字彙是否能夠記得更多、更久？這個部分就是本文所要回顧 的重點。在進入多媒體注釋的討論之前，我們需要先了解多媒體及其在學習上的理論。

二、多媒體學習理論

根據Mayer（2001）對多媒體下的定義是：同時使用文字及圖像來做學習材料的呈現。

文字指的是文本或者是符號，圖像指的則是靜態的圖片或動態的影片或動畫。多媒體學習的 理論基礎乃是奠基於Paivio所提出的雙碼理論（dual coding theory）（Paivio 1971, 1986; Paivio and Begg 1981），其內容大致是：人類的認知系統分成文字（verbal，由視覺、聽覺、觸覺 得知）與非文字（non-verbal，如：圖片、聲音、觸摸、口味、香味）兩個子系統，在我們接 收外在訊息時，這兩個系統是獨立且並行的，也就是說，我們可以同時處理文字與非文字這 兩種不同類型的訊息，然而，這兩個系統會透過不同的相互連結來組織訊息以便儲存，因此 有效率的記憶，就需要有這兩項子系統的輔助，才可長可久。

根據雙碼理論及衍生學習理論，Mayer（1997）提出了多媒體學習衍生理論（a generative theory of multimedia learning），顧名思義，該理論提供、建議課程編撰者應如何以多媒體來 呈現教材的原則，強調所有學習必需經過選擇圖文、組織圖文及整合圖文三個過程；其中， 選擇是指從文字及非文字的訊息當中挑選相關的、重要的訊息並存入工作記憶區，然後將挑 選過的文字及非文字訊息分別組織、建立結構而形成符合邏輯的兩個情境模型（situational model），最後再將這兩個組織過的情境模型做整合、結合。因為這三個過程發生在容量有限 的工作記憶區，因此，學生需要仰賴多媒體系統來幫助他們選擇、組織、整合訊息，以利學 習。在提出理論後的3年期間，Mayer與Moreno（1998）、Moreno與Mayer（1999, 2000）就 針對大學生以閃電形成的過程及汽車煞車的原理做了一連串的教學實驗，其結果大致驗證教 材需要以文字及圖像兩種方式呈現的理論基礎。 至於多媒體與語言學習結合的模式，乃是最近由Plass與Jones（2005）根據Ellis（1997） 的語言互動學習模式，以及Mayer（2001）的多媒體學習理論所提出的（參見圖1）。該模式 以互動學習模式為基本架構，再以多媒體學習理論來說明語言訊息的接收、儲存，共分成以 下幾個階段：首先是互動模式中的輸入（input），與多媒體理論中的圖文輸入相同；接著是 統覺（apperception），為多媒體的選擇圖文；再來是理解（comprehension），藉由圖、文 系統來理解；然後是吸收（intake），這時就要組織理解過的圖文以建構學習者自己的圖文 模式；最後是整合（integration），係將建構後的圖文整合至語言系統中，以便往後的輸出 （output）。 這個結合互動學習與多媒體學習理論的模式，是源自於以輸入或刺激為基礎的語言學習 （input-based language learning），同時也強調了非文字在語言學習中與文字等同重要的地位 （Xu 2010）。雖然這個模式還未得到語言學習界廣泛的認可，但是，根據多媒體學習理論所 提出的語言學習，非常適合用來說明多媒體字彙注釋的學習。本文之後所討論多媒體輔助字彙 學習的研究，大致上就是依據這個學習模式來探討字彙學習與多媒體注釋兩者之間的關係。

參、字彙學習與多媒體

字彙學習最主要的一個目標是了解字形所代表的字義，在多媒體的環境中能呈現字義的 媒介則有文字、圖片、聲音、影片等。而運用多媒體來輔助字彙學習所關心的議題是：哪個 媒介能夠有效地輔助學生讀懂文章並學會單字？因為紙筆的學習中就會包含有文字，因此多 媒體的研究都集中在圖片跟影片的使用。以下的討論就分成圖片、影片及其他三方面來回顧 過去15年來的研究。

一、圖片

在有關字彙學習與多媒體的研究當中，圖片是最早、也是最常被考慮的輔助媒體。一般 的結論認為，以單字的文本字義及輔助圖片為注釋的單字學習，是最有成效的單字學習。如 前所述，文本字義與輔助圖片同時出現，符合多媒體的雙碼理論及衍生理論，這也就是學者 想要呈現的理論基礎。因此，在實驗設計上，大多數的學者都採用實驗或準實驗設計，即控 制組僅能讀到單字字形及其文本字義，第一個實驗組能看到單字字形及其輔助圖片，第二個 實驗組就能同時看到單字字形、文本字義及輔助圖片。由於第二個實驗組的學生們在學習單 字時，有了文本字義及輔助圖片，所以他們在文章理解及單字學習上的成績，都會優於其他 兩組的學生。 要探討多媒體注釋，得先從最早關心圖片在單字學習所扮演角色的研究說起，那是由 Kost等人（1999）所做的實驗。他們的研究目的在探討文本字義、輔助圖片及文本字義與 輔助圖片這三種單字注釋，對紙本上字彙學習的影響。他們要56位學德語的美國大學生， Verbal Input Visual Model Intake Comprehension Apperception Verbal Model Organizing Words Verbal Text Base

Syntactic/ Semantic Selecting Words Organizing Images Visual Image Base Selecting Images Pictorial Input Output Learner’s Linguistic System Integrating 圖1　第二語言學習與多媒體之整合模式 資料來源：Plass and Jones（2005: 471）。

在紙本上閱讀指定的文章，20個目標字彙的母語字義、線條圖片則出現在頁緣以供學生參 考。結果發現，同時查閱文本字義及輔助圖片的學生，在字彙習得（acquisition）及保留 （retention）兩方面的表現，都比其他兩組來得優異。這個實驗結果呼應了雙碼理論及多媒 體學習衍生理論的看法：文本字義與線條圖片所建構的單字知識有較強的結合，這樣的呈現 除了比較容易輔助短期的學習以外，也對長期的學習保留有所助益。 為了印證紙本上的結果，Yoshii與Flaitz（2002）在電腦多媒體的環境裡複製了Kost等人 （1999）的研究；不僅於此，他們還測試單一媒介在動詞習得及保留的效果為何。該項研究 對象為151位在美國英語程度為初級的大學生，教材則是一篇短文，其中含有14個動詞的目 標單字。目標字彙的注釋則以文本字義、線條圖片及文本字義與線條圖片等三種方式隨機 呈現。與Kost等人不同的是，該研究的文本字義是以目標語（英語）來說明，而非學生的母 語。其結果與前一實驗相同，亦即當學生同時有文本字義與線條圖片來學習字彙時，他們的 習得及保留效果最好。而在線條圖片與目標語說明兩者之間的學習成效方面，雖然線條圖片 無法完整表達字義，但還是比以目標語呈現的文本字義來得有顯著的效果。 由於加進了說明字義語言的變數，Yoshii（2006）繼續探討以母語（日文）或目標語 （英語）來說明的文本字義，以及線條圖片是否有助於動詞的習得。參與研究的對象是195 位學習英語的日本大學生，學習內容是在多媒體環境當中閱讀文章並查閱目標字彙，目標字 彙的注釋則分成四種方式呈現，包括：日文文本字義、英文文本字義、日文文本字義與線條 圖片，以及英文文本字義與線條圖片等。在學生閱讀完畢之後，他們必須依序完成以下兩項 測驗：一項是填寫單字的字義，另一項則是選出單字正確的字義。結果顯示，單字的說明是 否為學生的母語或目標語，兩者之間並無顯著差異。至於學習成效方面，單字注釋的方式與 測驗的模式有相關聯，亦即查看文本字義及線條圖片的學生在填寫單字字義的測驗成績上遠 高於僅有文本字義的學生；對此，作者的解釋是當學生在沒有任何提示之下，只要能夠回溯 單字的圖片時，他們便可以想出該單字的字義為何，此部分與先前的研究結果相同。 在研究對象的選擇上，絕大多數的研究都以成年學生為主，Acha（2009）卻特別針對國 小學童探討多媒體注釋在學習名詞上的成效。該項研究的對象為135位學習英文三、四年級 的國小學童，將學童隨機分配到文本字義、輔助圖片及文本字義與輔助圖片等三組中的其中 一組，並要求學童在多媒體環境閱讀文章時，必須點選12個目標字彙來學習。與成年學生不 同的結果是，不管在字彙習得或是字彙保留的測驗中，僅閱讀文本字義學童的成績遠高於其 他兩組學童的成績。對此，研究者做出的解釋是，既有文本字義又有輔助圖片的注釋設計， 對該組學童的認知負荷高於其他兩組學童僅僅查閱其中一種注釋的負荷；另外，僅有輔助圖 片可供查閱的學童們容易感到困惑，因為他們無法從輔助圖片中清楚地得知單字的字義。因 此，從學童認知負荷的角度看來，多媒體注釋及輔助圖片在學童的字彙學習上反而有負面的 效果。

在網路已經成為學生生活的一部分後，Shahrokni（2009）想要了解網路閱讀的多媒體注 釋對學習具體名詞的成效。該項研究的對象為90位初級英語程度的成年學生，材料為一篇文 章，文章中有25個需要學習的名詞。學生們被隨機地分配到文本字義、輔助圖片及文本字義 與輔助圖片等三組中的其中一組，其結果與先前研究的結果吻合，亦即能夠閱讀文本字義及 輔助圖片的學生，在認字及識圖的測驗中，都遠勝於其他兩組學生的表現；另外，只看圖片 的學生也優於只讀文本的學生。該項研究再次驗證了輔助圖片在單字學習中的重要性，而其 閱讀環境已經拓展到網路閱讀了。 研究至此，尚未有以語言學習理論來探討單字注釋與字彙習得的關係，Yanguas（2009） 在注意假設（noticing hypothesis）的前提下，研究多媒體注釋對非刻意字彙學習的成效，特 別探討是否有特定某種多媒體注釋，會引起學生的注意而從事字彙學習。該項研究的對象是 133位在美國學習西班牙語的大學生，他們被隨機分配至控制組（文章中已備有單字注釋） 及實驗組（文本字義、輔助圖片及文本字義與輔助圖片）等四組中的其中一組。在閱讀線上 報紙時，除了控制組以外，其他三組實驗組的學生可以自由地點選單字的注釋來學習。本研 究與其他研究唯一不同的是，所有的學生都需要在閱讀時做有聲思維（think aloud），記錄自 己動作的過程及理由。其結果顯示，實驗組的學生（即有文本字義及輔助圖片）比控制組的 學生，注意到更多的目標字彙。然而，有文本字義又有輔助圖片的學生在單字字義測驗上， 其表現並沒有優於僅有文本字義或輔助圖片的學生；而且四組學生在拼寫測驗上也無顯著差 異。根據學生有聲思維的內容分析得知，雙媒體注釋之所以無效，原因可能是學生在閱讀時 所著重的是文章理解，而非字彙學習。 在眾多加入輔助圖片的多媒體注釋研究中，Yeh與Wang（2003）與其他研究不同的是他 們再加上了聲音的媒體，以便探討各式媒體對非刻意字彙學習的成效。該項研究的對象是臺 灣82位非英語系的大學生，他們在多媒體的環境中閱讀有關美國感恩節的文章，文章中有目 標字彙的注釋。所有學生依注釋種類被隨機分配到文本字義、文本字義與輔助圖片，以及文 本字義、輔助圖片與聲音等三組中的其中一組；其中，文本字義有中、英文的字義，輔助聲 音則是該字的發音、拼法及文章中含該字的句子。其結果與其他研究相同，即有文本字義與 輔助圖片注釋對單字學習的成效比其他兩種注釋較好。該研究所增加的輔助聲音並沒有對單 字學習產生正面的效果，原因極可能是學生聽力的問題。 綜觀以上研究可以得知，有關多媒體注釋中輔助圖片的功用，其相關研究所關心的議題 有學習字彙的環境、注釋呈現的方式、說明文本字義的語言、學習者的年齡大小，以及語言 學習理論的檢驗等。研究結果與前述多媒體學習理論大致相同。

二、影片

影片是另一項運用多媒體來呈現字義的媒介，其型態包括影片及動畫兩種（以下以影片

一詞涵蓋兩者）。因為圖片注釋在字彙學習上一直有良好的成效，又因為影片是由一連串圖 片的快速播放所組成，因此研究學者一直以來都想要將動態影片運用在字彙學習上。以影片 配合字義的單字注釋，所比較的對象就是圖片配合字義的單字注釋，所採用的研究設計大多 還是實驗設計或準實驗設計。 Chun與Plass（1996）的多媒體注釋研究，是本文所能蒐集到多媒體注釋領域的先驅，他 們所呈現的研究成果，讓東、西學界開始重視多媒體注釋與字彙學習的關係。這兩位學者想 要探討的是多種型態的注釋對非刻意字彙學習的影響，以及多媒體注釋的成效。該項研究的 對象為160位在美國學習德文的大學生，他們在多媒體課程CyberBuch中閱讀文章。在受試者 內設計下，所有學生都可以在閱讀文章時，隨意地查閱單字的字義，目標字彙的字義以文本 字義、文本字義與輔助圖片，以及文本字義與輔助影片等三種方式呈現。其結果顯示：多樣 注釋會增加查閱行為，也因此就加深單字的學習；輔助圖片或影片也比單一文本字義更能加 深記憶（hypermnesia）；而圖片比影片更能加深學習的印象的原因是，靜止的圖片能讓學生 有更久的時間來處理外來的訊息。 雖然有Chun與Plass（1996）的研究，Al-Seghayer（2001）還是認為文本字義與輔助影 片對字彙學習的成效會大過於文本字義與輔助圖片的成效，因此，該項研究所採用的受試者 內設計和Chun與Plass的研究設計完全相同，研究對象是30位學習英文的學生，參與研究的學 生可以在閱讀文章的時候，查閱單字的文本字義、輔助圖片及輔助影片。而與前研究不同的 是，學生的閱讀行為全部被錄製下來，而且在閱讀之後，學生還需要填寫問卷、接受面談。 該研究的主要結果與先前的研究結果一樣：多媒體注釋有助於字彙學習。可是，和Chun與 Plass研究相異的部分是，文本字義與輔助影片比其他兩組更能幫助學生學會目標字彙；同 時，從質性的資料來看，學生也感受到文本字義與輔助影片的學習比文本字義與輔助圖片的 學習來得有成效。該研究的結論是，動態影片較能幫助學生整合字彙的意思及其意象。 大部分的研究多以一般的學生為對象，以便得知學習成效的概況，而Akbulut（2007）卻 針對語言程度較高的學生進行研究，企圖了解多媒體注釋是否也對學生字彙的習得及保留有 成效。該項研究的對象是69位英語程度屬高級的學生，他們被隨機分配到英語的文本字義、 英語的文本字義與輔助圖片，以及英語的文本字義與輔助影片等三組的其中一組；學生們需 要閱讀一篇文章，其中有42個目標字彙。其結果顯示：查閱兩種模式注釋的學生比僅查閱單 種注釋的學生，在單字的習得及保留上表現較為出色；可是，查閱文本字義與輔助圖片的學 生與查閱文本字義與輔助影片的學生，兩者的表現並無顯著不同，這表示圖片與影片皆可有 輔助學習的成效。此外，學生還可以轉移所學的單字而應用到其他的活動上，同時，其保留 字義的時間也較長。 除影片之外，臺灣學界也關心動畫在字彙學習中的角色。Kuo與Chiang（2006）嘗試將 動畫加進字彙學習裡，以探討動畫對國小學生字彙學習及保留的成效。該項研究的對象是91

位臺灣國小五年級的學童，他們必須在多媒體的環境中閱讀一篇短文，文章中的目標字彙則 以文本字義、輔助動畫，以及文本字義與輔助動畫等三種方式呈現，學童則以班為單位分配 到其中一種方式裡。其結果傾向Al-Seghayer（2001）的研究結果，查閱文本字義與輔助動畫 的學生，在立即後測及延宕後測的兩項成績上，都優於其他兩組的表現。另外，僅查閱文本 字義或查閱文本字義與輔助動畫的學童，在前述兩項測驗上，表現都優於僅查閱輔助動畫的 學童；這項結果說明，單單查閱動畫不足以幫助學童學習字彙的字義，因為資訊太多反而不 易專注。對學童而言，中文的文本字義可能就足以提供學童了解字彙的資訊，也足夠達成學 習的效果，動畫的輔助是幫助記憶及之後的回憶。 稍後，Lin（2009）探討了輔助動畫對學習動作詞彙的成效。該項研究的對象是臺灣國 中八年級學習英語三個班的學生，學生以班為單位，被隨機分配到文本字義、文本字義與輔 助圖片，以及文本字義與輔助動畫等三組中的其中一組。學生在數位學習環境裡閱讀兩篇文 章，各包含10個目標動詞。閱讀之後，立刻進行閱讀測驗、拼寫測驗及辨識測驗；兩週後， 無預警地進行拼寫及辨識兩項的延宕後測。其結果與Akbulut（2007）相同：查閱多媒體注 釋的學生，在拼寫測驗的表現，高於僅有文本字義的學生；在辨識測驗的表現，則三組無顯 著差異。整體而言，多媒體注釋，不管是輔助圖片或是動畫，對中學生字彙的習得及保留都 有實質的成效。靜態的圖片，因為是靜止的狀態，所以讓青少年的學生有較長的時間可以學 習、記憶；相對地，動態的影片，因為是述說一段動作的概念，因此建議用來說明具有變化 或過程的概念，在國中階段所學的動作詞彙，可能只需要中文解說就能理解了。 由以上討論，影片（或動畫）的研究還是在探索該媒體是否適合字彙學習，因此學者大 多仍在比較使用圖片與影片的效益，唯一比較可取的是它的研究對象，年齡層已經涵蓋了國 小、國中及大學生，程度方面也包括了對高程度學生的研究。

三、其他

以上兩節所討論的先前研究，都是將多媒體注釋運用在閱讀文章及非刻意字彙學習上。 然而，還有少部分的研究是針對字彙學習與其他相關領域之間的關係來做的，例如：聽力理 解、認知智能及行動載具等，雖然這些研究的方向不同於閱讀能力，但重點還是在多媒體注 釋對字彙學習的成效。以下就這三方面分別探討。

（一）聽力理解

儘管多媒體注釋的研究都與閱讀相關，Jones與Plass（2002）則試著延展多媒體注釋到 聽力方面的成效。該項研究的對象是171位學習法語的大學生，而他們的學習活動是聆聽一 段以法文講給法國人聽的歷史。學生在聽該篇文章的時候，可以查閱目標字彙不同型態的注 釋：控制組的學生沒有任何的注釋；文本字義組的學生可以查閱英文的解釋；輔助圖片組可

以查閱相關圖片；多媒體組的學生則可以選擇查閱文本字義、輔助圖片任何一種的注釋。其 結果顯示，多媒體注釋能夠幫助學生學習字彙，也能保留學習效果，這就使Mayer（2001） 所提出來的多媒體理論得以延伸到聽力方面的學習；同時，該研究也再次證實圖片比文本能 更有效地回顧所學的字彙。 Jones（2004）緊接著前一研究，在2004年再探討多媒體注釋對字彙學習的成效，以及 多媒體與測驗模式之間的關係。該實驗的假設為：文本字義與輔助圖片會幫助學生在手寫測 驗與圖片辨識兩項測驗上的表現；多媒體注釋有助於手寫測驗中的單字回顧。該研究的對象 仍然是學習法語的大學生，共80位，學習活動仍然是聆聽一段法文的文章，聆聽時則有不同 型態的單字注釋可供查閱，即無注釋、文本字義、輔助圖片，以及文本字義與輔助圖片等四 組。其結果顯示，多媒體注釋與測驗模式沒有交互關係。與先前的文獻相同的是，多媒體注 釋會引發學生查閱更多次的字彙，因此有了較佳的字彙學習成果；可是，該項成效會因為時 間的關係，增加學生的認知負荷而造成效果不佳。且與先前研究結論不太相同的是，輔助圖 片因為夾雜了太多的資訊，而導致字彙學習的成效不如文本字義。

（二）認知智能

有關認知智能的研究，學者所關心的是學習型態與多媒體種類的關係。首先，Plass、 Chun、Mayer與Leutner（1998）探討到底哪一種類型的學習者才會真正從多媒體注釋中得到 益處。該項研究的對象是學習德文的103位大學生，他們先根據所有學生查閱單字注釋的行 為，把學生概略分成視覺導向（visualizer）與文字導向（verbalizer）兩大類，大致上，前者 比較喜歡圖像的輸入，後者則較傾向文字的刺激。學生的學習活動是閱讀以德文書寫的文 章，所有的目標單字都有英文的注釋，而只有某些單字有輔助圖片、某些有輔助影片。其結 果顯示，多樣注釋對單字的習得有助益。至於兩大類型的學習也大致符合預期，即：視覺導 向的學生對有輔助圖片的單字學習成效較好，文字導向的學生則只要文本字義就可以學會單 字了；學習的喜好對學習成效的影響呈現出適度的顯著。因此，Plass等學者建議在多媒體注 釋中必須考慮學生的學習傾向，以提供恰當的媒體。 接著，同一批學者Plass等人於2003年再從學生認知能力的角度來探討多媒體注釋與字 彙學習的關係。研究對象還是學習德文的大學生，共52位，學習的活動還是閱讀一篇德文文 章；在閱讀文章時，他們被隨機分配到無注釋、文本字義、輔助圖片或影片，以及文本字義 與輔助圖片或影片等四組中的其中一組。其研究結果再次證實多媒體注釋的成效。而認知能 力與字彙學習的關係，該研究指出，語文能力（verbal ability）與字彙學習有極大的相關性； 但是，對語文能力與視覺能力都較低的學生而言，輔助圖片反而會妨礙字彙的習得，主要原 因就是認知負荷過重，因為對這些能力較低的學生來說，輔助圖片或影片可能傳達了不明確 的訊息。

（三）行動載具

近來由於行動載具（mobile devices）的普遍，已經有不少的研究將行動載具納入字 彙學習的範疇。有關使用行動載具在字彙學習的研究，首先必須要確定該項科技的相容性 （compatibility）與競爭性（viability）；換句話說，我們要先確定行動載具的特性是否適合 字彙的學習？因此，相關的研究也就常將行動載具與個人電腦（或者其他工具）進行比較。 例如：Thornton與Houser（2005）報導了三個針對日本大學生使用手機學習英語字彙的 研究，其中第二個研究就是比較使用手機與紙筆或電腦學習100個英文單字的成效，其結果 是手機較優且有顯著差異。同樣在日本，Stockwell（2007, 2010）的兩個研究則探討了手機在 大學生語言學習中的角色，兩個研究的參與人數不多，但是很忠實地報導了大學生不使用手 機學習英語字彙的原因，主要包括：螢幕太小、（使用手機的）環境不適合學習、（想要認 真學習時）有個人電腦的選擇，以及學生將手機歸類為私人用途等。Lu（2008）的研究則是 比較紙筆講義與手機簡訊的字彙學習成效，結果是手機簡訊的習得比紙筆講義的習得要來得 顯著，同時學生們對使用手機簡訊的態度也呈正向。由此可以看出，行動載具在字彙學習中 的優劣，優點是它的便利性，缺點則是機器本身的構造及使用者的心理狀態。 除了比較研究之外，行動載具在字彙學習上還有測試系統、網站的研究報告。所謂測 試，指的是使用者藉著手機上網的功能來使用線上課程。前述Thornton與Houser（2005）的 第三個調查報告，就是請31位大二學生利用有播放影片功能的手機，來評鑑研究者所建構 的多媒體（動畫、影片）英語成語學習網站，結果學生對該網站有極高的評價。Stockwell （2007, 2010）的兩個研究也有測試行動學習與個人電腦的兩種系統，以便研究學生對兩種 系統的使用成效。如上所述，學生還是喜歡使用個人電腦來從事嚴肅的學習。系統測試比 較突出的研究是Chen與Chung（2008）、Chen與Hsu（2008），這兩篇都是研究個人化的英 語字彙行動學習系統對英語字彙的學習成效。不同的是，Chen與Chung是透過試題反應理論 （Item Response Theory）的分析，在最短時間之內，提供學生最有效率的字彙學習及複習； 而Chen與Hsu則是應用模糊試題反應理論（fuzzy Item Response Theory），從擷取並分類後的 英文新聞中提供學生新聞閱讀、單字複習。這兩種系統都能極有效率地提供學生學習。

最後值得一提的是，Chen、Hsieh與Kinshuk（2008）探討呈現教材的模式（Learning Content Representation）與學生認知模式（cognitive models）兩者之間的關係。該項研究 的對象是四班156位非英語系的大學生，教材的內容是24個英文單字，教材呈現的媒介是 行動載具，教材呈現的兩種模式是說明英文單字用法的英文例句及其中文翻譯（textual explanation）與描繪例句的線條圖片（pictorial annotation），認知模式則依學生對文字 （verbal）與視覺（visual）的喜好分成偏好文字又偏好視覺、偏好文字但不愛視覺、不愛文 字而偏好視覺，以及不愛文字也不愛視覺等四種不同的類別。目標字彙呈現的基本訊息包含

有單字的拼法、中文解釋、文法詞性及發音指引，外加的文本注釋是例句與翻譯，外加的圖 片注釋是描繪例句的線條圖片。因此，每一字彙的呈現方式就有四種：無外加注釋、外加文 本注釋、外加圖片注釋，以及外加文本與圖片注釋。學生的學習活動是在50分鐘內，學會在 四種注釋中以隨機的方式抽取目標字彙，每一種注釋各6個單字，每個學生學的單字相同， 但所呈現注釋的方式卻都不同。其結果顯示：文本注釋，不論有無圖片注釋，對偏好文字又 偏好視覺的學生有幫助；圖片注釋，對不愛文字而偏好視覺的學生有助益；對不愛文字也不 愛視覺的學生而言，他們只要最基本的學習訊息就夠了，因為過多的訊息對他們會有認知負 荷過重的問題。本研究的結果與Plass等人（1998, 2003）有關認知智能的研究結論相同。

肆、研究結論、研究方向與教學建議

一、研究結論

根據以上研究的陳述，我們可以得到以下兩點結論：多樣注釋比單一注釋有效；輔助圖 片比其他輔助媒體有效。所謂的多樣注釋，指的是解釋單字意思的文本字義（文字）與輔助 解釋的圖片（圖片）或者影片（影片），這兩類同時出現的單字注釋。誠如Paivio（1986） 的雙碼理論、Mayer（1997）的多媒體學習衍生理論，以及Plass與Jones（2005）的多媒體互 動語言學習模式所闡釋的，學生可以同時接受文本與視覺的兩種刺激（或輸入），在訊息經 過組織並整合到原有的知識系統以後，會加深學生學習的記憶，產生學習的效果。就字彙學 習而言，文本字義與輔助圖片或影片會比單一的文本字義、輔助圖片或輔助影片來得有效， 其解釋是，多樣注釋中的其中一項媒體，多半是非文本字義，會幫助學生回憶起單字的字 義；而單一注釋中的單一媒體，就沒有類似的媒體輔助，因此存在記憶的時間十分短暫，容 易忘卻。這項多樣注釋的結論，從前述輔助圖片到輔助影片的研究，乃至於行動載具的研究 （Chen et al. 2008），都可以得到實驗數據的支持。 而在選擇多樣注釋時，文本字義加上輔助圖片的效果是最佳的選擇，輔助影片或輔助 動畫則是次之；這個現象應歸因於圖片及影片兩者不同的本質。採用輔助圖片的研究學者所 根據的是前述雙碼理論、多媒體學習衍生理論，他們在研究報告中所用的字詞大部分是靜態 的字眼，如：still graphics、images或pictures等；相對地，採用輔助影片時，雖然理論還是 一樣，但用詞則是動態的，如dynamic animation、films或video。動態的影片或動畫就本質而 言，應當用來說明會有變化的觀念，而且比較適合用來說明具有過程的內容；換句話說，影 片是用來說明一套比較複雜的概念，其中包含有許多變化、過程等步驟，不是單單以一張圖 片就可以解釋清楚的具體物件。以字彙學習而言，如果文本字義已經能夠清楚地說明單字的 意思，那麼輔助圖片的靜態畫面就足夠學生形成單字的觀念了。所以這個時候，如果捨棄輔

助圖片而使用輔助影片，可能會造成學習上的負擔，因為影片是由多張照片及音效（或文 字）組成的，學生較難從一段影片中取得所要傳達的中心訊息，甚至會受動態影片所吸引而 忘記觀看影片的主要目的，這樣反而無法輔助學生的單字學習（Lin 2009）；特別是當學生 僅能查閱影片而無其他輔助時，這樣的學習效果就連僅能查閱文本字義的效果都比不上了。 然而，還是有研究結果與上述兩項結論相牴觸。如Yanguas（2009）就指出，多媒體注釋 對字彙學習並沒有顯著的成效；更有甚者，Yeh與Wang（2003）提出多樣注釋對大學生的字 彙學習可能有負面效果的看法，而Acha（2009）則認為，多樣注釋對學童的字彙學習反而有 貶抑的效果。另外，有關輔助媒體的研究，在眾多研究當中，只有Al-Seghayer（2001）得出 輔助影片優於輔助圖片的結論，這些都值得我們再一次來檢驗目前的研究結果。

二、研究方向

對於未來的研究方向，本文根據前述的研究成果以及結論針對認知負荷、輔助影片、行 動載具等三方面提出建議。 認知負荷在多媒體注釋的研究中，還有尚未決定的面向。從Plass等人（1998, 2003）、 Chen等人（2008）的研究當中，我們似乎可以肯定地說，文字導向的認知模式比較適合文 本字義的輔助，圖像導向則傾向輔助圖片。可是，我們在先前回顧的文獻中還無法得知應該 從哪個年齡層或者哪種程度可以開始加入一種或多樣的多媒體注釋，才不會造成認知上的負 荷過重。從Kuo與Chiang（2006）對小五學童以及Acha（2009）對小三、小四學童所做的研 究，就看出對國小、初級的學童而言，可能文本字義就足夠他們來學習字彙了，對他們來 說，多媒體輔助影片或圖片不但沒有輔助的功用，反而會在字彙學習上造成的負面影響。因 此，多媒體注釋應在何時適時出現，還需要更確切的答案。而這點應在何時適時出現的問 題，又牽涉到目標字彙與學生背景知識的問題（參Xu 2010: 323）。以國小或者是初級程度 的學生來說，當學生的知識系統已經有目標字彙所要表達的字義時，特別是具體的物品、日 常生活用詞，此時表達清楚的文本字義與意念清楚的輔助圖片就比較不會造成認知上的負 荷。如果目標字彙所要傳達的字義對學生來講還很陌生的話，文本字義再加上任何多媒體注 釋的輔助是否會比僅有文本字義的輔助更容易造成認知上的負荷呢？這點還需要進一步地來 探討（Lin 2009）。 輔助影片或動畫在字彙研究中還沒有得到相當的認同（Xu 2010），除了Al-Seghayer （2001）的研究外，所有相關的比較研究都比不過輔助圖片的成效。然而，當我們仔細分析 輔助影片的使用時，我們可以發現輔助影片所使用的時機似乎不是非常的恰當，不是輔助影 片與所解釋的字彙不對稱，就是學生無法掌握輔助影片所要表達的意涵，其最主要的癥結點 是目標字彙的解釋還不需要影片或動畫的輔助。如同前述，影片與圖片最主要的差別在於影 片所表達的是一套需要有過程、變化的觀念，此類的字彙比較適合用影片來說明。以英文詞

彙來說，有動作變化過程的sauté（快炒）或富有動作及文化意涵的rodeo（牛仔競技表演）， 如果有文本字義與輔助影片來說明的話，可能就可以與文本字義與一張靜止圖片的學習效果 相媲美，特別是需要學生用更詳細的字詞來說明這些富有變化、富有意涵的字彙時，輔助影 片的學習效果就相當值得期待。所以，我們建議未來輔助影片（含動畫）的研究可以探討該 項媒體在說明複雜觀念字詞上的運用，當該字詞所傳達的觀念很難用一張圖片來表達的時 候，影片的說明應是首先考慮的輔助媒體。 行動載具應該是學習字彙一個理想的媒介，其主要的因素有二：行動載具的螢幕以及使 用行動載具來學習的便利性。目前大部分行動載具螢幕的大小很適合單字的學習，因為單字 所呈現的學習份量不像文章閱讀需要比較長的篇幅，如果需要超過一個螢幕以上的閱讀，通 常很難讓使用者有足夠的耐心繼續閱讀下去。一個單字的學習份量，包括字型、字義、發音 記號、例句、甚或輔助圖片，大概都可以在一個螢幕內呈現（Chen et al. 2008）。至於行動 載具的便利性就更不在話下了，因為攜帶方便且隨時隨地都可與教學網站連結，這樣的便利 性就可以解決學生對生字生疏的問題。經常接觸所學的單字，可以在短期之內，幫助學生學 會並記牢所該學的字彙。這個行動載具特有的性質乃是它最大的強項之一，如果再加上多媒 體的輔助，在行動載具上學習字彙應該是很有潛力的學習環境。基於以上這兩個理由，我們 建議能夠在行動載具上研究學生使用多媒體注釋的成效，包括：輔助影片（或動畫）是否能 有助益、上網查閱單字是否能有成效。這些都是亟待發掘的答案。

三、教學建議

儘管前述研究及討論所關心的議題都是多媒體注釋在非刻意字彙學習上的成效，似乎與 課堂內的刻意教學無關，但是研究的成果還是可以提供任課老師在教學上應該注意的地方。 因此，本文就文本字義、輔助圖片及輔助影片等三方面提出字彙教學的建議。 文本字義是字彙學習的根本，大部分檢驗字彙知識的方式就是需要學生寫出字彙的字 義，因此在教授字彙時，課堂老師也一定要告訴學生字義。從本文所檢視的研究中，文本字 義的相關議題有二：其一為認知負荷，其二為解釋語言。如同前述，當學生對目標字彙所 表達的意思感到陌生時，由於文本字義以外的多媒體注釋可能會造成學生學習上的負擔， 因此任課老師要清楚知道哪些單字需要、哪些不需要多媒體的輔助。解釋單字的語言，根據 Yoshii（2006）、Yoshii與Flaitz（2002）兩篇研究，可以是學生的母語，也可以是學生要學習 的目標語，母語比較直接，而目標語則需要花費學生時間、精力去理解，所以，學習後比較 難以忘卻，值得課堂老師帶領學生一起嘗試。 然而，輔助圖片在字彙教學的價值常被忽略。自從初級以後的字彙學習，課堂教師就 很少採用圖片來搭配文本字義，原因可能是學生認為依圖片學習字彙看起來比較不成熟，也 可能是老師嫌準備圖片的時間太長、教室也不適宜展示圖片等。本文並不建議老師必須為每

個單字都準備一張圖片，而是建議老師必須教導學生學習、記憶單字的方法，並以圖片來輔 助。因此，任課老師只要選定特定字彙，以圖片展示並教導，且以圖片幫助學生複習，應該 就可以達到前述研究採用輔助圖片的目的。圖片的來源，除了可以使用書商所準備的教材以 外，網路資源：如About.com的圖片輯（Image Galleries）或Google Images的搜索大多能提供 任課老師理想的結果，應該多加利用。 輔助影片因為提供學習者相當多的情境，是提高學生學習興趣、動機的要素之一，課 堂老師必須好好地把握每次播放影片的時機。基於前述研究的討論，輔助影片、動畫在字彙 學習的角色，雖尚未超越圖片，但已與圖片不相上下，所以使用時機必須十分謹慎。其原則 是，使用圖片能夠說明的字彙就不使用影片，若需使用影片，則影片的主題要清楚，最好是 線條動畫、背景純白或透明以襯托主題，且影片、動畫時間不宜過長；如果老師要使用的影 片還含有其他的內容，一定要說明使用影片的用意，好讓學生充分了解觀賞影片的目的（參 Xu 2010: 322）。目前影片最豐富的網路資源應屬YouTube，但是，比較有教育取向的影片也 可在About.com裡找到；至於動畫的來源，老師們可從Animation Factory或提供動畫的網站取 得。

致謝

作者感謝兩位審查委員對本文所提出的建議，以及行政院國家科學委員會專題研究計畫 的補助（計畫編號：NSC 98-2511-S-003-033-MY3）。

參考文獻

大學入學考試中心。《大考中心高中英文參考詞彙表編修研究計畫報告（第二期）》（臺北 市：作者，2002）。

教育部。《國民中小學英語基本字彙》（臺北市：作者，2003）。

Acha, J. “The Effectiveness of Multimedia Programmes in Children’s Vocabulary Learning,” British

Journal of Educational Technology, 40.1(2009): 23-31.

Akbulut, Y. “Effects of Multimedia Annotations on Incidental Vocabulary Learning and Reading Comprehension of Advanced Learners of English as a Foreign Language,” Instruction Science, 35(2007): 499-517.

Al-Seghayer, K. “The Effect of Multimedia Annotation Modes on L2 Vocabulary Acquisition: A Comparative Study,” Language Learning & Technology, 5.1(2001): 202-232.

Chen, C.-M. and C.-J. Chung. “Personalized Mobile English Vocabulary Learning System Based on Item Response Theory and Learning Memory Cycle,” Computers & Education, 51(2008): 624-645.

Chen, C.-M. and S.-H. Hsu. “Personalized Intelligent Mobile Learning System for Supporting Effective English Learning,” Educational Technology & Society, 13.3(2008): 153-180.

Chen, N.-S., S.-W. Hsieh, and Kinshuk. “Effects of Short-Term Memory and Content Representation Type on Mobile Language Learning,” Language Learning & Technology, 12.3(2008): 99-113. Chun, D. M. and J. L. Plass. “Effect of Multimedia Annotations on Vocabulary Acquisition,” The

Modern Language Journal, 80.2(1996): 183-198.

Ellis, R. SLA Research and Language Teaching (Oxford, United Kingdom: Oxford University Press, 1997).

Grace, C. “Retention of Word Meanings Inferred from Context and Sentence-Level Translations: Implications for the Design of Beginning-Level Software,” The Modern Language Journal, 82.4(1998): 533-544.

Grace, C. “Gender Differences: Vocabulary Retention and Access to Translations for Beginning Language Learners in CALL,” Modern Language Journal, 84.2(2000): 214-224.

Hulstijn, J. H. “Retention of Inferred and Given Word Meanings: Experiments in Incidental Vocabulary Learning,” in Vocabulary and Applied Linguistic, eds. P. J. L. Arnaud and H. Bejoint (London: MacMillan, 1992), 113-125.

Foreign Students: The Influence of Marginal Glosses, Dictionary Use, and Reoccurrence of Unknown Words,” The Modern Language Journal, 80.3(1996): 327-339.

Jacobs, G. M., P. Dufon, and C. H. Fong. “L1 and L2 Glosses in Reading Passages: Their Effectiveness for Increasing Comprehension and Vocabulary Knowledge,” Journal of Research

in Reading, 17(1994): 19-28.

Jones, L. C. “Testing L2 Vocabulary Recognition and Recall Using Pictorial and Written Test Items,”

Language Learning & Technology, 8.3(2004): 122-143.

Jones, L. C. and J. L. Plass. “Supporting Listening Comprehension and Vocabulary Acquisition in French with Multimedia Annotations,” The Modern Language Journal, 86.4(2002): 546-561. Kost, C. R., P. Foss, and J. J. Lenzini. “Textual and Pictorial Glosses: Effectiveness on Incidental

Vocabulary Growth When Reading in a Foreign Language,” Foreign Language Annals, 32.1(1999): 89-113.

Krashen, S. “We Acquire Vocabulary and Spelling by Reading: Additional Evidence for the Input Hypothesis,” Modern Language Journal, 73(1989): 445-464.

Kuo, F. L. and H. K. Chiang. “Story Animation: Helping Students Build Connections between Words and Pictures in Multimedia Learning,” in Proceedings of 2006 International Conference on

English Instruction and Assessment, by National Chung Cheng University. http://fllcccu.ccu.

edu.tw/conference/2005conference_2/download/C16.pdf.

Lin, C. C. “Learning Action Verbs with Animation,” The JALT CALL Journal, 5.3(2009): 23-40. Lomicka, L. L. “‘To Gloss or not to Gloss’: An Investigation of Reading Comprehension Online,”

Language Learning & Technology, 1.2(1998): 41-50.

Lu, M. “Effectiveness of Vocabulary Learning via Mobile Phone,” Journal of Computer Assisted

Learning, 24(2008): 515-525.

Mayer, R. E. “Multimedia Learning: Are We Asking the Right Questions?” Educational Psychologist, 32.1(1997): 1-19.

Mayer, R. E. Multimedia Learning (New York: Cambridge University Press, 2001).

Mayer, R. E. and R. Moreno. “A Split-Attention Effect in Multimedia Learning: Evidence for Dual Information Processing Systems in Working Memory,” Journal of Educational Psychology, 90(1998): 312-320.

Moreno, R. and R. E. Mayer. “Cognitive Principles of Multimedia Learning: The Role of Modality and Contiguity,” Journal of Educational Psychology, 91(1999): 358-368.

Moreno, R. and R. E. Mayer. “A Coherence Effect in Multimedia Learning: The Case for Minimizing Irrelevant Sounds in the Design of Multimedia Instructional Messages,” Journal of Educational

Psychology, 97(2000): 117-125.

Nagata, N. “The Effectiveness of Computer-Assisted Interactive Glosses,” Foreign Language

Annals, 32(1999): 469-479.

Nation, I. S. P. Learning Vocabulary in Another Language (Cambridge, United Kingdom: Cambridge University Press, 2001).

Paivio, A. Imagery and Verbal Processes (New York: Holt, Rinehart & Winston, 1971).

Paivio, A. Mental Representation: A Dual-Coding Approach (New York: Oxford University Press, 1986).

Paivio, A. and I. Begg. Psychology of Language (Englewood Cliffs, NJ: Prentice-Hallm,1981). Plass, J. L., D. M., Chun, R. E. Mayer, & D. Leutner. “Supporting Visual and Verbal Learning

Preferences in a Second-Language Multimedia Learning Environment,” Journal of Educational

Psychology, 90(1998): 25-36.

Plass, J. L., D. M., Chun, R. E. Mayer, & D. Leutner. “Cognitive Load in Reading a Foreign Language Text with Multimedia Aids and the Influence of Verbal and Spatial Abilities,”

Computers in Human Behavior, 19(2003): 221-243.

Plass, J. L. and L. Jones. “Multimedia Learning in Second Language Acquisition,” in The Cambridge

Handbook of Multimedia Learning, ed. R. E. Mayer (New York: Cambridge University Press,

2005), 467-488.

Rott, S. “Processing Glosses: A Qualitative Exploration of How Form-Meaning Connections are Established and Strengthened,” Reading in a Foreign Language, 17(2005): 95-124.

Rott, S., J. William, and R. Cameron. “The Effects of Multiple-Choice L1 Glosses and Input-Output Cycles on Lexical Acquisition and Retention,” Language Teaching Research, 6(2002): 183-222. Shahrokni, S. A. “Second Language Incidental Vocabulary Learning: The Effect of Online Textual, Pictorial, and Textual Pictorial Glosses,” TESL-EJ, 13.3(2009). http://www.tesl-ej.org/ wordpress/issues/volume13/ej51/ej51a3/.

Stockwell, G. “Vocabulary on the Move: Investigating an Intelligent Mobile Phone-Based Vocabulary Tutor,” Computer Assisted Language Learning, 20.4(2007): 365-383.

Stockwell, G. “Using Mobile Phones for Vocabulary Activities: Examining the Effect of the Platform,” Language Learning & Technology, 14.2(2010): 95-110.

Thornton, P. and C. Houser. “Using Mobile Phones in English Education in Japan,” Journal of

Computer Assisted Learning, 21(2005): 217-228.

Watanabe, Y. “Input, Intake, and Retention: Effects of Increased Processing on Incidental Learning of Foreign Language Vocabulary,” Studies in Second Language Acquisition, 19(1997): 287-307.

Wilkins, D. Linguistics and Language Teaching (London: Edward Arnold, 1972).

Xu, J. “Using Multimedia Vocabulary Annotations in L2 Reading and Listening Activities,” CALICO

Journal, 27.2(2010): 311-327.

Yanguas, I. “Multimedia Glosses and Their Effect on L2 Text Comprehension and Vocabulary Learning,” Language Learning & Technology, 13.2(2009): 48-67.

Yeh, Y. and C. Wang. “Effects of Multimedia Vocabulary Annotations and Learning Styles on Vocabulary Learning,” CALICO Journal, 21.1(2003): 131-144.

Yoshii, M. “L1 and L2 Glosses: Their Effects on Incidental Vocabulary Learning,” Language

Learning & Technology, 10.3(2006): 85-101.

Yoshii, M. and J. Flaitz. “Second Language Incidental Vocabulary Retention: The Effect of Picture and Annotation Types,” CALICO Journal, 20.1(2002): 33-58.

A Review of Studies on Multimedia-Assisted

Vocabulary Learning

Chih-Cheng Lin

Department of English National Taiwan Normal University

Associate Professor

Abstract

Multimedia annotations, because of the advancement and popularity of multimedia technology in the last 15 years, have been attracting attention from language professionals as well as researchers in second language acquisition. The findings of the previous studies have indicated the type of multimedia annotations that best facilitates vocabulary learning and the relationships between learning styles and multimedia annotations. In particular, students’ looking up a combination of textual and visual annotations is better than their looking up a single annotation of any kind, and learning vocabulary with still pictures is better than that with dynamic video or animation. Three areas that require further research are suggested, and they are related to cognitive load, dynamic video or animation, and learning vocabulary using mobile devices. Finally this article, based on the discussions of textual, pictorial, and video glosses, offers suggestions for classroom-based vocabulary instructions.

Keywords: multimedia annotations, multimedia learning, vocabulary learning, vocabulary