• 沒有找到結果。

本研究為教學系統之發展與評鑑,以題型模版為基礎,成功地以SDLC 開發流程建立一個包含多樣化題型、兼容多種媒體格式之「網路多媒體測驗 編輯系統」。茲將研究結論依七項研究問題分別列述:

(一)如何設計以題型模版為基礎的網路多媒體測驗編輯系統?

1.適用於全球資訊網之測驗題型依林璟豐(2001)研究結果可分為是非、

選擇、配合、填充、問答、操作、模擬、語音、連鎖及討論等十種題型(表 1)。媒體格式方面,原則上在網路上流通的媒體格式皆可運用,但以測驗 系統的角度而言,須考量目前教學現場的電腦設備,因此僅支援目前教學中 使用較普遍之媒體格式(表3)。

2.在題型模版的概念下,原本十種適用於全球資訊網的題型需重新做考 量,重點在於以模版編輯、自動產生試題的可行性,最後劃分為九種測驗題 型模版(表2,刪去模擬及操作題,另將選擇題劃分為單選及多選,語音題 改為上傳題以增加題型運用彈性)。被刪去的操作題和模擬題部分,理想上 應納入系統,但本系統主要是希望便利教師運用多媒體檔案上傳形成試題,

對於此兩種題型,由於涉及模擬出試題之結構性情境,並非簡單上傳多媒體 檔案就能立刻形成試題,因此較難以模版形式出題,故在系統規劃初期便沒 有將其列入本系統題型模版,但簡易的模擬或操作題,仍可藉由上傳互動性 媒體檔案至其他題型來達成(如動畫FLASH之*.swf檔案),端視命題者如 何運用。

3.在系統架構上,本研究依「多樣題型編輯模版」及「多種媒體格式支 援」來設計系統,主要特色為一網路多媒體測驗編輯系統,然為實證此系統 的可行性以及研究目的之需求,亦搭配了學生線上測驗及系統管理等功能來 形成一個較完整的網路測驗系統,並劃分功能如圖5。

4.本研究分為教師、學生及管理三大功能模組,詳細功能及對應資料表 如圖6。

(二)如何開發以題型模版為基礎的網路多媒體測驗編輯系統?

5.本研究考量題型需求、多媒體特性與各種不同開發方式後,採用穩定 的SDLC來開發系統,而開發過程之工作如圖1,分為分析、設計、發展及評 鑑等四個主要階段。

(三)如何進行以題型模版為基礎的網路多媒體測驗編輯系統製作後之內、

外部評鑑?

6.系統內部評鑑方面,採用問卷方式向四位專家進行調查,並依其意見 修改系統功能,而問卷結果顯示,專家對本系統之吸引性、內容合適正 確性、互動性方式與型態、媒體品質與融合性、傳輸品質、學習適應性、

適當的學習輔助工具、內建智慧等八個向度皆有正面之評價(表5)。此 外,專家對本系統提供之題型分別依製作介面、題目呈現、實用價值、使用 機會等四個向度進行評估,所得結果亦為正面(表6)。

7.系統外部評鑑方面,採用問卷調查及準實驗研究方式進行評鑑,結果 顯示,教師對多媒體及線上測驗之看法有正面的評價(表7),而對本系統 的試用經驗亦為正面(表8);而準實驗研究所得結果,不同測驗形式(傳 統紙筆測驗和網路多媒體測驗)在學生測驗成績上有顯著差異,亦即學生在 多媒體測驗的作答成績仍較傳統紙筆測驗佳,且達到統計上的顯著差異(表 9〜11)。

根據以上研究結果,以回應本研究之動機:藉由網路測驗題型的探討,融 入九種網路題型模版於系統,解決了目前測驗系統題型變化少的問題。然後 將系統架構在網際網路上,充分運用網路多媒體、高互動以及時空獨立等特 質,並融入目前常用的媒體格式以解決媒體運用不足的缺失。此外,嘗試以 串流技術解決網路頻寬的問題。最後透過系統內、外部評鑑,證明其有效性 及實用性。系統開發流程與評鑑結果茲詳述於上,共變數分析的結果顯示運 用本研究的測驗系統來實施科學及科技測驗時,學生會因多媒體元素的真實 與完全表達題意,使得測驗成績較能反映學生本身的實際認知程度。此外,

關於測驗數據的分析與判讀,研究者亦詳細陳述於上,以輔助解釋共變數分 析的結果,期望能藉此研究,來提昇網路多媒體測驗在教學評量上的運用與

導引進一步的相關研究。以下就本研究結果及多媒體測驗議題,提供幾個後 續可再進行的研究建議:

(一)學科知識領域的適用性

Zakrzewski及Bull(1998)認為,設計適當的線上測驗,有潛力運用在 不同形式的知識技能上。因此,而何種學科或領域知識特別適用多媒體測驗 來輔助教學評量,可進行更深入的探討,並充分運用於其認知、情意或是技 能方面的測驗。對於一般學科領域的專職教師或實務界的教學設計師而言,

通常缺乏技術及時間去編製及進行測驗。然而,設計高品質的線上測驗比一 般紙筆測驗更需要耗費時間與心力(Clariana & Wallace, 2002),這是一個 實施上待解決的問題,本研究之系統僅為一提供教師方便在線上命題之系統,

然而多媒體試題的內容,則需要教師在教學設計上的專業及巧思。

(二)影響網路多媒體測驗的因素

在目前電腦測驗頻繁使用下,當導入電腦或網路化測驗時,任何可能 影響學生表現的因素應該要仔細考慮,並以其作為測驗實施計畫的考量,

如此才能降低或去除這些因素對測驗結果之影響力(Clariana & Wallace, 2002)。理論上,在解釋電腦測驗成績時,任何因為電腦造成的影響效果 必須清除或重新計算、電腦測驗的發展者必須證明其測驗效度,而決定效度 的方法與紙筆測驗相同、個人在電腦測驗與紙筆測驗上的成績等級順序,必 須近乎相同、平均數散佈情形也必須近似相等(Bugbee, 1996)。然而,多 媒體測驗並非單純的紙筆測驗電腦化,多媒體可說是電腦所造成的影響效果 之一,若清除此效果以解釋成績,則失去多媒體測驗的本意。因此以往對電 腦測驗所設的標準,是否同樣能解釋多媒體測驗的結果,可再加以實驗驗證。

本研究受限於研究時間與人力,僅能以自然與生活科技領域為研究對象,儘 管實驗組學生進行網路多媒體測驗的結果之於控制組學生有顯著差異,但卻 出現成績變異量高、相關低的情形。未來研究可針對可能影響多媒體測驗的 因素,像是教師或學生的媒體或資訊素養,都有可能會對出題或答題產生影 響,例如教師要拍一段影片來表達題意,卻因為使用不好的影片及聲音而影 響作答,諸如此類的情形都可能影響測驗結果,可作進一步的探討。

(三)多媒體測驗的不可取代性

如上所述,多媒體測驗並非單純的紙筆測驗電腦化,因此在運用上,

應有其不可取代性存在。McFarlane(2001)認為區分電腦化測驗和傳統紙 筆測驗間的差異相當重要,即使是選擇題,在電腦螢幕上也可能有不同的再 用性。因此,無論在電腦單機或是網路環境裡,多媒體測驗本身的價值,並 非只是複製傳統測驗而已,而是另一種豐富呈現測驗的機會與感受。相對於 過去許多不利於多媒體測驗的發展因素,如:製作成本昂貴、維護困難以及 品質較差,使得多媒體測驗不易進行。隨著時代改變,科技的進步已使多媒 體測驗發展與實施的可行性變得更高,製作上已不再昂貴,甚至可直接從原 有的媒體資源中再擷取利用,對測驗發展者而言,測驗製作就如同閱讀書籍 一般,也可以撰寫自己的腳本及篇章去架構測驗情境(Bennett et al., 1999)。例 如以一段影片做情境的展示,正如同實際環境可能遭遇的狀況一般,能幫助 受試者模擬真實,進行問題解決,並獲得相關的認知技能,而這些是在傳統 紙筆測驗中較無法做到的。體認多媒體測驗的不可取代性將有助於未來測驗 的發展與實施,並導引相關研究。

(四)不同媒體或題型施測上的差異性

同樣類型的試題,以不同題型或媒體呈現,學生答題結果上是否有所 差異?例如以動畫呈現可能不若影像的真實,以致測驗結果有所差異。

(五)線上測驗評量的目的及用途

線上測驗的好處包括快速的回饋、減少批改困擾並且能與網路學習環 境的密切結合。而評量的目的並非僅僅是測驗學生,更重要的是藉由評量來 幫助學生學習(Davies, 1999; Liu, Papathanasiou, & Hao, 2001),因此,對 於線上測驗的用途及實施方式,是一個值得探討的議題。研究指出,若將 電腦化測驗實施在課程進行中的形成性評量(formative assessment),將能 改善學生在總結性評量(summative assessment)的表現(Charman & Elmes, 1998; Sly & Rennie, 1999)。而評量學生很重要的一個方式便是藉由經常性 的課程作業(assignment)來檢核,由於網路在教學上的發展與應用日漸增 加,將網路測驗系統應用在課程作業的安排上,亦是另一種評量手段或方法,

其產生的效果有待後續研究的觀察與驗證。

(六)符合數位學習標準之多媒體試題交換機制

線上測驗的廣泛使用不只引發了評量設計的學術討論,也催化了許多 創新的評量發展,其中包括根據不同的課程模式,如線上、遠距或是教室 實體課程,對於線上測驗的標準也因此被提出及建議(Northcote & Kendle, 2000; Kendle & Northcote, 2001)。而目前數位學習標準制訂漸趨完善,如 SCORM(Sharable Courseware Object Reference Model)、QTI(Question and Test Interoperability)或ULF(Universal Learning Format)等標準皆有為

線上測驗的廣泛使用不只引發了評量設計的學術討論,也催化了許多 創新的評量發展,其中包括根據不同的課程模式,如線上、遠距或是教室 實體課程,對於線上測驗的標準也因此被提出及建議(Northcote & Kendle, 2000; Kendle & Northcote, 2001)。而目前數位學習標準制訂漸趨完善,如 SCORM(Sharable Courseware Object Reference Model)、QTI(Question and Test Interoperability)或ULF(Universal Learning Format)等標準皆有為

相關文件