以題型模版為基礎之網路多媒體測驗 編輯系統：發展與評鑑
摘 要
目前利用網路進行測驗的情況雖然普遍，卻限於簡單的題型型態及較 為靜態呈現方式，無法充分展現多媒體在網路上的應用能力。尤其是在九年 一貫「自然與生活科技」的課程領域中，多媒體的測驗型式較能有效及精準 的表達科學及科技測驗的意涵，並可避免因文字表達所造成的題意概念模糊，
而使學生產生誤答。因此，本研究嘗試建置一個以題型模版為基礎的網路多 媒體測驗編輯系統，內含多種測驗題型，並支援多種媒體格式，形成不同的 試題編輯模版，以方便從事多媒體測驗的出題工作。本研究以系統發展生命 週期進行系統開發，開發過程中藉由文獻探討進行系統需求分析、設計，並 以問卷調查及準實驗研究等方式完成系統之內、外部評鑑。研究發現，專家 對於本系統內部結構及行為大多持正面的看法，教師對系統的試用經驗調查 亦屬正面的評價。而在學生使用本系統進行多媒體測驗方面，經由準實驗設 計及共變數分析的結果顯示：藉由本系統進行多媒體測驗的實驗組學生，其 測驗的平均成績高於一般傳統紙筆測驗的控制組學生，且達到統計上的顯著 張鑫安 Hsin-An Chang
國立台灣師範大㈻工業科技教育㈻系碩士班網路教㈻組研究生
Graduate student, Department of Industrial Technology Education, National Taiwan Normal University
游光昭 Kuang-Chao Yu
國立台灣師範大㈻工業科技教育㈻系教授
Professor, Department of Industrial Technology Education, National Taiwan Normal University
張炳雄 Pin-Hsiung Chang
國立台灣師範大㈻工業教育㈻系碩士班工業教育組研究生
Graduate student, Department of Industrial Education, National Taiwan Normal University
The Development and Evaluation of A Template-Based
Online Multimedia Assessment Authoring System
差異。這顯示運用本研究的測驗系統來實施科學及科技測驗時，學生會因多 媒體元素的真實與完全表達題意，使得測驗成績較能反映學生本身的實際認 知程度。
關鍵詞：網路多媒體測驗、題型、模版、教學系統開發與評鑑
Abstract
Common educational web-based assessment systems are facing two challenges in development: insufficient variety of question types and integration of media formats, as past literature stated. Especially in the field of science and living technology, multimedia-based assessment can more precisely and efficiently exhibit the core spirit of science and technology evaluation, and can avoid miscomprehension caused by simple text. Thus, this study tried to design and build up a web-based multimedia assessment authoring system featuring customized and easy to use templates – containing several question types and supporting a variety of media – to simplify and streamline the creation process. Therefore, instructors are able to create and manage a web-based assessment with pre-customized templates and media formats after lecturing; students are able to take the exam for self-evaluation and practice whenever learning activities are finished.
This system was innovated and implemented through System Development Life Cycle (SDLC), and a Template-based Multimedia Assessment Authoring (TMA2) system was therefore formed, highlighting the multiple module function as well as the integration of various media types. Internal and external evaluations were conducted later on via experts’ comments. Survey results indicated that most of the experts unanimously held positive attitudes toward the system, and so were the instructors who actually implemented it in their lectures. With respect to students’ learning results, statistical data gained from quasi-experimental design and covariance analysis showed the experimental group with TMA2 support was more likely to achieve higher scores than the one without it; meanwhile, statistical significances were exerted, too. This result implies that with TMA2 support, learners will gain better comprehensive ability due to complete illustration of test through various media element, and will honestly evaluate learners’ cognitions.
Finally, the author proposed further research implications and directions on this emerging topic.
Keywords: web-based multimedia assessment, question type, template, instructional system development and evaluation
壹、前言
由於網路教學蓬勃發展，相佐的測驗評量系統開發也逐漸成為一個新 的研究領域，藉由網路協助測驗也成為應用科技於教育的新趨勢。紙筆測驗 雖然是過去教學評量最為普遍的方式，但由於紙筆測驗評量多只利用圖形及 文字來呈現，因此可能會因學生的語文閱讀能力的差異，而造成評量成績的 落差。相對的，電腦多媒體測驗試題則能提供較多且較真實的題意訊息，使 學生較能瞭解題意而充份作答（翁全志，2003）。所以，若能妥善運用媒體 元素，提供題意清楚而表達完整的電腦多媒體測驗，對評量學生的學習效果 應有積極而正面的意義。而Bugbee（1996）認為電腦將取代紙筆測驗，且未 來網路的運用將能輔助其發展。更進一步來看，全球資訊網所具有的多媒體
（multimedia）與超連結（hyperlink）特性，使資料可以文字、聲音、圖形、影 像與動畫的形態結合呈現；加以超連結的功能使資料處理更有互動性，可加 速資訊的取得和應用，許多在網路上運行的測驗系統也因此不斷地被開發出 來。
目前雖有許多網路測驗系統之相關研究，但大部分卻偏重在適性測驗，題 型也多侷限在選擇題。而其他的一些網路測驗系統，雖有部分提供了是非及 填充等題型，但也僅做到單一標準答案的給分方式（林裕集，2001）。此外，
就網路多媒體運用而言，應用不同媒體元素來呈現多樣化試題，是一個兼顧 認知、情意、技能活潑生動的評量過程（邱龍斌，2002）。亦有文獻指出，
多媒體的線上測驗，可提供多樣化的出題方式，從更多角度測驗學生在學習 目標下的學習成就與不足（林敏慧等，2003）。然而，目前在網路上運作的 測驗系統，雖名為多媒體，多往往侷限於文字和圖片的媒體組合，較無法充 分展現多媒體在網路上的應用能力。換言之，題型變化少及媒體運用不足可 說是目前測驗系統的兩大缺失。
越來越多的觀點認為：電腦測驗努力的焦點，應該要能跳脫選擇題型 測驗，並且強調電腦的多媒體能力，以創造紙筆測驗所無法達到的學習動力
（Bennett, 2002）。此論點與目前測驗系統發展的缺失不謀而合，鑑於此，本研
究嘗試思索解決上述兩項缺失的途徑。從先導研究中發現，林璟豐（2001）
曾提出十種適合在網路上施測的題型，並編製多媒體測驗以驗證其成效。此 外，何榮桂（2000）認為目前在網路上均可提供多媒體呈現的使用環境，只 要提升文字模式及支援多媒體的施測環境，以發展出多媒體的遠距測驗，將 能改善施測模式，使測驗之施測環境更具多樣性。因此，若能以上述研究結 論為基礎，開發出一個提供多樣題型以及支援多種媒體格式的網路多媒體測 驗編輯系統，教師只要準備好媒體元素，然後套用系統所提供的題型版面配 置，即所謂模版（template）的概念，便可自動、快速地編製多媒體試題，
形成多媒體試卷。這樣的題型版面配置正如Microsoft PowerPoint中，提供簡 報不同的template，使用者只需輸入媒體元素（如影像、聲音），就可以在 短時間內，透過簡單的操作導引，形成一份完整的簡報。本研究期望能以此 概念，實作一個以題型模版為基礎的網路多媒體測驗編輯系統，以改善目前 網路測驗系統的兩大缺失，使整個測驗系統運作更加靈活且有彈性。
貳、文獻探討
一、多媒體的評量方式
根據科學研究報告指出，人類接受的資訊中有百分之八十是來自於視 覺，因此如何使教學評量的方式具有與受試者更良好的溝通，一直是資訊 科技與計量學者追求的目標（區國良、陳國棟、劉寶鈞，1997）。近年來多 媒體技術蓬勃發展，使得文字、圖形、語音、影像等媒體元素等可以整合在 一起，並可透過軟體以同步與合作的方式展現在學習者的面前。此外，生動 活潑的多媒體所提供的聲光效果與創意設計，能夠激發學習者的外在動機，
加以多媒體的互動性、個別化學習等更是激發學習動機的原因（陳新豐，
1999）。因此，在遠距教學環境之下，以網路架構為基礎，多媒體的運用 為內涵，便可在教與學的層面上，突破原本僵化呆板的傳統評量模式。在目 前追求人性化、生動化、適切化的教學趨勢下，多媒體評量除了是一個兼顧 認知、技能、情意的活潑生動評量過程外，並具有提高參與興趣、提供真實
情境評量、增進學生的間接學習，以及教師可以獲得教學回饋等優點（邱龍 斌，2002）。
二、網路化測驗及題型分析
以紙筆為基礎的測驗方式可說是從傳統的紙筆測驗（Paper-Based Testing, PBT），轉為電腦單機操作的電腦化測驗（Computer-Based Testing, CBT），再演進至今日的網路化測驗（Web-Based Testing, WBT）。而網路 化測驗即為電腦網路輔助測驗，其為電腦化測驗和網際網路的結合，亦稱為 全球資訊網電腦輔助測驗（WWW Computer-Assisted Testing, W3CAT）或線 上測驗（online testing）。McCormack和Jones（1997）認為，網路化測驗具 備節省時間、即時回饋、減少資源、保存記錄以及利於資料分析等特點，因 此能夠改善評量的程序和方法。通常提到網路化測驗，已包含多媒體的意涵 在內，但若強調網路化測驗中的多媒體特性，則可具體稱為網路多媒體測 驗，而在測驗中所使用到的文字、聲音、影像等則為多媒體測驗元素。一般 來說，網路化測驗除了承襲電腦化測驗的優點外，還兼具以下特色：（1）
跨越時空的限制；（2）加速資訊的流通與共享；（3）促進科技的整合；（
4）營造個別化的測驗環境；（5）可能取代部份現有課堂評量或大型測驗；
（6）可合作建立題庫（引自劉亞平，1998）。
因此，由原本單機施測的環境，發展出以網際網路為骨幹的遠距測 驗是必要的，它能夠結合網際網路的優點，提供超越時空、隨選隨測（
test-on-demand）、具彈性的施測環境（何榮桂，1997）。而林璟豐（2001）更在
「全球資訊網測驗題型之研究」中，探討及開發各種適用於網際網路測驗的 題型，最後歸納出是非、選擇、配合、填充、問答、操作、模擬、語音、連 鎖及討論等十種題型（表1）。
表1 網路測驗題型表
題型 題型簡述
全球資訊網測驗題型
是非題 利用多媒體呈現必須以大量文字敘述的題目，採用標示型按鈕（ratio button）的 方式進行作答。
選擇題 利用多媒體呈現題目，以下拉式選單（pull-down menu）的方式進行作答。
配合題 運用多媒體呈現題目，以拖曳（dragging）的方式進行作答。
填充題 運用多媒體呈現題目，採單行文字方塊的方式輸入答案。
問答題 採用多媒體呈現題目，並以多行文字方塊的方式進行答案的輸入。
操作題 以互動性進行模擬操作，以滑鼠拖曳的方式進行作答。
模擬題 以互動性進行情境之模擬，以滑鼠拖曳以及點選的方式進行作答。
語音題 利用口語的方式進行作答，以麥克風錄製答案，並上傳到資料庫。
連鎖題 進行同一範圍題目的連鎖性測驗，以比較其前後答案是否有不相同之處。
討論題 利用網路對談的功能，進行小組討論，各抒己見以探討各項議題，最後並撰寫討
論報告。
資料來源：林璟豐，2001。
由上述對網路化測驗的概述與題型分析，網路多媒體測驗應該是「結 合了多種類型的媒體元素，包括影像、聲音、圖形及文字等，並藉由電腦在 網際網路上實施的測驗方式」。它能運用網際網路的多媒體特性，搭配不同 的題型，以豐富的考題內涵，形成一種近似於多元評量的形式，來測得學生 不同向度的能力。然而，儘管多媒體的測驗方式較傳統紙筆測驗更能真切地 測量學習成效，但製作上卻存在著技術上的問題，並非每一位有心採取多媒 體評量方式的教師都能輕易做到。本研究期望能突破此限制，以動態網頁技 術開發一個在網路環境下，提供多樣題型模版並兼容多種媒體格式的測驗編 輯系統，教師只要準備好媒體元素，即可透過簡單的操作導引，製作多媒體 試題。
三、網路化測驗系統探討
目前國外已發展許多網路測驗評量系統，Scott、Robert、Aaron及Larry
（2000）指出，典型的線上評量系統主要都著重於「能夠經由一般標準的瀏 覽器進行網路連線」、「利用密碼判別使用者身份」、「自動評分」、「收 集記錄相關學生成績」四種功能的達成。較著名的網路評量網站如密西根州 立大學的CAPA，以及商用形式的WebCT，這些線上評量系統可以呈現Web 畫面，取代傳統紙筆測驗形式，有些可以加入音效與影像於試卷當中，甚至可 以加入虛擬或動態畫面，增加試題的靈活度（引自王子華、黃世傑，2001）。
國內關於網路測驗評量系統的研究，最近幾年已有不錯的成果，對 於多媒體測驗系統的前瞻性規劃也多所敘述。周倩（2000）認為一套真正 可落實推廣的網路評量系統，必須走出大學實驗室，以確定其可行性（
feasibility）、可用度（usability）與擴充性（scalability），才能顯現其價值。目前 國內提供網路評量服務的網站，例如中山網路大學，係利用旭聯科技所開發 之網路教學系統「智慧大師」所建置，提供遠距教學及評量的服務。而對於 網路評量系統的功能面，周朝宜（1999）在其研究中提到，一個線上學習評 量系統應包含：老師題庫系統、老師出題系統、學生考試系統、批改試卷系 統、查詢系統等五大功能。此外，簡瑞華（2002）亦提出，一個完整的線上 題庫評量系統，應包含以下幾項功能：（1）安全的認證機制，（2）方便的 使用者管理介面，（3）完整的題庫管理，（4）友善的試卷製作與管理，（
5）完善的線上測驗，（6）即時成績查詢與結果分析，（7）互動的討論機 制，（8）即時的試題訊息。
本研究所要開發的是一多媒體與網路結合之測驗編輯系統，特點在於 包含多樣題型以及兼容多種媒體格式，並以林璟豐（2001）所探討出的十種 全球資訊網測驗題型，作為本研究系統題型模版開發的重要依據。由於本研 究的重點在開發全球資訊網測驗題型的模版，使教師能易於製作多媒體試題。
因此，在考慮題型需求、多媒體特性與各種不同開發方式後，決定採用系統 發展生命週期（System Development Life Cycle, SDLC），也就是所謂的瀑 布模式（Waterfall Model），以進行系統開發。該方法將系統開發的過程分
成數個階段，每個階段清楚定義要做哪些工作及交付哪些文件，並強調開發 過程需有完整的規劃、分析、設計、測試及文件等管理控制（吳仁和、林信 惠，2003）。本研究之系統特色在於對多媒體命題部分做重點建置，以強調 系統對多媒體的彈性運用，因此根據研究目的及實際需要，本研究歸納出「
網路多媒體測驗編輯系統」之開發階段，如圖1所示：
圖1 「網路多媒體測驗編輯系統」之開發階段
四、測驗系統的評鑑
由於本研究屬於測驗評量系統之發展，因此進行系統評鑑階段時，需從教 與學的角度考慮評鑑方式，本研究係根據教學系統內、外部的定義做評鑑 規劃，也就是內部評鑑（internal evaluation）和外部評鑑（external evaluation）。
其目的在反映系統評鑑需求一個很重要的問題（Iqbal, Oppermann, Patel &
Kinshuk, 1999）：「什麼是該被評鑑的 – 是整個系統或只是系統的一部份？」若 評鑑的是整體系統，則稱為外部評鑑；若評鑑的是系統架構、元件或其他特 徵，則稱之為內部評鑑。而Siemer和Angelides（1998）曾提出和Iqbal等人相 類似的概念：若評鑑的是系統結構及其行為之間的關係，稱之為內部評鑑；
若評鑑的是系統所展現的行為對學生的影響，則稱之為外部評鑑（圖2）。
�
���
���
���
���
�
������
��������
��������
��������
���������
���������
��������
�������� ��������
�����������
�����������
��������
������������
�����������
������
圖2 本研究之內部與外部評鑑（改編自Siemer & Angelides, 1998）
因此，若評鑑的是系統結構及其行為之間的關係，其實就是對系統內 部結構或其他元件的測試，稱之為內部評鑑；若評鑑的是系統所展現的行為 對學生的影響，可等同於對整體系統的效能的評鑑，此稱之為外部評鑑。而 以內、外部評鑑的分類方式也回應了Littman和Soloway（1988）對教學系統 評鑑提供的兩個議題：
（1）對學生而言什麼是系統所產生的教育影響？
---意指系統所展現的行為對學生的影響，也就是對整體系統的效能的 評鑑，即外部評鑑。
（2）系統本身的結構及其行為有何關係？
---意指系統結構及其行為之間的關係，其實就是對系統內部結構或其 他元件的測試，是為內部評鑑。
由以上探討可知，對於測驗系統的評鑑而言，不僅僅是就系統本身的 測試而已，還需考慮系統對教學所帶來的影響。本研究為一網路多媒體測驗 編輯系統，主要使用者為教師，但亦具備學生進行線上測驗的功能。因此就 內部評鑑而言，可以專家評估系統內部結構及其行為的方式來達成，用以確 定系統的程式是否能到達一個展示的標準等級；外部評鑑方面，本系統使用 對象為教師及學生，故應探討系統對兩者而言產生了什麼影響或衝擊。由於 系統以試題編輯為核心功能，將調查教師對系統之試用經驗，此外，學生使 用此系統進行網路多媒體測驗之成效，亦為本研究之探討重點，將以準實驗 研究的方式來完成評鑑。
參、研究目的
本研究的主要目的是結合全球資訊網測驗題型與動態網頁技術，以開 發出一套適合教師使用的網路多媒體測驗編輯系統。因此，研究的重點在於 發展多種不同題型的模版（template）及兼容多種媒體格式，使教師能夠易 於在網路上製作多媒體試題，形成多媒體測驗題庫，並據以編製試卷，提供 學生在網路上進行多媒體測驗。此外，過程中則以專家、國中小教師及學生 為對象，進行系統內部及外部評鑑。茲將本研究之研究目的陳述如下：
一、探討「以題型模版為基礎的網路多媒體測驗編輯系統」的設計方式。
二、開發「以題型模版為基礎的網路多媒體測驗編輯系統」。
三、進行「以題型模版為基礎的網路多媒體測驗編輯系統」之評鑑工作。
依據上述之研究目的，陳述相關研究問題如下：
（一）如何設計以題型模版為基礎的網路多媒體測驗編輯系統？
1、適用於全球資訊網之測驗題型與媒體格式為何？
2、如何將題型模版的概念融入網路多媒體測驗編輯系統中？
3、以題型模版為基礎的網路多媒體測驗編輯系統的系統架構為何？
4、以題型模版為基礎的網路多媒體測驗編輯系統應具備哪些功能模組？
（二）如何開發以題型模版為基礎的網路多媒體測驗編輯系統？
5、以題型模版為基礎的網路多媒體測驗編輯系統應選擇何種開發方式 為宜？開發過程之工作如何劃分？
（三）如何進行以題型模版為基礎的網路多媒體測驗編輯系統製作後之內、
外部評鑑？
6、進行以題型模版為基礎的網路多媒體測驗編輯系統之內部評鑑時，
專家對此系統內部結構的評估結果為何？
7、進行以題型模版為基礎的網路多媒體測驗編輯系統之外部評鑑時，
教師對此系統的試用經驗為何？不同測驗形式（傳統紙筆測驗和網 路多媒體測驗）在學生測驗成績上是否有差異？
�����������
� �������
� ������
� �����������
�����
� ��������
� ��������
� ���������
� ���������
��������������
��
��
��
��
�����������
� ����
� ����
�����
�����
������
肆、研究設計
一、研究架構與方法
本研究的主旨在於開發能充分運用多媒體、包含多樣題型模版的網路 多媒體測驗編輯系統。經過文獻分析後，以系統發展生命週期劃分為「系統 分析」、「系統設計」、「系統發展」以建置系統，最後以問卷調查及準實 驗研究進行「系統評鑑」（圖3）。
圖3 研究架構圖
二、研究對象及工具
本研究在進行教學系統評鑑時，系統本身即為研究工具，並分成內部 及外部評鑑。內部評鑑乃評估系統結構及其行為，係邀請在測驗、多媒體以
及系統開發領域的專家共四名，填寫「系統評估問卷」，以協助本系統完成 內部評估。系統評估問卷主要參考羅綸新（2002）所提出的「多媒體網站評 鑑指標」來設計，分為吸引性、內容合適正確性、互動性方式與型態、媒體 品質與融合性、傳輸品質、學習適應性、適當的學習輔助工具、內建智慧等 八大向度來做系統評估，並改編各向度之問項以切合測驗系統。另加入對各 題型模版的問項，包含製作介面、題目呈現、實用價值、使用機會等四個向 度，詢問專家對題型模版設計的意見。問卷編製完成後，對相關專家學者進 行諮詢，以建立內容效度。外部評鑑乃評估系統所帶來的影響，是以教師及 學生作為外部評鑑之研究對象，以立意選取國中小教師30人進行系統試用，
並填寫「試用經驗問卷」，此問卷主要參考翁正雄（2003）、陳新豐（
1999）、林裕集（2001）等所編之相關問卷，配合本研究的目的加以編製 而成。問卷回收後，運用百分比、平均數與標準差等敘述性統計方式，分析 專家及教師對各問項反應的程度高低與分布情形。最後，並選取台北市某國 二學生四班共106名學生，採用準實驗研究法之「不相等控制組設計」，以 評鑑系統對受試者的學習成效分析。實驗分為實驗組及控制組各兩班（實驗 組合計51人，控制組合計55人），而各組皆以自然與生活科技課程中的「飛 機如何飛起來」模組進行教學，並以各組學生的自然與生活科技前學期成績 作為共變量（視為前測成績）。教學完成後，由研究者編製紙筆測驗一份，
並運用本研究所開發之測驗系統將其轉為多媒體測驗，兩份測驗並經過信、
效度考驗（均為專家效度，信度方面：紙筆測驗KR20=0.782，α=0.777；多 媒體測驗KR20=0.740，α=0.734）。之後，實驗組學生施予網路多媒體測 驗，控制組學生則以傳統紙筆測驗受測，測驗結束後，再進行共變數分析，
比較兩組學生在成績上的差異性。而其他控制變項方面，兩組學生年級相 同，教材、授課教師均相同，且同時間亦未接受其它教學實驗。
伍、研究結果與討論
本研究將所開發之系統定名為TMA2，其為Template-based Multimedia
Assessment Authoring system的縮寫，強調其具有以題型模版為基礎的測驗編 輯之能力。以下依系統分析、設計、發展，及評鑑等主題分別描述：
一、分析階段結果
（一）規劃出九種網路測驗題型模版，並分為系統計分題及教師閱卷 題：本研究在分析階段首先進行測驗題型分析，以林璟豐「全球資訊網測驗 題型研究」為基礎，瞭解適合於全球資訊網出題之測驗題型計有是非、選擇、
填充、配合、連鎖、模擬、操作、問答、語音及討論題等十種題型。在考量 其以模版編輯、自動產生試題的可行性後，由於操作題和模擬題，需涉及模 擬出試題之結構性情境，並非上傳多媒體檔案就能立刻形成試題，且製作方 式複雜，較難以模版形式出題，因此不列入本系統題型模版。最後，選取了 是非、選擇、填充、配合、連鎖、問答、語音及討論題作為本研究模版製作 之題型，以解決目前網路測驗系統題型變化少的問題。其中針對題型的性質 分為「系統計分題」及「教師閱卷題」，並將選擇題區分為「單選題」及「
複選題」，以及將語音題改為「上傳題」，以增加題型運用彈性（表2）。
表2 TMA2題型簡述
題型 題目呈現方式
測驗題型模版
系 統 計 分 題
是非題 運用多媒體呈現題幹，答題者以標示型按鈕（ratio button）的方式進行 正誤判斷。
選擇題
（單選）
運用多媒體呈現題幹及題項，答題者以標示型按鈕（ratio button）的方 式進行三選一、四選一或五選一判斷。
選擇題
（複選）
運用多媒體呈現題幹及題項，答題者以核取方塊（checkbox）的方式 進行多重選擇。
填充題 運用多媒體呈現題幹，採單行文字方塊的方式輸入絕對且唯一之答案。
配合題 運用多媒體呈現題幹及題項，以下拉式選單（pull-down menu）的方式 進行配對作答。
連鎖題 自題庫中選取多題是非、選擇、填充或配合題等可自動計分題型，形
成題組，進行同一範圍題目的連鎖性測驗。
教 師 閱 卷 題
問答題 運用多媒體呈現題幹，並以多行文字方塊的方式進行答案的輸入。
上傳題 運用多媒體呈現題幹，答題者自行開啟應用程式，製作並上傳題目所
要求之相關檔案。
討論題 運用多媒體呈現題幹，利用網路對談的功能，針對題目進行討論，最
後於文字方塊的方式進行答案的輸入自己對問題的看法。
（二）設計上考量支援圖形、影像、聲音及動畫等多種媒體格式：本 研究於系統媒體格式的分析上，就圖形格式而言較無顯示上的問題，一般瀏 覽器皆可支援（如*.jpg、*.gif等）。而在影像及聲音格式方面，考量目前中 小學電腦教室設備，仍以微軟視窗作業系統為主流，因此選擇以微軟的媒體 播放程式（Windows Media Player）所能支援的格式為主（如*.mp3、*.wmv 等）。而動畫格式則支援相當普遍的*.swf，以解決目前測驗系統媒體運用 不足的問題（表3）。
表3 TMA2支援電腦媒體格式分類
媒體元素 本研究所支援電腦檔案格式 支援程式
圖形 bmp、jpg、gif、png Internet Explorer
影像 avi、mpg、wmv、asf
Windows Media Player
聲音 wav、mid、wma、mp3
動畫 swf Macromedia Shockwave Player
（三）分為三大功能模組，以動態網頁技術建置系統：在系統功能及 開發技術分析上，將整個系統分為教師、學生及管理三大模組，並針對教師 模組的多媒體試題編輯部分作重點建置。考量目前中小學校園資訊建設，以 及系統架設、使用上的方便性，本研究採用Microsoft Windows 2000 Server 作業系統搭配IIS 5.0架構網頁伺服器，並以動態伺服器網頁（Active Server Page, ASP）技術來建構測驗系統，並於用戶端（Client）利用JavaScript來快 速反應及動態呈現資料庫。此外，由於考量到多媒體試題的影音部分需要大 量的頻寬，在各題型加入提供串流技術（Streaming）的模版，以減低系統 負載。最後，則進行軟硬體需求分析及系統結構化分析，確保所採用之技術 確實可行，並繪出資料流程圖（Data Flow Diagram, DFD）以及實體關係圖
（Entity Relationship Diagram, ERD），循序漸進開發系統。
二、設計階段結果
（一）以網路多媒體測驗產出架構進行題型模版設計：在題型模版設 計方面，係結合葉連祺（2000）「教師自編紙筆式測驗試題類型之探討」，
及林璟豐（2001）所探討出之「全球資訊網測驗題型」，綜合試題型態、
題幹及題項內容，構建出一個網路多媒體測驗的基本產出架構（Producible Frame）（圖4），並以此架構進行題型模版設計（表4），將各種媒體元素 盡量融入九種題型模版之中。
題型
╳
題幹內容
╳
題項（反應項）內容
是非題 選擇題（單、複選）
填充題 配合題 問答題 上傳題 連鎖題 討論題
文字 文字+圖形 文字+影像 文字+聲音 文字+動畫
文字 圖形 影像 聲音 動畫 文字+圖形 文字+影像 文字+聲音 文字+動畫
圖4 網路多媒體測驗的產出架構（改編自葉連祺，2000）
表4 TMA2題型模版簡述
題型 模版編輯方式
測驗題型模版
系 統 計 分 題
是非題 題幹可插入本系統所支援的媒體格式，題項則以是、非呈現。
單選題
題幹可插入本系統所支援的媒體格式，題項則統一以圖形、影 像、聲音、動畫擇一呈現，可選擇3～5個選項，僅能設定單一 選項為標準答案，可選擇亂數呈現題項。
複選題
題幹可插入本系統所支援的媒體格式，題項則統一以圖形、影 像、聲音、動畫擇一呈現，可選擇3～5個選項，設定多個選項 為標準答案，並選擇亂數呈現題項。
填充題 題幹可選擇模版插入圖形、影像、聲音、動畫等媒體格式，由 於為系統自動計分，答案設定必須具備唯一性。
配合題
題幹可插入本系統所支援的媒體格式，配對題項則統一以圖形、
影像、聲音、動畫擇一呈現，可選擇3～5個配對數，並選擇亂 數呈現配對內容。
連鎖題
題幹可選擇模版插入圖形、影像、聲音、動畫等媒體格式，由 於為連鎖形式，必須以其他可自動計分題型先行編輯試題，存 入題庫，再以本模版進入題庫選取試題，可選擇全對給分或是 部分給分。
教 師 閱 卷 題
問答題 題幹可選擇模版插入圖形、影像、聲音、動畫等媒體格式，答 題時以文字輸入的方式回應。
上傳題 題幹可選擇模版插入圖形、影像、聲音、動畫等媒體格式，重 點在於答題時以上傳檔案的方式回應。
討論題 題幹可選擇模版插入圖形、影像、聲音、動畫等媒體格式，重 點在於答題時可進入聊天室討論後，以文字輸入的方式回應。
（二）依系統特色及研究目的規劃系統功能：本研究經系統分析後，
依系統特色：多樣題型編輯模版及多種媒體格式支援，來設計系統。TMA2 雖為一網路多媒體測驗編輯系統，然為實證此系統的可行性以及研究目的之 需求，亦搭配了學生線上測驗及系統管理等功能來形成一個較完整的網路測 驗系統。TMA2在建構上，其功能架構圖如圖5所示：
圖5 TMA2功能架構圖
TMA2系統分成教師模組（命題）、學生模組（測驗與練習）、管理模 組（成績查詢及帳號管理）三個部份。分述如下：
（1）教師模組
此為本系統之核心模組，具備多樣題型模版、系統題庫建構及組織試 卷等功能。題型模版分為可自動計分及無法自動計分之題型，每個題型內提 供上傳不同媒體元素之模版，讓教師能方便製作多媒體試題，並於試題製作 完成後即成為本系統題庫之試題。教師可於設定試卷後，於題庫中選取及組 織所需題目，便可成為一份完整及可提供學生實際練習及測驗之網路多媒體 試卷。此外，系統亦賦予教師對試卷配分、評分，以及新增、刪除學校班級 和學生帳號的功能，以方便教師對所編製之試卷進行管理。
（2）學生模組
學生模組主要提供學生測驗與練習。針對可自動計分題型，學生於測 驗結束後，可立即獲得回饋與評分。而無法自動計分的題型，則需由教師瀏 覽、批改後再給予學生評比。
（3）管理模組
此部分著重在學生成績查詢與教師帳號管理。只要經由成績查詢介面，輸 入班級及試卷名稱，即可查詢學生的受測情形。此外，本系統亦提供教師的 帳號管理。
為達上述流程架構的功能，測驗系統中的每一個單元需建構相對應的 資料表（table），以儲存相關資料，而本研究所規劃的資料庫如圖6所示：
圖6 TMA2系統資料庫
整個TMA2系統使用一個資料庫，架構如圖6所示，主要分為九個資料 表。其中「學校」及「班級」資料表是用來記錄學校及班級等相關資訊；「
用戶」資料表係提供教師新增班級用戶；而「題庫」、「試題」及「試卷」
�����
�����
TMA2
��
����
(��)
����
(�����)
����(����
�����)
����
�������
������
������
������
�����
����
�����
�����
�����
������
�����
�����
�����
�����
資料表所儲存內容分別為題庫分類名稱、試題相關資料（如題型、題幹、題 項及答案）、試卷所包含的試題及相關資訊等；並針對系統無法自動計分的 題型規劃了「閱卷」資料表，提供教師進行手動閱卷。此外，本研究除了將 重點聚焦於試題編輯外，另根據研究目的製作了學生測驗及系統管理的功能，
因此加入了其他資料表。例如：為了能夠讓學生針對教師所編製的試題進行 線上測驗，而規劃了「學生」資料表，來記錄學生姓名、學號、成績以及作 答記錄等資訊。而「教師」資料表則提供管理員對新註冊教師帳號進行審核、
新增或刪除教師帳號，以及已註冊教師個人資訊的更新。
三、發展階段結果
（一）教師模組為系統核心，提供多樣題型模版及支援多種媒體格式，並 以串流技術輔助試題編輯：本系統之發展分為教師模組製作、學生及管理模 組製作、系統整合及功能測試，以及系統美工製作等四個部分。教師模組的 製作是為本系統的重點，包含教師個人資訊管理、學校班級管理、班級用戶 管理、試題編輯、題庫建構以及試卷編製與批改等功能（圖7）。
圖7 教師模組主畫面
其中，試題編輯是整個系統的特色，以多樣化題型模版的方式呈現，
除了是非、選擇、填充、配合、連鎖等可由系統自動計分題型外，還增加了 問答、上傳、討論等無法自動計分的題型，並配合多種媒體元素據以形成不 同的模版。此外，提供串流模版，可將檔案上傳到串流伺服器上，以串流（
Streaming）的方式播放檔案內容（圖8）。
圖8 多樣題型模版選擇畫面
（二）根據研究目的適當導入學生模組及管理模組功能：為了驗證系 統可行性及研究目的之需求，除了教師模組的製作外，亦加入學生測驗（圖 9）及系統管理等功能，也就是學生模組及管理模組的製作。待各項功能完 成後，即進行系統整合及功能測試，經由不斷的測試與修正使系統能得到最 佳的呈現，最後進行簡單的美工設計，使教師在編製試題及學生進行測驗時 能有較佳的視覺感受。
圖9 學生測驗畫面
四、評鑑階段
（一）根據內、外部定義規劃本研究評鑑：評鑑階段可分為內部評鑑 及外部評鑑，本研究以專家評估、教師試用系統與學生測驗來達成此兩項要 求。進行內部評鑑使用之研究工具包括研究者改編之專家「系統評估問卷」
及本研究所開發之系統，以進行系統內部結構與行為的評估。進行外部評鑑 時，研究工具包括研究者改編之教師「試用經驗問卷」、本研究所開發之系 統以及「認知學習成就測驗」紙筆及多媒體形式各一份，調查教師試用經驗 時採立意抽樣法（purposive or judgment sampling），選取國中小教師30人進 行系統試用。而讓學生進行線上測驗，目的是為了評鑑系統為學生測驗所帶 來的影響，在此採準實驗研究的評鑑方式，進行共變數分析。
（二）專家、教師對本系統持正面評價，學生測驗結果呈現顯著差異：內 部評鑑係透過問卷調查法實施，挑選領域專家四名進行評估，評估結果顯示，
整體而言，專家對本系統之吸引性、內容合適正確性、互動性方式與型態、
媒體品質與融合性、傳輸品質、學習適應性、適當的學習輔助工具、內建智 慧等八個向度皆有正面之評價（以Likert五點量尺計分，平均得分皆在3以上，詳
表5）。此外，對本系統所提供之題型分別依製作介面、題目呈現、實用價 值、使用機會等四個向度進行評估，所得結果亦為正面（表6）。而外部評 鑑則透過30位教師試用系統以及四班國中學生進行測驗，藉由教師試用問卷 的調查結果顯示，教師對多媒體及線上測驗之看法有正面的評價（表7），
而對本系統的試用經驗亦為正面（表8）。
表5 專家「系統」評估統計表
同意比率
5 4 3 2 1 平均數
一、 吸引性 25.0% 65.0% 10.0% 0.0% 0.0% 4.15
二、 內容合適正確性 16.7% 58.3% 25.0% 0.0% 0.0% 3.92
三、 互動性方式與型態 25.0% 75.0% 0.0% 0.0% 0.0% 4.25
四、 媒體品質與融合性 0.0% 75.0% 25.0% 0.0% 0.0% 3.75
五、 傳輸品質 0.0% 50.0% 41.7% 8.3% 0.0% 3.42
六、 學習適應性 0.0% 68.8% 31.3% 0.0% 0.0% 3.69
七、 適當的學習輔助工具 0.0% 75.0% 25.0% 0.0% 0.0% 3.75
八、 內建智慧 0.0% 56.3% 31.3% 12.5% 0.0% 3.44
表6 專家題型評估統計表
同意比率
題型 5 4 3 2 1 平均數
一、是非題 25.0% 62.5% 12.5% 0.0% 0.0% 4.13
二、單選題 12.5% 87.5% 0.0% 0.0% 0.0% 4.13
三、複選題 0.0% 100% 0.0% 0.0% 0.0% 4.00
四、填充題 18.8% 81.3% 0.0% 0.0% 0.0% 4.19
五、配合題 6.3% 75.0% 18.8% 0.0% 0.0% 3.88
六、連鎖題 0.0% 87.5% 12.5% 0.0% 0.0% 3.88
七、問答題 6.3% 81.3% 12.5% 0.0% 0.0% 3.94
八、上傳題 25.0% 75.0% 0.0% 0.0% 0.0% 4.25
九、討論題 0.0% 81.3% 18.8% 0.0% 0.0% 3.81
表7 教師「對多媒體及線上測驗的看法」評估統計表
同意比率
一、對多媒體及線上測驗的看法 5 4 3 2 1 平均數 標準差
1.我認為上課中使用電腦多媒體 協助教學，可以增進學生的學習 結果
33.3% 46.7% 16.7% 3.3% 0.0% 4.10 0.803
2.我平常上課經常採用多媒體教 學（如：運用影像、聲音等媒體 進行教學）
23.3% 40.0% 13.3% 16.7% 6.7% 3.57 1.223
3.我平常有收集電腦多媒體檔案 的習慣（如圖片、聲音、影像、
動畫等數位媒體檔案）
30.0% 46.7% 10.0% 13.3% 0.0% 3.93 0.980
4.我認為多媒體線上測驗可以幫
助評量 26.7% 56.7% 13.3% 3.3% 0.0% 4.07 0.740
5.如果學校有線上測驗，我會使
用它來協助評量 33.3% 56.7% 6.7% 0.0% 3.3% 4.17 0.834 6.如果學校有線上測驗，我會協
助建立題庫 30.0% 50.0% 10.0% 3.3% 6.7% 3.93 1.081
7.如果學校有線上測驗，又有題
庫，我會使用它來協助教學評量 60.0% 33.3% 6.7% 0.0% 0.0% 4.53 0.629 8.線上測驗若只提供選擇與是非
等基本題型，無法滿足教學評量 需求
36.7% 36.7% 20.0% 6.7% 0.0% 4.03 0.928
平均 34.2% 45.8% 12.1% 5.8% 2.1% 4.04
表8 教師「對本系統的試用經驗」評估統計表
同意比率
二、對本系統的試用經驗 5 4 3 2 1 平均數 標準差
9.本系統的設計將使網路多媒體
測驗的編製工作趨於便利 23.3% 66.7% 6.7% 0.0% 3.3% 4.07 0.785 10.本測驗系統的題型能切合我
大部分的出題需求 13.3% 66.7% 20.0% 0.0% 0.0% 3.93 0.583 11.本測驗系統所支援的媒體格
式能切合我大部分的出題需求 16.7% 56.7% 26.7% 0.0% 0.0% 3.90 0.662 12.我覺得本測驗系統適合用在
自己任教的學科 20.0% 50.0% 23.3% 6.7% 0.0% 3.83 0.834 13.本系統能增加我運用多媒體
評量學生的機會 30.0% 56.7% 13.3% 0.0% 0.0% 4.17 0.648 14.我覺得本系統所提供的題型，
對於測量學生高層次（如分析、
綜合）的認知能力有幫助
16.7% 36.7% 40.0% 6.7% 0.0% 3.63 0.850
15.我願意繼續使用這套系統，
並且介紹給其他老師 23.3% 53.3% 20.0% 3.3% 0.0% 3.97 0.765 16.整體而言，我願意支持這樣
的多媒體測驗系統 36.7% 50.0% 13.3% 0.0% 0.0% 4.23 0.679 平均 22.5% 54.6% 20.4% 2.1% 0.4% 3.97
此外，藉由準實驗設計探討「不同測驗形式對學生在科技學習評量的 影響」，挑選四個班為實驗班級。其中兩班為實驗組，另外兩班為控制組，
分別進行不同測驗形式之教學實驗，研究結果顯示：實施多媒體測驗的實驗 組學生在測驗的平均數高於實施一般傳統紙筆測驗之控制組的學生，且達顯 著差異茲將統計分析結果列示如下（虛無假設：不同的測驗形式對學生的認 知學習後測成績沒有顯著差異）：
1.平均數與標準差 本研究之實驗組與控制組在前一學期之自然與生活 科技領域成績（以下簡稱為前學期成績）與認知學習成就測驗後測成績（以 下簡稱為後測成績）之平均數與標準差如表9所示。
表9 前學期成績與後測成績之平均數與標準差
組 別
前學期成績 後測成績
M SD M SD
實驗組 (n=51) 74.26 12.02 49.31 15.70
控制組 (n=55) 79.57 12.54 46.53 11.95
2.迴歸係數同質性考驗 由表10可知，自變項與共變項的交互作用項（
組別*前學期成績）F值為0.013，p值為.910，未達.05的顯著水準。這表示兩 組迴歸線的斜率相同，符合共變數迴歸線同質性假定，可繼續進行共變數分 析。
表10 前學期成績迴歸係數同質性考驗
變異來源 SS df MS F檢定 P值
組別*前學期成績 2.029 1 2.029 0.013 0.910
誤差 16057.581 102 157.427
全體 16218.120 103
3.共變數分析 由表11可知，將共變量（前學期成績）對依變項（後測成 績）所造成的影響排除之後，自變項（組別）所造成的變異量F值為4.838，
p值為.030，達.05的顯著水準。這表示實驗組與控制組在科技學習後測成績 上有顯著差異，也就是說，學習者會因為是否接受網路多媒體測驗，而在認 知學習後測成績上有顯著差異。
表11 後測成績共變數分析摘要表
變異來源 SS df MS F檢定 P值
Model（模式） 4190.541 2 2095.270 13.438 .000
共變數 3985.079 1 3985.079 25.559 .000
組間（實驗處理） 754.374 1 754.374 4.838 .030 組內（誤差） 16059.610 103 155.919
全體 20250.151 105
由上可知，利用本系統實施網路多媒體測驗的實驗組學生在「認知學 習成就測驗」之平均成績高於實施一般傳統紙筆測驗之控制組的學生，且達 顯著差異。亦就是說使用本系統進行網路多媒體測驗在認知學習上之成績優 於一般以傳統紙筆測驗受測之學生，這個結果可印證翁全志（2003）所下的 論點：「學生在電腦多媒體測驗的作答成績較傳統紙筆測驗為佳，且達到統 計上的顯著差異」。換言之，即使從電腦單機轉化為在網路上施測，學生在 多媒體測驗的作答成績仍較傳統紙筆測驗佳，且達到統計上的顯著差異。
若以試題分析的角度來解釋紙筆和多媒體測驗，經公式計算各題難度 和鑑別度後（由於樣本較少，取高低分各三分之一分為高低分兩組，見 表12），以紙筆測驗的平均難度及鑑別度為基準，進行單一樣本T檢定，本 研究檢定後發現，題目相同的兩份試卷其難度未出現顯著差異（檢定值＝
0.478，t = 0.523，p = .606），表示兩份試卷並未因媒體呈現不同而影響題 目的難易，而多媒體測驗的鑑別度則明顯較傳統紙筆測驗高（檢定值＝0.245，
t = 3.643，p = .001），而導致此種現象的原因之一，可能是由於試題經媒體 轉換後，訊息量增加，試題清晰度較高，因此，若能善用網路多媒體測驗，
或可有助於評量出學生真正的能力高低。
此外，在鑑別度差異的比較上，可發現第1〜4題鑑別度差異較大，其 為同一個題組的題目，題目是希望學生看圖正確填出飛機副翼和襟翼各部位 的代號。在紙筆測驗中，一般常用的是看圖填代號，但若紙本印製不清或圖 指示不明，就很可能產生誤答。然而，在多媒體測驗中，當學生的滑鼠指向 飛機各部位時，便會有清晰的顏色顯示，此可降低學生的產生誤答情形，因 此這幾題鑑別度出現了較大的改變。第9題為是非題，題目為「模型氣箔可 以瞭解飛機的飛行步驟？」此題在紙筆測驗為純文字敘述，但在多媒體試題 中則有動畫輔助說明，且學生可以點選動畫中的模型氣箔觀察其變化，以判 定是否和飛行步驟有關，因此在題目訊息量較多的情形下，亦使試題鑑別度 產生改變。而第13題是測驗飛機的軸向運動，在紙筆測驗中為純文字敘述，
而多媒體測驗中則以動畫加以呈現其運動情形，因此鑑別度也出現了較大的 改變。至於出現負值的第26題，在紙本和多媒體測驗中完全未做任何更動，
主要是題目不適合以多媒體呈現，但為維持兩份試卷題目的完整性而沒有加 以刪除，僅作參考之用。由於此題在預試時並未出現負值，但在此出現負值 後，可能有修改或詢問專家是否留存此題之必要性。
表12 紙筆測驗（控制組）及多媒體測驗（實驗組）試題難度、鑑別力分析表
題號 (控制組)
高分組答對 人數(N=18)
低分組答對 人數(N=18)
鑑別 指數
難度 指數
題號 (實驗組)
高分組答對 人數(N=17)
低分組答對 人數(N=17)
鑑別 指數
難度 指數
1 6 3 0.17 0.25 1 8 1 0.41 0.26
2 6 6 0.00 0.33 2 8 1 0.41 0.26
3 6 5 0.06 0.31 3 6 3 0.18 0.26
4 7 5 0.11 0.33 4 7 2 0.29 0.26
5 16 8 0.44 0.67 5 16 9 0.41 0.74
6 12 6 0.33 0.50 6 9 4 0.29 0.38
7 18 13 0.28 0.86 7 17 14 0.18 0.91
8 9 0 0.50 0.25 8 10 1 0.53 0.32
9 6 3 0.17 0.25 9 8 1 0.41 0.26
10 4 0 0.22 0.11 10 6 0 0.35 0.18
11 12 2 0.56 0.39 11 16 8 0.47 0.71
12 16 11 0.28 0.75 12 13 6 0.41 0.56
13 3 2 0.06 0.14 13 10 6 0.24 0.47
14 11 5 0.33 0.44 14 10 2 0.47 0.35
15 6 1 0.28 0.19 15 9 4 0.29 0.38
16 10 3 0.39 0.36 16 9 4 0.29 0.38
17 15 10 0.28 0.69 17 12 6 0.35 0.53
18 10 4 0.33 0.39 18 10 4 0.35 0.41
19 18 11 0.39 0.81 19 17 11 0.35 0.82
20 18 13 0.28 0.86 20 16 12 0.24 0.82
21 18 15 0.17 0.92 21 16 13 0.18 0.85
22 18 17 0.06 0.97 22 17 15 0.12 0.94
23 18 13 0.28 0.86 23 17 11 0.35 0.82
24 7 4 0.17 0.31 24 8 1 0.41 0.26
25 9 6 0.17 0.42 25 8 2 0.35 0.29
26 3 6 -0.17 0.25 26 8 7 0.06 0.44
27 10 1 0.50 0.31 27 14 8 0.35 0.65
平均值 0.245 0.478 平均值 0.324 0.502
※題號依照多媒體試卷題號排序
除了共變數分析外，研究者在資料分析的過程中，發現實驗組及控制 組學生在個人前學期成績及後測的相關比較上，呈現低相關及中度相關，茲 將分析的資料如表13：
表13 實驗組及控制組相關分析表
實驗組 前學期
成績
後測 成績
前學期 名次
後測
名次 控制組 前學期
成績
後測 成績
前學期 名次
後測 名次
平均數 74.26 49.31 平均數 79.57 46.53
標準差 12.02 15.70 標準差 12.54 11.95
積差相關 0.38 等級相關 0.35 積差相關 0.54 等級相關 0.53
如表13所示，實驗組與控制組均未呈現高相關或高度相關，就控制組 而言（0.40≦r≦0.59，中度相關），其原因可能為：採用「自然與生活科技」模 組教學對某些學生而言確實得到了成效，因此名次上獲得提升；就實驗組（
0.20≦r≦0.39，低相關）而言，除了採用「自然與生活科技」模組教學的因 素外，另外一個可能的原因便是多媒體的測驗形式，可能因題目清晰度較佳、
解釋較清楚的關係，使得排名出現了較大的浮動。此外，若去除少數極端值 後，其相關程度有逐漸提高的情形，這是否意味著某些學生特別適合以「自 然與生活科技」模組進行教學，或是以多媒體的測驗形式進行評量，當然這 涉及測驗一致性及公平性的問題，然而在講求評量方式多元化的今天，卻不 失為一種測驗學生能力的良好方式，此有待後續的研究觀察。
若以系統開發角度而言，研究者所期望的是測驗結果的相關高、變異 量低，然而就一個新系統的初期使用上，無論是教師或學生，在多媒體測驗 的製作或答題上，都可能會有內在或外在的干擾因素，以致出現實驗組前後 測結果，較控制組變異量大、相關低的情形，可持續進行測試，並針對問題 作改善。
陸、結論與建議
本研究為教學系統之發展與評鑑，以題型模版為基礎，成功地以SDLC 開發流程建立一個包含多樣化題型、兼容多種媒體格式之「網路多媒體測驗 編輯系統」。茲將研究結論依七項研究問題分別列述：
（一）如何設計以題型模版為基礎的網路多媒體測驗編輯系統？
1.適用於全球資訊網之測驗題型依林璟豐（2001）研究結果可分為是非、
選擇、配合、填充、問答、操作、模擬、語音、連鎖及討論等十種題型（表 1）。媒體格式方面，原則上在網路上流通的媒體格式皆可運用，但以測驗 系統的角度而言，須考量目前教學現場的電腦設備，因此僅支援目前教學中 使用較普遍之媒體格式（表3）。
2.在題型模版的概念下，原本十種適用於全球資訊網的題型需重新做考 量，重點在於以模版編輯、自動產生試題的可行性，最後劃分為九種測驗題 型模版（表2，刪去模擬及操作題，另將選擇題劃分為單選及多選，語音題 改為上傳題以增加題型運用彈性）。被刪去的操作題和模擬題部分，理想上 應納入系統，但本系統主要是希望便利教師運用多媒體檔案上傳形成試題，
對於此兩種題型，由於涉及模擬出試題之結構性情境，並非簡單上傳多媒體 檔案就能立刻形成試題，因此較難以模版形式出題，故在系統規劃初期便沒 有將其列入本系統題型模版，但簡易的模擬或操作題，仍可藉由上傳互動性 媒體檔案至其他題型來達成（如動畫FLASH之*.swf檔案），端視命題者如 何運用。
3.在系統架構上，本研究依「多樣題型編輯模版」及「多種媒體格式支 援」來設計系統，主要特色為一網路多媒體測驗編輯系統，然為實證此系統 的可行性以及研究目的之需求，亦搭配了學生線上測驗及系統管理等功能來 形成一個較完整的網路測驗系統，並劃分功能如圖5。
4.本研究分為教師、學生及管理三大功能模組，詳細功能及對應資料表 如圖6。
（二）如何開發以題型模版為基礎的網路多媒體測驗編輯系統？
5.本研究考量題型需求、多媒體特性與各種不同開發方式後，採用穩定 的SDLC來開發系統，而開發過程之工作如圖1，分為分析、設計、發展及評 鑑等四個主要階段。
（三）如何進行以題型模版為基礎的網路多媒體測驗編輯系統製作後之內、
外部評鑑？
6.系統內部評鑑方面，採用問卷方式向四位專家進行調查，並依其意見 修改系統功能，而問卷結果顯示，專家對本系統之吸引性、內容合適正 確性、互動性方式與型態、媒體品質與融合性、傳輸品質、學習適應性、
適當的學習輔助工具、內建智慧等八個向度皆有正面之評價（表5）。此 外，專家對本系統提供之題型分別依製作介面、題目呈現、實用價值、使用 機會等四個向度進行評估，所得結果亦為正面（表6）。
7.系統外部評鑑方面，採用問卷調查及準實驗研究方式進行評鑑，結果 顯示，教師對多媒體及線上測驗之看法有正面的評價（表7），而對本系統 的試用經驗亦為正面（表8）；而準實驗研究所得結果，不同測驗形式（傳 統紙筆測驗和網路多媒體測驗）在學生測驗成績上有顯著差異，亦即學生在 多媒體測驗的作答成績仍較傳統紙筆測驗佳，且達到統計上的顯著差異（表 9〜11）。
根據以上研究結果，以回應本研究之動機：藉由網路測驗題型的探討，融 入九種網路題型模版於系統，解決了目前測驗系統題型變化少的問題。然後 將系統架構在網際網路上，充分運用網路多媒體、高互動以及時空獨立等特 質，並融入目前常用的媒體格式以解決媒體運用不足的缺失。此外，嘗試以 串流技術解決網路頻寬的問題。最後透過系統內、外部評鑑，證明其有效性 及實用性。系統開發流程與評鑑結果茲詳述於上，共變數分析的結果顯示運 用本研究的測驗系統來實施科學及科技測驗時，學生會因多媒體元素的真實 與完全表達題意，使得測驗成績較能反映學生本身的實際認知程度。此外，
關於測驗數據的分析與判讀，研究者亦詳細陳述於上，以輔助解釋共變數分 析的結果，期望能藉此研究，來提昇網路多媒體測驗在教學評量上的運用與
導引進一步的相關研究。以下就本研究結果及多媒體測驗議題，提供幾個後 續可再進行的研究建議：
（一）學科知識領域的適用性
Zakrzewski及Bull（1998）認為，設計適當的線上測驗，有潛力運用在 不同形式的知識技能上。因此，而何種學科或領域知識特別適用多媒體測驗 來輔助教學評量，可進行更深入的探討，並充分運用於其認知、情意或是技 能方面的測驗。對於一般學科領域的專職教師或實務界的教學設計師而言，
通常缺乏技術及時間去編製及進行測驗。然而，設計高品質的線上測驗比一 般紙筆測驗更需要耗費時間與心力（Clariana & Wallace, 2002），這是一個 實施上待解決的問題，本研究之系統僅為一提供教師方便在線上命題之系統，
然而多媒體試題的內容，則需要教師在教學設計上的專業及巧思。
（二）影響網路多媒體測驗的因素
在目前電腦測驗頻繁使用下，當導入電腦或網路化測驗時，任何可能 影響學生表現的因素應該要仔細考慮，並以其作為測驗實施計畫的考量，
如此才能降低或去除這些因素對測驗結果之影響力（Clariana & Wallace, 2002）。理論上，在解釋電腦測驗成績時，任何因為電腦造成的影響效果 必須清除或重新計算、電腦測驗的發展者必須證明其測驗效度，而決定效度 的方法與紙筆測驗相同、個人在電腦測驗與紙筆測驗上的成績等級順序，必 須近乎相同、平均數散佈情形也必須近似相等（Bugbee, 1996）。然而，多 媒體測驗並非單純的紙筆測驗電腦化，多媒體可說是電腦所造成的影響效果 之一，若清除此效果以解釋成績，則失去多媒體測驗的本意。因此以往對電 腦測驗所設的標準，是否同樣能解釋多媒體測驗的結果，可再加以實驗驗證。
本研究受限於研究時間與人力，僅能以自然與生活科技領域為研究對象，儘 管實驗組學生進行網路多媒體測驗的結果之於控制組學生有顯著差異，但卻 出現成績變異量高、相關低的情形。未來研究可針對可能影響多媒體測驗的 因素，像是教師或學生的媒體或資訊素養，都有可能會對出題或答題產生影 響，例如教師要拍一段影片來表達題意，卻因為使用不好的影片及聲音而影 響作答，諸如此類的情形都可能影響測驗結果，可作進一步的探討。
（三）多媒體測驗的不可取代性
如上所述，多媒體測驗並非單純的紙筆測驗電腦化，因此在運用上，
應有其不可取代性存在。McFarlane（2001）認為區分電腦化測驗和傳統紙 筆測驗間的差異相當重要，即使是選擇題，在電腦螢幕上也可能有不同的再 用性。因此，無論在電腦單機或是網路環境裡，多媒體測驗本身的價值，並 非只是複製傳統測驗而已，而是另一種豐富呈現測驗的機會與感受。相對於 過去許多不利於多媒體測驗的發展因素，如：製作成本昂貴、維護困難以及 品質較差，使得多媒體測驗不易進行。隨著時代改變，科技的進步已使多媒 體測驗發展與實施的可行性變得更高，製作上已不再昂貴，甚至可直接從原 有的媒體資源中再擷取利用，對測驗發展者而言，測驗製作就如同閱讀書籍 一般，也可以撰寫自己的腳本及篇章去架構測驗情境（Bennett et al., 1999）。例 如以一段影片做情境的展示，正如同實際環境可能遭遇的狀況一般，能幫助 受試者模擬真實，進行問題解決，並獲得相關的認知技能，而這些是在傳統 紙筆測驗中較無法做到的。體認多媒體測驗的不可取代性將有助於未來測驗 的發展與實施，並導引相關研究。
（四）不同媒體或題型施測上的差異性
同樣類型的試題，以不同題型或媒體呈現，學生答題結果上是否有所 差異？例如以動畫呈現可能不若影像的真實，以致測驗結果有所差異。
（五）線上測驗評量的目的及用途
線上測驗的好處包括快速的回饋、減少批改困擾並且能與網路學習環 境的密切結合。而評量的目的並非僅僅是測驗學生，更重要的是藉由評量來 幫助學生學習（Davies, 1999; Liu, Papathanasiou, & Hao, 2001），因此，對 於線上測驗的用途及實施方式，是一個值得探討的議題。研究指出，若將 電腦化測驗實施在課程進行中的形成性評量（formative assessment），將能 改善學生在總結性評量（summative assessment）的表現（Charman & Elmes, 1998; Sly & Rennie, 1999）。而評量學生很重要的一個方式便是藉由經常性 的課程作業（assignment）來檢核，由於網路在教學上的發展與應用日漸增 加，將網路測驗系統應用在課程作業的安排上，亦是另一種評量手段或方法，
其產生的效果有待後續研究的觀察與驗證。
（六）符合數位學習標準之多媒體試題交換機制
線上測驗的廣泛使用不只引發了評量設計的學術討論，也催化了許多 創新的評量發展，其中包括根據不同的課程模式，如線上、遠距或是教室 實體課程，對於線上測驗的標準也因此被提出及建議（Northcote & Kendle, 2000; Kendle & Northcote, 2001）。而目前數位學習標準制訂漸趨完善，如 SCORM（Sharable Courseware Object Reference Model）、QTI（Question and Test Interoperability）或ULF（Universal Learning Format）等標準皆有為 線上測驗制訂格式。未來可朝此方向開發系統，使多媒體試題能在網路 上流通，以利和網路學習系統平台如學習管理系統（Learning Management System, LMS）及學習內容管理系統（Learning Content Management System, LCMS）整合，充分發揮網路即時、互動及共享等特質。
參考文獻
王子華、黃世傑（2002）。網際網路評量與試後分析系統(WATA)之設計。資訊與 教育，2001年資訊教育特刊，276-286。
何榮桂（1997）。從「測驗電腦化與電腦化測驗」再看網路化測驗。測驗與輔導，
144，2972-2974。
何榮桂（2000）。網路環境題庫與測驗之整合系統。科學發展月刊，28（7），
534-540。
吳仁和、林信惠（2003）。系統分析與設計理論與實務應用。台北：智勝文化。
周倩（2000）。台灣網路學習的研究：個人的經驗與觀察。論文發表於國立台灣師
範大學主辦之第十六屆科學教育學術研討會，台北。
周朝宜（1999）。線上即時學習評量系統設計介紹。資訊與教育，71，59-61。
林敏慧、陳慶帆、謝崇琪、張佑瑋、廖崇閔、蔡景堯及吳允中（2003）。建構於
Internet之安全的元件式多媒體線上測驗系統，論文發表於國立台灣師範大學 資訊教育學系主辦之第十一屆國際電腦輔助教學研討會，台北。
林裕集（2001）。適用於電腦教室之網路測驗系統：以國小英語科為例。國立台中
師範學院教育測驗與統計研究所碩士論文，未出版，台中。
林璟豐（2001）。全球資訊網測驗題型之研究。國立台灣師範大學工業科技教育研
究所碩士論文，未出版，台北。
邱龍斌（2002）。線上體育多媒體評量系統之研究與開發-以國中課程基本排球動
作為例。國立體育學院體育研究所碩士論文，未出版，桃園。
翁正雄（2003）。多媒體線上測驗系統之建置及其相關研究。國立台中師範學院教
育測驗與統計研究所教學碩士論文，未出版，台中。
翁全志（2003）。九年一貫自然與生活科技能力指標之網路多媒體教材與測驗評量
研究。國立交通大學網路學習學程碩士論文，未出版，新竹。
區國良、陳國棟、劉寶均（1997）。建立於全球資訊網上之群體學習系統，論文發
表於銘傳管理學院主辦之第六屆國際電腦輔助教學研討會，台北。
陳新豐（1999）。多媒體線上適性測驗系統之探討-教育測驗的新趨勢。教育資料
文摘，252，106-113。
陳新豐（1999）。多媒體線上適性測驗系統發展之探討。臺灣教育，577，45-48。
葉連祺（2000）。教師自編紙筆式測驗試題類型之探討。研習資訊，17，42-53。
劉亞平（1998）。教育改革的關心程度問卷與線上測驗之研究。國立台南師範學院
資訊教育研究所碩士論文，未出版，台南。
簡瑞華（2002）。線上題庫與評量系統之開發。國立台中師範學院教育測驗與統計
研究所碩士論文，未出版，台中。
羅綸新（2002）。多媒體與網路基礎教學理論、實務與研究。台北：博碩文化。
Bennett, R. E. (2002). Inexorable and inevitable: The continuing story of technology and assessment. Journal of Technology, Learning, and Assessment, 1(1), Available from http://www.jtla.org.
Bennett, R.E., Goodman, M., & Hessinger, J. (Eds.). (1999). Using multimedia in large-scale computer-based testing programs. Journal of Computers in Human Behavior, 15(3), 283-294.
Bugbee, A. C. (1996). The equivalence of paper-and-pencil and computer-based testing. Journal of Research on Computing in Education, 28(3), 282-299.
Charman, D. & Elmes, A. (1998). Formative assessment in a basic geographical statistics module.
In D. Charman & A. Elmes (Eds.), Computer based assessment (Volume 2): Case studies in science and computing (pp. 17-20). Plymouth: SEED Publications, University of Plymouth.
Clariana, R. B., & Wallace, P. E. (2002). Paper-based versus computer-based assessment: Key factors associated with the test mode effect. British Journal of Educational Technology, 33(5), 593-602.
Davies, P. (1999). Learning through assessment: On-line assessment and learning. In M. Danson &
R. Sherratt (Eds.), Proceedings of the 3rd Annual CAA Conference (pp. 75-88). Loughborough, UK.
Iqbal, A., Oppermann, R., Patel, A., & Kinshuk (1999). A classification of evaluation methods for intelligent tutoring systems. In U. Arend, E. Eberleh & K. Pitschke (Eds.), Software Ergonomie
‚99 - Design von Informationswelten (pp. 169-181). Leipzig: BG Teubner Stuttgart.
Kendle, A., & Northcote, M. (2001). Online assessment criteria in action: Task design in contrasting tertiary education contexts. World Conference on Educational Multimedia, Hypermedia and Telecommunications, 2001(1), 920-924, Available from: http://dl.aace.org/8625.
Littman, D., & Soloway, E. (1988). Evaluating ITSs: The cognitive science perspective. In M. C.
Polson & J. J. Richardson (Eds.), Foundations of intelligent tutoring systems (pp. 209-242).
Hillsdale, NJ: Lawrence Erlbaum Associates.
McCormack, D., & Jones, D. (1997). Building a web-based education system. New York: John Wiley & Sons.
McFarlane, A. (2001). Perspectives on the relationships between ICT and assessment. Journal of Computer Assisted Learning, 17(3), 227-235.
Northcote, M., & Kendle, A. (2000, March). Online assessment techniques for indigenous learners.
Paper presented at the Australian Indigenous Education Conference, Fremantle, Western Australia.
Scott, W. B., Robert, J. B., Aaron, T., & Larry, M. (2000). Education research using web-based assessment system. Journal of Research on Computing in Education, 33(1), 28-43.
Siemer, J., & Angelides, M.C. (1998). A comprehensive method for the evaluation of complete intelligent tutoring systems. Decision Support Systems, 22(1), 85-102.
Zakrzewski, S., & Bull, J. (1998). The mass implementation and evaluation of computer-based assessments. Assessment and Evaluation in Higher Education, 23(2), 141-152.
