行政院國家科學委員會專題計畫成果報告
中學生資訊科技之網路學習與評量系統之研究
— 網路問卷與訪談系統及執行模式之研究 (2/3)
執行期限：88 年 8 月 1 日至 89 年 7 月 31 日
計畫編號：NSC89-2520-S-009-005
主 持 人：周 倩、林珊如、簡榮宏
執行單位：國立交通大學
中文摘要 本子計畫第二年的研究重點在於發展網路 Delphi 法，其主要目的在於針對「資 訊科技學習與評量內容」，得到資訊科技領域中專家們預測未來發展、一致性 的意見。本子計畫利用第一年的網路問卷研究為基礎，整合網路現有技術，實 際進行第二年線上 Delphi 系統的發展工作，為第三年實際收集專家達成共識之 資訊科技學習與評量之意見做準備。本研究發展之線上 Delphi 系統，現已歷經 第二次改版修訂，未來將可供其他研究者參考。 關鍵字：電腦網路、德懷法、德菲法、線上系統 Abstr act:The purpose of this study is to explore the feasibility of on-line Delphi method. Delphi method is a forecasting and information-gathering process which, instead of physically bringing people together, uses written responses from participants who remain anonymous to each other. This study developed an on-line Delphi system to collect experts’ opinions on the future trend of different Issue. Formative evaluation was conducted and revisions were made in order to be more flexible and friendly.
Key wor ds: computer networks, Delphi method, on-line system.
一、研究動機與目的
本研究承繼過去二年對網路學習的評量環境、評估方法、測驗模式等研究成 果，進一步探討評量過程中除「量化」取向之外的另一個重要「質化」取向。本 整合計畫與子計畫過去兩年所進行之網路評量管理研究，多集中在量化的測驗方 面，未能善用網路可協助人際溝通的功能，以進行質化的訪談、口試等；也未能 針對學科專家、授課教師發展線上訪談、收集意見的系統，使網路學習、題庫系 統在發展之初能確立學科內容及向度。如能發展線上訪談系統收集資料作為題庫 發展的參考架構，學習及評量的內容、策略才不致零散、偏頗，學習與評量才能 真正成為一體之兩面，學生才能從中進行完整的學習歷程。 本整合計畫之研究內容為資訊科技在網路上的學習與評量。欲進行資訊科技的學習與評量，參與的人員包括學科領域專家、學科教師、試題之專家與研究者、 中學生等。其步驟包括訪談該學科領域專家、定義資訊科技之內容向度(scale)及 項目、製作資訊科技之試卷及問卷、先測（pilot study）、效化問卷、正式施測、 結果分析、診斷與報告等。本整合計畫之應用從本子計畫之收集專家意見開始。 欲得知學科領域專家等的意見以建立測量向度，需要多次個別、團體的訪談，其 方式可以是同步一對一的訪談(one to one interview)，同步多人面對面的 video conferencing，也可以是個別、不同步的線上 Delphi 法。藉由本子計畫應用上述 方法建立的測量向度，將作為子計畫二之情境式題目的出題基礎。 近年來由於電腦網路的盛行，其傳輸的功能使得在地理上分散的學者、專家 能在網路上召開「虛擬會談」(Virtual Meeting)；而網路計算、儲存的功能，使 得虛擬會議中的意見能被保存、整理、分析。如此不但隨著網路的普及擴大了參 與者的名單、節省與會者的時間、更便於訪談資料的保存整理。 虛擬會談在教育上的應用可分為多種形式（參見圖一）： l 一對一、同步的訪談→ networked one-to-one interview
l 一對多、同步的團體訪談→ networked focus group discussion
l 一對多、異步的問卷調查→ networked Delphi method 及 networked survey 教育性虛擬會談
Virtual Meeting in Education
同步形式 Synchronous 非同步形式 Asynchronous 一對一 訪談 one-to-one interview 團體訪談 如focus group E-mail 問卷 BBS 問卷 www 問卷 Delphi Method 圖一：虛擬會談在教育上的應用形式 本子計畫第二年（89年度）的研究重點在於發展網路Delphi法，其主要目 的在於未來針對「資訊科技學習與評量內容」，得到資訊科技領域中專家們預 測未來發展、一致性的意見。本子計畫利用第一年的網路問卷研究為基礎，整 合網路現有技術，如mailing list的建立、傳送多媒體郵件、資料整合、連接到 統計軟體等，
欲在電腦網路上實施Delphi Method，電腦網路需具備下列幾項功能： Delphi Method 需求 網路功能 1. 建立專家名單 建立 Mailing List 名單 2. 研究者設計問卷 提供文書處理功能 3. 傳送問卷 提供 E-mail 或 WWW 功能 4. 回收問卷 提供 E-mail 或 WWW 功能 5. 整理問卷之意見及反應 提供文書處理及統計功能 6. 計算每一項目中數、四分位差， 提供統計功能 及整份問卷之穩定度 7. 提供研究者與專家間互動管道 提供 E-mail 功能 8. 研究者建立各別專家意見之profile 提供data-base功能 由上表看來，現今的網路技術已可進行線上之Delphi Method。實施網路 Delphi Method之成功關鍵，除了在網路功能、意見資料上統整(integrity)外，亦 須在介面設計上多加考量，如何設計易用、易學、少出錯的介面，使得研究者 易於設計問卷、專家易於填答、研究者易於整合資料，將是本研究在技術層面 的成功關鍵。在執行方式上，研究的重點在於比較電腦網路與傳統郵遞法之不 同(穩定度、可信度、效率)，以及專家們個人對電子Delphi Method之觀感、評 價，以及議題與傳播媒介之相符性，以上所述皆是本計畫的研究重點。 本研究之重要性在於探討網路學習與評量過程中，「量化」與「質化」取 向結合的一種評量方式，並擴大使用者範圍，從傳統的學生到學科內容專家、 授課教師等。本研究發展之線上 Delphi 系統、其執行模式及資訊科技學習與評 量未來走向皆具高度的前瞻性。
二、相關文獻探討
本節將針對 Delphi Method 分為「方法與應用情境」、「優缺點」、「施 行步驟」、「教育研究運用實例」四個部份進行探討。 1. Delphi Method之方法與應用情境Delphi Method (德懷術)是Helmer & Daleky於1953年發展，用於預測未來事 件、蒐集專家意見，達成一定共識的方法 (Daleky,1967)。其主要目的在於針 對某一問題，得到該領域中專家們一致的意見 (Simpson & Smith, 1993; Thomas & Vornberg, 1991)。從其本質而言，Delphi technique是一種集體決策技術 (Group decision making technique)，針對未來可能發生的事件或問題，集合專家 的知識與想像力，經由特定的程序和步驟，達到一致結論 (consensus)的目的 (Bell, 1992)。Listone & Turoff (1975)曾指出Delphi適合於下列研究情境：
(1) 問題本身需蒐集主觀判斷資料為答案。 (2) 參與之個人需對複雜問題提出意見，且需說明意見之背景及理由。 (3) 面對面開會之花費(金錢、時間)過高。 (4) 面對面開會之意見與效率會因次級團體傳播過程而受到影響。 (5) 個人持有不同意見可能會在面對面開會過程中引起衝突及不悅，故有仲 裁、協調或匿名的必要。 (6) 參與者的異質性須保留，以確認結論之變異性。 2. Delphi Method之優缺點 (1) 一般來說，Delphi之優點有： (2) 可適用於分析複雜且多面向的問題 (Weaver, Connolly, 1988)。
(3) 可收集該問題領域中專家們的一致意見 (Simpson & Smith, 1993; Thomas & Vornberg, 1991) (4) 可以單獨且匿名的方式收集專家的意見，避免面對面會議中感情因素的影 響。 (5) 多採郵遞法，可節省專家的時間，並可克服專家分散各地之地理限制。 (6) 可藉系統化的方式，一次又一次的問卷調查反覆修正偏差，達到一致結論。 不過，採用Delphi Method亦有缺點，包括： (1) 專家的選擇不易。 (2) 以郵遞匿名方式進行問卷調查，不但費時且不易控制進度。 (3) 調查過程所需時間較長，專家的意見可能會自行前後矛盾、不一致。 (4) 所得結論大多較為籠統，只能作為政策之制定或方向指引之用，難有詳細 的實施與規劃步驟。 3. Delphi Method之施行步驟
黃政傑(民76)指出，Delphi method實施通常包括四個回合 (Round)，以就 是寄發四次問卷︰在確定Delphi小組 (Panel)成員後，第回合是要求參加的專 家，針對第一次問卷中之開放式評鑑問題提供意見，作為第二回合調查問卷的 基礎。第二回合所發問卷，是以第一次問卷上之意見與相關文獻，加以設計。 此問卷包含了結構式問題，要求專家們針對每一項目，以三至五量尺評定其優 先次序或重要性。第二次問卷回收後，研究者計算每一項目之平均數、中數或 眾數。連同專家個人對每一題項的回應一起納入第三次回合問卷中，並要求專 家再予評定。個人可改變其原來評定，如果仍堅持與多數人不同意見，須說明 理由。一般說來，在第三次問卷中意見改變的程度最大。 第四回合 (Round Four)問卷基本上依照第三次問卷的實施程序，提供了第 三次評定的團體平均數、中數或眾數，以及個人的第三次評定。研究者根據第
四次問卷的回收結果進行分析，計算每個項目的評定結果，排列優先順序，指 出專家們十分同意與十分不同意的項目及理由等。
在達成一致性 (consensus)方面，Holden & Wedman (1993)指出，因為Delphi 方 法 的 目 的 是 求 意 見 的 一 致 性 ， 所 以 多 用 統 計 中 的 中 數 (Medium) 收 斂 (convergence)與四分位差 (quartile deviation)以求取各題項的同質性與異質 性。四分位差的算法是二分差（interquartile）的一半，也就是次數分配圖中百 分之25與百分之75之間差異的一半。Faherty (1979)建議，任一Delphi題項如果 有≦.60之四分位差即可視為達到高度的一致性，如果四分位差在.60與1.00之間 則達到中等程度 (moderate)的一致性。 另 一 個 常 和 一 致 性 一 併 考 量 的 指 標 是 Delphi 小 組 成 員 的 意 見 穩 定 性 (stability)。穩定性可幫助研究者決定何時停止問卷的寄發，尤其是在一些一直 未能達成一致性，但成員回應已經趨於穩定不變的題項上。穩定性的計算方法 是以百分比表示，其公式為： 某題項之所有成員回應的總改變數/成員人數。 若是在任何二次問卷中該題項達到小於15%之數值，則該題項可視為達到穩 定。 4. Delphi Method之教育研究運用實例 Delphi method 在教育研究的運用方面，有探討電腦中介傳播 (CMC)之未 來趨勢 (Holden & Wedman, 1991)；定義優質高等教育 (excellence higher education)(Munon et. al., 1991)；確認高等教育教授的基本能力 (Smith et. al., 1995)；探討美國與加拿大遠距教學中師資之角色與基本能力 (Thach & Murphy, 1995)；發展中等學校實習教師評鑑量表 (徐美惠，民85)等。
Brockhaus and Mickelsen (1977)研究了116個教育與公共行政的預測性 研 究 ， 發 現 Delphi 技 術 在 預 測 未 來 趨 勢 上 是 相 當 準 確 的 。 Sweigert and Schabacker (1974)評估了21種預測未來的技術，結果顯示Delphi方法是教育政策 研究中前五名最有用的方法之一。
三、本研究已完成之工作項目
(1) 已完成探討相關文獻以瞭解傳統 Delphi 法之理論、執行模式、優缺點等。
(2) 已完成線上 Delphi 系統。統整網路上現有之 Mailing List 建立、文書處理功 能、統計功能、E-mail 功能，及 data-base 功能。（見圖 2-5）
(4) 已完成際執行使用者（資訊科技專家）試用，其步驟包括建立專家名單、 設計問卷、傳送問卷、回收問卷、整理問卷之意見及反應、計算每一項目中 數、四分位差，及整份問卷之穩定度、提供研究者與專家間互動管道、及研 究者建立個別專家意見之 profile。 (5) 根據試用之過程與結果，對系統加以修正，提出執行模式。並比較專家們 對網路 Delphi Method 之觀感、評價，以及議題與傳播媒介之相符性。
四、未來研究
未來研究方向將包括： (1) 繼續修正線上Delphi系統，使系統更好用、更具彈性。例如在同一份問卷 中可包括不同題型、尺度、尺度形容詞等。 (2) 實際進行線上Delphi法，收集專家達成共識之資訊科技之未來發展。此將 為第三年之工作項目，其執行步驟包括分發四次線上問卷：第一次問卷為 開放式評鑑問題；第二、三、四次為結構式問題。研究者將根據第四次問 卷的回收結果進行分析，計算每個項目的評定結果，排列優先順序，指出 專家們十分同意與十分不同意的項目及理由等，並撰寫總結報告。 圖 2：建立專家資料庫介面 圖 3：問題資料庫及刪除介面圖 5：專案進度控制畫面
五、參考文獻
黃政傑（民 76）課程評鑑。台北：師大書苑。
徐美惠（民 85）中等學校實習教師評鑑量表之發展研究。私立淡江大學教育資 料科學研究所碩士論文。
Bell, T. P. (1992). Curriculum guidelines for the communication technology area of technology education teacher preparation program. Paper presented at the
National Association of Industrial and Technical Teacher Educators Research, Missouri, St. Louis.
Brockhaus, W. L., & Michelsen, J. F. (1977). An analysis of prior Delphi applications and some observations on its future applicability. Technological Forecasting and Change, 10(1), 103-110.
Dalkey, N. C., (1967). Delphi (Report P-3704). Santa Monica, CA: Rand
Corporation.
Faherty, V. (1979). Continuing social work education: Results of a Delphi survey.
Journal of Education for Social Work, 15(1), 12-19.
Holden, M. C., & Wedman, J. F. (1993). Future issues of computer-mediated
communication: The results of a delphi study. Educational Technology Research and Development, 41(1), 5-24.
Listone & Turoff (1975)
Simpson, R. D., & Smith, K. S. (1993). Validating teaching competencies for graduate teaching assistants: A national study using Delphi method. Innovative Higher Education, 18(2), 133-146.
Sweigert, R. L., Jr., & Schabacker, W. H. (1974). The Delphi technique: how well does it work in setting educational goals. Paper presented at the Annual Meeting
of the American Educational Research Association, Chicago, IL. (ERIC Document Reproduction Service No. ED 091 415).
Thach, E. C., & Murphy, K. L. (1995). Competencies for distance education
professionals. Educational Technology Research and Development, 43(1),
57-79.
Thomas, C. & Vornberg, J. A. (1991). Evaluating principals: New requirements, directions for the ‘90s.NASSP-Bulletin, 75(539), 59-64.
Weaver, M. O., & Connolly, S. M. (1988). From the beginning: Using Delphi for curriculum development, integrating evaluation, design and implementation.
