行政院國家科學委員會補助專題研究計畫
■ 成 果 報 告
□期中進度報告
以網際網路科技改善德爾菲法應用於技術前瞻之問題
計畫類別：■ 個別型計畫 □ 整合型計畫
計畫編號：NSC 96－2416－H－009－002
執行期間：96 年 8 月 1 日至 97 年 7 月 31 日
計畫主持人：袁建中教授
共同主持人：
計畫參與人員： 陳珮華
成果報告類型(依經費核定清單規定繳交)：■精簡報告 □完整報告
本成果報告包括以下應繳交之附件：
□赴國外出差或研習心得報告一份
□赴大陸地區出差或研習心得報告一份
□出席國際學術會議心得報告及發表之論文各一份
□國際合作研究計畫國外研究報告書一份
處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、列
管計畫及下列情形者外，得立即公開查詢
□涉及專利或其他智慧財產權，□一年□二年後可公開查詢
執行單位：國立交通大學科技管理研究所
中 華 民 國 97 年 7 月 31 日
第 1 章 緒論
依據各國進行技術前瞻活動的觀察，在技術前瞻執行方法的選擇上，德爾菲法是最普遍被 採用之研究方法，然而德爾菲法在實際執行的過程中，仍然存在許多尚未解決的問題，例如問卷 的發放與回收機制、問卷結果分析之複雜度、問卷結果無法達到收斂及紙本問卷作業的過程中所 產生的環保問題等，倘若無法尋求上述問題的解決之道，長久下來勢必影響技術前瞻執行之效率 與成果品質。 因此，本研究期望藉由網際網路之技術，建構一個得以執行技術前瞻的網際網路平台，用 以改善傳統德爾菲法之缺點，同時透過各領域專家之實際應用討論，探討本研究所建置之研究架 構可行性。最後整理分析出未來運用德爾菲法於網際網路執行技術前瞻活動時可能遇到的問題及 建議。1-1 研究動機
近年來各國積極的進行技術前瞻活動，用以輔助科技政策規劃。依統計了 1990 年國際間至 今的國家級重要技術前瞻活動之參考資料(吳仕權，2007)整理顯示，目前全世界推動科技前瞻活 動的國家約有 53 個，以 13 種前瞻方法，包含德爾菲法、SWOT 分析法、文獻回顧法、情境分 析法、專家意見法、腦力激盪法、環境監視法、關鍵技術法、未來知識庫、交叉影響分析法、多 準則分析法、技術道路圖及名目團體法等，共執行至少 86 項技術前瞻計畫。而本研究將附錄 1 之資料整理如表 1-1 後發現，其中使用德爾菲法為技術前瞻預測工具的國家共有 23 個，共執行 42 項技術前瞻計畫。 表 1-1 國際間技術前瞻活動調查整理表 技術前瞻工具 應用國家數(共 53) 施行計畫總數 (共 86 項) 德爾菲法 23 42 SWOT 分析法 10 10 文獻回顧法 11 15 情境分析法 33 40 專家意見法 24 31 腦力激盪法 9 13 環境監視法 7 8 關鍵技術法 4 4 未來知識庫 1 1 交叉影響分析法 2 2 多準則分析法 1 1 技術道路圖 3 3 名目團體法 2 2 註：一國家可能使用一種以上之工具；一計畫可能使用一種以上之工具 (資料來源：本統計表整理自吳仕權，2007) 近年來由於資訊科技的快速發展，使得網際網路的環境日趨成熟。而由台灣上網人口，從 資策會所統計自 1996 年 12 月的 60 萬到 2000 年 12 月的 627 萬至今的 1000 萬(圖 1-1，資策會， 2007 年 9 月) ，網路使用人口在這十年來成長了超過 16 倍，可以看出網際網路使用人數大幅攀 升的速度。套用在產業生命週期的理論，也可以發現，網路使用人口正處於仍在緩慢成長的成熟 期階段，顯見網路使用的普及化。 目前各國在技術前瞻研究上，已紛紛開始利用網際網路作為德爾菲法意見蒐集之介面，輔 助研究問卷發放、填答，甚至後續之統計，除了可廣泛並快速蒐集外部專家意見，還可省去傳統 問卷郵寄回覆之不便，以提升問卷蒐集之效率。因此我們相信，資訊科技在科技議題全球化的現 在，必定是個重要的輔助工具。圖 1-1 經常上網人口成長情況 因此本研究擬進行「以網際網路科技改善德爾菲法應用於技術前瞻之問題」之研究，規劃 出利用網際網路科技施行德爾菲法於技術前瞻調查之整體架構及方式。藉由自行建置開放原始碼 為「前瞻問卷系統」，對參與科技前瞻活動的專家進行問卷之發放、回收與統計，輔以「前瞻維 基平台」為背景資料庫平台及「前瞻部落格」為意見交換平台，希望蒐集專家過去的使用情況、 對本研究建置之系統的操作心得，及對未來以網際網路科技應用德爾菲法於技術前瞻之期許，評 估以網際網路為媒介進行德爾菲法的研究過程中，專家對網站操作上可能產生的疑慮與問題，進 而提出適合未來實際以網際網路為媒介，進行科技前瞻德爾菲調查法時，系統平台所應具備之功 能架構與執行流程建議。
1-2 研究目的
本研究目的在於實際建構可進行技術前瞻活動之德爾菲法網路平台，再藉由專家的實際操 作，解決專家操作的過程中遇到的問題，分析於網際網路平台上進行德爾菲法之技術前瞻活動時 所需的各項功能，以做為日後在網際網路平台上進行德爾菲法之技術前瞻活動之參考。並希望可 以具體達到以下研究目的： 1. 減少傳統德爾菲法在時間與空間上之限制，並改善傳統德爾菲法在問卷回收與分析之效率 問題。 2. 建構德爾菲法技術前瞻運作平台，加強德爾菲技術前瞻方法之回收效率。1-3 研究方法
本研究旨在開發「線上德爾菲系統」，因此研究方法除了針對網際網路德爾菲法進行文獻 探討外，也探討在系統開發概念所使用的系統雛型法、開放原始碼及 Web 2.0 等相關文獻。並分 別針對軟體測試及問卷調查兩個大項，利用黑箱測試、整合性科技接受模式及軟體品質等三個研 究方法，邀請使用者對平台進行測試，分析使用者對平台的使用接受度。整體之研究方法架構圖 如圖 1-2 所示。 網際網路德爾菲平台 系統雛型法 Web 2.0 開放原始碼 問卷調查 軟體測試 可行性分析 整合性科技接受模式 軟體品質要素 黑箱測試 圖 1-2 研究方法架構圖第 2 章 文獻探討
本研究旨在透過分析傳統德爾菲法的特性，輔以資訊科技技術，規畫可於網際網路施行之 德爾菲法科技前瞻預測活動架構。因此本章首先將針對德爾菲法(Delphi Method)、資訊科技技術 於問卷調查之應用及德爾菲法於網際網路之應用分別做探討。再針對系統開發所利用到的系統雛 型法、Web2.0 及開放原始碼等三種概念進行文獻探討。並提出分析使用者接受度所使用之黑箱 測試、整合性科技接受模式及軟體品質等方法。2-1
德爾菲法(Delphi Method)的意涵
Linstone 及 Turoff 定義德爾菲法為一個用於團體問題結構化的方法(Linstone& Turoff, 2000)。Westbrook 則認為德爾菲法是用來幫助團體達到意見一致的過程(Westbrook, 1997)。
德爾菲法的命名是起源於古希臘阿波羅神殿中的德菲神諭(Delphi Oracle)，一種在神殿上被 用來預測未來的工具，因此德爾菲法便是取其預測未來之意。德爾菲法的形成與以下兩個先期研 究有很大的關係，其一是 1948 年針對改進賭馬的成績所進行的近似德爾菲法的研究(Woudenberg, 1991; Preble, 1983)。其二就是 Hemler 和 Dalkey 在 1950 年代於 RAND 公司所進行的企圖增進團 體預測準確性研究的計畫，此計畫從此確立了德爾菲法的研究地位(張宜慶，1998)。 研究整理顯示德爾菲法具有下列特性(Linstone, 1978; Lin, 1982; 李隆盛，1991)： 1. 匿名性(Anonymity)：德爾菲法實施過程並不讓受訪的專家們彼此有交換意見的機會， 因此受訪者可避免「權威者」的壓力干擾，可自由表達意見。 2. 操控的回饋性(Controlled Feedback)：受訪專家在每回問卷中均會被告知上一回自己和 受訪團體的統計資料(即百分比、中位數、四分位數)，受訪者可參考這些回饋資料後， 再審慎進一步的評判。 3. 意見反芻(Iteration)：在來回數個回合之問卷過程中，受訪者對各問題均能反覆的熟思 及修改其意見評比，直到受訪專家們對所有問題的反映意見均趨向一致為止。 4. 群組反映統計(Statistical Group Response)：問卷回收後，進行群組意見的統計，以作為
專家們意見集中程度之指標。 傳統德爾菲法的實施過程如圖 2-1 所示，相關施行步驟敘述如下(Delebcq, et al., 1975; Linstone, 1978)： 1. 選擇對問題熟悉的專家組成受調查團。 2. 第一回問卷採開放式結構，讓受訪者自由填寫預測事件，然後匯集編成第一回問卷的 內容。 3. 第二回問卷內容是以第一回問卷收集到的資料編成。問卷寄給受訪者表示評判意見， 並允許受訪者增補新預測事件。 4. 第三回問卷內容，除保留第二回問卷內容外，再增加由第二回問卷內各題反映意見的 統計結果（諸如中位數、第一和第三個四分位數或百分位數等）。要求受訪者參照問 卷內各題的相關統計資料，再度做審慎的評判。受訪者此次的評判意見，如果遠離多 數人意見（即落在中間四分位數區間之外），則須被要求寫出理由。 5. 比較受訪者在二回和第三回問卷的反應，如果發現某一題的前後兩次專家意見趨於穩 定一致，此題就不必再問下去。而那些未達意見一致的題目，則繼續編成第四回的問 卷內容，並附上第三回合該題之統計結果，寄給受訪者填答及評判。 6. 重複 4、5 步驟，直到所有題目之前後兩次反映意見達到一致為止。 7. 當問卷題目的反應達到一致時，以最後一回意見之統計結果為依據，進行預測工作。 由上述重複性來回調查受訪者對問卷每一題的意見，直到大家意見均達一致才停止。
圖 2-1 傳統德爾菲法實施流程 (資料來源：Riggs, 1983)
2-2
德爾菲法於網際網路之應用
從網際網路技術發展以來，陸續有學者提出將德爾菲法用電腦化或是結合網際網路的方式 進行各領域的研究，1975 年 Linstone 及 Turoff 曾比較各種團體溝通模式的差異，如錯誤! 找不 到參照來源。所示，並討論到一種即時的德爾菲(Real-Time Delphi)，主要是利用電腦來取代研究 的監控小組(Monitor Team)的工作，讓電腦扮演溝通的中介者，提供即時運算的功能。1996 年 Murray 及 Starr 也發表了以電腦為基礎的德爾菲法執行流程。 網際網路結合德爾菲法於技術前瞻領域之研究也陸陸續續使用於各國的技術前瞻活動裡， 如日本、德國等技術前瞻領域的大國，韓國也在 2001 年的第三次技術前瞻計畫裡，使用以網路 為基礎的線上問卷調查。但是一直沒有出現重要的文獻，闡明網際網路德爾菲平台對於相關研究 的貢獻及可用程度。2005 年 Gordon 和 Pease 提出 RT Delphi 的概念，強調可以更有效率，並且 減少執行過程中所需要的回合數，加快收斂專家意見的速度(Gordon & Pease, 2005)。Yuan 也提 出以部落格取代傳統討論方式的德爾菲會議方式(Yuan, 2006)。2006 年的國家級技術前瞻相關研 究也指出，不管在技術前瞻的方法論或是輔助工具方面，電腦化、分析軟體、網路、資料庫、電 子平台等方法及工具都逐漸形成潮流(謝志宏，2006)。選定研究主題
確定問題
決定所需專家
並準備問卷
寄發問卷
訪談結果呈現
意見是否收斂?
結果分析
是
否
分析回收問卷
提供所需資料
整理結果
編製下一回合
問卷
針對問卷的傳送及分析方式，有一些則是分別研究用資訊科技解決面對面會議的部分。截至目前 為止，尚未有研究提出一套完整將德爾菲法運行與網際網路平台的系統架構。 因此本研究欲透過以下介紹的系統開發工具及評估方法，進行「線上德爾菲系統」之規劃 與建置，如圖 2-2 所示，以「前瞻問卷系統」取代傳統德爾菲法之問卷調查階段、以「前瞻維 基平台」取代傳統研究背景資料提供階段、以「前瞻部落格」取代傳統面對面討論會的階段，以 完成一可運行於技術前瞻議題之完整系統平台。在傳統德爾菲法以至於網路德爾菲法的取代轉換 過程中，不變的是德爾菲法的四個原則：匿名性、操控的回饋性、意見反芻和群組反映統計。 圖 2-2 傳統 DELPHI 及網路 DELPHI 之對應圖
2-3
系統開發工具
本研究欲建立「線上德爾菲系統」，以網路德爾菲法取代傳統德爾菲法之研究流程，因此 以下將介紹系統雛型法、開放原始碼(Open Source) 及 Web 2.0 等觀念的介紹。本研究在系統開 發的兩種應用觀念上--系統生命週期法及系統雛形法，採用了後者之系統雛形法。其強調快速地 建立軟體範本供使用者評估，並經由使用者對軟體功能的要求不斷的進行修改，直至符合使用者 需求。此觀念也符合本研究利用開放原始碼建立系統架構的作法，希望透過建置及編寫開放原始 碼，形成網路平台架構雛形，再透過專家的意見回饋，修改使之符合可運行於網際網路之德爾菲 法運行系統。2-3-1. 系統雛型法
系統雛型法或稱為軟體範式發展法，它改變了系統生命週期法在確定使用者需求後，即進 行全功能系統程式設計的理念，而強調快速地建立軟體範本以供使用者作為評估的參考，藉以確 定使用者的需求。同時，經由對軟體範本不斷地進行功能修改，逐步加強軟體功能，直至最後成 為一個具有完整功能的系統為止。 綜合系統雛型法的系統開發觀念及其特點，本研究針對系統所需功能進行系統雛型開發階 段各步驟分析詳述於表 2-1。 由於德爾菲法運行於網際網路平台的功能性需求，本研究利用欲開放原始碼(Open Source) 及網路第二代(Web 2.0)之軟體技術及概念，建置本研究之「線上德爾菲系統」，因此下一節將針 對開放原始碼及 Web2.0 之特性作介紹。傳統 DELPHI
網路 DELPHI
1、 匿名性
2、 操控的回饋性
3、 意見反芻
4、 群組反映統計
研究
背景
問卷
調查
面對面
討論會
前瞻維
基平台
前瞻問
卷系統
前瞻
部落格
表 2-1 「線上德爾菲系統」於系統雛型法各階段進行方式 步驟-階段 「線上德爾菲系統」進行方式 1.可行性研究 由於本研究所需之系統具有高度複雜性，若由研究者徒手開 發，必耗時而耗力。此外，本系統相關之各平台皆可利用系統 雛型法進行初步測試，因此具可行性。 2.系統規劃 「線上德爾菲系統」如圖 2-2 所示，主要在取代傳統德爾菲法 之三個要素，因此系統透過以下三個平台進行意見之整合： (1) 前瞻問卷系統 (2) 前瞻維基平台 (3) 前瞻部落格 3.需求分析 「線上德爾菲系統」主要由三個平台所組成，各平台之系統需 求規格，經與德爾菲法專家討論後，詳列如下： (1) 前瞻問卷系統：問卷之管理、建置、寄送、回收、統計， 專家名單之收集、管理。 (2) 前瞻維基平台：研究背景資料之提供與取得，研究者可依 專家之要求新增議題之詳細解說資料，或提供相關資料之 來源與取得方式。 (3) 前瞻部落格：主要為問卷回收結果無法收斂時，用以為專 家意見交換之平台，以使專家們可直接溝通意見。 4.系統分析 依照前述之系統規格設計，進行新系統雛型之建立。而本研究 經過測試及評估，預定本系統可藉由 Web2.0 及開放原始碼之概 念及相關軟體進行建置。而由於「前瞻部落格」，已有建置完成 之平台可供使用，因此系統主要以開發「前瞻問卷系統」、「前 瞻維基平台」為主。 5.建立系統雛型與評估 尋找適合的 Web2.0 及開放原始碼之及軟體，提供各平台之系統 雛型，供專家及研究者操作，並提出相關意見。 6.可用軟體 依專家及研究者之操作意見，重複步驟 2 至 5，反覆尋找及修正 軟體，以至為實際可用之軟體。
2-3-2. 開放原始碼及 Web 2.0 的特性
開放原始碼是一種軟體散佈模式，一般的軟體僅可取得已經過編譯的二進位執行檔，通常 只有軟體的作者或著作權所有者等擁有程式的原始碼。而有些軟體的作者會將原始碼公開，並在 沒有限制的情況下，允許其他人自由修改之，並再將修改後之原始碼繼續公開供其他人繼續修改 分享。 而「線上德爾菲法」透過 2-3-1 節所提之系統雛型法，經過不斷的驗證與修改後，選定由 Limesurvey、Wikimedia 及 Blog 等三種開放原始碼來進行系統的開發，因此本研究之系統對應圖 新增如圖 2-3 所示：Web 2.0 不是一項技術標準，是一個用來闡述技術轉變的術語，由 O'Reilly 的總裁 Dale Dougherty 和 MediaLive 的 Craig Cline 在共同合作的腦力激盪(Brain Storming)會議上提出來的名 詞。Dougherty 指出 Web 目前正處於復興時期，有著不斷改變的規則和不斷演化的商業模式，而 Web 2.0 包含了技術架構及應用軟體，特點是鼓勵資訊最終利用者透過分享，使得可供分享的資 源變得更豐盛。Web 2.0 也是網路運用的新時代，網路成為了新的平台，內容則因為每位使用者 的參與（Participation）而產生，參與所產生的個人化（Personalization）內容，藉由人與人（P2P） 的分享（Share），形成了現在 Web 2.0 的世界。IBM 的社群網路分析師 Dario de Judicibus 則解釋 Web 2.0 是一個架構在知識上的環境，人與人之間互動而產生出的內容，經由在服務導向的架構 中的程式，在這個環境被發佈，管理和使用。 而本研究之「線上德爾菲系統」與 Web2.0 核心概念的架構關連，如表 2-2 所示： 表 2-2 「線上德爾菲系統」與 Web2.0 的架構關連 Web2.0 概念 線上德爾菲系統呈現方式 將 Web 視為平台 本研究透過「線上德爾菲系統」，結合「前瞻問卷系統」、「前瞻 維基平台」及「前瞻部落格」等三個平台，利用網際網路科技 的便利與發達，運行德爾菲法之研究進行。使用者只要可以連 上網路，便可以操作整個系統，不需要在自己的電腦上另外安 裝軟體。 駕馭群體智慧 「前瞻問卷系統」、「前瞻維基平台」及「前瞻部落格」透過不 同的平台蒐集專家意見，將各領域專家的想法集合並整合分析 利用。 資料是下一個「Intel Inside」 「前瞻問卷系統」、「前瞻維基平台」及「前瞻部落格」都附有 專屬資料庫，透過研究者的蒐集及外部使用者(專家等)之擴增， 慢慢累積資料，將各領域專家討論議題的相關資料，藉由資料 庫存檔，並可進行後續的分類與分析等利用。 軟體升級模式走到盡頭 「前瞻問卷系統」、「前瞻維基平台」及「前瞻部落格」皆由開 放原始碼所建置，只需將資料庫備份完整，隨時可利用社群所 開發之新版開放原始碼取代，進行系統之升級與更新。 輕巧的程式設計模式 「前瞻問卷系統」、「前瞻維基平台」及「前瞻部落格」皆由輕 巧的開放原始碼組成，沒有太多制式的程式規範，透過分散式 架構的介面，結合成「線上德爾菲平台」，任一平台若面臨不適 合本系統的狀況，皆可隨時以其他適合平台取代之，具有應用 上的彈性。 軟體的執行將跨越單一設備 「前瞻問卷系統」、「前瞻維基平台」及「前瞻部落格」透過網 路進行架構的連結，只要有網路即可溝通於不同平台間。此外， 不同作業系統也有相對應的開放原始碼可因應取代，不被單一 作業系統及電腦環境所限制。 豐富的使用者體驗 由於「前瞻問卷系統」、「前瞻維基平台」及「前瞻部落格」皆 由開放原始碼所建置，除了社群的程式改版能力外，研究者若 有程式設計的背景，也可針對使用者的需求進行程式功能與介 面的修改，使系統更符合使用者的操作習慣。
第 3 章 線上德爾菲系統
如前所述，本研究欲利用圖 2-2 之運行架構，透過「前瞻問卷系統」、「前瞻維基平台」及 「前瞻部落格」等三個網站，將之整合於已建立之「台灣技術前瞻網站」 (圖 3-1)上，形成「線 上德爾菲系統」運行架構。由於該網站已有部落格開放原始碼之建置，本研究將為之加上網路問 卷系統及背景資料庫提供平台。以下將介紹本研究所使用的開放原始碼軟體及系統架構與功能。 圖 3-1 台灣技術前瞻網站3-1
系統開發工具
本研究如圖 2-3 所示，經由表 2-1 之系統雛型法各階段的分析後，利用 Limesurvey、 MediaWiki 及 Blog 等開放原始碼進行系統之建置。而由於「台灣技術前瞻網站」已有部落格開 放原始碼之建置，本研究將為之加上網路問卷系統及背景資料庫提供平台。因此以下將介紹網路 問卷所利用的 Limesurvey 軟體及背景資料庫提供平台所利用的 MediaWiki 軟體。3-1-1
Limesurvey
由於網際網路技術的發展，透過網路蒐集資料的調查方式日益增多，網路問卷調查更一種 重要的收集資料方式。自從電子郵件技術興起之後，透過電子郵件發送問卷的方式也取代傳統寄 送方式，成為發放問卷的工具。然後，電子郵件發放問卷的限制，如分析資料仍然需研究者待收 集資料後手動輸入、畫面呈現方式受限制及管理不易等問題，透過全球資訊網的興起，使用者開 始採用直接於網站上製作問卷，並邀請受試者前來問卷網站參與的網路問卷也取而代之完全只使 用電子郵件發放問卷的工具。因此，坊間有很多公司建立網路問卷收費平台，提供研究者付費申 請網路問卷空間，建置屬於自己的網路問卷，並邀請受試者前來受測，或是透過自願者來收集問 卷資料，並可透過電腦程式的輔助分析，管理受試者或是分析問卷資料蒐集的結果。然而，此類 的網路問卷平台，主控權在網路公司手上，研究者僅掌控少許管理權限，無法依照研究的需求擴 展所需的功能，無法負載運用於國家技術前瞻資料之問卷蒐集模式。 以下透過表 3-1 利用軟體品質的要素的四個構面，分析坊間幾種網路問卷經營及管理方式 的差異性。可以看出 Limesurvey 不論在操作構面、變更構面、移轉構面或是管理構面等軟體品 質要素都較其他兩種坊間免費或收費的軟體為高。主要原因是由於 Limesurvey 的建置概念是採 取前述之開放原始碼的自由軟體，能夠讓使用者自行建置、設計、發佈線上問卷，除了受試者端 的填寫介面可以由研究者透過修改內建模板，以符合研究所需的可讀性外，在管理端也提供了許 多的問題類型、呈現方式，並支援子問卷功能（例如條件式問題，符合條件才延伸其他問題）， 還能透過標記系統選擇性控制參與者以及將問卷結果匯出到 Excel 或是專業統計軟體。如果系 統附有郵件伺服器，管理者還可透過內部的控管功能，掌控受試者的回覆狀況並進行問卷催覆。 唯一的要求是，管理者需具有多種程式撰寫的能力及資料庫管理技術。Limesurvey 除了以 PHP 程式語言撰寫，因此管理者需具有 PHP 程式語言撰寫才能修改其功能外；資料庫是以 MySQL 為存取工具，因此管理者除了需具備 SQL 語言的撰寫能力外，也需懂得資料庫管理概念。此外， 軟體中的編寫畫面則需使用到 HTML (HyperText Markup Language)及 CSS (Cascading Style Sheets) 等網頁撰寫技術，其技術門檻相較於坊間的網路問卷系統為高。表 3-1 軟體品質各要素與各種網路問卷之分析
構面 品質要素 My3q Hinet 網路問卷 e 點靈 Limesurvey
操作構面 完整性 中 中 高 可靠性 中 中 高 存活性 中 中 高 使用性 中 中 高 變更構面 效率性 中 中 高 正確性 中 中 高 安全性 低 低 高 移轉構面 交換性 低 低 高 擴充性 低 低 高 彈性 低 低 高 再使用性 低 低 高 可攜性 低 低 高 管理構面 驗證性 低 低 高 管理性 低 低 高 技術門檻 低 低 高 資料來源：本研究整理 因此，本研究利用開放原始碼建置「前瞻網路問卷系統」(圖 3-2)於「台灣技術前瞻網站」 上，取名「前瞻問卷系統- On-Line Delphi」，作為技術前瞻議題之網路問卷管理及使用系統。 圖 3-2 前瞻問卷系統- On-Line Delphi 系統畫面
3-1-2
MediaWiki
Wiki 又稱「維基」，乃「維基協作系統」（Wiki Collaboration Systems）的簡稱，是一種以 Web 為基礎的超文件應用系統（Web-Based Hypertext Applications），具有方便及開放的特點，可 協助人們在社群內共享領域知識（Domain Knowledge）。基本的意涵在於描述一種能讓任何的使 用者(User)或瀏覽者(Visitor)能夠自由編輯的一種協同合作的網站，其特色在於鼓勵使用者進行編 輯 (林信成、陳瑩潔，2005) 。本研究引用林信成等人所提出之 Wiki 協作環境金三角模式(圖 3-3)，來闡述 Wiki 的運作模式。
本研究所採用的 MediaWiki 軟體，為維基媒體基金會為適用於維基百科的運作而開發的 Wiki 引擎，MediaWiki 軟體延續 Wiki 所希望達成的開放及共享概念，採用 PHP 程式語言建置， 特點在於具備能夠讓使用者輕易修訂、管理頁面的能力，並採用 MySQL 做為資料儲存的工具， 可提供更完善的管理功能。
本研究將之建置於台灣技術前瞻網站上，取名「前瞻維基討論平台-Foresight Wiki」(圖 3-4) 作為「線上德爾菲系統」之背景資料庫提供平台。
知識 內容 系統 社群 平台技術 管 理 策 略 知 識 組 織 圖 3-3 Wiki 協作環境金三角(林信成、陳瑩潔，2005) 圖 3-4 前瞻維基討論平台-Foresight Wiki 系統畫面
3-2
運作架構
本研究之網際網路德爾菲運作平台，延續傳統德爾菲法之研究流程，結合「前瞻問卷系統」、 「前瞻維基平台」及「前瞻部落格」於技術前瞻執行之過程，圖 3-5 呈現整個系統之運作架構。 1. 首先最重要的步驟便是選定研究主題，並進行專家人選的確認。 2. 在確定專家人選的步驟之後，便可以將查詢資料庫的相關訊息傳送給專家，進行議題 背景資料的閱讀。 3. 於問卷架構設計完成後，進入問卷系統進行問卷的建置動作。 4. 透過問卷系統結合郵件伺服器之功能，建置專家人選名單，發給特定的代碼，藉以控 管專家的邀請郵件、問卷填答狀態及進行催覆，此功能也可預防一般網路問卷樣本群 偏誤及重複填答的問題。 5. 待專家填寫完網路問卷之後，透過系統的統計分析功能輔助，由研究者藉由議題之達 成目標，判斷專家意見是否趨於一致。 6. 若意見已經趨於一致，則進行議題的結論與分析。 7. 若意見未趨於一致，則決定是否進入部落格繼續收斂意見，或是進行問卷的修正後， 重複建置問卷、發放問卷等步驟。 8. 如此重複以至專家意見達成一致。圖 3-5 「線上德爾菲系統」運作架構
3-3
系統架構與運作流程
本研究主要系統運作架構，是由資訊技術相關技能進行建置、編寫與管理，後端以 MySQL 資料庫為存取媒介，中間則結合程式語言 PHP (Hypertext Preprocessor)及網頁編寫語言 HTML (HyperText Markup Language)、CSS (Cascading Style Sheets)為問卷及網站的主要程式撰寫工具， 再透過使用者介面(User Interface)呈現於前端的使用者面前。 由於「線上德爾菲系統」中，「前瞻問卷系統」的使用與管理最為複雜，因此以下系統運作 流程將以「前瞻問卷系統」之介紹為主。 「前瞻問卷系統」的主要流程呈現如圖 3-6：由使用者登入帳號密碼管理系統後，經過使 用者資料庫的確認，分派使用者進入問卷管理頁面或問卷填寫系統頁面，透過系統的程式介面， 與管理者或填寫者互動，並與系統資料庫來回傳遞資料。
3-3-1
系統流程圖(管理者)
在「前瞻問卷系統」中，管理者的系統流程如圖 3-7 所示： 1. 管理者輸入特定帳號密碼後，若資料庫裡有相關資料，則進入新增問卷或管理已存在選定研究主題
專家人選確定
設計問卷架構
進入問卷系統
「前瞻問卷系統」
進入查詢背景資料
「前瞻維基平台」
有效問卷匯集
意見是否收斂
結果報告
修正問卷
進入 BLOG 討論
「前瞻部落格」
是
是
否
否
資料分析
問卷的頁面，如資料庫裡無相關資料，則回到輸入帳號密碼頁面，請使用者再試一次。 2. 因為資料庫存取架構的緣故，我們將問卷的新增方式分為四個階層：先新增問卷後， 才得以新增題組；先新增題組後才得以新增問題；新增問題後便可以選擇問卷答題的 類型。而新增題組、問題及題型的步驟，則可以一再重複以至問卷內容編寫完成。 3. 問卷內容編寫完成後，可選擇是否要啟動問卷，啟動問卷代表資料庫開始正式記錄所 有問卷互動的內容，由於資料庫架構已不可隨意更動，以免破壞資料記錄正確性的原 則，因此啟動問卷後除了修改問題內容，即不可再新增及刪除問卷內容架構。 4. 啟動問卷之後，也可決定是否使用特定代碼，如前述特定代碼就是控管受邀專家透過 特定帳號密碼組進入系統填寫問卷的機制。啟動特定代碼的問卷，也可由系統自動發 出邀請信、提醒信及寄送問卷結果給專家參與者。 圖 3-6 系統運作流程圖
3-3-2
系統流程圖(專家群及外部使用者)
在「前瞻問卷系統」中，專家群的系統流程如 圖3-8
所示： 1. 由輸入的帳號密碼判斷是否為專家群，若「是」則進入專家填答頁面； 2. 「否」的話則視是否有開放特定代碼填寫帳號密碼，有開放特定代碼的問卷只能詢問 管理者是否可將之納入特定代碼名單裡； 3. 無開放特定代碼的問卷則可藉由填寫認證資料後，寄送認證信函，再利用認證信函上 面相關的資料進入問卷填寫頁面。 4. 使用者在填寫問卷的過程中可選擇是否要中途離開填寫問卷的畫面，若要離開，則可 設定是否要中途儲存，日後再透過自己的帳號密碼組，進入系統完成尚未填寫完畢之 問卷內容； 5. 並於問卷結束之後，系統會自動寄送附有修改連結、統計結果及先前所填答案的信 件，供使用者決定是否修改答案，以使意見趨於一致。使用者登入密碼
管理系統
使用者資料庫
問卷管理系統
問卷填寫系統
系統程式介面
系統資料庫
圖 3-7 系統操作流程圖(管理者)
否
開始
使用者輸入
帳號密碼
資料是
否正確
管理已存在
問卷
新增問卷
新增題組
新增問題
選擇題型
啟動問卷
使用 token
新增 token
寄送邀請信
寄送提醒信
寄送問卷結果
結束
填寫問卷
是
是
是
是
否
管理外部
使用者資料
否
問卷完成
是
意見收斂
否
是
否
圖 3-8 系統操作流程圖(專家及外部使用者)
意見收斂
寄送認證信函
結束
開始
是否為
專家群
使用者新增
認證資料
專家輸入特定代碼
資料正確
問卷填寫
填寫完成
收到問卷統計
使用者輸入資料
是否為
新使用者
是
是
是
是
是
否
否
否
否
否
第 4 章 系統測試與分析
如前所述，本研究之「線上德爾菲系統」已透過「前瞻問卷系統」、「前瞻維基平台」及「前 瞻部落格」建構於「台灣技術前瞻網站」上。在系統測試方面，針對軟體測試的部分，我們邀請 使用者進行黑箱測試(Block box testing)，實際測試系統的操作與使用者期望的符合性。並透過 Venkatesh 等人(2003)所提出的「整合性科技接受模式」(Unified Theory of Acceptance and Use of Technology, UTAUT)及 Steward(1987)所提出的軟體品質 15 要素設計使用者問卷，建置於本研究 所開發之「線上德爾菲系統」，邀請國內德爾菲法之專家參與問卷之填答，以進行使用者接受程 度等資料之蒐集與分析。因此本章將介紹本研究之系統測試與分析過程及所獲得成效。
4-1
軟體測試結果分析
如前所述，本研究的黑箱測試模式，著重在系統測試部分，主要偏重於以使用者的觀點來 測試系統是否吻合使用者的期望與需求。 本研究邀請國內德爾菲法專家群及資訊人員，經過近一個月的黑箱測試過程後，使用者共 提出 9 個問題，其中 5 個為管理者介面問題，4 個為使用者介面問題。並且 9 個問題中，其中 3 個為系統已有，但測試者未發現之功能，其餘 6 個為系統函式可擴充之功能。相關建議類型、內 容及功能類型之分類，整理如表 4-1 所列。 研究員所提出之管理者及使用者端相關的建議及本研究之回覆內容，請參閱附錄 2。由附 錄 2 使用者對軟體測試所產生之問題及本研究之回覆內容，可以得出以下 4 點分析結論： 1. 功能性複雜：在使用者所提出的 9 個問題中，其中有 3 個問題功能系統已有，使用者 卻未察覺，相對顯示出本平台功能之複雜性。 2. 技術門檻高：由於本平台需要管理者或使用者有網頁編輯、資料庫管理或程式修改的 能力，才可完全管理，因此對一般的專家而言，有些功能因為資訊技術的缺乏，導致 無法妥善使用。 3. 功能性完整：在使用者所提出之 9 個問題中，其中有 6 個都可透過內建函式改良或擴 充，顯見本系統功能之完整性。 4. 問卷填答端介面友善：測試者對填答介面無任何改善建議，一致反應簡單易填。 表 4-1 黑箱測試結果 建議類型 建議內容 功能類型 管理介面建 議 1. 需要中文化介面或說明。 系統已有 2. 題目之代碼可以設定自動產生嗎？避免人為出錯。 系統已有 3. 輸出結果的介面最好能在 ID 外加入姓名，以便後續追 蹤。 系統已有 4. 填答問卷前希望可以有管理者輸入簡單之整份背景說 明的欄位(如執行何計畫之故、對問卷之保密責任等、 能否插入圖表、description 欄位感覺不太適用)。 系統函式可擴充 5. 統計結果的使用可用圖型化顯示(如 yahoo 常用之圓餅 圖並加上數字標示)。 系統函式可擴充 使用者介面 建議 1. 使用者填完問卷是看不到統計結果，只能由管理者改。 系統函式可擴充 2. 因德爾菲法需要兩回合以上問卷 不知第二回合問卷 要如何顯示第一份問卷之結果？較佳是在填第二份問 題時旁邊就出現第一回合(第一份)該題之統計結果。 系統函式可擴充 3. 使用者填完問卷 無法用一覽的功能檢視其所勾選之 結果 (如在註冊網頁時，基本資料會先全部預覽 確認 無誤才儲存)，而是只有 prev 功能一題一題看並加上 confirmation 信件可以看到自己所填結果之總覽。 系統函式可擴充 4. 自動印出的紙本問卷應有欄位顯示填答問卷者的姓名 或可讓其自行填寫。 系統函式可擴充4-2
問卷設計與測試
此外，我們利用整合性科技接受模式，結合軟體品質要素，設計一與此「線上德爾菲系統」 相關的問卷內容，並透過本研究所建置之系統，邀請國內德爾菲法領域專家前來作答。本研究之 問卷內容及回覆結果請參閱附錄 3。 而本問卷題組共分成四大部分，以瞭解使用者之不同期望與接受度： 1. 使用期望：本題組共有 5 個問題，主要在瞭解專家們對「線上德爾菲系統」之使用期 望。 2. 使用者接受行為：本題組利用 Venkatesh 等人所提出之「整合性科技接受模式」之構 面，設計 5 組題目，以瞭解使用者對於「線上德爾菲系統」之接受度。 3. 系統品質分析：本題組採用 Steward 學者所提的軟體品質 15 要素，以便了解專家們 對於傳統德爾菲法及網路德爾菲法之差異比較，及研究流程改善前後之系統品質差 異。 4. 個人基本資料：本題組主要用來蒐集使用者個人基本資料，藉以分析何種不同使用者 間的使用習慣，將會造成何種不同的使用期望。 而本研究之問卷測試，經邀請國內 7 位德爾菲專家之實際測試後，本研究得出以下幾個結 論： 1. 在使用者期望的部分，如 2. 圖 4-1 有 84%以上(含適合、很適合及非常適合等答覆)的使用者認同本研究所建立之 「線上德爾菲系統」，並且對於如系統易用性之認同感大於系統有用性如 圖 4-2 所 示，符合整合性科技接受模式裡所提到的，使用者對於系統易用性的認同感越大，越 容易接受新系統的操作。圖 4-1 使用者期望題組統計結果 圖 4-2 系統的有用性與易用性統計結果
3.
在整合性科技接受模式的題組回覆情形則發現(圖 4-3)，有 97%(含普通、同意、非常 同意等答覆)的專家願意接受此系統的操作模式，並且同意此平台之操作介面對於一 般沒有資訊背景的人員，或是無法隨時得到資訊人員協助的專家來說，仍是非常容易 操作的系統。換言之，專家們對於此新科技的接受程度將近 100%。圖 4-3 整合性科技接受模式題組統計結果 4. 系統品質分析的題組中，利用軟體品質 15 要素對於傳統德爾菲法及網路德爾菲法的 差異性分析結果，可以窺出，專家們對於網路德爾菲法的使用期望很高，也很樂於接 受網路德爾菲法取代傳統德爾菲法之研究運作(圖 4-5)。但仍有 79%的專家，對於網 路德爾菲法的可靠度及資料安全性存在較高的疑慮(圖 4-4)。
圖 4-5 系統品質分析題組統計結 果(不含可靠度及安全性之答覆結 果) 圖 4-4 可靠度及安全性統計結果 (僅有可靠度及安全性之答覆結果)
第 5 章 結論與建議
本章主要目的在對「線上德爾菲系統」的發展，提出結論和具體建議，因此本章將就整個 研究之目的與過程、研究結果、研究限制及未來研究建議做一總結整理。5-1
研究之目的與過程
本研究旨在發展一套利用網際網路平台，施行德爾菲法應用於技術前瞻之研究架構，除了 透過文獻分析，有系統的蒐集傳統德爾菲法、資訊技術結合問卷調查方式及國內外即時德爾菲法 相關文獻資料外。主要的重點在於整合傳統德菲法試行方式，並結合網際網路平台及資訊技術的 應用，實際架設「線上德爾菲系統」供專家操作使用，以進行實證分析。 網際網路平台的開發過程，利用系統開發工具，如：系統雛型分析法、開放原始碼(Open Source) 及近年來興起的第二代網路(Web 2.0)資訊技術等鼓勵使用者藉由開放而互動的網路軟 體及環境進行各項網路行為運用的概念。並於本研究所建立之「線上德爾菲系統」中，應用開放 原始碼建置「前瞻問卷系統」，以做為研究者及專家設計及填寫問卷的平台；並以「前瞻維基平 台」為提供參與問卷的專家了解問卷背景動機及取得相關資訊的系統；另外，在取代傳統德爾菲 法面對面會議討論的機制上，我們則引用部落格(Blog)的概念，於「前瞻問卷系統」填寫告一段 落後，開放「前瞻部落格」網路部落格平台供專家討論相關議題，輔助意見收斂的進行。 而本研究的可行性，則分成軟體測試及問卷測試兩大部分，透過黑箱測試及整合性科技接 受模式、軟體品質要素等研究方法，邀請國內德爾菲法專家參與測試，並獲得高度的認同感及良 好的接受度。5-2
研究結果
根據第 4 章之系統測試結果分析，我們可以發現大部分的專家，對於利用網際網路技術的 整合，來取代傳統德爾菲法冗長而無效率的運作流程，仍懷著極高的期望，並且同意本研究所整 合之「線上德爾菲系統」，達到研究動機所欲達成之目的： 1. 即時、互動性高、高效率、低成本：本研究透過文獻探討的結果，整理出若將德爾菲 法移植到網際網路平台執行時的相關系統要求，如建立專家名單、問卷設計、傳送問 卷、回收問卷、控制研究進度、問卷結果統計及問卷結果輸出和提供互動管道等功能。 而以上所要求的功能，皆可利用「線上德爾菲系統」達成，並且可發揮即時、互動、 高效率與低成本的優勢。在測試的過程中，也獲得大部分使用者的認同。受測的專家 們對於系統的接受度將近 100%，「線上德爾菲系統」的便利、效率、可加快專家意見 收斂速度的能力受到肯定，。 2. 功能性、反應速度、可用性：雖然關於管理介面的功能使用，需要有資訊技術，如網 頁程式撰寫等能力，才能完全控制研究者希望呈現於使用者面前的畫面。但在黑箱測 試的過程中，大部分的受試者對於系統的功能性、反應速度及可用性皆給予正面評 價。受測的專家們認為系統平台操作介面是友善的、容易使用的，因此接受度很高。3.
快速、方便、有效率：透過「前瞻問卷系統」、「前瞻維基平台」及「前瞻部落格」的 結合，專家們皆肯定「線上德爾菲系統」之運作架構可行、系統介面友善、輸入簡易、 可自動輔助計算及判斷等益處，並且由於網路使用的方便性，將為德爾菲法研究流程 帶來的快速、方便及效率。5-3
研究限制
在軟體及問卷測試的過程與結果分析中，我們也可發現本研究尚無法突破的研究限制，如： 1. 系統管理限制：如前所述，本研究所開發之系統，因為功能比較複雜，管理者需要具 備相關資訊技術才得以完全控制。在施測的過程中，難以找到兼具德爾菲法相關經 驗，又熟知資訊技術的測試者，因此所得到的測試結果，會比較偏重於使用者角度， 難整合研究者結合使用者之操作經驗。2. 使用限制：由於本系統的調查過程皆在網路上進行，因此受試者除了需具有使用電腦 及網路的技術能力，也要訂購網路服務，才能全程參與數回合的網路德爾菲法問卷， 雖然技術相關的問題，皆可透過其他方式解決，但不習慣使用資訊技術的專家，可能 容易對複雜的系統與資訊流程感到厭煩，而失去對研究議題的專注力。 3. 系統與網路安全性問題：本系統使用全球資訊網服務形式架設，雖然透過網路可以提 供便捷快速的資訊傳遞，但由問卷結果的分析，也可以發現專家們對網路德爾菲法最 大的疑慮，來自系統的可靠與安全程度。換言之，專家們雖樂見網路德爾菲所帶來的 效率，卻難以完全信任資訊技術。因此未來除需針對伺服器，加強網路安全與資料安 全之功能外，也應輔導專家們信任資訊安全之可靠性。 4. 在網際網路的使用上，除了系統與平台間的配合，網路的社群與內容，更是能否吸引 研究者與一般使用者最重要的因素，因此無論是肩負收集專家意見的「前瞻問卷系 統」；呈現最完整研究議題背景資料的「前瞻維基平台」；抑或是提供專家們對研究議 題的意見交流之「前瞻部落格」，皆需要有研究人員進行長期維護，以延續專家對研 究議題的興趣與深入了解之意願。
5-4 未來研究建議
由於資訊技術結合傳統德爾菲法之執行複雜度，目前仍少有研究團體針對此議題，進行長 遠而深入的研究。然如研究動機所述，德爾菲法於技術前瞻之研究，乃是一極重要之研究方法， 因此本研究深信此議題，仍有持續進行之必要性。但本研究在研究過程中，仍有些許未竟之處， 在此提出未來欲繼續進行相關研究之研究建議： 1. 德爾菲法與資訊科技結合的改良：透過電腦及網際網路科技來執行德爾菲法，由於電 腦的運算能力強大，因此研究人員藉由電腦程式的撰寫，系統可以傳達給受試專家群 的資訊相對比以前豐富。但此系統是否能夠達到充分溝通的功能，或是對於客觀共識 的產生，甚至不同資訊的擷取，對專家意見產生的信度與效度等，都值得進行深入而 長遠的觀察。 2. 網際網路德爾菲法及傳統德爾菲法之對照研究：藉由網路所進行的德爾菲法研究和傳 統德爾菲法的研究模式，由於媒體特性上的不同，是否會導致研究結果的差異？抑或 研究主題及受試專家群特性對這兩種研究方法的影響到底為何？傳統德爾菲法及網 際網路德爾菲法進行時，對受試專家所產生的群體壓力，其及作答時所產生的影響有 何差異？ 3. 進行完整的評估工作：本研究的原始測試樣本原本欲邀請國內外相關專家進行系統受 試，不過由於聯絡不易，加上需有多種語言版本翻譯，才能妥善得到專家意見，因此 本研究之測試樣本，目前僅鎖定國內德爾菲法專家。後續研究可以舉行大規模測試， 透過分散各地的測試者來驗證系統的跨地域、跨時差能力。在使用者評估方面，也應 尋求更多樣本數的測試，不僅是對擁有資訊技術基本素養者，對於無資訊技術基本素 養者的反應，也應多加注意。參考文獻
[1] Adler, M. and Ziglio, E. (1996), The Delphi Method and Its Application to Social Policy and Public Health, Jessica Kingsley Publishers, 1996.
[2] Atkinson, N. L. and Gold R. S. (2001), “Online Research to Guide Knowledge Management Planning,” Health Education Research, Vol. 16, No. 6, pp. 747-763, December.
[3] Aniruddha M. D., Richard N. S. and Prakash M. N. (2005), “Metadata-Driven Delphi Rating on the Internet,” Computer Methods and Programs in Biomedicine, Vol. 77, pp. 49-56.
[4] Baker R. P. (1996), “The Future of CASIC, In InterCASIC’96.”
[5] Brown, B. (1968), “Delphi Process: A Methodology Used for the Elicitation of Opinions of Experts,” Santa Monica, The RAND Corporation.
[6] Chou, C. (1997), “Computer Networks in Communication Survey Research,” IEEE Transactions on Professional Communication, Vol. 40, Issue 3, pp. 197-208.
[7] Chou, C. (2002), “Developing the e-Delphi System: a Web-Based Forecasting Tool for Educational Research,” British Journal of Educational Technology, Vol. 33, No. 2, pp. 233-236. [8] Chu, H.C. and Hwang, G.J. (2008), “A Delphi-Based Approach to Developing Expert Systems
with the Cooperation of Multiple Experts,” Expert Systems with Application, Vol. 34, Issue 4, pp. 2826-2840.
[9] Constant, D., Sproull, L., and Kiesler, S. (1996), "The Kindness of Strangers: On the Usefulness of Weak Ties for Technical Advice," Organization Science, Vol. 7, pp. 119-135.
[10] Cooper, D.R., Schindler, P.S. (1998), “Business Research Methods,” 6th ed., McGraw-Hill International Editions, New York.
[11] Cornish, E. (1999), “The Study of the Future：An Introduction to the Art and Science of Understanding and Shaping Tomorrow's World,” World Future Society, Washington, November. [12] Couper, M. P., Johnny, B. and Timothy, T. (1999), “A Comparison of Mail and E-Mail for a
Survey of Employees in Federal Statistical Agencies,” Journal of Offical Statistics, Vol. 15, Issue 1, pp. 39-56.
[13] Dalkey, N. C. (1967), “Delphi,” Santa Monica, The RAND Corporation.
[14] Dalkey, N.C. (1972), “The Delphi Method: An Experimental Study of Group Opinion,” In N. C. Dalkey, D. L. Rourke, R. Lewis, & D. Snyder (Eds.). Studies in the Quality of Life: Delphi and Decision-Making (pp. 13-54), Lexington, MA: Lexington Books.
[15] Davis, D. (1989), “Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology,” MIS Quarterly, pp. 319-340.
[16] Davis, F. D., Bagozzi, R. P., and Warshaw, P. R. (1989), “User Acceptance of Computer Technology: A Comparison of Two Theorical Models,” Management Science, Vol. 35, No. 8, pp. 982-1003.
[17] Delbecq, A. L., Van de Ven, A. H., Gustafson, D. H. (1975), “Group Techniques for Program Planning: A Guide to Nominal Group and Delphi Processes,” Scott Foresman and Company, U.S. [18] Deutsch, MS. and Willis, R. (1988) "Software Quality Engineering", Randall W. Jensen.
[19] Don, M. (2007), “Web 2.0:The Reaction from Davos,” 2007 WORLD ECONOMIC FORUM, Brand Strategy, London, pp. 29, Mar. 12.
[20] Donald V. Steward (1987), “Software Engineering with Systems Analysis and Design,” Monterey California, Brooks/Cole Publishing Company.
[21] Edwards, J.K. (2003), “Beginning On-Line Delphi Ethnographic Research: The BOLDER Method,” The Qualitative Report, Vol. 8, No. 2, pp. 257-285, June.
[22] Goyder, J. (1987), “The Silent Minority,” Boulder, CO: Westview.
[23] Gordon, T. and Pease, A. (2005), “RT Delphi: An Efficient, “Round-Less” Almost Real Time Delphi Method,” Technology Forecasting and Social Change, Vol. 73 No. 4, pp. 321-33.
[24] Holden, M. C. and Wedman, J. F. (1993), “Futures Issues of Computer-Mediated Communication: The Results of a Delphi Study,” Educational Technology Research and Development, Vol. 41, No. 1, pp. 5-24.
[26] Linstone, H. A. and Turoff, M. (1975), “Introduction in Linstone H. A. and Turoff M. (Eds) The Delphi Method: Techniques and Applications,” Massachusetts: Addison-Wesley.
[27] Linstone, H. A. (1978), "The Delphi Technique. In J. Fowless (Ed.)," Handbook of Futures Research. London: Greenwood Press.
[28] Linstone, H. A. and Turoff, M. (2002), ”The Delphi Method: The Techniques and Applications,” Massachusetts: Addison-Wesley.
[29] Loye, D. (1978), “The Knowledge Future: a Pasychology of Forecasting and Prophecy,” NY: John Wiley and Sons.
[30] Moore, G. C. and Benbasat, I. (1991), “Development of an Instrument to Measure the Perceptions of Adopting an Information Technology Innovation,” Information System Research, Vol. 2, pp. 192-222.
[31] Murry, J.W. and Hammons, J.O. (1995), “Delphi: A Versatile Methodology for Conducting Qualitative Research,” The Review of Higher Education, Vol. 18, Issue 4, pp. 423-436.
[32] Newman, W.M. and Lamming, M.G. (1996), “Interactive System Design,” Addison-Wesley. [33] O’Reilly, T. (2005), “What is Web 2.0: Design Patters and Business Models for the Next
Generation of Software”, Published on http://www.oreilly.com on 2005/09/30.
[34] Parker, L. (1992), “Collecting Data the E-Mail Way,” Training and Development, pp. 52-54, July. [35] Preble, J. (1983), “Public Sector Use of the Delphi Technique,” Technological Forecasting and
Social Change, Vol. 23, pp. 75-88.
[36] Riggs, W. (1983), “The Delphi Technique: An Experimental Evaluation,” Technological Forecasting and Social Change, Vol. 23, pp. 89-94.
[37] Rita, S. H., Cheryl, B. T. and Judith, S. (2000), “Comparison of Mailed vs. Internet Applications of the Delphi Technique in Clinical Informatics Research,” Porceedings of the AMIA Symposium, pp. 809-813.
[38] Schuldt, B. and Totten, J. W. (1994), “Electronic Mail V.S. Mail Survey Response Rates,” Marketing Research, Vol. 5, No. 3, pp. 32-39.
[39] Shuliang, L. (2005), “A Web-Enabled Hybrid Approach to Strategic Marketing Planning: Group Delphi + A Web-Based Expert System,” Expert Systems with Applications, Vol. 29, pp. 393-400. [40] Simpson, R. D. & Smith, K. S. (1993), “Validating Teaching Competencies for Graduate
Teaching Assistants: A National Study Using Delphi Method,” Innovative Higher Education, Vol. 18, No. 2, pp. 133-146.
[41] Snyder-Halpern, R., Thompson, C. B., and Schaffer, J. (2000), “Comparison of Mailed vs. Internet Applications of the Delphi Technique in Clinical Informatics Research,” in Proceedings of the 2000 American Medical Informatics Association (AMIA) Fall Symposium, Los Angeles, CA, November.
[42] Sweigert, R.L. & Schabacker, W.H. (1974), “ The Delphi Technique: How Well Does It Work in Setting Educational Goals?” Paper Presented at the Annual Meeting of the American Educational Research Association, Chicago, April. (ERIC Document Reproduction Service No. ED 091 415). [43] Thompson, R. L., Higgins, C. A., and Howell, J. M. (1991), “Personal Computing: Toward a
Conceptual Model of Utilization,” MIS Quarterly, Vol. 15, No. 1, pp. 124-143.
[44] Turoff, M. and Starr, R. H. (1996), " The Delphi Method and Its Application to Social Policy and Public Health," London: Kingsley Publishers.
[45] Venkatesh, V., Morris, M. G., Davis, G. B., amd Davis, F. D. (2003), “User Acceptance of Information Technology: Toward a Unified View,” MIS Quarterly, Vol. 27, pp. 425-478.
[46] Weaver, M. O. and Connollly, S. M. (1998), “From the Beginning: Using Delphi for Curriculum Development, Integrating Evaluation, Design and Implementation,” Training and Development Journal, Vol. 42, No. 2, pp. 18-23.
[47] Westbrook, L. (1997), “Information Access Issues for Interdisciplinary Scholars: Results of a Delphi Study on Women’s Studies Research,” The Journal of Academic Librarianship, Vol. 23, No. 3, pp.211-216.
[48] Wolstenholme, F.R. and Corben, D.A. (1994), “A Hypermedia-Based Delphi Tool for Knowledge Acquisition in Model Building,” Journal of Operational Research, Vol. 45, No. 6, pp. 659-672, June.
Vol. 40, pp. 131–150. [50] 陳珮華(2008)：《以網際網路科技應用德爾菲法於技術前瞻之研究》。中華民國科技管理學 會年會暨論文研討會。台北。 [51] 陳珮華(2008)：《線上德爾菲系統於技術前瞻之研究》。國立交通大學科技管理研究所碩士 論文。 [52] 吳仕權(2007)：《由中華、日本、韓國技術前瞻經驗探討台灣技術前瞻運作流程之設計》。 國立交通大學科技管理研究所碩士論文。 [53] 蔡雨杰(2007)，《設計與實作智慧型問卷分析輔助系統》。國立交通大學多媒體工程研究所 碩士論文。 [54] 謝志宏(2005)：《技術前瞻領域選擇之類型》。國立交通大學科技管理研究所博士論文。 [55] 張鴻昌(2004)：《員工對企業內部網路接受度之研究—以中鋼為例》。國立中山大學企業管 理研究所碩士論文。 [56] 林志凡(2003)：《以德菲法預測台灣三五族半導體產業之發展趨勢》。國立交通大學科技管 理研究所碩士論文。 [57] 邱宏昇(2002)：《資訊系統開發技術知識的發展架構》。國立交通大學經營管理研究所博士 論文。 [58] 蔡福隆(2001)：《以社會系統觀點探討資訊系統發展的演進》。國立交通大學經營管理研究 所博士論文。 [59] 楊宜真（1999）：《傳播科技人才之能力需求與學程設計原則：修正式德菲研究》。國立交通 大學傳播研究所碩士論文。 [60] 張宜慶（1998）：《電腦網路德菲研究系統之建構及其可行性研究》。國立交通大學傳播研究 所碩士論文。 [61] 張一帆（1997）：《全球資訊網與傳播調查研究-調適性電子問卷系統之設計與發展》。國立 交通大學傳播研究所碩士論文。 [62] 徐美惠 (1996)：《中等學校實習教師評鑑量表之發展研究》。淡江大學教育資料科學研究所 教學科技組未出版之碩士論文。 [63] 「台灣科技前瞻」網站 http://foresight.org.tw [64] 「前瞻問卷系統」網站 http://foresight.org.tw/test [65] 「前瞻維基平台」網站 http://foresight.org.tw/mediawiki/ [66] 「前瞻部落格」網站 http://www.foresight.org.tw/plog/summary.php [67] 陶 幼 慧 、 楊 公 正 ， ” 網 路 問 卷 網 站 環 境 之 設 計 ” ， 義 守 大 學 資 管 系 ， tao.nuk.edu.tw/Papers/survey.doc [68] 葉耀明，”系統分析與設計導論，”國立台灣師範大學資訊教育系。 [69] 林維國(2001)：《數位時代中的數位競選策略工具-網路調查法及電話調查法之比較分析》。 決策季刊第二期。 [70] 蘇蘅、吳淑俊（1997）：《電腦網路問卷調查可行性及回覆者特質的研究》。新聞學研究，54 期，P. 75-100。 [71] 周倩、林華 (1997)：《電腦網路與傳播問卷調查》。中華傳播學會97年會暨論文研討會，台 北：深坑。 [72] 楊國樞、文崇一、吳聰賢、李亦園 (1995)：《社會及行為科學研究法。》。台北：黎明。 [73] 林信惠、黃明祥、王文良(2002)：《軟體專案管理》。台北：智勝。 [74] 王妙雲（1995）：《系統分析與設計》。台北：碁峰。. [75] 黃俊英 (1994)，《企業研究方法》，東華書局。
