以德菲法評析國際運算思維挑戰賽題型之研究

全文

(1)國立臺灣師範大學資訊工程研究所碩士論文. 指導教授：李忠謀博士. 以德菲法評析國際運算思維挑戰賽題型之研究 An analysis of Bebras Challenge Tasks with Delphi Method. 研究生：孫維琳撰. 中華民國一零七年八月.

(2) 摘要. 運算思維能力已日趨重要，世界各地的教育家也開始發展關於運算思維能力培養的課程，而如何有效地評量學生的學習成效也十分重要，目前有許多測驗聲稱能夠評量學生的運算思維能力，但未能說明評量到哪一項概念。因此，本研究以廣為人知的國際運算思維挑戰賽（International Challenge on Informatics and Computational Thinking）為例，利用德菲法進行三回合問卷調查，蒐集專家們的想法，統整出挑戰賽題與運算思維核心概念之關係，並分析各類型專家進行題目評析時的差異，包含哪一類型專家較不受他人影響及其想法較具代表性。本研究礙於題目樣本數及專家人數的關係，將專家分為兩群，評析兩份不一樣的問卷，作為對照，以探討各類專家的差異。實驗結果得知，三回合德菲法問卷調查，可將挑戰賽題依據運算思維五大概念分類，且發現未有任何一題被分類為「分解」這一概念。另外，本研究亦發現 Bebras Challenge 之命題者在評析題目時也容易受他人影響，並且其填答也未必具代表性，主要是德菲法的匿名性使得評析結果更加客觀。. 關鍵字：運算思維、德菲法.

(3) ABSTRACT Computational thinking has become increasingly important. Educators around the world have also begun to develop courses on the development of computational thinking skills. The measurement of students' learning effectiveness is also very important. There are many tests that claim to be able to measure it. But most of them can not be explained which concept is evaluated. Therefore, this study takes the “International Challenge on Informatics and Computational Thinking” as an example. We use Delphi method to conduct a three-round questionnaire survey, collects the ideas of experts, and integrates the core concept of computational thinking and the tasks. We analyzed which types of experts are less affected by others and which are more representative. In this study, due to the number of questions and the experts, the experts were divided into two groups with two different questionnaires that were evaluated as a comparison to explore the differences among various experts. The experimental results show that the three-round Dephi questionnaire can classify the tasks according to the concepts of computational thinking, and find that no one is classified as "decomposition". In addition, this study also found that the Bebras Challenge's propositions are also susceptible to others when evaluating the questions, and their answers are not necessarily representative, mainly because the anonymity of Dephi makes the results of the evaluation more objective.. Keywords: Computational thinking, Delphi Method.

(4) 目錄第一章緒論 ....................................................................................................................................................... 1 第一節研究背景與動機 ..............................................................................................................................1 第二節研究範圍 ..........................................................................................................................................3 第三節論文架構 ..........................................................................................................................................3 第二章文獻探討 ............................................................................................................................................... 4 第一節運算思維(Computational Thinking) ................................................................................................4 第二節國際運算思維挑戰賽(Bebras Challenge) .......................................................................................7 第三節德菲法(Delphi Method) .................................................................................................................10 第三章研究方法 ............................................................................................................................................. 13 第一節研究設計 ........................................................................................................................................13 第二節研究對象 ........................................................................................................................................13 第三節問卷設計 ........................................................................................................................................16 第四節資料蒐集與分析 ............................................................................................................................18 第五節研究限制 ........................................................................................................................................21 第四章研究結果與分析 ................................................................................................................................. 21 第一節 Bebras Challenge 題與運算思維核心概念 ...................................................................................21 第二節問卷填答結果分析 ........................................................................................................................35 第五章結論 ..................................................................................................................................................... 40 參考文獻 ........................................................................................................................................................... 42 附錄一 A 卷第一回合專家調查問卷 ........................................................................................................47 附錄二 B 卷第一回合專家調查問卷 ........................................................................................................53 附錄三 A 卷第二回合專家調查問卷 ........................................................................................................58 附錄四 B 卷第二回合專家調查問卷 ........................................................................................................65 附錄五 A 卷第三回合專家調查問卷 ........................................................................................................70 附錄六 B 卷第三回合專家調查問卷 ........................................................................................................77 附錄七 A 卷 Bebras Challenge 測驗題 ......................................................................................................82 附錄八 B 卷 Bebras Challenge 測驗題 ....................................................................................................107 i.

(5) 表目錄表 2-1. 運算思維能力核心概念及定義.............................................................................................. 7. 表 3-1. A 卷專家背景一覽表 ............................................................................................................ 14. 表 3-2. B 卷專家背景一覽表 ............................................................................................................ 15. 表 3-3. 運算思維五大核心能力........................................................................................................ 17. 表 3-4. 專家問卷之 Bebras Challenge 題目與年齡組別分析 ......................................................... 18. 表 3-5. 實際實驗期程........................................................................................................................ 19. 表 4-1. 題型分析之問卷 A 統計結果 ............................................................................................... 22. 表 4-2. 專家問卷 A 第三回合達共識結果 ....................................................................................... 27. 表 4-3. 題型分析之問卷 B 統計結果 ............................................................................................... 28. 表 4-4. 專家問卷 B 第三回合結果 ................................................................................................... 33. 表 4-5. A、B 兩卷總合第三回合結果 ............................................................................................. 34. 表 4-6. A 卷專家問卷填答一致性 .................................................................................................... 35. 表 4-7. B 卷專家問卷填答一致性 .................................................................................................... 36. 表 4-8. 各類型專家回合填答一致性................................................................................................ 37. 表 4-9. A 卷專家第一回合與最終結果之吻合度 ............................................................................ 38. 表 4-10 B 卷專家第一回合與最終結果之吻合度 .......................................................................... 39 表 4-11 各類型專家最初想法與最終結果吻合度 .......................................................................... 40. 圖目錄圖 2-1. 運算思維概念整理.................................................................................................................. 6. 圖 2-2. Bebras Challenge 參賽者人數累計圖 .................................................................................... 7. 圖 2-3. 修正式德菲法實施步驟(陳陹埅，1996) ............................................................................. 12. 圖 3-1. 第一回合問卷部分內容........................................................................................................ 16. 圖 3-2. 第二回合問卷部分內容........................................................................................................ 20. ii.

(6) 第一章緒論第一節研究背景與動機資訊科技不僅促進人類文明、社會進步及經濟發展，它已普及於社會大眾的生活之中，而 21 世紀的關鍵能力（Partnership for 21st Century Skills, 2009），包含：具批判性地思考與問題解決、有效溝通、團隊合作、創造與創新亦能透過資訊科技來培養，故資訊科技能力之培養已受到許多先進國家的重視。不少先進國家除了重視資訊科技相關之知識與技能外，甚至也開始提供運算思維能力（computational thinking skill）培養的課程。運算思維一詞最早由 Carnegie Mellon University（CMU）之電腦科學學者 Wing 所提出，她認為：「運算思維是運用電腦科學的基本概念來解決問題、設計系統、以及瞭解人類的行為。」運算思維並不是電腦科學家專屬的能力，而是除了閱讀、寫作、計算等基本素養外，人人都應具備之基本能力(Wing, 2006)。世界各地的資訊科學家、教育家也開始注意到「運算思維」這個名詞。我國十二年國民基本教育課程綱要科技領域草案中提及「資訊科技課程則以運算思維為主軸，透過電腦科學相關知能的學習，培養邏輯思考、系統化思考等運算思維，並藉由資訊科技之設計與實作，增進運算思維的應用能力、解決問題能力、團隊合作以及創新思考的能力。國民中學教育階段之課程著重於培養學生利用運算思維與資訊科技解決問題之能力，高級中等學校教育階段則逐步進行電腦科學探索，以了解運算思維之原理而能進一步做跨學科整合應用」，草案中處處可見「運算思維」一詞，108 課綱也指出「運算思維和資訊素養應向下紮根」，但運算思維究竟是什麼？其內涵究竟為何？美國電腦科學教師協會（CSTA）、美國國際教育科技協會（ISTE）甚至 Google 及其他學者也都針對運算思維做了一些定義，但目前多各持己見。此外，運算思維的測量及評估也是一項課題，課程會因無法評估而造成設計上的困難(Román-gonzález, 2016)，而課程的有效性也易產生爭議(Grover &Pea, 2013)。. 1.

(7) 現今已有不少工具或方法去測量學生的運算思維能力，像Werner等人即以程式題來評估學生的運算思維概念 (Werner et al., 2012) 、南非的 CTF(Computational Thinking Framework)更是為了發展、設計評估運算思維題材(如：Light-Bot)的基金會，他們也曾利用資訊奧林匹亞競賽網站上(www.olympiad.org.za/talent-search)的題目來探討大學一年級生的運算思維能力(Gouws et al., 2013)。也有學者自行開發運算思維測驗來進行研究，但其有效性仍待驗證(Walden et al., 2013)，當然，自行設計經專家判定與運算思維頗具相關性的題目也是有的(Román-gonzález, 2016)，不過仍有某些國家以不正式的方式去評估學生運算思維能力(Barendsen et al., 2015)。因此，針對運算思維能力的評估，我們是否該使用一個廣為人知且具有效度的測驗呢？國際運算思維挑戰賽(International Challenge on Informatics and Computational Thinking，以下簡稱Bebras Challenge）常被視為評估運算思維能力的依據，截至2017 年已有44個國家實施過此測驗，從官方網站提供的累計數據可知，目前已超過兩百萬人次參與過Bebras Challenge(www.bebras.org)，因此，本研究認為Bebras Challenge 可說是目前最為普及的運算思維測驗。若能藉由Bebras Challenge得知學生運算思維中「各項」概念的程度，我們便能進行單一概念的探討與加強，因此該測驗的有效性是需要被討論的。若能有效地將測驗題目進行分類，除了能確保該年的測驗涵蓋到所有運算思維概念，也能得知學生較為不足的運算思維概念為何，教師更能針對單一概念設計課程，相信如此對症下藥能更有效地提升全民運算思維能力，故此研究實有進行之必要。本研究主要目的為評析運算思維能力測驗 (以 Bebras Challenge 為例)與運算思維各項概念間的關係，故有以下問題： 1.. Bebras Challenge 與哪些運算思維核心概念相關？. 2.. 不同類型的專家在進行題目評析時，有何差異？. 2.

(8) 第二節研究範圍本研究範圍界定如下：一、以我國 2015 及 2016 兩年之 Bebras Challenge 作為依據，共 50 題。二、以 4 位曾參與 Bebras Challenge 命題者及 21 位通過教育部運算思維種子教師培訓者作為題目分析之專家，共 25 人。. 第三節論文架構本研究已在第一章闡明研究動機與目的；並將於第二章針對運算思維定義與內涵、國際運算思維能力測驗及德菲法進行探討；接著在第三章提出運算思維題目評析策略，包含了相關理論依據、進行方式與內容等；在第四章中整理並分析此題目評析策略的結果；最後於第五章提出本研究的結論與未來研究發展的方向。. 3.

(9) 第二章文獻探討第一節運算思維(Computational Thinking) 一、運算思維的定義與內涵 Wing 於 2006 年提出運算思維時，她認為運算思維具備以下特點：（1）是概念化的，並非直指程式撰寫；（2）是基本的，非死記硬背之技能；（3）是人類解決問題之方法，而非電腦；（4）是結合數學及工程之思維；（5）是構想或概念，非作品（6）是適用於每個人與每個地方。運算思維包括利用歸納、嵌入、轉換或模擬等方法，將複雜問題轉變為我們所熟悉之方式以利解決，或者於設計系統時，藉由抽象化及分解之方法來解決問題之能力(Wing, 2006)。她在 2008 年時更進一步指出，運算思維是種分析式思維，包含以數學思維來解決問題、以工程思維來設計與評估複雜系統及以科學思維來理解人類行為(Wing, 2008)。各國相關領域組織亦覺察此概念之重要性，開始陸續針對運算思維提出不同見解。美國電腦科學教師協會（Computer Science Teachers Association [CSTA], 2011）將運算思維定義為電腦可執行的問題解決策略，包括使用抽象化、重複、遞迴等概念，處理、分析資料，及製作虛擬或實際的成品(Tucker et al., 2011)。美國國際教育科技協會（The International Society for Technology in Education [ISTE], 2011）認為運算思維是模擬自動化工具及數據表示的一種演算思維(Lye &Koh, 2014)。連 Google 也為此下了見解，Google 於 2010 年推出 Exploring Computational Thinking 網站中提到，運算思維適用於任何一門學科，因其為問題解決之一系列技巧，該網站甚至舉例說明運算思維包括：分解問題、模式識別、模式一般化與抽象化，及演算法設計等(Google for Education, 2015)。有些學者認為運算思維是用來解決問題及設計系統的一個方法，且使用不同等級的抽象化及演算法概念，有效理解問題與發展解決方案(Lu &Fletcher, 2009)。亦有認為運算思維內涵包括：一般化與抽象化（包括建模及模擬）、處理資訊之系統化、 4.

(10) 符號系統及表示方法、流程控制的演算法概念、結構化分解問題（模組化）、條件邏輯、效率及執行限制、與除錯及系統性錯誤偵測等(Grover &Pea, 2013)。運算思維是種重新架構問題之想法流程（包括問題制定），且其解法可用運算步驟及演算法表示出；而最重要之部分為找出制定問題與解決方案之合適模型(Aho, 2012)。 CSTA（2011）所提出之電腦科學核心能力指標中，將運算思維視為貫穿整個課程的重要理念，透過運算思維，以期能培養學生解決問題、設計系統、創造新知識及瞭解現今社會中資訊科技的能力與限制。並於 Computational Thinking: Teacher Resources（CSTA, 2011）中提出運算思維之核心概念包含：資料蒐集、資料分析、資料表示、問題分解、抽象化、演算法與程序、自動化、模擬及並行化。此外，ISTE 與 CSTA 共同發展出運算思維之操作型定義：運算思維是問題解決之歷程，它包含下列特性（ISTE, 2011）：（1）制定問題後，利用電腦或其他工具協助解決問題；（2）邏輯化地組織與分析資料；（3）透過抽象化表示資料；（4）透過演算法思維將解題方案自動化；（5）找尋、分析與執行最有效率之可能解題方案及（6）將問題解決之過程一般化，以適用於各種問題。 Barr 與 Stephenson 提出運算思維能力應包含以下：（1）使用抽象化、自動化、演算法、資料蒐集與分析，以設計解決問題之方案；（2）執行合適的設計方案；（3）測試與修正；（4）執行模組化、模擬與系統分析；（5）執行操作與溝通後，能自我省思；（6）理解專有名詞之意義後，能應用它；（7）理解抽象化意義，並能達到不同等級間之抽象化；（8）在原則中，激發創新、探索與創意；（9）小組問題解決及（10）使用不同學習策略(Barr &Stephenson, 2011)。亦有學者認為運算思維應包含以下：（1）發現、理解與解決問題；（2）不同等級抽象化之推理；（3）理解與應用自動化之概念；（4）分析所提出之抽象化之適當性；及（5）擁有各類型之思維（如演算思維、工程思維、設計思維及數學思維）(I.Lee et al., 2011)。此外，美國國家委員會（National Research Council[NRC], 2010）與美國國家科學基金會（National Science Foundation, NSF）所成立之教師與學生創新技術經驗工作小組（Innovative Technology 5.

(11) Experiences for Students and Teachers[ITEST], 2010）亦皆特別強調運算思維中，抽象化及自動化之概念。 Selby 於 2013 提出，運算思維是一種解決問題之思考歷程，且目前廣為大家接受的概念包括抽象化（Abstraction）、分解（Decomposition）、演算法則（Algorithmic thinking）、評估（Evaluation）及歸納、一般化（Generalization）五大概念(Selby, 2013)。. Google (2010) Data Analysis Data Collection Data Representation Abstraction Decomposition Algorithm Design Simulation Pattern Generalization Pattern Recognition Automation Parallelization. ISTE, CSTA& NSF (2011) Data Collection. Selby (2013) Abstraction. Data Analysis Data Representation. Decomposition. Abstraction Problem Decomposition. Algorithmic thinking. Algorithms & Procedures Simulation. Generalization. Automation Parallelization. 圖二-1. Evaluation. 運算思維概念整理. 本研究將文獻中提及之運算思維概念進行統整如圖 2-1，本研究主要目的是評析出題目與運算思維概念間的，換句話說即是將題目進行分類，但我們不希望題型類別過多或過細僅需一個大致的方向即可，因此本研究參考 Selby(2013)統整之五大概念，並將其定義整理出來，作為本研究之運算思維意涵(表 2-1)。. 6.

(12) 表二-1 抽象化. 能理解文字與圖示之關係、能從問題中擷取關鍵重點，並運用適當的資料表示方式。. Abstraction (AB) 分解. 能將大問題拆解成足以解決的小問題。. Decomposition (DE) 演算法則 Algorithmic thinking (AL) 分析 Evaluation (EV) 歸納、一般化 Generalization (GE). 運算思維能力核心概念及定義. 能夠指出解決問題的步驟及流程，包含子問題的解決流程。能夠分析問題解決策略的效能，包括正確性、完整性及有限資源是否能有效利用。能夠從模式辨識、建立模型或理論，用以測試推測結論或套用在其他問題上。. 第二節國際運算思維挑戰賽(Bebras Challenge) 國際運算思維能力測驗(International Challenge on Informatics and Computational Thinking，簡稱 Bebras Challenge) 為立陶宛(Lithuania)維爾紐斯(Vilnius)的大學教授 Valentina Dagiene 於 2003 年創立，Bebras 在立陶宛與中的含義是「海狸」，其象徵著勤奮和追求完美，希望學生堅持完善自己的運算思維能力。Bebras Challenge 首次測驗於 2004 年，當時僅有約 3470 名學生參與。2017 年，全球已有 44 個國家，約 216 萬人次參與 Bebras Challenge(www.bebras.org ,如圖 2-2)。. 圖二-2. Bebras Challenge 參賽者人數累計圖 (圖片出處：www.bebras.org). 7.

(13) 一、Bebras Challenge 目的與設計（參考來源：https://www.bebras.org/） Bebras Challenge 是一個針對問題解決及運算思維的國際級挑戰賽，其主要目標對象是各年齡層的學生及老師，希望藉此增加大家對資訊科學的興趣並提升問題解決能力。這個挑戰賽每年只會舉辦一次，由各國自行在當地舉辦，且多採線上挑戰的方式。每個年齡層的學生都有不同的任務，這些任務可能包含一個或多個資訊科學相關概念，且這些題目幾乎可在沒有資訊科學先備知識的情況下完成。題目多數為選擇題，少部分是互動式的（如:拖拉）。Bebras Challenge 利用完成任務的方式進行來吸引參賽者，為了要完成任務，參賽者必須要運用一些演算法的概念，且需要理解訊息、結構、並進行計算及資料數據處理，每個任務都能測試參賽者至少一項資訊科學能力，因此 Bebras Challenge 常被拿來做為評估學生的資訊學科能力的基礎。任務的分類依據學生年齡及年級可分為以下五類：（一）Primary, 8-9 歲 (三、四年級) （二）Benjamin, 10-12 歲 (五、六年級) （三）Cadets, 13-14 歲(七、八年級) （四）Junior, 15-16 歲(九、十年級) （五）Senior, 17-19 歲(十一至十三年級) 我國則將上述五類分成四組，分別為初級(Primary、Benjamin)、中級(Cadets)、中高級(Junior)與高級(Senior)組。每組之考題又分難、中、易三種等級。我國於目前僅開放中級組及高級組之測驗。 Bebras Challenge 遵循兩個主要資訊科學解決問題的原則：（一）解決問題時，會去比較與實際情境的差異，要利用個人獨有的跨學科的認知，這種能力是無法立竿見影的。（二）興趣及是否切身相關是解決問題相當重要的因素。上述兩點，已轉化為任務設計的準則，如：任務應從科學與社會各領域切入，盡可能接近日常生活的問題，如此能激發人們於日常生活中，有效地使用資訊科技，此外，應強調資訊科技對文化、語言的影響，從而明瞭科技的發展與使用對認知、社會、文化及跨文化等各方面的重要性。建構 Bebras challenge 任務的基本標準是：. 8.

(14) (1)任務可在三分鐘內完成(2)問題陳述要易於理解(3)任務可在一個頁面中呈現(4)任務獨立於特定系統。最常見的任務類型即是資訊科技的問題，再來是其他日常生活中的應用，包括歷史、語言、藝術甚至是與數學相關等綜合問題。Bebras Challenge 能評估資訊學能力的(Bell et al., 2011)、評估數位競爭力(Cartelli et al., 2010)、激發運算思維能力 (Dagiene &Futschek, 2013)。二、我國實施 Bebras Challenge 情況我國自 2012 年開始加入，於每年 11 月中的國際測驗週 (World-Wide Bebras Week) 舉行，與全球同步舉辦。報名人次從 2012 年的 4822 人，開始逐年成長，於 2017 年已達 113675 人次 (資料來源：教育部運算思維推動計畫工作小組)。截至 2017 年，台灣已被列為前五大參與測驗的國家 (如圖 2-1)。我國也有學者使用 Bebras Challenge 衡量學生運算思維能力(G.Lee, Lin, &Lin, 2014)，有效研究數據為 4111 名高中、職學生的測驗結果，研究結果得知學生在中學時期沒有培養足夠的運算思維能力，而且高中與高職之間的差異甚大，實為人擔憂。綜合以上各研究，我們可知 Bebras Challenge 不只在我國、甚至國際上，皆為不可小覷的運算思維測驗。另外為了要培養足夠的運算思維能力，我們理應知道學生缺乏運算思維中哪一概念，才更能針對單一概念進行課程設計，如此有助於培養、提升國人的運算思維能力。三、評析 Bebras Challenge 相關研究由於 Bebras Challenge 被視為重要的一項運算思維能力測驗，因此不少學者開始對它進行分析，甚至有研究指出這些任務被事先估計的難易度與常人感知的難易度是有顯著差距的，Yagunova 等人(2015)即認為，命題者容易低估年齡層較小的參賽者，並高估年齡層較大的參賽者，因此指出難易度難以被預估，但是複雜度是可以的，Dagienė 等人(2014)利用三個歐洲國家的表現，發現解決任務的能力跟學校系統幾乎無關，且通常簡單的任務對低年齡的組別來說，確實比預期的更難。有些研究甚至調查影響成功完成任務的心理因素(Hubwieser & Mühling, 2015)，或者探討如何有效地預測任務的難度(van der Vegt, 2013)，為此，Bellettini 等人利用 Bebras Challenge 創建了一個統計模型(Bellettini et al., 2015)。 9.

(15) Bebras Challenge 的表現與性別的關係，目前並無定論之結果，但仍有學者提出他們對此研究後的看法，如 Dagienė 等人即認為性別與表現無任何顯著差異，儘管 2014 年立陶宛的資料顯示，男孩通常在空間推理任務的表現會優於女孩，但卻也更容易猜一個不確定的答案(Dagienė Valentina et al., 2015)，依據 2015 德國的資料顯示，所有年齡層的男孩表現都進步了，尤其是最年長的學生，其差距更是明顯增加(B, Hubwieser, &Graswald, 2016)。有研究將 2014、2015 兩年 Bebras Challenge 任務進行分類，該研究發現超過一半以上(77%)之任務與 Algorithms & Procedures 相關，且接近半數(42%)任務與 Data Representation 相關，少數(6%)任務與上述兩者無關(Izu, Mirolo, Settle, Mannila, &Stupuriene, 2017)。. 第三節德菲法(Delphi Method) 本研究採用「德菲法」來進行 Bebras Challenge 評析，因此，有必要探討此研究方法之特質、實施步驟及在研究應用上的優缺點等，以作為本研究實施之參考。一、德菲法德菲法（Delphi Method，也譯大慧調查法）由美國蘭德公司（RAND Corporation）於 1950 年代早期所提出，此方法是透過一系列密集且有回饋之問卷，得到一群專家一致意見後，以用來解決一複雜問題(Dalkey, 1969; Dalkey &Olaf, 1962; Linstone & Turoff, 1975)。德菲法主要針對特定議題，採用「連續性問卷調查」來整合群體專家之所長及經驗。為了壁面從眾效應、易產生衝突或情緒化的爭論等諸多缺點(Blair el at., 1990) 利用各次問卷的群體統計結果和意見反應，提供受訪者參考，並重新考慮問題的答案。受訪者可以維持原來的觀點，或做新的決定。而最後呈現的群體判斷之集中量數和意見分析可以反映出群體共識的程度和不同意見的分布情形。為了使所獲得的結果能得到社會的接納獲認可，德菲法需要具有代表性的專家。這些專家通常必須對探究的主題具有專業的經驗或知識，能在反覆問卷中提供思考周密的判斷。德菲法專家必須具備下列四點特質：(1)對問題有深入的涉獵(2) 擁有 10.

(16) 豐富的資訊可與人分享(3) 具有參與德菲法工作的熱忱(4)認為小組的判斷結果，將包含其個人所重視的資訊。(Andre L. Delbecq, Andrew H. Van De Ven, 1975) 德菲法之目的在取得專家群對於各項問題意見之一致性，而每一題項圈選重要程度 4 與 5 的所有專家總比例達百分之七十五以上者，是為該題項的重要性已達一致性(Todd &Reece, 1989)。而本研究所提供之問卷僅 0、1 兩種程度，對專家群意見以更高之標準進行處理：該題項選取 1 的專家比例達百分之八十，則認定該題項已達一致認定為重要之題項。若其中一名決定與群體反應的集中量數不一致且又堅持己見時，則必須提出不願意改變決定的理由，以說服其他成員。Delbecq 等人(1975)認為德非法的優點至少有下列八點： (1) 受訪者以書面方式提出個別的觀點，可蒐集大量意見。 (2) 以文字敘述方式回應問卷，讓受訪者有時間認真思考問題的複雜性，並提出較明確的、高品質的意見。 (3) 作答的行為是個別獨立的，因此受訪者不會立即受到其他人的影響。 (4) 受訪者是匿名的和個別的，免於受到社會壓力的影響。 (5) 對於個別的觀點和判斷，不做任何加全處理的統計，有助於促進參與者的平等性。 (6) 德菲法的過程傾向以結束時所達成的共識作為結論。 (7) 從不同地域與背景的專家中獲取其判斷結果。 (8) 結果的責任落在一群人而菲某個特定人的身上。德菲法實施步驟依據葉重新（2005）之見解，德菲法通常依下列步驟進行： (1) 確定問題：在進行意見溝通前，需先確定所要探討之主題，再編製問卷；於發放問卷時，清楚描述研究問題，以利填答者瞭解研究問題與目標。 (2) 選定專家：德菲調查法主要以專家為調查對象，而符合專家最基本之條件則是具備相關專業知識或實務經驗者。 11.

(17) (3) 問卷編製：第一次問卷應包含開放式問題供專家表示意見，並採用 Likert 五點量表進行評估項目之重要性，分別以眾數、平均數及標準差來討論。 (4) 問卷回收與分析：根據前一回合問卷統計結果，將每題專家評估後之結果、意見，附於下一回合問卷中，供每位專家參考，並重新思考自己是否需要更改答案。重複進行此動作三至四回合，以求專家間之共識。 (5) 撰寫報告：根據回收之問卷，可將資料分為「質」與「量」兩部分進行分析。在質的部分，研究者將問卷之意見分析統整，統計相似意見之次數，並分析不同意見之原因；在量的部分，以眾數、平均數及標準差進行分析，排列出項目之重要性。二、修正式德菲法(Modified Delphi Method) 德菲法與修正的德菲法最主要的差異，在於第一回合問卷的產生方式不同。原始德菲法的第一回合問卷是被設計成開放式的形式，用以收集專家所提供之意見，作為設計第二回合結構式問卷的依據(Riggs, 1983)。而在修正的德菲法中所使用的第一回合問卷，則是由研究者先藉由文獻分析擬出問卷初稿，再經過專家審查、修正後所發展成的半結構式問卷(陳陹埅，1996)。修正的德菲法實施步驟如圖 2-3。. 步驟1. 步驟2. 步驟3. 步驟4. 反覆執行3、. •選定專家. •以文獻探討方. •寄出問卷. •回收並分析相. 4. 式. 關數據. •研擬問卷初稿. •編制下回合問卷. •專家審查修改. 圖二-3. •直到達成共識. 修正式德菲法實施步驟(陳陹埅，1996). 與原始德菲法相比較，使用修正的德菲法較為節省時間及經費，正符合本研究希望有較高效率的原則。. 12.

(18) 第三章研究方法第一節研究設計本研究以修正的德菲法為基準，即第一回合經深度訪談發展結構式問卷，之後接以前一回合所蒐集到的資料進行下回合問卷製成的依據，針對所要探討的運算思維概念作為考量，本研究邀請運算思維專家，包含運算思維能力測驗命題者及通過教育部運算思維種子教師培訓之國高中教師共同加入專家群，藉由專家們所提供各自不同的意見，以獲得周詳的研究結果。本研究透過問卷調查法，由於德菲法操作至少需要三回合以上方能達到 80%以上題目的收斂(Chin-Chia el at., 2007)，因此本研究以三回合之問卷調查所蒐集到的資料進行分析。 Dalkey 指出若德菲法專家人數以至少 10 人時，其群體誤差最低，即可信度最高 (N.C.Dalkey, 1969)。林振春(1992)則認為同質性高的團體，成員數量宜為 15 至 30 人左右，倘若成員間異質性較高時，則 5 至 10 人便已足夠，但一般而言，10 人以上時群體誤差最低，可信度最高(Brooks, 1979；Parente & Anderson-Parente, 1987)。. 第二節研究對象第一回合問卷製成以 4 位資訊工程研究員（其中包含 3 位資訊教育研究員）及 1 位資深資訊工程及資訊教育學者進行問卷的初稿審查與修正。另有 25 位受訪者，在本研究中我們稱之為「專家」。根據文獻，德菲法專家選擇應以具有該研究主題專業能力者為優先考量，其判斷標準包括：是否比大部分人對該主題有更完整且深入的認識？是否具有相關工作經驗以及是否為相關專業團體的會員？(Dalkey, 1975)為了使所獲得的結果能得到社會的接納獲認可，德菲法需要具有代表性的專家。這些專家通常必須對探究的主題具有專業的經驗或知識，能在反覆問卷中提供思考周密的判斷。 13.

(19) 本研究之專家定義如下： (一)曾為國際運算思維能力測驗命題者 (二)曾參加我國高中資訊教師運算思維增能研習且為合格種子教師者其背景包含大學資訊相關科系教授及我國中、小學資訊科技概論教師。又「曾參加我國高中資訊教師運算思維增能研習且為合格種子教師者」可再依研習總成績高低做區分，因此本研究之專家可分為以下三種類型(一覽表如表 3-1、表 3-2)：類型一：曾為臺灣 Bebras Challenge 命題者。類型二：以高分通過運算思維增能研習者。類型三：非高分通過運算思維增能研習者。表三-1. A 卷專家背景一覽表. 類型一. 臺北市. ＯＯ女中. 女. 共計 2 人. 臺北市. ＯＯ大學. 男. 臺北市. ＯＯ國中. 女. 新竹縣. ＯＯ中心. 男. 嘉義縣. ＯＯ國中. 男. 高雄市. ＯＯ高中. 女. 屏東縣. ＯＯ國中. 女. 臺北市. ＯＯ國中. 男. 新北市. ＯＯ國中. 男. 類型三. 苗栗縣. ＯＯ高中. 男. 共計 6 人. 嘉義縣. ＯＯ高中. 男. 雲林縣. ＯＯ高中. 男. 高雄市. ＯＯ高中. 女. 類型二共計 5 人. 總計 13 人，8 男 5 女(男:女＝1.6:1). 14.

(20) 由表 3-1 可知，填寫 A 卷之專家：類型一有 2 人、類型二有 5 人、類型三有 6 人，分別任教於臺北市、新北市、新竹縣、苗栗縣、雲林縣、嘉義縣、高雄市、屏東縣之國、高中及大學，總計 13 人，包含 8 男 5 女(男:女＝1.6:1)。由此可知，A 卷專家之選擇並不特別限定為都會區，性別差距也不算大。. 表三-2. B 卷專家背景一覽表. 類型一. 臺北市. ＯＯ大學. 女. 共計 2 人. 臺北市. ＯＯ大學. 女. 臺北市. ＯＯ國中. 女. 屏東縣. ＯＯ高中. 女. 金門縣. ＯＯ國中. 女. 臺北市. ＯＯ國中. 女. 新北市. ＯＯ國中. 女. 新竹縣. ＯＯ國中. 男. 彰化縣. ＯＯ國中. 男. 高雄市. ＯＯ國中. 男. 宜蘭縣. ＯＯ中學. 男. 臺東縣. ＯＯ國中. 女. 類型二共計 3 人. 類型三共計 7 人. 總計 12 人，4 男 8 女(男:女＝1:2) 由表 3-2 可知，填寫 B 卷之專家：類型一有 2 人、類型二有 3 人、類型三有 7 人，分別任教於臺北市、新北市、新竹縣、彰化縣、高雄市、屏東縣、臺東縣、宜蘭縣、金門縣之國、高中及大學。總計 13 人，包含 4 男 8 女(男:女＝1:2)。B 卷專家之選擇也不特別限定為都會區，性別比也非極端。. 15.

(21) 第三節問卷設計一、問卷題目產出本問卷以電子方式呈現(詳見附錄)，第一頁包含問卷目的、題數、填答依據及填答步驟。從第二回合開始，填答方法上有些微修改，故於第二頁附上該回合補充說明。本研究以 2015、2016 年臺灣 Bebras Challenge（題目統計請見表 3-3、3-4）進行題目分析，主因為，該測驗比起其他學者自行開發之運算思維測驗(詳見第二章文獻探討)，已是臺灣普及率最廣者，另外，由於臺灣於 2012 才加入，使用較近期的兩年的測驗題目，主要是認為初期命題時可能尚未有一個定向，故選擇較近期的兩年，日後要對學生測驗的成效做分析其樣本數也較高，故以 Bebras Challenge2015、2016 兩年之全部題目進行分析，無刻意篩選，主要希望呈現完整的原始題目。本次題目分析，主要希望分析出「Bebras Challenge 題」與「運算思維五大概念」之關係。題目表示方式如圖 3-1 所示。. 圖三-1. 第一回合問卷部分內容. 16.

(22) 二、問卷填寫規則問卷之收、發皆使用電子郵件方式。電子郵件內容(見附錄一)清楚說明填答方式，並請專家細看題目、認真填答。待專家填答完畢後，進行問卷回收整理與統計。綜合第二章之文獻，本研究採用 Wing 於 2006 年提出之運算思維概念：運算思維是用於人類解決問題之基本技能，這樣的技能結合數學及工程的概念，並且適用於每個人與每個地方。綜合眾多文獻，我們歸納出最符合之運算思維五大核心能力，包含：抽象化、分解、演算法則、分析及歸納、一般化，各項定義如表 3-3，上述運算思維五大核心概念亦附於問卷的說明頁中(如附錄)供專家們參考。表三-3 運算思維五大核心能力抽象化 Abstraction (AB). 能理解文字與圖示之關係、能從問題中擷取關鍵重點，並運用適當的資料表示方式。. 分解能將大問題拆解成足以解決的小問題。 Decomposition (DE) 演算法則 Algorithmic thinking (AL). 能夠指出解決問題的步驟及流程，包含子問題的解決流程。. 分析. 能夠分析問題解決策略的效能，包括正確. Evaluation (EV). 性、完整性及有限資源是否能有效利用。. 歸納、一般化 Generalization (GE). 能夠從模式辨識、建立模型或理論，用以測試推測結論或套用在其他問題上。. Lanford 提出德菲法的問卷調查最佳回合數為三至四回合，因此本研究利用三回合之問卷調查讓專家們針對各題進行評析，且為了消除圓桌會議本就費時且效率低之缺陷(Lanford,1972)，第一回合即為結構式問卷。每回合問卷題數皆為 25 題，題項為運算思維五大核心概念，每回合專家應勾選至多兩題項（圖 3-1）。完整問卷內容請見附件一。 17.

(23) 第四節資料蒐集與分析本實驗共分兩組，分別做 A、B 兩卷，兩卷之 Bebras Challenge 題不相同，主要是希望題目樣本數多一點，但基於。A、B 卷包含之年齡組別如表 3-4 所示，年齡組別數量雖不同，但整體題數相同。B 卷有些題目橫跨 2-3 個組別(如:某題程度可能為 Benjamin 難、Cadet 中、Junior 易，橫跨三個組別)主要原因為，B 卷使用的題目是臺灣 Bebras Challenge2016 年的題目，該年起增加 Benjamin 組及 Cadet 組，所以才可能會有橫跨三組的題目，不過本研究目的主要並非探討難易度的差異，因此年齡組別差異不構成變因，僅供參考。表三-4 專家問卷之 Bebras Challenge 題目與年齡組別分析卷別 A 卷(25 題). B 卷(25 題). 年齡組別. 題數. Junior. 16. Senior. 16. Benjamin. 18. Cadet. 22. Junior. 22. Senior. 19. 一、實施方式本研究以資訊工程及教育研究員審查後之德菲法問卷請專家學者提供意見。第一回合問卷即為結構式問卷，但專家仍可提供意見，以調整問卷基礎。問卷回收後，須整理、分析並修正問卷，計算每一題項所有專家之統計數據，並檢附所有專家前一次整體反應值作為參考，由專家填寫第二次問卷，專家可對未達共識之題項進行評定。以此類推，反覆實施，直至達成共識為止。實驗採用「電子式問卷」並以「電子郵件」方式進行收發，每回合問卷發放皆有明訂問卷回收日期。. 18.

(24) 二、實驗期程安排本研究自 106 年五月中旬開始，為期約 6 週(專家填寫約 10 天，回收並進行統計及整理約 5 天，總計三回合，共 45 天)。三、實際實驗期程 106 年 5 月 16 日開始，106 年 7 月 7 日結束，約 7 週(見表 3-5)。表三-5 寄發專家邀請函. 實際實驗期程回收. 備註. 106 年 5 月 7 日因 5 月 31 日才收集完. 第一回合問卷. 106 年 5 月 16 日. 106 年 5 月 22 日. 畢，導致第二回合發放時間延後。避免回收問卷期程耽. 第二回合問卷. 106 年 6 月 9 日. 106 年 6 月 19 日. 誤，於 6 月 18 日再寄信提醒專家問卷回收時間。. 第三回合問卷. 106 年 6 月 30 日. 106 年 7 月 7 日. 回收時仍有遲交情形，狀況不盡相同。. 四、一致程度判別標準本研究以意見「一致性」的統計判斷為準，所謂「一致性」，主要觀察專家群對每一題項的意見，據 Todd 與 Reece(1989)的看法，被圈選為高重要程度（4 與 5）的所有專家總比例達百分之七十五以上者，是為該題項的重要性已達一致性。本研究提供之問卷，每個題項皆為二選一，即「重要」、「不重要」，故將前限制比例提高，被圈選為重要之題項若超過專家總比例「百分之八十」以上，則認定該題項已達一致認定為重要之題項，下一回合不再詢問專家對於該題項之意見。每回合提供開放式問答題「若有特殊考量，請說明」供專家進行選填、發表想法給予其他專家參考，內容將呈現於下一回合問卷中供其他專家參考。. 19.

(25) 五、其他相關說明每回合問卷皆根據前一回合填答結果做修改(如：第二回合根據第一回合結果)，詳細說明如下：（1）各題項下方會顯示前一回合統計結果。舉例說明：第一回合時分別有 1 人勾選抽象化、3 人勾選分解、5 人勾選演算法則、12 人勾選分析及 2 人勾選歸納一般化，這些都將呈現於第二回合問卷中(如圖 3-2)。（2）前一回合已達共識(獲得專家總比例百分之八十的認可)之題項，於本回合將以不同符號呈現。舉例說明：分析(EV)這項能力於第一回合中已達共識，則該項目於第二回合時將以不同符號呈現，且專家僅能於該題再勾選至多一個項目(如圖 3-2)。. 圖三-2. 第二回合問卷部分內容. 20.

(26) 第五節研究限制本研究限制如以下兩點： 1.. 本研究調查問卷內之運算思維測驗題目以「2015、2016 臺灣 Bebras 運算思維挑戰賽」試題為主，試題樣本數量為 50 題. 2.. 本研究對象專家樣本數僅 25 人，無特別限定為臺灣北、中、南部、都會或偏鄉區域。專家及題目樣本數皆非大量，恐無法類化，研究結果僅適合作為參考。. 第四章研究結果與分析本章分為兩節，第一節以「Bebras Challenge 與運算思維概念」進行分析，第二節則以「專家」作為分析要點。. 第一節. Bebras Challenge 題與運算思維核心概念. 由表 4-1 可見得，以 A 卷第一題【A1】三個回合為例，說明如下：第一回合時，「抽象化」、「分解」、「演算法則」、「分析」、「歸納、一般化」分別有 8、 1、2、6 及 6 人勾選，分別佔 62%、8%、15%、46%及 46%，尚無任何一題項達成共識；第二回合時，「抽象化」、「分析」、「歸納、一般化」，分別有 9、7 及 5 人勾選，佔 69%、54%及 38%，而「分解」或「演算法則」則無，仍沒有一項達共識；第三回合時，「抽象化」、「分析」及「歸納、一般化」分別有 11、5、10 人勾選，佔 85%、38%及 77%，其中「抽象化」及「歸納、一般化」已達共識，為專家認為本題最重要之能力，另外兩項則無人勾選。以此類推，A 卷各題項所含之專家人數及百分比皆列於表 4-2。. 21.

(27) 表四-1 題型分析之問卷 A 統計結果單位：人(百分比) 解題時所需具備重要之運算思維能力題目運算思維概念編號. A1. A2. A3. A4. A5. 第一回合. 第二回合. 第三回合. 抽象化. 8. (62%). 9. (69%). 11. (85%). 分解. 1. (8%). 0. (0%). 0. (0%). 演算法則. 2. (15%). 0. (0%). 0. (0%). 分析. 6. (46%). 7. (54%). 5. (38%). 歸納、一般化. 6. (46%). 5. (38%). 10. (77%). 抽象化. 4. (31%). 3. (23%). 2. (15%). 分解. 5. (38%). 6. (46%). 8. (62%). 演算法則. 5. (38%). 2. (15%). 1. (8%). 分析. 7. (54%). 10. (77%). 12. (92%). 歸納、一般化. 3. (23%). 1. (8%). 0. (0%). 抽象化. 5. (38%). 3. (23%). 1. (8%). 分解. 1. (8%). 0. (0%). 0. (0%). 演算法則. 4. (31%). 1. (8%). 0. (0%). 分析. 7. (54%). 12. (92%). 13. (100%). 歸納、一般化. 5. (38%). 6. (46%). 8. (62%). 抽象化. 5. (38%). 6. (46%). 8. (62%). 分解. 5. (38%). 2. (15%). 0. (0%). 演算法則. 2. (15%). 2. (15%). 0. (0%). 分析. 3. (23%). 1. (8%). 0. (0%). 歸納、一般化. 7. (54%). 11. (85%). 13. (100%). 抽象化. 2. (15%). 0. (0%). 0. (0%). 22.

(28) A6. A7. A8. A9. A10. 分解. 3. (23%). 1. (8%). 0. (0%). 演算法則. 3. (23%). 3. (23%). 0. (0%). 分析. 5. (38%). 4. (31%). 7. (54%). 歸納、一般化. 7. (54%). 11. (85%). 13. (100%). 抽象化. 1. (8%). 0. (0%). 0. (0%). 分解. 1. (8%). 0. (0%). 0. (0%). 演算法則. 8. (62%). 11. (85%). 13. (100%). 分析. 4. (31%). 3. (23%). 2. (15%). 歸納、一般化. 6. (46%). 5. (38%). 5. (38%). 抽象化. 2. (15%). 0. (0%). 0. (0%). 分解. 3. (23%). 1. (8%). 0. (0%). 演算法則. 10. (77%). 13. (100%). 13. (100%). 分析. 3. (23%). 3. (23%). 8. (62%). 歸納、一般化. 3. (23%). 2. (15%). 0. (0%). 抽象化. 5. (38%). 1. (8%). 0. (0%). 分解. 0. (0%). 0. (0%). 0. (0%). 演算法則. 10. (77%). 13. (100%). 13. (100%). 分析. 5. (38%). 5. (38%). 7. (54%). 歸納、一般化. 2. (15%). 1. (8%). 1. (8%). 抽象化. 3. (23%). 0. (0%). 0. (0%). 分解. 3. (23%). 0. (0%). 0. (0%). 演算法則. 7. (54%). 9. (69%). 9. (69%). 分析. 7. (54%). 12. (92%). 13. (100%). 歸納、一般化. 2. (15%). 2. (15%). 0. (0%). 抽象化. 3. (23%). 0. (0%). 0. (0%). 23.




(32) 分解. 1. (8%). 0. (0%). 0. (0%). 演算法則. 8. (62%). 13. (100%). 13. (100%). 分析. 3. (23%). 1. (8%). 0. (0%). 歸納、一般化. 2. (15%). 1. (8%). 0. (0%). 由表 4-2 可知，A 卷第三回合結果，於 25 題中，有 2 題達共識為「抽象化」、有 9 題為「演算法則」、有 9 題為「分析」、有 5 題為「歸納、一般化」，而未有任何一題的「分解」概念達共識。小計，共 23 題(92%)達共識僅含一項重要概念，1 題 (4%)達共識含兩項重要概念，未達共識有 1 題(4%)。未達共識的 A13，仍有過半數的項目，亦可算有成功被分類，僅未達本研究之共識門檻。表四-2. 專家問卷 A 第三回合達共識結果. 解題時所需具備重要之運算思維能力. 題. 抽象化. 2. 分解. 0. 演算法則. 9. 分析. 9. 歸納、一般化. 5. 僅含一項重要概念. 23. 含兩項重要概念. 1. 未達共識. 1. 由表 4-3 可見得，以 B 卷第一題【B1】三個回合為例，說明如下：第一回合時，「抽象化」、「分解」、「演算法則」、「分析」、「歸納、一般化」分別有 4、 1、6、6 及 3 人勾選，分別佔 33%、8%、50%、50%及 25%，無任何一個項達共識；. 27.

(33) 第二回合時，「抽象化」、「演算法則」、「分析」、「歸納、一般化」，分別有 3、5、8 及 5 人勾選，佔 25%、42%、67%及 42%，而「分解」無人勾選，仍無任何一項達共識；第三回合時，「抽象化」、「演算法則」、「分析」及「歸納、一般化」分別有 1、5、11 及 1 人勾選，佔 8%、42%、92%及 8%，「分解」則無，僅「分析」這一項達共識，為解本題時所需具備最重要之能力。以此類推，B 卷各題項所含之專家人數及百分比皆列於表 4-3。. 題型分析之問卷 B 統計結果. 表四-3. 單位：人(百分比) 解題時所需具備重要之運算思維能力題目運算思維概念編號. B1. B2. 第一回合. 第二回合. 第三回合. 抽象化. 4. (33%). 3. (25%). 1. (8%). 分解. 1. (8%). 0. (0%). 0. (0%). 演算法則. 6. (50%). 5. (42%). 5. (42%). 分析. 6. (50%). 8. (67%). 11. (92%). 歸納、一般化. 3. (25%). 5. (42%). 1. (8%). 抽象化. 1. (8%). 0. (0%). 0. (0%). 分解. 3. (25%). 3. (25%). 2. (17%). 演算法則. 6. (50%). 4. (33%). 2. (17%). 分析. 9. (75%). 10. (83%). 12. (100%). 歸納、一般化. 2. (17%). 2. (17%). 1. (8%). 抽象化. 6. (50%). 9. (75%). 12. (100%). 分解. 0. (0%). 0. (0%). 0. (0%). 演算法則. 1. (8%). 0. (0%). 0. (0%). 分析. 3. (25%). 1. (8%). 0. (0%). B3. 28.

(34) B4. B5. B6. B7. B8. 歸納、一般化. 8. (67%). 8. (67%). 6. (50%). 抽象化. 0. (0%). 0. (0%). 0. (0%). 分解. 2. (17%). 1. (8%). 0. (0%). 演算法則. 9. (75%). 10. (83%). 12. (100%). 分析. 4. (33%). 5. (42%). 4. (33%). 歸納、一般化. 2. (17%). 1. (8%). 0. (0%). 抽象化. 6. (50%). 8. (67%). 10. (83%). 分解. 1. (8%). 0. (0%). 0. (0%). 演算法則. 4. (33%). 4. (33%). 1. (8%). 分析. 4. (33%). 4. (33%). 2. (17%). 歸納、一般化. 5. (42%). 5. (42%). 6. (50%). 抽象化. 2. (17%). 0. (0%). 0. (0%). 分解. 2. (17%). 0. (0%). 0. (0%). 演算法則. 7. (58%). 10. (83%). 12. (100%). 分析. 4. (33%). 5. (42%). 3. (25%). 歸納、一般化. 3. (25%). 2. (17%). 0. (0%). 抽象化. 4. (33%). 4. (33%). 4. (33%). 分解. 0. (0%). 0. (0%). 0. (0%). 演算法則. 3. (25%). 1. (8%). 2. (17%). 分析. 4. (33%). 4. (33%). 3. (25%). 歸納、一般化. 8. (67%). 8. (67%). 10. (83%). 抽象化. 5. (42%). 4. (33%). 1. (8%). 分解. 2. (17%). 0. (0%). 0. (0%). 演算法則. 0. (0%). 0. (0%). 0. (0%). 29.

(35) 分析. 6. (50%). 7. (58%). 11. (92%). 歸納、一般化. 5. (42%). 5. (42%). 6. (50%). 抽象化. 3. (25%). 4. (33%). 5. (42%). 分解. 5. (42%). 2. (17%). 0. (0%). 演算法則. 3. (25%). 2. (17%). 1. (8%). 分析. 6. (50%). 9. (75%). 11. (92%). 歸納、一般化. 3. (25%). 2. (17%). 1. (8%). 抽象化. 2. (17%). 2. (17%). 0. (0%). 分解. 1. (8%). 0. (0%). 0. (0%). B10 演算法則. 9. (75%). 12. (100%). 12. (100%). 分析. 3. (25%). 4. (33%). 4. (33%). 歸納、一般化. 3. (25%). 2. (17%). 0. (0%). 抽象化. 2. (17%). 0. (0%). 0. (0%). 分解. 1. (8%). 0. (0%). 0. (0%). B11 演算法則. 3. (25%). 2. (17%). 3. (25%). 分析. 8. (67%). 11. (92%). 12. (100%). 歸納、一般化. 4. (33%). 3. (25%). 1. (8%). 抽象化. 4. (33%). 1. (8%). 0. (0%). 分解. 0. (0%). 0. (0%). 0. (0%). B12 演算法則. 2. (17%). 1. (8%). 1. (8%). 分析. 7. (58%). 11. (92%). 12. (100%). 歸納、一般化. 4. (33%). 5. (42%). 3. (25%). 抽象化. 5. (42%). 4. (33%). 2. (17%). 分解. 2. (17%). 1. (8%). 0. (0%). B9. B13. 30.

(36) 演算法則. 0. (0%). 0. (0%). 0. (0%). 分析. 6. (50%). 8. (67%). 11. (92%). 歸納、一般化. 5. (42%). 6. (50%). 5. (42%). 抽象化. 4. (33%). 5. (42%). 5. (42%). 分解. 1. (8%). 0. (0%). 0. (0%). B14 演算法則. 5. (42%). 5. (42%). 2. (17%). 分析. 7. (58%). 8. (67%). 9. (75%). 歸納、一般化. 3. (25%). 1. (8%). 1. (8%). 抽象化. 6. (50%). 6. (50%). 4. (33%). 分解. 0. (0%). 0. (0%). 0. (0%). B15 演算法則. 3. (25%). 1. (8%). 1. (8%). 分析. 4. (33%). 4. (33%). 2. (17%). 歸納、一般化. 7. (58%). 9. (75%). 11. (92%). 抽象化. 8. (67%). 11. (92%). 12. (100%). 分解. 2. (17%). 1. (8%). 0. (0%). B16 演算法則. 2. (17%). 1. (8%). 1. (8%). 分析. 4. (33%). 2. (17%). 0. (0%). 歸納、一般化. 3. (25%). 5. (42%). 4. (33%). 抽象化. 6. (50%). 9. (75%). 11. (92%). 分解. 1. (8%). 0. (0%). 0. (0%). B17 演算法則. 4. (33%). 3. (25%). 2. (17%). 分析. 6. (50%). 7. (58%). 7. (58%). 歸納、一般化. 2. (17%). 0. (0%). 0. (0%). 8. (67%). 9. (75%). 8. (67%). B18 抽象化. 31.

(37) 分解. 1. (8%). 1. (8%). 0. (0%). 演算法則. 5. (42%). 6. (50%). 7. (58%). 分析. 2. (17%). 1. (8%). 0. (0%). 歸納、一般化. 2. (17%). 2. (17%). 1. (8%). 抽象化. 1. (8%). 0. (0%). 0. (0%). 分解. 3. (25%). 1. (8%). 0. (0%). B19 演算法則. 9. (75%). 11. (92%). 12. (100%). 分析. 3. (25%). 4. (33%). 2. (17%). 歸納、一般化. 4. (33%). 3. (25%). 2. (17%). 抽象化. 5. (42%). 6. (50%). 9. (75%). 分解. 1. (8%). 0. (0%). 0. (0%). B20 演算法則. 4. (33%). 3. (25%). 1. (8%). 分析. 4. (33%). 5. (42%). 7. (58%). 歸納、一般化. 4. (33%). 3. (25%). 2. (17%). 抽象化. 2. (17%). 1. (8%). 1. (8%). 分解. 0. (0%). 0. (0%). 0. (0%). B21 演算法則. 8. (67%). 9. (75%). 11. (92%). 分析. 10. (83%). 9. (75%). 8. (67%). 歸納、一般化. 1. (8%). 0. (0%). 0. (0%). 抽象化. 4. (33%). 2. (17%). 2. (17%). 分解. 2. (17%). 0. (0%). 0. (0%). B22 演算法則. 1. (8%). 1. (8%). 0. (0%). 分析. 7. (58%). 11. (92%). 12. (100%). 歸納、一般化. 4. (33%). 2. (17%). 2. (17%). 32.

(38) 抽象化. 1. (8%). 0. (0%). 0. (0%). 分解. 2. (17%). 0. (0%). 0. (0%). B23 演算法則. 5. (42%). 7. (58%). 4. (33%). 分析. 8. (67%). 11. (92%). 12. (100%). 歸納、一般化. 3. (25%). 0. (0%). 0. (0%). 抽象化. 4. (33%). 9. (75%). 9. (75%). 分解. 1. (8%). 0. (0%). 0. (0%). B24 演算法則. 5. (42%). 4. (33%). 2. (17%). 分析. 4. (33%). 5. (42%). 6. (50%). 歸納、一般化. 3. (25%). 2. (17%). 0. (0%). 抽象化. 2. (17%). 1. (8%). 0. (0%). 分解. 1. (8%). 0. (0%). 0. (0%). B25 演算法則. 4. (33%). 2. (17%). 1. (8%). 分析. 6. (50%). 9. (75%). 11. (92%). 歸納、一般化. 6. (50%). 7. (58%). 5. (42%). 由表 4-4 可知，B 卷第三回合結果，於 25 題中，有 4 題達共識為「抽象化」、有 6 題為「演算法則」、有 9 題為「分析」、有 2 題為「歸納、一般化」，而未有任何一題的「分解」概念達共識。小計，共 21 題(84%)達共識僅含一項重要概念，0 題達共識韓兩項重要概念，未達共識有 4 題(16%)，未達共識的四題(B14、B18、B20、 B24)，仍有過半數的項目，亦可算有成功被分類，僅未達本研究之共識門檻。表四-4. 專家問卷 B 第三回合結果. 解題時所需具備重要之運算思維能力. 題項. 抽象化. 4. 分解. 0 33.

(39) 演算法則. 6. 分析. 9. 歸納、一般化. 2. 僅含一項重要概念. 21. 含兩項重要概念. 0. 未達共識. 4. 由表 4-5 可知，A、B 兩卷總合第三回合結果，總共 50 題中，有 6 題(12%)達共識為「抽象化」、有 15 題(30%)為「演算法則」、有 18 題(36%)為「分析」、有 7 題 (14%)為「歸納、一般化」，而未有任何一題的「分解」概念達共識。小計，共 44 題達共識僅含一項重要概念，1 題達共識含兩項重要概念，5 題未達本研究共識門檻。表四-5. A、B 兩卷總合第三回合結果. 解題時所需具備重要之運算思維能力. 題. (百分比). 抽象化. 6. 12%. 分解. 0. 0%. 演算法則. 15. 30%. 分析. 18. 38%. 歸納、一般化. 7. 21%. 僅含一項重要概念. 44. 88%. 含兩項重要概念. 1. 2%. 未達共識. 5. 10%. 由上述可知，臺灣 2015、2016 年 Bebras Challenge 題目多為「分析」及「演算法則」兩大概念，其他概念略顯不足，尤其沒有任何一題被分類為「分解」這一項。. 34.

(40) 第二節問卷填答結果分析本研究試圖找出最適合進行運算思維題目題目評析之專家，以下列兩個條件作判斷：（一）專家進行題目評析時，是否會受他人影響？（二）專家的最初想法與問卷最終共識結果吻合程度是否高？一、專家對運算思維的熟悉度以下將於表 4-6、4-7 列出 A、B 兩卷，專家「第一回合、第二回合」及「第二回合、第三回合」填答一致性，本研究一致性算法如下：. 一致性＝. 𝑛（兩回合皆有勾選之項目） 𝑛（前一回合有勾選之項目 ∪ 後一回合有勾選之項目）. 表四-6. A 卷專家問卷填答一致性. 專家類型. 專家編號. 第一回合與第二回合. 第二回合與第三回合. B. A-1. 45%. 47%. B. A-2. 31%. 66%. B. A-3. 52%. 79%. B. A-4. 54%. 79%. B. A-5. 65%. 63%. C. A-6. 53%. 69%. C. A-7. 49%. 74%. C. A-8. 36%. 72%. C. A-9. 65%. 65%. 35.

(41) C. A-10. 29%. 32%. C. A-11. 35%. 68%. A. A-12. 48%. 73%. A. A-13. 55%. 82%. 各類型專家人數小計專家類型. A. B. C. A. B. C. 一致性≧80%. 0. 0. 0. 1. 0. 0. 80%>一致性≧70%. 0. 0. 0. 1. 2. 2. 70%>一致性≧60%. 0. 1. 1. 2. 3. 60%>一致性. 2. 5. 4. 1. 1. 由表 4-6 我們可看到 A 卷 13 位專家第一第、二表四-7. 二、回專家類型三. B 卷專家問卷填答一致性. 專家編號. 第一回合與第二回合. 第二回合與第三回合. B. B-1. 38%. 52%. B. B-2. 70%. 70%. B. B-3. 65%. 57%. C. B-4. 60%. 61%. C. B-5. 60%. 68%. C. B-6. 64%. 73%. C. B-7. 30%. 55%. 合回問合卷問填卷答填一答致一性致 ≧ 性 36. ≧ 7 80 0%.

(42) C. B-8. 34%. 63%. C. B-9. 14%. 47%. C. B-10. 44%. 76%. A. B-11. 32%. 47%. A. B-12. 80%. 75%. 各類型專家人數小計專家類型. A. B. C. A. B. C. 一致性≧80%. 1. 0. 0. 0. 0. 0. 80%>一致性≧70%. 0. 1. 0. 1. 1. 2. 70%>一致性≧60%. 0. 1. 3. 0. 0. 3. 60%>一致性. 1. 1. 4. 1. 2. 2. 由表 4-7 我們可看到 B 卷 12 位專家第一第、二二、. 表四-8. A卷. 回三合回. 各類型專家回合填答一致性 B卷. 專家類型. A. B. C. A. B. C. 合第一回合與第二回合問. 51%. 49%. 45%. 56%. 57%. 44%. 問第二回合與第三回合卷. 77%. 66%. 63%. 61%. 60%. 63%. 卷填表 4-8 為表 4-6、4-7 之統整，我們可知答填 A 卷第一回合與第二回合一致性以類型 A 之專家為最高(51%)，但僅跟類型 B 之專一答家相差 2%，第二回合與第三回合一致性以類型 A 之專家最高(77%)，且與專家類型致一 B、C 相差 11%以上。性致 37. ≧ 性介 8 在 0.

(43) B 卷第一回合與第二回合一致性以類型 B 之專家為最高(57%)，但跟類型 A 專家僅相差 1%，第二回合與第三回合一致性以類型 C 之專家最高(63%)，跟其他類型專家相差不超過 3%。. 二、專家的代表性以下將於表 4-9、4-10 列出 A、B 兩卷，專家「第一回合填答情況、最終共識結果」之吻合度，本研究吻合度算法如下：. 吻合度＝. 表四-9. 𝑛（第一回合勾選之項目） 𝑛（最終結果達共識之項目）. A 卷專家第一回合與最終結果之吻合度. 專家類型. 專家編號. 第一回合填答與最終結果之百分比一致性. B. A-1. 68%. B. A-2. 52%. B. A-3. 76%. B. A-4. 68%. B. A-5. 60%. C. A-6. 56%. C. A-7. 68%. C. A-8. 52%. C. A-9. 72%. C. A-10. 56%. C. A-11. 72%. 38.

(44) A. A-12. 56%. A. A-13. 56% 各類型專家人數小計. 專家類型. A. B. C. 吻合度≧80%. 0. 0. 0. 80%>吻合度≧70%. 0. 1. 2. 70%>吻合度≧60%. 0. 3. 1. 60%>吻合度. 2. 1. 3. 表 4-9 我們可得知 A 卷專家第一回合填答結果與最終結果吻合度最高介於 70%至 8 0 表四-10. % 共專家類型. B 卷專家第一回合與最終結果之吻合度. 專家編號. 第一回合填答與最終結果之百分比一致性. B. B-1. 62%. B. B-2. 67%. B. B-3. 52%. C. B-4. 67%. C. B-5. 71%. C. B-6. 67%. C. B-7. 48%. 比. C. B-8. 71%. 為. C. B-9. 19%. 有 3 人，、、類型. C ，吻合度介於 60%至B-10 70%有 4 人(0:3:1)，低於 60%有 671% 人(2:1:3)。. 39.

(45) A. B-11. 71%. A. B-12. 57% 各類型專家人數小計. 專家類型. A. B. C. 吻合度≧80%. 0. 0. 0. 80%>吻合度≧70%. 1. 0. 3. 70%>吻合度≧60%. 0. 2. 2. 60%>吻合度. 1. 1. 2. 表 4-10 我們可得知 B 卷專家第一回合填答結果與最終結果吻合度最高介於 70%至 8 0 表四-11. %. 各類型專家最初想法與最終結果吻合度 A卷. 共有. 類型. 4 最初想法與最終結果. B卷. A. B. C. A. B. C. 56%. 65%. 63%. 63%. 60%. 59%. 人表 4-11 我們可得知，A 卷以專家類型 B 之最初想法與最終結果最吻合(吻合度＝， 65%)，與類型 C 之專家僅相差 2%；B 卷則以專家類型 A 之最初想法與最終結果最、吻合(吻合度＝63%)，與類型 B 僅差 3%。、類. 第五章結論. 型本研究主要針探討 Bebras Challenge 與運算思維概念間的關係，透過德非法問比卷調查進行運算思維測驗題目評析，透過研究資料分析，針對 Bebras Challenge 與運為算思維、評析題目時的專家選擇，統整出以下結論：，吻合度介於 60%至 70%有 4 人(0:2:2)，低於 60%有 4 人(1:2:2)。另外我們可以看到編號 B-9(類型 C)專家與最終結果吻合度僅 19%。 40.

(46) 一、Bebras Challenge 與運算思維概念從調查問卷結果得知，臺灣 2015 及 2016 兩年之 Bebras Challenge 未涵蓋到「分解」這項概念。我們認為事先評析試題，除了能將題目分類，亦能使 Bebras Challenge 不偏重某一運算思維概念，因而更具效度。經過分類的題目，也更能做有效的利用。. 二、評析運算思維測驗題目時，專家類型的差異不同類型的專家在評析題目時，確實有差異。本研究一開始認為類型 A 之專家對於運算思維概念應最為熟悉，不易受他人意見影響，且其想法將具有代表性。但根據研究數據顯示，並不全然如此，正因德菲法的匿名性，各類型專家在勾選時並不會只參考特定某一類的專家，結果較為客觀。然而進行題目評析的專家確實要對項目有一定的熟悉度，建議在評析的一開始可提供範例作為參考，讓專家多熟悉運算思維與題目之間的關係，以幫助思考。. 41.

(47) 參考文獻英文部分 Aho, A.V. (2012). Computation and computational thinking. Computer Journal, 55(7), 833–835. https://doi.org/10.1093/comjnl/bxs074 Andre L. Delbecq, Andrew H. Van De Ven, D. H. G. (1975). Group Techniques for Program Planning: A Guide To Nominal Group and Delphi Processes (Book). Personnel Psychology, 28(4), 598–600. https://doi.org/10.1177/002188637601200414 B, P. H., Hubwieser, E., &Graswald, D. (2016). Informatics in Schools: Improvement of Informatics Knowledge and Perception, 9973, 40–52. https://doi.org/10.1007/978-3319-46747-4 Barendsen, E., Mannila, L., Demo, B., Grgurina, N., Izu, C., Mirolo, C., …Stupurienė, G. (2015). Concepts in K-9 Computer Science Education. Proceedings of the 2015 ITiCSE on Working Group Reports - ITICSE-WGR ’15. https://doi.org/10.1145/2858796.2858800 Barr, V., &Stephenson, C. (2011). Bringing computational thinking to K-12. ACM Inroads, 2(1), 48. https://doi.org/10.1145/1929887.1929905 Bell, T., Curzon, P., Cutts, Q., Dagiene, V., &Haberman, B. (2011). Overcoming obstacles to CS education by using non-programming outreach programmes. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 7013 LNCS, 71–81. https://doi.org/10.1007/978-3-642-24722-4_7 Bellettini, C., Lonati, V., Malchiodi, D., Monga, M., Morpurgo, A., &Torelli, M. (2015). How challenging are bebras tasks? An irt analysis based on the performance of Italian students. Annual Conference on Innovation and Technology in Computer Science Education, ITiCSE, 2015–June, 27–32. https://doi.org/10.1145/2729094.2742603 Blair, Shirley; Uhl, N. P. (1990). Using the Delphi Method to Improve the Curriculum. Brooks, &W., K. (1979). Delphi Technique：Expanding Applications. North Central Association Quarterly, v53 n3 p377-85 Win 1979.. 42.

(48) Cartelli, A., Dagiene, V., &Futschek, G. (2010). Bebras Contest and Digital Competence Assessment. International Journal of Digital Literacy and Digital Competence, 1(1), 24–39. https://doi.org/10.4018/jdldc.2010101902 Chin-Chia, Y., Seng-Lee, W., &Jih-Hwa, W. (2007). A Study Comparing the Delphi Method and Fuzzy Delphi Method. Dagiene, V., &Futschek, G. (2013). Bebras A Contest to Motivate Students to Study Computer Science and Develop Computational Thinking. The 10th International Conference on Computers in Education (WCCE 2013), 139–141. Dagienė Valentina; Pelikis, E. S. G., Dagienė, V., Pelikis, E., Dagiene, V., &Dagienė, V. (2015). Introducing Computational Thinking through a Contest on Informatics: Problem-solving and Gender Issues. Informacijos Mokslai/, 73(January 2017), 55– 63. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&profile=ehost&scope=site&auth type=crawler&jrnl=13920561&AN=115175446&h=H%2BQE1mWCVQ4Y8F6Du R79t4LEirCPZzBeWocaPKoEvS2HzMe1BzE%2BL2WGf3hGQGIbMP%2BTdaD6 yLY1PxBYFQo80w%3D%3D&crl=c Dalkey, N. (1969). The Delphi Method: An Experimental Study of Group Opinion. The RAND Corporation. https://doi.org/10.1016/S0016-3287(69)80025-X Dalkey, N. C. (1975). The methodological worth of the Delphi forecasting technique. Technological Forecasting and Social Change, 7(2), 179–192. https://doi.org/10.1016/0040-1625(75)90057-8 Dalkey, N. C., Corporation, R., Scientific, C. F., &(US), T. I. (1969). The Delphi method: An experimental study of group opinion. Retrieved from http://www.rand.org/content/dam/rand/pubs/research_memoranda/2005/RM5888.pd f Dalkey, N., &Olaf, H. (1962). An experimental application of the Delphi method to the use of experts. Google for Education. (2015). Google for Education: Computational Thinking. Retrieved from https://edu.google.com/resources/programs/exploring-computationalthinking/%0Ahttps://edu.google.com/resources/programs/exploring-computationalthinking/%5Cnhttps://edu.google.com/resources/programs/exploring-computationalthinking/#!ct-overview 43.

(49) Gouws, L., Bradshaw, K., &Wentworth, P. (2013). First year student performance in a test for computational thinking. Proceedings of the South African Institute for Computer Scientists and Information Technologists Conference on - SAICSIT ’13, 271. https://doi.org/10.1145/2513456.2513484 Grover, S., &Pea, R. (2013). Computational Thinking in K-12: A Review of the State of the Field. Educational Researcher, 42(1), 38–43. https://doi.org/10.3102/0013189X12463051 Izu, C., Mirolo, C., Settle, A., Mannila, L., &Stupuriene, G. (2017). Exploring bebras tasks content and performance: A multinational study. Informatics in Education, 16(1), 39–59. https://doi.org/10.15388/infedu.2017.03 Lee, G., Lin, Y.-T., &Lin, J. (2014). Assessment of Computational Thinking Skill among High School and Vocational School Students in Taiwan. World Conference on Educational Media and Technology, 2014(1), 173–180. Retrieved from http://www.editlib.org/p/147499/ Lee, I., Martin, F., Denner, J., Coulter, B., Allan, W., Erickson, J., …Werner, L. (2011). Computational thinking for youth in practice. ACM Inroads, 2(1), 32. https://doi.org/10.1145/1929887.1929902 Linstone, H. A.; Turoff, M. (1975). The Delphi method: Techniques and applications. Lu, J. J., &Fletcher, G. H. L. (2009). Thinking About Computational Thinking Categories and Subject Descriptors. Sigcse, 260–264. https://doi.org/10.1145/1539024.1508959 Lye, S. Y., &Koh, J. H. L. (2014). Review on teaching and learning of computational thinking through programming: What is next for K-12? Computers in Human Behavior, 41, 51–61. https://doi.org/10.1016/j.chb.2014.09.012 Riggs, W. E. (1983). The Delphi Technique An Experimental Evaluation. Forecasting and Social Change, 23, 89–94. https://doi.org/10.1016/0040-1625(83)90073-2 Román-gonzález, M. (2016). Computational Thinking Test : Design Guidelines and Content Validation. Proceedings of EDULEARN15 Conference, (March), 2436– 2444. https://doi.org/10.13140/RG.2.1.4203.4329 Selby, C. (2013). Computational Thinking : The Developing Definition. ITiCSE Conference 2013, 5–8. Todd, R. F., &Reece, C. C. (1989). Desirable Skills and Knowledge Outcomes for an Introductory Educational Research Course: A Delphi Study. Annual Meeting of the American Educational Research Association. https://doi.org/ED305342 44.

(50) Tucker, A., Seehorn, D., Carey, S., Moix, D., Fuschetto, B., Lee, I., …Verno, A. (2011). CSTA K-12 Computer Science Standards Revised 2011 CSTA Standards Task Force The Association for Computing Machinery , Inc . Walden, J., Doyle, M., Garns, R., &Hart, Z. (2013). An informatics perspective on computational thinking. Proceedings of the 18th ACM Conference on Innovation and Technology in Computer Science Education - ITiCSE ’13, 4. https://doi.org/10.1145/2462476.2483797 Werner, L., Denner, J., &Campe, S. (2012). The Fairy Performance Assessment : Measuring Computational Thinking in Middle School. Proceedings of the 43rd ACM Technical Symposium on Computer Science Education - SIGCSE ’12, 215–220. https://doi.org/10.1145/2157136.2157200 Wing, J. M. (2006). Computational Thinking, 49(3), 33–35. https://doi.org/10.1145/1118178.1118215 Wing, J. M. (2008). Computational thinking and thinking about computing. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 366(1881), 3717–3725. https://doi.org/10.1098/rsta.2008.0118 Parente, F., & Anderson-Parente, J. (1987). Delphi Inquiry Systems. In Wright, G., & Ayton, P. (Eds.), Judgmental Forecasting. NY: John Wiley & Sons. Lanford, H. W . (1972). Technological Forecasting Methodologies: A Synthesis. New York:American Management Association, Inc.. 中文部分葉重新（2005）。教育心理學。臺中市：葉重新。陳陹埅（1996）。國民中學生活科技教師專門能力及其內涵之研究。國立臺灣師範大學工業技術研究所博士論文，未出版，臺北市。林振春（1992）。德惠法（Delphi Technique）。台北：民意月刊第 196 期，頁 82101。. 45.

(51) 附錄. 46.

(52) 附錄一. A 卷第一回合專家調查問卷. 47.

(53) 48.

(54) 49.

(55) 50.

(56) 51.

(57) 52.

(58) 附錄二. B 卷第一回合專家調查問卷. 53.

(59) 54.

(60) 55.

(61) 56.