第三章 研究方法
第一節 結果
本節主要說明本研究學生的人工智慧學習成效、學習態度、運算思維能力之 結果及學生及授課教師之回饋。
壹、人工智慧學習成效
主要探討學生在三週體驗式聊天機器人課程後,對人工智慧學習成效的影響,
並分析學生在不同學習內容的表現,以及各題與運算思維相關題目的關係。下圖 4-1 為實驗學生於課程結束後所施策的成就測驗成績分布,所有學生的成績皆高 於 60 分,其中分數介於 85-90 之間的人數最多,有 21 名,另外有 5 名學生的成 績介於 95-100 之間。整體而言,學生的學習成就表現良好。
25
成就測驗成績分布
下表 4-1 則根據成就測驗中個題答題狀況來分析,探討學生於各單元所學習
第一題及第二題是成就測驗中「第一單元-建立規則」之相關題目,全部的學 生所扣分數皆不超過 3 分,表示所有的學生對於資料整理及規則建立是理解的,
僅有些微的表達不完整,例如在第一題的某項資料中缺少用「或」包含到第二種 可能。第三到第五題是「單元三-樹的資料表示」之相關題目,在第三題,有 72%
的學生能夠依據先前整理的資料完整畫出正確的決策樹(如圖 4-2),而有 20%
的學生部分表達錯誤,例如在單一答案前還設置了決策分枝(如圖 4-3);第四 題,有 52%的學生答對,但有 48%的學生答錯,表示有將近一半的學生對於決策 樹的時間計算仍是模糊的;第五題,有 49%的學生能夠完整將決策樹轉成資料清 單,而有 23%的學生在這題只拿到一半的分數(如圖 4-4、4-5),甚至有 4%學 生是全錯,表示有一半的學生對於樹狀圖轉換成電腦能讀懂的資料清單之概念能 是不清楚的。第六題是成就測驗中「單元二-陣列程式設計」之相關題目,在這 題,僅有 13%的學生能正確回答應用判別式及陣列編寫之程式設計相關題目,而 有 75%的學生(扣 6 分 38%、扣 12 分 37%)部分回答錯誤(如圖 4-6),甚至有 10%的學生是完全錯誤。
圖 4-3 學生 B 第三題答案
圖 4-4 學生 C 第五題答案
圖 4-5 學生D第五題答案
貳、學習態度
學生認為體驗式聊天機器人教材對學習的助益結果於表 4-2 所示。學生普遍 認為聊天機器人教材對學習是有幫助的,能幫助他們學習人工智慧的歷史、生活 應用及概念,透過範例程式的修改能減輕程式實作的負擔、學習單的輔助能幫助 學習與思考。其中第十七題,有 85% 的學生認為電腦科學與生活是息息相關的,
及第二題「聊天機器人專題讓我更了解人工智慧於生活上的應用」有 76% 的學 生表示同意,其原因在於課程中讓學生體驗了多種人工智慧及聊天機器人的應用 及範例,不斷地透過生活上的實例來讓學生思考機器人的運作邏輯及如何具有智 慧,整合其概念及應用。而第十二題「聊天機器人專題中的學習單,讓我更能了 解如何修改機器人程式」,有 66% 的學生表示同意,但整體助益來說是相對較低 的,表示儘管透過學習單的輔助來建立程式設計實作的思考歷程,對於實際操作 程式時仍有一定的困難。
表 4-3 呈現學生透過聊天機器人教材後對於電腦科學、人工智慧及整體課程 的學習興趣與意願。學生普遍認為透過聊天機器人的課程後,提升了對電腦科學、
人工智慧領域的學習興趣,也願意了解與嘗試課堂中的學習活動。但對於寫程式 及未來修習相關課程的意願相對較低,其原因可能是參與教學實驗的學生屬於社 會組,但相對的,就結果顯示,此課程提升了 24%的學生(非常同意 10%,同意 21%)對於寫程式的意願,並有 39%的學生(非常同意 10%,同意 29%)有興趣
表 4-3 學習興趣與意願
參、運算思維能力
根據運算思維能力前測與後測成績,利用相依樣本 t 檢定來分析資料,探討 學生經歷體驗式聊天機器人教材之課程是否對運算思維能力有影響,分析結果如 表 4-4。結果顯示,運算思維的前測與後測達顯著差異,f(71) = -2.15,p = .02,後 測結果優於前測,顯示在課程結束後,學生運算思維能力顯著提升。
表 4-4 運算思維能力前後測統計結果
N Mean SD t
前測 71 68.97 23.86 -2.15*
後測 71 75.03 21.56
* p < .05
下表 4-5 則將測驗題目各題進行分析,了解學生在各題目的前後測表現狀況。
結果顯示,「轉盤玩具」、「邏輯電路」兩題達顯著差異,f(71) = -2.01, p < .05 及 f(71)=-2.88,p < .05,表示學生經歷本課程在資料結構及演算法均有顯著影響。
而「奇怪的單字」則是後測較差,其原因在於本課程缺乏字串替代的演算法課程 內容,由此可知此題較不適合列於本研究之運算思維前後測的題目中。
表 4-5 運算思維能力前後測各題分析結果
可以創作屬於自己的聊天機器人,而且很有親近感。
因為可以把想要怎麼跟人對話的內容寫成程式給機器人,他就學會了,而且 不難。
可以自己動手做出自己想要的聊天機器人覺得很有趣。
因為有關鍵字,可以讓機器人回答出來的答案更人性化更有趣。
而學生在第三單元「學習型機器人-尋找白馬王子」體驗到電腦運用分類及學 習的技術是具有便利性及智慧的,決策樹的規劃對他們來說具有難度,但課程內 容的設計讓學生列出自己喜愛的人物,令學生感到與自己的生活貼近、有趣,促 使學生有更高的意願去挑戰完成:
感覺最貼近我的生活。
因為可以找到自己所列出條件的人很酷。
將資料分別貼上標籤,在用五五分的方式畫在決策樹上,順著下來可以找到 想要的,很方便。雖然在分的時候會不小心弄錯,不過還是很好玩。
有條理的讓我思考,而做學習單時需要細心,我覺得這個滿有挑戰性的
覺得透過逐一篩選而找出最後結果的機器人很厲害。
因為他可以學習,且用決策樹比較不會讓他看起來很笨。
跟現今生活比較相關,讓人有動力去學習。
我覺得很有趣,讓我發現電腦靠學習可以變更聰明,滿有趣的。
期待更聰明的機器人出現。
其實機器人的發展未來會越來越進步,所以我覺得可以持續下去讓大家更加 了解。
很好玩有趣,或許課程可以更深入,了解更多。
二、課程時間安排
課程內容豐富但時間安排略微不足,導致教學緊湊,學生無法妥善思考並完 成學習單與程式實作:
這是一個挺有趣的專題,希望可以做的完整,但時間好趕,常常簡化了理想 中的機器人了。
這方面知識很有趣,但時間太趕沒辦法好好享受,也會因此覺得好像很難,
時間充裕的話應該就不會有壓力了。
我覺得真的是很酷的體驗,應該再給我們更多時間來玩。
學習單時間可以再多一點。
建議教學可以放慢一點。
三、課程內容的難易度
學生對於課程內容的難易度呈現兩極化的反應,部分學生認為課程內容都很 不太容易,而有部分學生認為課程內容是容易的,只要有專心上課都會:
我覺得都很困難。
有些部分容易,但大都不容易。
我認為上課有聽就很容易。
都滿簡單,有聽課就會。只有麻煩沒有困難,懶得寫字而已。
都覺得還好,有認真聽認真回答就會簡單許多。
而多數學生認為繪製決策樹及將樹轉換成資料清單是較為困難的部分:
畫樹狀圖最困難,其他都還可以。
畫樹狀圖難。因為要寫的範圍太大還要歸納,會不小心恍神。
寫聊天機器人的對話容易。畫決策樹難。
決策樹太燒腦了,邏輯要很好
四、課堂教材的使用
少數學生對於要花時間、動筆來填寫學習單是感到厭煩的,因此在設計上,
學習單的題目及引導應該更精確、簡單,或是改用其他方式來讓學生體驗機器人 需要龐大資訊的概念:
希望不要寫很多字,手很酸字很醜。
我覺得可以不用花那麼多時間在學習單上,一直寫學習單都沒辦法好好體驗 上課教的東西。
要一直寫,列出人類可能的回答和對應的答案很麻煩。
另外有學生表示利用修改範例的方式來進行程式實作,減少許多負擔:
我覺得改範例方便很多,重新用感覺會死掉。
聊天機器人最簡單,因為老師已經幫我們準備好程式的基本構造了。
五、授課教師對教材的看法
授課教師對本教材抱持高度正向的看法,認為教材內容與難易度對於高中生 是適當的,能幫助學生學習到人工智慧、資料表示及演算法的概念,並認為教材 中的決策樹是在許多相關單元都很有用的。另外,教師認為此課程很有趣、具有 吸引力,在教學過程中多數學生擁有足夠的學習動機、反應正向,如學生給予的 回饋「我覺得很有趣,這個部分是我覺得所有電腦課程中最讓我感興趣的」。但 也認為課程時間規劃略為不足,因此可再做教材規劃的調整,像是程式實作時間
則可以增加伸課程,並提供小題目給程度較好的學生練習與發揮。此外也建議預 留更多的時間在學生互相體驗彼此所製作的機器人,並挑選出較特別的作品,能 激勵學生改良自己作品的意願。
授課教師對於本研究學生的學習成果是滿意的,認為此教材適合社會組學生 的程度,而學生學習態度的結果也是符合預期的,社會組學生對於未來應用較無 迫切感,本身對於寫程式的意願相對較低,建議未來對於類似問題的設計可以改 變問法,例如:我以後不會排斥…。此外教師認為學習單的份量是合理的,學生 對於寫學習單的不耐煩,其原因是現在的學生較不喜歡動筆寫字,若要使用電子
授課教師對於本研究學生的學習成果是滿意的,認為此教材適合社會組學生 的程度,而學生學習態度的結果也是符合預期的,社會組學生對於未來應用較無 迫切感,本身對於寫程式的意願相對較低,建議未來對於類似問題的設計可以改 變問法,例如:我以後不會排斥…。此外教師認為學習單的份量是合理的,學生 對於寫學習單的不耐煩,其原因是現在的學生較不喜歡動筆寫字,若要使用電子