程式理解之認知神經科學研究
全文
(2) 程式理解之認知神經科學研究 邱彤 摘要 本研究旨在探討程式理解能力、程式理解策略(由上而下以及由下而上)以及工 作記憶(中央執行功能、語音迴路和視覺空間畫板)之間的關聯。實驗受試者為 20 名 本科系學生,擁有至少一年的基礎程式設計經驗。本實驗使用兩種複雜的廣度任務 (運作廣度和旋轉廣度)以及河內塔分別來對學生工作記憶能力的語音迴路、視覺空間 畫板以及中央執行功能進行評估。本實驗要求受試者理解三題程式碼,它們具有不同 類型的程式結構(條件判斷,迴圈結構和函式結構),並且由眼動儀記錄眼球移動過程 來推斷受試者的程式理解策略。透過程式理解測驗評估受試者程式理解能力,並且對 受試者進行口頭訪談,以確認他們的理解策略。我們從實驗結果中得出三項重要發 現:(一) 不同工作記憶能力的學生傾向使用不同的程式理解策略,語音迴路功能影 響學生記憶重複的程式細節,而必須不斷地觀看,視覺空間畫板功能則可幫助學生以 視覺心像掌握程式架構,以便直接進入主要的運算指令,而不必重複觀看程式細節; 中央執行功能則可幫助學生掌握複雜程式的理解計畫;(二) 不同程式理解表現的學 生傾向使用不同的程式理解策略,高程式理解表現者同時使用由上而下以及由下而 上策略於程式理解上,而低程式理解表現者則因無法掌握程式架構,大多採用以逐行 方式理解程式,採由下而上策略;(三) 工作記憶是會影響程式理解表現,在理解迴 圈等需要反覆運算的結構時語音迴路能力的不同會影響學生在對於數字記憶表現; 視覺空間畫板的不同則影響學生在進行程式理解期間使用心理黑板來記憶在多項數 字的變化以及轉換,以及處理程式結構的模式辨識上的表現。結果揭示了高程式理解 表現者可能的認知過程:通過視覺空間記憶能力,將程式模式與長期記憶中儲存的模 式進行匹配,然後識別以由上而下的方式進行整體結構的理解方式。再從程序片段中. I.
(3) 收集詳細資訊,以建立進一步的了解。相反的,由於低能力者無法從長期儲存中檢索 相似的模式,因此它們傾向於逐行解讀程式而沒有清晰的結構。. 【關鍵字】:程式理解、工作記憶、程式理解策略. II.
(4) The study of program comprehension based on cognitive neuroscience Tung Chiu. Abstract This study aims to explore the associations among program comprehension ability, program comprehension strategies (top-down and bottom-up strategies), and working memory (phonological loop, visuospatial sketchpad, and central executive function). The experiment participants were twenty undergraduate students who have learned fundamental programming for at least one year. Two complex span tasks (operation span and rotation span) and Tower of Hanoi task were employed to assess students’ phonological loop, visuospatial sketchpad and central execution of working memory capacity, respectively. Participants were asked to comprehend three computer programs with different types of program structures (conditional statements, iterations, and functions), and the processes were recorded by an eye tracker to identify their program comprehension strategies. Participants’ program comprehension abilities were assessed by the program comprehension test. Participants were also interviewed to confirm their comprehension strategies. Three findings were derived from the experiment results: First, subjects with different working memory capacity applied different program comprehension strategies: the phonological loop function affects memory of repetitive program details (e.g., the conditional statement of loops), therefore the low-performers have to pay more attention to these details repetitively; The visuospatial sketchpad function helps grasp the whole structure of the program, therefore the high-performers are tended to directly enter the main body for computation; The central executive function helps control the program comprehension planning to jump among program beacons; . Second, high-performers III.
(5) applied both top-down and bottom-up strategies to comprehend programs, whereas lowperformers mostly applied bottom-up strategies. Third, working memory affect the understanding of the semantics, structure and purpose of program: the phonological loop function affects the store of intermediate values of iterations, and the visuospatial sketchpad function affects the recognition of program structure patterns, and the memory of value changes through visual imagery. The results reveal the possible cognitive processes of highperformers’ program comprehension: Through visuospatial working memory, the programming patterns were matched with what stored in the long-term memory and then recognized to develop comprehension plans with a whole structure in a top-down manner. Detailed information was then collected from the pieces of programs to build a further understanding. In contrast, since the low-performers failed to retrieve the similar patterns from long-term memory, they tended to read programs sequentially without a clear structure.. Keywords:program comprehension, working memory, program comprehension strategy. IV.
(6) 誌謝. 在師大資訊教育研究所就讀的這段時間裡,無論是自己研究室的同仁還有其他 研究室的學長姐以及同學都在實驗上幫助了我不少,幫助著我做完一次又一次的實 驗,不管是做研究還是心靈上的扶持都非常的感謝他們。 由衷感謝我的指導教授 林育慈博士耐心的指導,讓我在研究上以及待人處事上 都受益良多。同時也非常感謝陳志洪教授在深耕計畫中時常給與指導以及寶貴意見, 您的意見使我的研究以及實驗更加完善。 在研究過程中,感謝實驗室學姊陳思如指導我憶起執行實驗以及程式指導,但任 我的研究實驗夥伴,以及 GLRG 的陳懌瑋學長在我做眼動分析時遇到瓶頸時協助我 輸出資料以及擔任實驗夥伴。感謝 TELiC 實驗室的夥伴葉亮吟、郭芳雨、謝欣玲、 田芷瑄、靜蓉學姊、以及所有學弟妹還有碩班的同學,你們總是在我遇到挫折時為我 加油,真的非常感謝你們的陪伴。 最後,感謝父親以及姊姊們還有我的另一伴在我求學期間給我非常多的諒解以 及空間,讓我可以專心在研究上,謝謝您們。. 作者名稱 邱彤 謹誌 中華民國一○九年九月 V.
(7) 目錄 摘要. ................................................................................................................... I. 誌謝. ................................................................................................................. V. 目錄. ................................................................................................................ VI. 表目錄. ............................................................................................................. VIII. 圖目錄. ................................................................................................................ IX. 第一章. 緒論 .......................................................................................................... 1. 第一節. 研究背景與動機 .................................................................................. 1. 第二節. 研究目的與待答問題 .......................................................................... 3. 第三節. 名詞釋義 .............................................................................................. 4. 第二章. 文獻探討 .............................................................................................. 5. 第一節. 工作記憶 .............................................................................................. 5. 第二節. 程式理解 ............................................................................................ 10. 第三節. 程式理解與工作記憶 ........................................................................ 11. 第四節. 眼動與程式理解 ................................................................................ 13. 第三章. 研究方法 ................................................................................................ 15. 第一節. 研究設計與架構 ................................................................................ 15. 第二節. 研究程序 ............................................................................................ 16. 第三節. 研究工具 ............................................................................................ 18. 第四節. 實驗參與者 ........................................................................................ 23. 第五節. 資料分析 ............................................................................................ 24. 第四章. 實驗結果分析 ........................................................................................ 26. 第一節. 程式理解表現 .................................................................................... 26. 第二節. 工作記憶能力與程式理解表現 ........................................................ 27 VI.
(8) 第三節. 程式理解表現者高低之工作記憶能力差異 .................................... 29. 第四節. 程式理解表現與程式理解策略的關係 ............................................ 30. 一、 條件判斷理解表現與程式理解策略相關性 .............................................. 30 二、 迴圈結構理解表現與程式理解策略相關性 .............................................. 33 三、 函式結構理解表現與程式理解策略相關性 .............................................. 35 第五節. 工作記憶能力與程式理解策略的關係 ............................................ 37. 一、 工作記憶能力與條件判斷程式理解策略之相關性 .................................. 38 二、 工作記憶能力與迴圈結構程式理解策略之相關性 .................................. 40 三、 工作記憶能力與函式結構程式理解策略之相關性 .................................. 43 第五章. 討論 .................................................................................................... 47. 一、 不同工作記憶能力的學生是否傾向使用不同的程式理解策略? ............ 47 二、 不同程式理解表現的學生是否傾向使用不同的程式理解策略? ............ 48 三、 工作記憶能力是否會影響程式理解表現? ................................................ 50 第六章. 結論與建議 ............................................................................................ 50. 第一節. 結論 .................................................................................................... 51. 第二節. 建議 .................................................................................................... 51. 參考文獻 ................................................................................................................ 54 附錄. ................................................................................................................ 58. VII.
(9) 表目錄 表 3-1 實驗流程照表 ........................................................................................ 17 表 4-1 程式理解表現測驗 描述統計表 .......................................................... 26 表 4-2 程式理解表現之高低成就分類 描述統計表 ...................................... 27 表 4-3 工作記憶能力與程式理解表現之描述統計 ........................................ 27 表 4-4 工作記憶能力與程式理解表現之相關性 ............................................ 28 表 4-5 工作記憶能力與程式理解表現之獨立樣本 t 檢定............................. 29 表 4-6. 條件判斷程式理解表現與興趣區域的凝視時間比例之相關性檢定. .................................................................................................................... 31 表 4-7. 迴圈結構程式理解表現與興趣區域的凝視時間比例之相關性檢定. .................................................................................................................... 33 表 4-8. 函式結構程式理解表現與興趣區域的凝視時間比例之相關性檢定. .................................................................................................................... 35 表 4-9. 工作記憶能力與條件判斷興趣區域的凝視時間比例之相關性檢定. .................................................................................................................... 38 表 4-10 工作記憶能力與迴圈結構興趣區域的凝視時間比例之相關性檢定 .................................................................................................................... 41 表 4-11 工作記憶能力與函式結構興趣區域的凝視時間比例之相關性檢定 .................................................................................................................... 44. VIII.
(10) 圖目錄 圖 3-1 研究設計架構 ........................................................................................ 15 圖 3-2 程式理解實驗流程 ................................................................................ 17 圖 3-3 運作廣度測驗 ........................................................................................ 19 圖 3-4 旋轉廣度測驗 ........................................................................................ 20 圖 3-5 D-KEFS 河內塔測驗 .............................................................................. 21 圖 3-6 條件判斷句之興趣區域 ........................................................................ 22 圖 3-7 迴圈結構之興趣區域 ............................................................................ 22 圖 3-8 函式結構之興趣區域 ............................................................................ 23 圖 3-9 Tobii 眼動儀分析之條件判斷程式結構熱像圖 .................................. 25 圖 4-1 條件判斷程式理解所有低成就者之熱像圖疊圖_C 語言 .................. 32 圖 4-2 條件判斷程式理解所有高成就者之熱像圖疊圖_C 語言 .................. 32 圖 4-3 迴圈結構程式理解所有低成就者之熱像圖疊圖_ Python ................. 34 圖 4-4 程式理解 迴圈結構高成就者之熱像圖_Python ................................ 34 圖 4-5 程式理解 函式結構低成就者之熱像圖_Python ................................ 36 圖 4-6 程式理解 迴圈結構所有高成就者之熱像圖疊圖_C 語言 ................ 37 圖 4-7 工作記憶能力與條件判斷興趣區域的凝視時間比例之相關性_C 語言 .................................................................................................................... 41 圖 4-8 工作記憶能力與迴圈結構興趣區域的凝視時間比例之相關性_C 語言 .................................................................................................................... 43 圖 4-9 工作記憶能力與函式結構興趣區域的凝視時間比例之相關性_C 語言 .................................................................................................................... 47. IX.
(11) 第一章. 緒論. 本章更分為二節,第一節為說明本研究之研究背景與動機;第二節為提出研究目 的以及待答問題,第三節針對研究中所提出的重要名詞做釋義。. 第1節. 研究背景與動機. 在資訊科技發達的現今社會,程式設計已成為一門不可或缺的學問,程式設計專 家利用程式設計解決了生活中許多資訊相關的問題,每一次開發出新的解決方法便 可促使全球科技發展不斷進步(顏順利,2019)。而這樣強大的武器背後的程式語言儼 然也是我們不可忽視的。 在過去,程式設計被視為是書呆子擁有的技能,但是在 21 世紀的現今它已被視 為學習者必備的一項基本能力,並且已納入中小學課程(Marianne Stenger, 2017)。從 根本上講,學習程式設計就是學習告訴機器該做什麼。而在程式設計中程式理解是理 解他人撰寫的程式的能力,是一個複雜活動,涉及策略、應用性、特定領域知識以及 新知識和現有知識的協調(Bednarik, 2012),被廣泛認為是程式設計的核心(Bednarik, & Tukiainen, 2006)。 初學者在學習程式設計時常會發生許多困難,例如:不知道如何進行問題解決、 數學邏輯知識的不足,缺乏程式設計專業知識(Gomes, & Mendes, 2007),工作記憶提 供重要資訊暫存和操作,像是語言的理解、學習及推理(Baddeley, 1992)。Shneiderman 以及 Mayer (1979)提出工作記憶的儲存時間介於短期記憶與長期記憶之間,工作記憶 的功能為整理與合併來自短期記憶與長期記憶的訊息,產出建立的新結構。以程式理 解來說:閱讀程式文本(input),對照長期記憶的語意與語法知識,以及程式片段,解 釋程式文本內容以進行理解(output)。. 1.
(12) 近代的 Guéhéneuc (2009)提出的「程式理解理論」解釋程式理解與工作記憶的關 係,工作記憶負責解碼程式訊息並提取程式設計知識,而工作記憶中的執行功能扮演 著重要的角色:程式設計師若能辨認較高階的設計模式,進行較高階的抽象化,則執 行功能的處理需求較小 儘管過去的文獻曾提及工作記憶與程式理解可能的關係,但相關探討仍較為不 足,然而釐清兩者間的關係可能對程式設計教學帶來新契機。眼動在近代探討程式理 解策略的研究上扮演一定的角色,能更客觀解析程式設計者程式理解行為和策略 (Peitek, Siegmund, Parnin, Apel, & Brechmann, 2018)。因此,本研究擬藉由眼動的方式 探討工作記憶能力是否及如何影響學生程式理解策略與程式理解表現,藉由眼動抓 住第一手的訊息可以更加清楚的判斷不同程式表現者的程式理解過程與其運算思維, 而後根據驗究結果,找出低能力者之所以在程式的能力不足的原因,進而針對原因做 視覺化的輔助系統。動的方式探討工作記憶能力是否及如何影響學生程式理解策略 與程式理解表現,藉由眼動抓住第一手的訊息可以更加清楚的判斷不同程式表現者 的程式理解過程與其運算思維,而後根據驗究結果,找出低成就者之所以在程式的表 現不足的原因,進而針對原因做視覺化的輔助系統。. 2.
(13) 第2節. 研究目的與待答問題. 本研究旨在透過眼動追蹤探究程式理解策略,並探討程式理解策略是否受到工 作記憶能力的影響,進而了解程式設計表現是否受到工作記憶能力的影響。 本研究待答問題如下: 1.. 不同工作記憶能力的學生是否傾向使用不同的程式理解策略?. 2.. 不同程式理解表現的學生是否傾向使用不同的程式理解策略?. 3.. 工作記憶能力是否會影響程式理解表現?. 3.
(14) 第3節. 名詞釋義. 本節針對此研究所提及之重要名詞作解釋。 一、熱像圖(heat map):主要是用來反映受試者瀏覽和注視的情況,紅色區域代表 瀏覽和注視最集中的區域,黃色和綠色代表目光較少的區域,由此,熱像圖是 基於注視點的相對注視時間(relative duration)長度來創建,最大值設置為大於等 於 3.00 秒,也就是紅色的區域;0.00 至 1.50 秒為綠色區域;等於 1.50 秒為黃 色區域。可以了解受試者程式理解的那些特點,本研究使用熱像圖來搭配分析 程式理解歷程,可以利用熱像圖快速探測出受試者注重的區域,從而掌握必要 的訊息。 二、興趣區域(area of interest,AOI):在進行眼動實驗時,研究者會將實驗材料劃 分成多個區域,以便進行進一步處理,使用 AOI 圈定目標,可以減少處理時 間,增加精準度。 三、凝視(fixation):凝視為眼睛短暫停留在某個點上,為眼動主要指標之一,可以說 明人注意力所投射的位置。 四、高成就、低成就:本研究根據程式理解的平均分數,將受試者分為高成就以及 低成就,高成就者為理解分數高於或等於平均分數者,低成就者為理解分數低於 平均分數者。 五、程式結構(construct):本研究所分析的程式結構包含條件 判斷(conditional statement)、迴圈結構(loop)以及函式結構(function)三種結構。 六、程式理解歷程:根據眼動分析以及熱像圖所得的顯著結果,得出在程式理解過 程中的特定行為模式。 七、程式設計輔助平台:本研究使用視覺化程式理解輔助平台為自行設計之輔助平 台,而平台開發規格為針對程式理解輔助需求量身打造。以程式碼為基礎做不同 形式的程式理解輔助提示(模擬提示、流程提示、架構提示、程式解釋),使用者. 4.
(15) 可以任意點選提示、文字輸入到參數暫存,力求簡單、直覺的操作設計,可有效 降低操作負擔、並提升程式理解成效。. 第二章. 文獻探討. 本章將針對研究的主題相關之理論與概念,作文獻的整理以及探討。共分為四 節,第一節探討工作記憶;第二節探討程式理解;第三節探討程式理解與工作記憶關 聯;第四節眼動與程式理解策略的連結。. 第1節. 工作記憶. 工作記憶是指大腦系統,當人在進行語言理解,學習和推理之類的複雜認知任務 時工作記憶會臨時儲存和控制任務中所提供的訊息。心理學家使用「工作記憶」這個 詞來解釋人類將訊息保留在腦中一段時間,並在腦中對訊息作運算處理的能力,工作 記憶被視為心智的工作平台,我們可以利用它來儲存心智活動中的一些重要訊息。例 如心算就是一個仰賴工作記憶的典型例子。假設要計算 43 乘以 27 是多少,在不能 使用紙筆或計算機的情況下,只能用心算的方式。首先,必須把兩個數字記在工作記 憶中。再來我們會使用過去學過的乘法算出各個數字相乘的結果,且一邊計算一邊把 結果保留在工作記憶中。最後,你要把保留在工作記憶中的結果加總起來,算出最後 的正確答案。沒有工作記憶我們無法完成如此複雜的心智運作。而在過程中,我們也 必須記住出現的訊息並同時進行其他訊息的處理(Shah & Miyake, 1999)。對於工作記 憶的組成,目前學界尚未有一致的看法。一派學者認為工作記憶的訊息儲存系統是單 一的,例如,Miller 提出人們最多有 7±2 個短暫的儲存的「區塊」。另有一派學者, 如 Baddeley 和 Hitch (1974),則提出工作記憶是由多重. Baddeley 和 Hitch 認為不同. 訊息的型態有不同系統所組成的,包含語音迴路(Phonological loop)、視覺空間畫板 (Visuospatial sketchpad)與中央執行功能(Central executive),以下各自說明其功能:. 5.
(16) 一、語音迴路 文字與語音訊息的處理是儲存在語音迴路系統中,又分成負責維持記憶材料的 隱內覆誦(subvocal rehearsal),和暫存口語或經由聲韻轉存的非口語訊息之聲韻儲存 (phonological store)。過去有研究者針對語言障礙兒童在語音迴路的儲存空間的相關 研究,發現因為語音迴路空間有限的關係導致他們較無法儲存外來的口語訊息 (Dodwell & Bavin, 2008; Dollaghan & Campbell, 1998)。Montgomery(2000)使用增加認 知負荷量的作業來探討工作記憶表現是否會因為認知負荷量的改變而有變化,結果 顯示語言障礙兒童在認知負荷量較小的作業上,他們的表現與同齡兒童並無明顯差 異;但當認知負荷量增加時,障礙兒童表現則明顯較差。研究推論語言障礙兒童保有 基本的能力可以處理口語訊息,但是一旦認知負荷量變大,他們便無法同時記憶先前 訊息,同時又處理新進來的訊息。 從工作記憶來看注意力與語言能力間的關係, 因為中央執行系統分配有限的注 意力,若兒童容易分心,可分配到處理語音迴圈的注意力相對減少,因此會降低語言 處理的能力(Baddeley, 1986)。 阿拉巴馬大學心理系絲薇佛中心(Shriver Center)研究人員根據 Baddeley(1993)所 提出的工作記憶模型,藉著一連串相關實驗,比較輕度智能障礙者與一般成人在工作 記憶方面之相異處。在看完一系列單字後,比較短的單字應最容易被回想,即一般成 人短單字回想量遠大於長單字,可是輕度智能障礙者卻差不多,這有可能是因為他們 並未使用隱內複誦,反倒偏向以長期語音記憶來填補或修復逐漸消失記憶材料(陳秋 坪,2009)。 Imbo 和 Vandierendonck (2007)對 45 位大學生進行了閱讀的實驗,分別是 2 種 閱讀條件(正常條件以及無關與條件)總共 24 篇的小短文,每篇小短文由 55 個文字所 組成,分別有 3 個版本(正確詞、音近、形近),並觀察反應時間跟判斷正確率,實驗 發現閱讀條件確實影響反應時間,當受試者在進行無關語的閱讀條件時反應時間長 6.
(17) 於正常條件,主要原因在於:在無關語條件下,語音迴路中的語音儲存裝置被無關語 所佔據進而影響了受試者在閱讀過程中對訊息的儲存和加工,因此在無關語條件下 對短文意義判斷的反應較長。 在上述我們確立了語音迴路在語言方面的作用,而在數學方面在過去 Ashcraft, Donley, Halas, and Vakali (1992)曾認為算術這個活動並非是一件完全自動的事,它有可 能依賴於工作記憶。De Rammelaere、Stuyven 和 Vandierendonck (2001)根據了上述 的推論進行了兩項測驗,分別是加法測驗以及乘法測驗,針對受試者皆為大學一年級 生採用過去 f De Rammelaere et al. (1999)所執行的隨機數字測驗,並修改了累加減的 幅度從±1 以及±5 改成±2 到±9,判斷螢幕顯示的加法結果是否為正確,並針對準確率 以及反應時間進行統計分析,在研究中發現語音迴路在乘法測驗與閱讀過程中存在 著交互作用的關係。語音迴路雖然不能預測兒童的數學成績,但卻能預測較大的孩子 在數學技能的表現,因此代表語音迴路的參與可能反映出對語言符號算術(Houdé, 1997)或高階策略的掌握。 Holmes 和 Adams(2006)研究探討工作記憶與數學運算之間的關係,想要了解工 作記憶中三個子系統與數學能力是否相關。針對三年級與五年級學生,使用工作記憶 與數學能力兩種類型的測驗,工作記憶的測驗分別為非文字回憶測驗(語音迴路相關 測驗)、迷宮記憶測驗(視覺空間畫板相關測驗)、聆聽回憶測驗(中央執行功能相關測 驗);數學能力作業為算數與代數測驗(a + b = b + a)、空間形狀測量測驗、數字處理 測驗、心算測驗等四項。研究結果發現,在整體三項的工作記憶的表現,三年級和五 年級的學生在語音迴路的表現優於視覺空間畫板工作記憶以及中央執行功能的表現。. 二、視覺空間畫板 視覺空間畫板主要是處理關於視覺空間位置的訊息(Baddeley, 1986)能短暫的保 留一些視覺影像,其主要的功能為保留平面及空間影像。視覺空間畫板分成兩部分: 視覺儲存(visual cache)和空間覆誦(visual scribe),視覺儲存負責短暫儲存視覺的物體 7.
(18) 與情境;空間覆誦負責行為計劃控制、視覺、影像和空間性質的訊息。如果我們不能 用語言來表現各種訊息時,我們會先轉換成映象並放在心中,叫短暫視覺儲存。 同阿拉巴馬大學心理系絲薇佛中心(Shriver Center)的實驗,如果測試單字多為常 見、具體、或能高度想像,習慣使用視覺、語意編碼的輕度智能障礙者,在記住長單 字這方面就不會感到那麼困難(陳秋坪, 2009)。在被要求執行一連串相關作業時記住 如隨機產生的字母,此時人們會更新覆誦視覺空間訊息像是在視覺心像產生、維持與 操作(Bruyer & Scailquin, 1998)。 Hubber、Gilmore 以及 Cragg (2014)通過對成年參與者進行的兩個實驗探討視覺 空間畫板在算數中的作用,這項研究使用雙重任務 n-back 任務(實驗 1)和視覺空間畫 板和中央執行的任務(實驗 2)對於成年人使用計數,分解和檢索策略,其中觀察受試 者的反應時間、答題正確率,結果發現問題大小有顯著影響受試者在做題時 的反應時間的不同與使用的策略的不同,因為每個人的視覺空間畫板大小不一樣(Nur, Herman & Ningsih, 2018),當受試者通過任何策略解決加法運算問題時,都需要在頭 腦中保持視覺空間訊息。從個位數與二位數來看,視覺空間畫板不影響正確率但影響 效能,不論採用何種策略,視覺空間畫板都會將訊息短暫保留在畫板中,這對解決附 加問題起作用。視覺空間畫板的參與可能會根據所採用的算術策略而有所不同。視覺 空間畫板表示和處理對於計數特別重要,因為計數強調數字的有序序列。涉及分區, 存儲和重組數字的分解策略也需要視覺空間畫板的介入。 三、中央執行功能 語音迴路以及視覺空間畫板這兩個管道是分開的,彼此不相通,但不同儲存系統 之間的統整,需要依靠中央處理系統做最後的統籌。簡而言之,中央處理系統是負責 統籌監控來自這兩方不同管道的訊息處理,並且這項處理是在有意識的狀況下進行, 與注意力的控制有關(Baddeley & Logie, 1999; Baddeley, 1996; Guéhéneuc, 2009)。中 央執行功能是提供目標導向的認知控制歷程,在思考和行為的過程中提供了認知監 視和控制,並調節我們的思考以及行動,使我們在日常生活中達到目標或表現出正確 8.
(19) 的 行 為(Fisk & Sharp, 2004; Huizinga et al., 2006; Huizinga & vande Molen, 2007; Huizinga & Smidts, 2011; Miyake et al., 2000)。在 Baddeley 的工作記憶模型中,中央 執行功能可以分為三種個獨立的個體,抑制、更新、轉移(Miyake, et al, 2000)。其中, 抑制在過去也曾有過許多相關研究,主要針對兒童在閱讀文本時抑制無關的訊息的 能力,而抑制無關訊息的能力也與解決問題的任務的成功有關,保留僅相關的訊息, 尤其是在解決問題的過程中,將相關訊息匯集到一個連貫的結構中,並對問題進行正 確而完整的表達(Passolunghi, 2001) 。也就是說,難以將注意力集中在與任務相關的 訊息上的人很容易出錯。而另一個個體,更新,主要是處理訊息更新,典型的更新能 力研究是 Morris 和 Jones 的更新任務(Morris&Jones, 1990),要求受試者聽幾個長度 不同的字母列表(4 到 10 個)並要受試與者只記得每個列表的最後四個字母。由於每 個系列的長度都未知,因此他們被迫要連續更新工作記憶中更新的訊息,以便僅記住 最後四個字母。而在任務和任務之間則需要使用轉移這項功能,過去也曾有相關研 究,探討孩童在算術時轉移功能需要在操作、策略和數量範圍之間切換, 以便成功獲 得答案(Andersson, 2008; Bull and Scerif, 2001)。 Best、Miller 和 Naglieri (2011)在一項研究中發現不同類型的數學問題與中央執行 功能的關係。透過 CAS 標準化測試來衡量兒童心理能力的認知功能,針對 5 歲兒童 進行三項測驗並持續進行至 17 歲,測驗內容是在有效時間內記住出現的數字或是英 文字母或是數字間的背誦與轉換,計算完成測驗的準確度以極為程時間,搭配測試閱 讀,寫作和數學的伍德考克-約翰遜成就測驗(WJ)做相關性分析,他們提出,問題解 決在很大程度上是取決於策略、執行以及自制力,透過每一次的測驗的訓練為學生的 學習方式帶來改善,而這項實驗也證實 5 歲兒童的中央執行功能所發揮的目標導向 行為尚未成熟的青少年會隨著年齡的增長而有正相關的發育。. 9.
(20) 第2節. 程式理解. 軟體維護過程中理解程式的過程這樣的重要活動即程式理解(Koenemann, & Robertson, 1991),程式理解是來理解他人撰寫的程式的能力,被廣泛認為是程式設計 的核心(Bednarik & Tukiainen, 2006)。而程式設計者在進行程式理解時所使用的策略 和認知之間的關係有著很大的相關性,早期在該領域的研究已經建立了基礎,像是專 家和新手的理解差異或理解過程中使用的理解策略(Good & Brna, 2004)。過去研究表 明,程式設計者試圖用由上而下和由下而上,或是結合兩種方式來進行程式理解 (O'Brien, Buckley & Shaft, 2004)。由上而下的理解是從目標到細節,對問題先有一個 整體的概念,然後再逐步加上細節 (Shneiderman & Mayer, 1979) ;而由下而上是從 基本的程式碼建構目標,先將解決問題可能所需的基本元件、方案準備好,然後再將 這些基本元件組合起來,由小而大最後得到整體程式(Shneiderman & Mayer, 1979)。 Pennington (1987)提出程式設計員使用由下而上的策略來收集語句和控制資訊。這些 結構被分塊並被交織引用,形成程式模型。隨後形成了一個由下而上的模型。 Soloway 以及 Ehrlich (1984)探討高成就以及低成就在程式設計上的差異,像是 程式設計策略以及對程式設計規劃(程式的語義和語法的模式)。得認知,他們認為程 式是經過不同的程式設計策略修改而成,爾後運用程式來滿足特殊的問題。為了探討 這個面向,在實驗中分別使用回想(recall)測驗以及填空(fill-in-the-blank)測驗,而在題 目上也做了計劃式(plan-like)以及非計劃式(not plan-like)的方式呈現,發現當高成就 者在計劃式模式下的表現優於低成就者的表現,包含回應時間以及答題正確率,但是 當模式轉變為非計劃式時,高成就者的表現明顯降低,甚至比低成就者表現更低。這 也說明了高成就者對於程式碼的呈現有一定的預期,像是不同的程式結構,針對這個 預期也有了對應的策略以及規則,而當呈現的方式不如預期時,就會影響解題的表 現,研究也表明程式設計策略以及程式設計規則在程式設計中的重要性。 在 Soloway 以及 Ehrlich (1984)的實驗中,他們在填空(fill-in-the-blank)測驗中程式 碼的部分區域做挖空並讓受試者進行程式理解,這樣的方式在 Crosby、Scholtz 和 10.
(21) Wiedenbeck (2002)的實驗中也有幾分相似,根據 Brook (1983)所提出的“關鍵片段 (Beacons)以焦點存在於程式的理解和閱讀中“這個理論,他們對程式設計專家以及 新手進行了程式回想(recall)測驗,並根據 Vonder Embse (1987)利用眼球追蹤技術探 討高低成就瀏覽數學算式片段的不同的方式,也使用眼球追蹤技術來探討高低成就 受試者在進行程式理解時,所聚焦的程式片段的差異,分析高成就者所注視的片段來 統計程式碼的關鍵片段,實驗結果發現高低成就者程式理解時,關鍵片段對高低成就 者影響的不同,高成就者們在看見關鍵片段後能夠理解整個程式,並且在回想測驗結 果發現與 Adelson (1981)的實驗,對於低成就者所關注的關鍵片段並非與功能相關而 是與程式語法相關,對低成就者需要以程式語法來維持對程式的理解,對於高成就 者,已經在內心建立了程序,當注視關鍵片段時能夠與內心的程序做匹配進而做程式 功能的推斷。. 第3節 程式理解與工作記憶 當程式設計者在閱讀程式時,會有各式各樣的瀏覽策略(Crosby and Stelovsky, 1989),而這是否和程式設計者的工作記憶有很大的關係?工作記憶是大腦系統,提供 了必要的資訊暫存和操作,比如:認知複雜度像是語言的理解、學習、論證及推理 (Baddeley, 1992)。Siegmund 等人發現不同的程式模式的出現在於受試者大腦的不同 區域,這些區域與工作記憶、注意力和語言處理等功能相關(Jbara & Feitelson, 2017)。 當程式設計者在進行程式理解時會進入工作記憶,將這些訊息比對長期記憶的語意 與語法知識以及程式片段後,亦即將長期記憶中的知識(語意、語法以及程式片段)取 出並進行理解。 一、程式理解與中央執行功能 過去 Lavie 和 Fockert (2005) 對於工作記憶的研究做了視覺搜索測驗,探討了大學 生工作記憶中的中央執行功能目標導向的表現,他們假設工作記憶可提供目標導向 的視覺選擇性注意力控制,從而最大程度地減少與目標無關的干擾因素的干擾。. 11.
(22) 實驗中要求受試者記住六位數組成的集合數以及判斷數組中是否有問號的出現, 或是回答數組相加出來的答案。最後進行 ANOVA 來統計受試者的平均錯誤率以及 答題時間,結果與假設一致,視覺搜索測驗中與測驗無關的內容的注意力攫取取決於 選擇注意力任務的工作記憶的能力。 在進行程式理解時,學習者採用問題導向學習(PBL)方式進行學習,此時需要採取更 多的認知行動和步驟來解决問題,所以當面對問題時會對工作記憶提出要求(Jacobs, Dolmans, Wolfhagen, Scherpbier, 2003)。而工作記憶中的中央執行功能此時就能提供 目標導向的控制,從而最大程度地減少與目標無關的干擾。 二、程式理解與視覺空間畫板 Alloway 以及 Passolunghi (2011).針對兒童進行了工作記憶的測驗目的是研究工作 記憶和語言能力(通過詞彙量)對兒童數學能力的貢獻。對 206 名 7 歲和 8 歲的孩子進 行了這些認知能力測試。實驗中讓學生進行數字回憶、單字回憶、非單字回憶、聆聽 回想,倒數回想、計數回想測驗以及迷宮測驗,搭配數學能力測驗以及 PMA(Thurston & Thurstone, 1968)詞彙測驗。為了研究 7 歲和 8 歲兒童工作記憶中哪些記憶成分與 數學技能相關,使用回歸統計分析。研究結果表明,工作記憶對算術能力的作用與年 齡有關。在七歲的孩子中,視覺空間畫板和語音迴路可以預測數學的表現;但是,在 八歲兒童中,只有視覺空間畫板才能預測數學成績。這也表明視覺空間畫板與數學能 力的密切關係。在進行程式理解時,數字會隨著程式的運作在行與行之間變化,而視 覺空間畫板在其中擔任一個心理黑板來進行數字表示例如計數的位置、值和列對齊 (Trbovich & LeFevre, 2003)。 三、程式理解與語音迴路 Waters (1996)等人對語音迴路與閱讀理解的關係進行了相關的研究,他們對受試 者進行了語句回憶測驗,受試者必須回憶題目出現的語句內容以及具住每個句子的 最後一個字,並針對答題正確率對句子的命題數和語法複雜性進行分析。結果表明語 法複雜性和命題數都會對語音迴路有所影響,語法越複雜題目數越多,受試者的回憶 12.
(23) 準確度會隨著工作記憶負載的增加導致受試者語音迴路的表現降低而在進行理解的 反應時間會變長,理解成績越差。Costelloe(2004)指出學生剛開始學習程式設計時, 在語法及程式概念上常會碰到困難而感到沮喪。由於一般的程式語言語法結構龐大 複雜,容易造成程式初學者學習的困擾(Mannila, Peltomäki & Salakoski, 2006)。在進 行程式理解時,對於程式複雜的語法,時常會導致程式設計者對程式有錯誤的理解或 是需要花費較長的時間來理解程式意義。. 第4節. 眼動與程式理解. 過去以傳統方式對程式理解已有數十年的研究,但我們對程式設計者如何理解 程式碼的這件事的理解仍然有限(Peitek, Apel, Brechmann, Parnin & Siegmund, 2019)。 Crosby 等人使用眼動儀來探討 cs 大學生在進行程式理解時使用 Beacon 的特徵,為 的就是能獲取精確的數據,而研究也提出了理論:眼心理論,表示眼睛凝視在同一個 文字上許久的時間也許是因為和過去的資訊有所連結。 Just 以及 Carpenter (1980) 根據凝視時間以及文字凝視點,建立了一組閱讀模型。他 們建議讀者應該調整自己取得訊息的速度,以便與內部理過程做結合。 Vonder Embse (1987)使用眼動來論證高低能力在瀏覽數學算式片段上的不同。高能力 關注於有意義的部分,低能力沒有特別關注於任何一個部分。為了更詳細地描述理解 過程,本研究將程式的理解過程細分為幾個有意義的片段,並研究眼球移動的變化。 從一個長期的、全局的角度來分析眼動數據,眼動數據在整個理解過程中被視為一種 方法。Crosby 與 Stelovsky 曾提出,眼睛運動的測量為我們提供了即時處理和查看 參受試者在閱讀程式時的視覺注意力。Busjahn 等人借助眼動儀,在新手和專家之間 探究了獨特的受試者程式理解閱讀風格。透過眼球移動路徑進行程式理解之策略判 斷,眼球 移動數 據是 可以揭示 程式設 計者 的策略行 為的重 要訊 息 (Bednarik, & Tukiainen,2006),眼動已使用在無數的研究上,以探索受試者所關注的焦點為分析根 據(Rayner, 1978, Shebilske and Reid, 1979; Ehrlich and Rayner, 1981)例如:利用眼動實 驗 數 據 分 析 程 式 碼 的 注 視 次 數 、 注 視 切 換 和 注 視 時 間 的 比 率 (Bednarik,2006; 13.
(24) Bednarik,2005),而眼睛固定的位置和持續時間則顯示了受試者認為的重要區域 (Crosby, Scholtz & Wiedenbeck, 2002)。Andrá, Lindström (2015)等人提出了眼動的測量 為我們提供了即時處理和對閱讀數學時受試者視覺注意力的寶貴見解。於此可知,與 傳統的書面或口頭訪談相比,眼動分析具有明顯的優勢(Epelboim & Suppes, 2001)。 所以,我們相信眼動可以捕捉到每個表象在理解過程中所扮演的角色的變化,並描述 所理解的程序的心理模型建構(Bednarik, 2005)。. 14.
(25) 第三章. 研究方法. 本章說明本研究方法共分為五節,第一節說明研究設計與架構;第二節說明研究 實驗參與者;第三節說明研究程序;第四節說明研究工具;第五節資料分析。. 第1節. 研究設計與架構. 本研究藉由受試者進行程式理解時眼動的反應探討其認知歷程。研究分三個變 項是工作記憶能力、程式理解表現、程式理解策略,圖 3-1 為研究設計架構。. 圖 3-1 研究設計架構. 15.
(26) 第2節. 研究程序. 本研究所進行的流程分為工作記憶測驗以及程式理解測驗,工作記憶共有三個 測驗,分別對應到工作記憶中的中央執行、語音迴路以及視覺空間板畫板;程式理解 的歷程以及策略會透過眼動儀來進行紀錄,最後系統將匯出受試者的眼動資料來進 行數據分析。 實驗的第一部分將對受試者進行 40 分鐘的工作記憶測驗,此目的是要取得受試 者的工作記憶能力。第二部分將進行 10 分鐘的測驗環境的熟悉,受試者透過螢幕上 顯示的題目使用滑鼠在螢幕上做計算來熟悉做題環境,會先和受試者說明實驗流程 以及注意事項,接著進行眼動校正(會先跟著螢幕上移動的點做對焦再對螢幕上的中 心點做對焦。),此動作是為了讓眼動儀能夠精準測量受試者瞳孔的位置,以便接下 來的實驗過程中記錄受試者眼球移動的情形。實驗開始前會先讓受試者熟悉做題環 境,即在螢幕上呈現一題範例題,當範例題結束後即正式開始程式理解測驗。最後會 正式進行程式理解的測驗,第一題為條件判斷句,作題時間為 8 分鐘,第二題為迴圈 結構,作題時間為 8 分鐘,第三題為函式結構, 作題時間為 8 分鐘。每題結束後會針 對該題進行 10 分鐘的口頭訪談以分析受試者程式理解的歷程,訪談內容詳見附錄一 至附錄三,如果受試者在程式理解測驗時間內完成,則允許結束當題測驗並直接進行 口頭訪談,如未在時間內完成測驗則強制關閉測驗畫面並進行口頭訪談。全部實驗總 共花費時間為 104 分鐘,流程如圖 3-2。. 16.
(27) 圖 3-2 程式理解實驗流程. 表 3-1 實驗流程對照表 名稱. 內容. 工作記憶測驗-語音迴路. 運作廣度測驗. 工作記憶測驗-視覺空間. 旋轉廣度測驗. 工作記憶測驗-中央執行. 河內塔測驗. 程式理解測驗環境熟悉. 時間. 共 40 分鐘. 1.引導受試者測驗流程 2. 確 認受 試 者測 試環境 熟悉程度以及做題方式. 17. 共 10 分鐘.
(28) 程式理解測驗(一). 條件判斷句、口頭訪談. 共 18 分鐘. 程式理解測驗(二). 迴圈結構、口頭訪談. 共 18 分鐘. 程式理解測驗(三). 函式結構、口頭訪談. 共 18 分鐘. 第3節 研究工具. 一、工作記憶測驗 1.運作廣度(Operation Span)測驗 本實驗使用來自 Stone 和 Towse 所發表的工作記憶測驗(Stone & Towse, 2015), 是一款用 Java 所開發的口語(Verbal)測驗,是常見的語言複雜工作記憶測驗之一 。 此實驗包含儲存與運作兩個部分。記憶部分,受試者必須記憶出現的整數,運作部分, 受試者必須判斷螢幕上出現的算式答案是否正確。每一次試驗結束時,受試者必須回 憶此次試驗所出現的整數序列。在試驗進行過程中,每個儲存整數之後會緊接著出現 一道運算式,例如「6+7=10」的運算式,圖 3-3 為運作廣度測驗,參與者不僅要記住 整數,還要判斷這些運算式的答案是否正確並予以回應。每次的試驗都會隨機出現數 字和操作,預設值為 10-99 的數字。分數計算的方式是根據出題數乘上作題得分數, 每題得分數依據該題的跨度,例如出題數為 2 題,而記憶跨度 3 作答正確記憶跨度 4 作答錯誤,則總分數為 2*(3+0)。. 18.
(29) 圖 3-3 運作廣度測驗. 2. 旋轉廣度(Rotation Span)測驗 本實驗與運作廣度實驗同樣使用來自 Stone 和 Towse 所發表的工作記憶測驗 (Stone & Towse, 2015),是一款用 Java 所開發的視覺空間(Visuo Spatial)測驗。此實驗 包含儲存與運作兩個部分。記憶部分,受試者要記憶箭頭的兩個特徵,即:長短以及 角度(系統設定的旋轉角度為 0°, 45°, 90°, 135°, 180°, 225°, 270°,或 315°),運作部分, 螢幕每次會出現一個字母(F、G 或 R),會以正像或鏡像的方式呈現,此時受試者必 須使用右鍵及左鍵回應它是正常的還是鏡像。試題將不同的箭頭長短與方向呈現在 螢幕中,每一次試驗結束時,受試者必須依序回答箭頭的長短與旋轉角度,圖 3-4 為 旋轉廣度測驗。分數計算採題目數乘上記憶跨度,而記憶跨度為角度跨度,與運作廣 度相同,如果沒有答對的題目則採 0 分計算。. 19.
(30) 圖 3-4 旋轉廣度測驗圖. 3.河內塔(D-KEFS Tower Test)測驗 本實驗採用 Delis-Kaplan 的中央執行系統,是一種神經心理學測試,也是第一 個國家標準測試系統,使用於兒童和成人的高階認知功能的評估,而之所以稱高階認 知功能為執行功能,是因為它運用了人類主要的認知技能來生產更高階的創造性以 及抽象思維,即:注意力、語言處理以及感知部分。D-KEFS 包含 9 個獨立的測驗, 本次實驗所使用的是其中一項 D-KEFS 河內塔測驗,而受試者使用平板來進行中央 執行功能的測驗。 河內塔測驗內容為五個尺寸大小不同的圓盤以及三根圓柱。測驗總共有 9 道題 目,每題會在左上方顯示題目要求受試者要呈現的結果,受試者必須盡可能花費最少 的移動次數來達到題目要求的結果。在過程中受試者必須一次只能移動一個圓盤並 且是擺在最上面的一個圓盤,手上的圓盤只能放在比自己大的圓盤上方或是空的圓 柱。過程中系統將計算受試者答題所花費的時間、移動圓盤的次數,分數的評分方式. 20.
(31) 是以每一關移動盤子的數量的和再除以 9 個獨立測驗下來的平均移動次數,每個獨 立測驗的盤子移動最小次數落在 1 到 26 次(D-KEFS: Delis, Kaplan, & Kramer, 2001), 6 圖 3-5 為 D-KEFS 河內塔測驗圖。. 圖 3-5 D-KEFS 河內塔測驗圖. 二、 程式理解測驗 程式理解測驗的實驗材料為三題以 Python、Java 以及 C 語言撰寫的程式題目, 並只成 PPT 檔透過螢幕呈現。第一題為條件判斷句(conditional),程式如圖 3-6 所示, 程式依照不同的 x 值的範圍,設定 m 與 n 的數值若 x 值大於 0 則進入 if 條件;若 x 等於 0 則執行 elif 條件;若 x 大於等於負 10 則執行內層條件的 if 條件;若 x 小於負 10 則執行內層條件的 else 條件,評分方式採用口頭訪談,能夠清楚程式流程目的以 及回答得出問題即可得分,滿分為 11 分,評分標準詳見附錄一。第二題為迴圈(loop) 結構,程式如圖 3-7 所示,此程式會將輸入的 x 與 y 當作起始的兩個數,接下來下一 個數都是前兩個數字相加,直到 n*n 次,故印出 n*n+2 個數字,能夠清楚程式流程 目的以及回答得出問題即可得分,滿分為 11 分,評分標準詳見附錄二;第三題為函 21.
(32) 式(function)結構,程式如圖 3-8 所示,此程式會根據 y 的輸入值,判斷是要做奇數的 加總、偶數的加總,或所有數字的加總,加總次數會根據 x 的輸入值變化,對每個 i 從 1 到 x,都會檢查對每個 j 從 1 到 i,去進行此數的加總,能夠清楚程式流程目的 以及回答得出問題即可得分,滿分為 13 分,評分標準詳見附錄三。 為了能觀測受試者對於程式碼的理解歷程,題目的興趣區域(AOI)合併原則為同 屬性質、同樣屬於一個條件、條件判斷句的合併原則以內曾條件以及外層條件為主, 而其餘的興趣區域則以獨立形式呈現。. 圖 3-6 條件判斷句之興趣區域. 圖 3-7 迴圈結構之興趣區域 22.
(33) 圖 3-8 函式結構之興趣區域. 三、眼動分析工具 本研究使用瑞典眼球追蹤公司所開發的 Tobii X120 眼動儀,在使用儀器之前, 會將儀器擺放至定位並測量儀器與螢幕的距離以及仰角,再將測量的距離輸入進軟 體,因為本實驗的受試者身高不同,所以儀器的仰角以及高度會有所不同。Tobii X120 擁有 60H 的採樣率,藉由眼動儀讓電腦裝置知道受試者注視位置,可以幫助 我們取得受試者在進行程式理解時,眼睛的注視點所反映出的認知歷程,以更了解 受試者當下的想法。在軟體使用上我們也是搭配 Tobii Studio 進行資料分析,我們 透過軟體進行興趣區域(AOI)的劃分,當受試者結束實驗後,軟體會紀錄凝視次 數、凝視時間、熱像圖等以提供我們做後續的分析。. 第4節. 實驗參與者. 本研究以具備一年以上程式設計經驗(包含 Python,Java,C)的大學生為對象,. 23.
(34) 扣除眼動儀採樣率 (指眼動儀每秒採集眼球圖像的次數) 低於 70% 後共計受試者 20 位。本研究以眼動儀擷取受試者凝視點,為了確保眼動儀能的校正,本實驗的受試者 近視的人配戴眼鏡(輕度近視的人也要攜帶眼鏡預備)、能配戴軟式隱形眼鏡較佳、絕 對不能有角膜變色片。. 第5節. 資料分析. 本研究為了回答研究問題分別以不同的統計方法進行分析;(一)為了得知不同工 作記憶能力的學生是否傾向使用不同的程式理解策略,我們將每一位受試者的眼動 數據輸出,要能更清楚的顯示受試者的程式理解狀況,我們使用凝視時間來進行統 計,但是發現每位受試者在進行程式理解時有的受試者會運用最短的時間理解程式 內容有些受試者會將時間用好用滿並且充分瀏覽程式碼,這樣反而較難再這麼多的 凝視點上發現較為著重的興趣區域,所以我們將每位受試者的每一個興趣區域的凝 視時間去除以總凝視時間,得出凝視時間比例後即可清楚得知受試者在進行各題程 式理解時所著重的興趣區域為何處因而判斷受試者程式理解策略為何。那麼程式理 解策略是否與工作記憶的某些功能運作有關係,我們將分析出的凝視比例與工作記 憶各題的分數使用 IBM 統計軟體 SPSS23 來進行相關性統計分析,其中運作廣度、 旋轉廣度以及河內塔測驗分是取受試者各題得分。為了能更清楚受試者的程式理解 凝視時間比例分布狀況,因此使用熱像圖來進行相互比對,本研究根據受試者的興趣 區域凝視時間比例以及熱像圖,熱像圖式由每一個熱點所疊成,每一個熱點的半徑為 (radius) 50px、瞳孔的縮放最大值(scale max value)為 3.00 秒,如果介於 0.00 到 1.50 之間則呈現綠色熱點,如果等於 1.50 至 3.00 之間則以黃色呈現,如果大於 3.00 則以 紅色呈現熱點,而這些熱點也代表相對凝視時間(relative duration),本實驗以上數據 來分析實驗結果,如圖 3-9 所示。. 24.
(35) (二)為得知不同程式理解表現的學生是否傾向使用不同的程式理解策略,我們 將程式理解的興趣區域凝視時間比例與程式理解分數進行相關性分析;(三)為了解 工作記憶能力是否會影響程式理解表現,本研究使用工作記憶各題的分數與程式理 解各題的分數進行相關性統計;在分析工作記憶與程式理解表現的相關性後,進而 利用獨立樣本 t 檢定分析不同程式理解表現的受試者其工作記憶能力之差異,並針 對不同程式結構進行分析,且搭配熱像圖(圖 3-9)來進行比對。所謂熱像圖,主要是 用來反映受試者瀏覽和注視的情況,由此可以了解受試程式理解的那些特點。. 圖 3-9 Tobii 眼動儀分析之條件判斷程式結構熱像圖. 25.
(36) 第四章. 實驗結果分析. 本章共分五節,第一節說明程式理解表現;第二節工作記憶能力與程式理解表 現;第三節程式理解表現高低成就與工作記憶能力的關係;第四節程式理解表現與程 式理解策略的關係。. 第1節. 程式理解表現. 本研究為探討工作記憶能力與程式理解策略這兩項與程式理解表現之間的關係, 並進一步了解程式理解表現不同者在程式理解策略中的不同,因此我們將受試者分 為高成就以及低成就,從高低成就中分別來探討程式理解表現以及工作記憶能力的 不同。 表 4-1 程式理解表現測驗 描述統計表 測驗名稱. 平均數. 標準差. 條件判斷. 10.125. 1.1224. 迴圈結構. 8.350. 2.3902. 函式結構. 9.325. 3.3650. 表 4-1 是三種程式結構的理解分數描述統計,將 20 位受試者各題得分總平均數 為基準分別高成就(大於等於平均數)與低成就(小於平均數)後加以對照,發現程式 理解中,條件判斷的平均大於函式結構再來是迴圈結構;標準差比起來卻是函式結構 的標準差大於迴圈結構再來條件判斷。. 26.
(37) 表 4-2 程式理解表現之高低成就分類 描述統計表 測驗名稱. 成就分類. 條件判斷. 迴圈結構. 函式結構. 人數. 平均數. 標準差. 高. 10. 11.000. 0.0000. 低. 10. 9.250. 0.9789. 高. 13. 9.615. 0.8697. 低. 7. 6.000. 2.5820. 高. 12. 11.750. 1.0553. 低. 8. 5.688. 1.9445. 第 2 節工作記憶能力與程式理解表現 工作記憶測驗以及程式理解測驗上顯現出了 20 位受試者在各項認知能力上的差 異。從表中的工作記憶測驗上,我們發現受試者在運作廣度測驗的分數最大值以及最 小值都是三項工作記憶測驗中最高的,代表受試者的語音迴路能力較佳;而在程式理 解測驗上,三題的平均數沒有太大的差距,不過可以發現隨著程式的篇幅越廣以及結 構越複雜,在分數上最大值以及最小值的差距越大,標準差也越大。 表 4-3 工作記憶能力與程式理解表現之描述統計 測驗名稱. 最小值. 最大值. 平均數. 標準差. 運作廣度測驗. 17. 43. 28.0000. 7.01877. 旋轉廣度測驗. 2. 33. 18.2000. 13.74428. 12. 22. 16.8000. 3.08818. 條件判斷. 7. 11. 10.125. 1.1224. 迴圈結構. 1. 11. 8.350. 2.3902. 函式結構. 2. 13. 9.325. 3.3650. 河內塔測驗. 27.
(38) 首先,從運作廣度測驗(語音迴路)與程式理解上來看,從表中可以得知,除了在 迴圈結構上(r = 0.536,p = .015)達到正相關顯著外,而條件判斷以及函式結構則沒有 達顯著水準,代表程式理解能力受到工作記憶中語音迴路的影響。從旋轉廣度測驗 (視覺空間畫板)與程式理解上來看,從表中發現,迴圈結構(r = 0.542 ,p = .013)呈現 正相關顯著,而函式結構(r = 0.400,p = .080)則接近正相關顯著,代表著程式理解能 力與視覺空間畫板有關。在河內塔測驗(中央執行功能)與程式理解上來看,從表中可 以發現,條件判斷、迴圈結構以及函式結構的分數相關性並未達顯著代表著程式理解 能力並不會受到工作記憶中的中央執行功能的影響。. 表 4-4 工作記憶能力與程式理解表現之相關性 工作記憶. 程式理解測驗. 皮爾森相關. 顯著性 (雙尾). 運作廣度測驗. 旋轉廣度測驗. 河內塔測驗. 條件判斷. 0.104. 0.664. 迴圈結構. 0.536. 0.015*. 函式結構. 0.351. 0.129. 條件判斷. 0.119. 0.616. 迴圈結構. 0.542. 0.013*. 函式結構. 0.400. 0.080. 條件判斷. 0.366. 0.112. 迴圈結構. -0.137. 0.566. 函式結構. 0.369. 0.110. *p < .05, **p < .01. 28.
(39) 第3節. 程式理解表現者高低之工作記憶能力差異. 我們透過獨立樣本 t 檢定檢驗程式理解高成就與低成就者在工作記憶能力上的 差異,如表所示,高低能力者在整體的統計上只有旋轉廣度測驗(視覺空間畫板)與迴 圈結構(t = 1.736,p = .060)達近似顯著,相較之下條件判斷以及函式結構則未達顯著 或近似顯著,而在這方面我們可以進一步地來探討迴圈結構的理解能力受到視覺空 間能力的影響。. 表 4-5 工作記憶能力與程式理解表現之獨立樣本 t 檢定 工作記憶. 程式理解. 成就. 平均數. 標準差. 測驗 運作廣度. 條件判斷. 測驗 迴圈結構. 函式結構. 旋轉廣度. 條件判斷. 測驗 迴圈結構. 函式結構. 河內塔測 驗. 條件判斷. 標準誤平. t 值. p 值. -0.186. 0.203. 1.598. 0.433. 1.326. 1.000. -.941. 0.180. 1.736. 0.060. 1.159. 0.827. -0.283. 0.880. 均值 高. 27.7000. 6.03784. 1.90933. 低. 28.3000. 8.20637. 2.59508. 高. 29.7692. 7.40668. 4.05643. 低. 24.7143. 5.18698. 3.47586. 高. 29.6667. 7.03670. 2.03132. 低. 25.5000. 6.63325. 2.34521. 高. 15.3000. 11.50893. 3.63944. 低. 21.1000. 15.73708. 4.97650. 高. 21.9231. 14.62567. 4.05643. 低. 11.2857. 9.19627. 3.47586. 高. 21.0833. 14.17077. 4.09075. 低. 13.8750. 12.71037. 4.49380. 高. 16.6000. 2.59058. 0.81921. 低. 17.0000. 3.65148. 1.15470. 29.
(40) 迴圈結構. 函式結構. 高. 17.3077. 3.03822. 0.84265. 低. 15.8571. 3.18479. 1.20374. 高. 17.7500. 2.89592. 0.83598. 低. 15.3750. 2.97309. 1.05115. 1.002. 0.775. 1.778. 0.646. *p < .05, **p < .01. 第 4 節 程式理解表現與程式理解策略的關係 在第三章研究方法中提到我們將程式理解各題劃分出了興趣區域並且將同屬性 的合併以利我們在資料分析上能獲得較能佳的資訊,劃分興趣區域之後我們依照受 試者的凝視時間比例來進行眼動與程式理解表現的相關性探討。如表 4-6 中所顯示, 將各興趣區域的凝視時間比例與所屬的程式題分數作統計上的分析,因為題目所劃 分的程式較多,所以在表格呈現上僅提供達顯著以及近似顯著的部分。而在統計呈現 上也會搭配訪談時,受試者較多回應的內容以及熱像圖展示,展示的熱像圖為三種程 式語言(C,Python,Java)所示,以利我們在觀看統計分析時可以作比對。. 一、 條件判斷理解表現與程式理解策略相關性 從條件判斷來看,在輸入值部分(r = 0.052,p = .024)達到顯著正相關; if 條件主體部分(r = -0.442,p = .051)達到負相關;內層 else 條件部分(r = -0.694,p = .001)達到負相關,代表高成就較傾向注視程式最初的部分,低成就者需要將題目全 部瀏覽過後再推斷程式意義。 熱像圖是基於注視點的相對注視時間長度來創建,最大值為 3.00 秒,如果介於 0.00 到 1.50 之間則呈現綠色熱點,如果等於 1.50 至 3.00 之間則以黃色呈現,如果大於 3.00 則以紅色呈現熱點,從圖 4-1 顯示程式理解條件判斷句型中,將所有低成就者的 30.
(41) 熱像圖進行疊圖的動作,可以很清楚的看見在每一行的程式碼都有高密度的瀏覽,尤 其在條件以及外層條件主體的部分都有密集的高於 3.00 秒的凝視時間,因此推斷出 受試者在程式理解時的理解策略是以各條件以及條件主體為主要瀏覽來推斷程式目 的。. 表 4-6 條件判斷程式理解表現與興趣區域的凝視時間比例之相關性檢定 AOI. 皮爾森相關性. 顯著性(雙尾). 輸入值. 0.501. 0.024*. if 條件. 0.407. 0.075. if 主體. -0.381. 0.098. if 主體 2. -0.283. 0.227. elif 條件. -0.091. 0.702. elif 主體. 0.057. 0.811. elif 主體 2. 0.091. 0.702. else 條件. 0.052. 0.827. 內層 if 條件. 0.151. 0.524. 內層 if 主體. -0.416. 0.068. 內層 if 主體 2. 0.052. 0.829. 內層 else 條件. -0.694. 0.001**. 內層 else 主體. -0.725. 0.000**. 內層 else 主體 2. 0.111. 0.641. 輸出值. 0.004. 0.985. 手寫區. 0.140. 0.555. 31.
(42) 熱像圖是基於注視點的相對注視時間長度來創建,最大值設置為 3.00 秒,也就是 紅色的區域,圖 4-1 顯示程式理解條件判斷句型中,將所有低成就者的熱像圖進行 疊圖的動作,可以很清楚的看見在每一行的程式碼都有高密度的瀏覽,尤其在條件 以及外層條件主體的部分都有密集的高於 3.00 秒的凝視時間,因此推斷出受試者在 程式理解時的理解策略是以各條件以及條件主體為主要瀏覽來推斷程式目的。. 圖 4-1 條件判斷程式理解所有低成就者之熱像圖疊圖_C 語言. 32.
(43) 圖 4-2 條件判斷程式理解所有高成就者之熱像圖疊圖_C 語言. 二、 迴圈結構理解表現與程式理解策略相關性 在迴圈結構統計上,如表 4-7 所示,遞增部分(r = -0.478,p = .033)呈現負相關, 而其他部分則未達且未近似顯著,可以看出高成就者通常會將注視鎖定在題目的主 軸,而低成就者則在遞增部分仍繼續計算程式執行的次數是否可以離開雙層迴圈。. 表 4-7 迴圈結構程式理解表現與興趣區域的凝視時間比例之相關性檢定 AOI. 皮爾森相關性. 顯著性(雙尾). 輸入值. 0.055. 0.819. 輸出值. 0.119. 0.617. while 迴圈條件. 0.363. 0.115. 設立初始值. 0.082. 0.730. 內層 while 迴圈條件. 0.161. 0.497. 內層 while 主體. 0.091. 0.702. 內層 while 主體 2. 0.051. 0.831. 33.
(44) 內層 while 主體 3. 0.376. 0.103. 輸出值 2. 0.154. 0.518. 遞增 1. 0.466. 0.038*. 遞增 2. 0.229. 0.333. 手寫區. 0.157. 0.509. 圖 4-3 迴圈結構程式理解所有低成就者之熱像圖疊圖_ Python. 34.
(45) 圖 4-4 迴圈結構程式理解所有高成就者之熱像圖疊圖_Python. 三、 函式結構理解表現與程式理解策略相關性 從函式結構來看,如表所示,在函式 3 呼叫部分(r = 0.560,p = .010)達顯著正相關, 表明高成就者在此處會特別作留意的動作;函式 1 設立初始值部分(r = -0.528,p = .017) 以及函式 2 設立初始值部分(r = -0.458,p = .042)達到負相關,代表低成就者容易在 此處做凝視思考的動作;函式 2for 迴圈條件部分(r = 0.453,p = .045)達顯著正相關, 表示相較於高成就者,低成就者在主程式中的條件判斷句傾向滿足 if 條件並進入函 式 1 的 for 迴圈條件並嘗試理解程式內容以及目的,所以在對程式表現較低的情況 下,低成就者較不會嘗試滿足其他函式。. 35.
(46) 表 4-8 函式結構程式理解表現與興趣區域的凝視時間比例之相關性檢定 AOI. 皮爾森相. 顯著性(雙尾). 關性 輸入值. -0.204. 0.388. for 迴圈條件. -0.242. 0.304. while 迴圈條件. 0.066. 0.186. if 條件. 0.308. 0.186. 函式 1 呼叫. 0.077. 0.746. elif 條件. 0.099. 0.678. 函式 2 呼叫. 0.345. 0.136. else 條件. 0.181. 0.446. 函式 3 呼叫. 0.560. 0.010*. 輸出值. 0.147. 0.538. 遞增. 0.081. 0.736. 輸出值 2. 0.277. 0.236. 函式 1. 0.368. 0.110. 函式 1 設立初始值. -0.528. 0.017*. 函式 1for 迴圈條件. -0.443. 0.051. 函式 1if 條件. -0.161. 0.499. 0.198. 0.402. 函式 1 回傳值. -0.161. 0.497. 函式 2. -0.102. 0.668. 函式 2 設立初始值. -0.458. 0.042*. 函式 2for 迴圈條件. 0.453. 0.045*. 函式 2if 條件. 0.413. 0.071. 函式 2 遞增. 0.238. 0.312. 函式 2 回傳值. -0.220. 0.350. 函式 3. -0.350. 0.130. 函式 3 回傳值. 0.345. 0.137. 手寫區. 0.234. 0.320. 函式 1 遞增. 36.
(47) 圖 4-5 函式結構程式理解所有低成就者之熱像圖疊圖_ Python. 圖 4-6 迴圈結構程式理解所有高成就者之熱像圖疊圖_C 語言. 第5節. 工作記憶能力與程式理解策略的關係. 37.
(48) 在本節,我們將延續第二節的統計,而我們在本節將針對工作記憶能力與興趣區 域的注視狀態相關性,如表 4-9 所示,將程式理解各題興趣區域的注視狀態與工作記 憶能力分數作統計上的分析。. 一、工作記憶能力與條件判斷程式理解策略之相關性 從運作廣度測驗分數來看,else 條件部分(r = -0.488,p = .029)呈現負相關,表 示高語音迴路能力者能從程式最易開始的條件片段中推斷出程式整體架構;在旋轉 廣度測驗分數,elif 條件主體部分(r = 0.444,p = .050)呈現顯著正相關,表示低視覺 空間能力者在進行程式理解時,在數字符號替換的地方會感受到複雜因為心智會出 現畫板來計算出現的數字的加減乘除,所以會花費較多的時間處理變數轉換的部分; 在河內塔測驗分數來看,外層條件部分(r = -0.652,p = .002)呈現負相關,表明高中央 執行能力者一下子就掌握這個程式的邏輯,知道了條件的分支,所以中央執行功能好 的人可以很快的捉到程式的主軸;反之低中央執行能力者無法掌握程式的脈絡,所以 回一直來回比對條件,輸出值部分(r = 0.403,p = .078)則是呈現近似顯著正相關,表 示高中央執行能力者有較高的問題解決能力,所以在清楚程式架構之後形成目標導 向行為,而專注在輸出值,如圖所示(藍色為負相關,黃色為正相關)。. 表 4-9 工作記憶能力與條件判斷興趣區域的凝視時間比例之相關性檢定 工作記憶測驗 運作廣度. AOI. 皮爾森相關性. 顯著性(雙尾). 輸入值. 0.097. 0.684. if 條件. 0.356. 0.124. if 主體. -0.192. 0.418. if 主體 2. 0.131. 0.581. elif 條件. -0.489. 0.029*. elif 主體. 0.109. 0.648. 38.
(49) 0.377. 0.101. -0.488. 0.029*. 內層 if 條件. 0.013. 0.957. 內層 if 主體. 0.152. 0.522. 內層 if 主體 2. 0.059. 0.805. 內層 else 條件. -0.242. 0.303. 內層 else 主體. -0.071. 0.766. 0.134. 0.574. 輸出值. -0.028. 0.907. 手寫區. -0.025. 0.915. 輸入值. 0.200. 0.398. if 條件. 0.220. 0.351. if 主體. -0.254. 0.279. if 主體 2. 0.215. 0.362. elif 條件. -0.269. 0.252. elif 主體. 0.111. 0.642. elif 主體 2. 0.749. 0.000**. else 條件. -0.319. 0.171. 內層 if 條件. -0.358. 0.122. 內層 if 主體. 0.012. 0.959. 內層 if 主體 2. 0.138. 0.562. 內層 else 條件. -0.293. 0.210. 內層 else 主體. -0.125. 0.599. 內層 else 主體 2. -0.074. 0.756. 0.321. 0.168. elif 主體 2 else 條件. 內層 else 主體 2. 旋轉廣度. 輸出值 39.
(50) 河內塔. 手寫區. -0.038. 0.875. 輸入值. -0.067. 0.780. if 條件. -0.405. 0.076. if 主體. 0.170. 0.473. if 主體 2. 0.037. 0.878. elif 條件. -0.325. 0.163. elif 主體. 0.095. 0.690. elif 主體 2. 0.360. 0.119. -0.183. 0.440. 內層 if 條件. 0.011. 0.962. 內層 if 主體. 0.156. 0.512. 內層 if 主體 2. -0.096. 0.687. 內層 else 條件. -0.058. 0.808. 內層 else 主體. -0.011. 0.963. 內層 else 主體 2. 0.001. 0.995. 輸出值. 0.403. 0.078. 手寫區. 0.252. 0.284. else 條件. 為了更清楚的將統計結果呈現出來以圖 4-7 所示,本研究以顏色顯示的方式分辨 正相關以及負相關,以藍色代表負相關,黃色代表正相關。. 二、工作記憶能力與迴圈結構程式理解策略之相關性 從運作廣度測驗分數,內層 while 主體部分(r = 0.581,p = .007)呈現顯著正相關, 遞增部分(r = -0.426,p = .061)則是呈現近似負相關;從旋轉廣度測驗分數,內層 while 40.
(51) 主體部分(r = 0.570,p = .009)呈現顯著正相關,代表在此處高語音迴路者以及視覺空 間者從一開始的計算直到找出了程式的 pattern 後,語音迴路從長期記憶取出費式數 列元素;內外層 while 迴圈部分(r = -0.412,p = .071)則是呈現近似負相關;從河內塔 測驗分數來看,輸出值 2 部分(r = 0.406,p = .076)呈現近似負相關表示高工作記憶能 力者已經抓住了整個迴圈結構的邏輯,所以要做的事情只是 while 主體(數值交換), 也不需要做其他事情如圖 4-7 所示。. 圖 4-7 工作記憶能力與條件判斷興趣區域的凝視時間比例之相關性_C 語言. 表 4-10 工作記憶能力與迴圈結構興趣區域的凝視時間比例之相關性檢定 工作記憶測驗 運作廣度. AOI. 皮爾森相關性. 顯著性(雙尾). 輸入值. -0.003. 0.990. 輸出值. -0.283. 0.226. while 迴圈條件. -0.478. 0.033*. 設立初始值. -0.053. 0.824. 41.
(52) -0.018. 0.940. 內層 while 主體. 0.109. 0.647. 內層 while 主體 2. 0.314. 0.178. 內層 while 主體 3. 0.673. 0.001**. 內層 while 迴圈條件. 旋轉廣度. 河內塔. 輸出值 2. -0.124. 0.604. 遞增 1. -0.470. 0.037*. 遞增 2. -0.172. 0.469. 手寫區. 0.070. 0.770. 輸入值. 0.046. 0.846. 輸出值. -0.165. 0.487. while 迴圈條件. -0.434. 0.056. 設立初始值. -0.131. 0.581. 內層 while 迴圈條件. -0.199. 0.400. 內層 while 主體. -0.090. 0.705. 內層 while 主體 2. 0.413. 0.070. 內層 while 主體 3. 0.696. 0.001**. 輸出值 2. -0.304. 0.192. 遞增 1. -0.315. 0.176. 遞增 2. -0.030. 0.899. 手寫區. -0.080. 0.738. 輸入值. 0.143. 0.546. 輸出值. -0.149. 0.532. while 迴圈條件. -0.017. 0.944. 設立初始值. 0.239. 0.309. 內層 while 迴圈條件. 0.073. 0.761. 內層 while 主體. -0.372. 0.107. 內層 while 主體 2. -0.256. 0.276. 內層 while 主體 3. 0.073. 0.760. 輸出值 2. 0.406. 0.076. 遞增 1. -0.426. 0.061. 遞增 2. 0.220. 0.350. 手寫區. 0.282. 0.228. 42.
(53) 圖 4-8 工作記憶能力與迴圈結構興趣區域的凝視時間比例之相關性_C 語言. 三、工作記憶能力與函式結構程式理解策略之相關性 從運作廣度,函式 1 呼叫部分(r = 0.380,p = .098)呈現近似正相關,表明高語音迴路 能力者已經知道函式 1 的程式執行,所以只需要看函式 1 呼叫就可以從函式 1 呼叫 做函式計算,或是直接跳到函式遞增計算,函式 3 呼叫部分(r = 0.401,p = .080),呈 現近似正相關,函式 1 部分(r = -0.399,p = .081),呈現近似負相關,說明高語音迴 路能力者已經知道函式 1 的程式執行,所以只需要看函式 1 呼叫就可以從函式 1 呼 叫做函式計算,或是直接跳到函式遞增計算。,函式設立初始值部分(r = -0.547,p = .013),呈現負相關,函式 2 回傳值部分(r = -0.511,p = .021),呈現負相關,此處低 (視覺空間畫板/語音迴路)者看到副程式時會回頭看主程式,高(視覺空間畫板/語音迴 路)者則專注在計算式上,然後會把 S=f1(j)值作暫存,再將暫存的值放入 a 中。,函 式 3 部分(r = -0.459,p = .042) ,呈現負相關;從旋轉廣度來看,函式 1 部分(r = 0.428,p = .060),呈現近似負相關,函式 3 部分(r = -0.465,p = .039) ,呈現負相關; 從河內塔來看,函式遞增部分(r = 0.558,p = .011),呈現顯著正相關,此時高中央執 43.
(54) 行能力者知道 for、if 要做的事情(迴圈次數跟條件判斷)那只要記得順序跟功能所以 在什麼迴圈運作跑什麼條件的判斷,所以只要專注在遞增的計算,如圖 4-9 所示。. 表 4-11 工作記憶能力與函式結構興趣區域的凝視時間比例之相關性檢定 AOI. 工作記憶測驗 運作廣度. 皮爾森相關性. 顯著性(雙尾). -0.064. 0.788. for 迴圈條件. 0.028. 0.906. while 迴圈條件. 0.300. 0.199. if 條件. 0.341. 0.141. 函式 1 呼叫. 0.380. 0.098. elif 條件. 0.322. 0.166. 函式 2 呼叫. 0.357. 0.122. -0.006. 0.979. 函式 3 呼叫. 0.401. 0.080. 輸出值. 0.167. 0.481. 遞增. 0.008. 0.972. 輸出值 2. 0.097. 0.683. 函式 1. -0.399. 0.081. 函式 1 設立初始值. -0.486. 0.030*. 函式 1for 迴圈條件. -0.356. 0.123. 函式 1if 條件. -0.053. 0.825. 0.045. 0.851. 函式 1 回傳值. -0.167. 0.482. 函式 2. -0.157. 0.509. 函式 2 設立初始值. -0.409. 0.073. 函式 2for 迴圈條件. 0.011. 0.962. -0.176. 0.458. 0.056. 0.813. 函式 2 回傳值. -0.511. 0.021*. 函式 3. -0.459. 0.042*. 函式 3 回傳值. -0.309. 0.186. 輸入值. else 條件. 函式 1 遞增. 函式 2if 條件 函式 2 遞增. 44.
Outline
相關文件
Clinical factors associated with employment among people with severe mental illness: Findings from the employment intervention demonstration program. George’s journey: Developing
• Each student might start from a somewhat different point of view and experience the encounters with works of art and ideas in a different way... Postmodern
• Supports program binaries compiled for a different instruction set than the. host hardware
¾ Relocation, which modifies the object program so that it can be loaded at an address different from the location originally specified.. ¾ Linking, which combines two or
• Learn strategies to answer different types of questions.. • Manage the use of time
To explore different e-learning resources and strategies that can be used to successfully develop the language skills of students with special educational needs in the
Explore different e-learning resources and strategies that can be used to successfully develop the language skills of students with special educational needs in the..
This study first explores the legal cases on the definition of wage from different agents, including administrative authorities, judicial authorities, and academic organizations..