第五節 問題導向學習評量工具
依據本研究目的，欲藉由規劃合適的評量工具，以瞭解本研究所規劃的 PBL 模組 對於學習成效的影響。本研究所使用的 PBL 評量工具，包含由認識論角度瞭解學生認 知架構，本研究以實施概念圖作為評量知識以及概念連結的工具；由認識論觀點探測學 習態度的方式，則以問題導向學習學生評估表(TutotestC)進行評量；還有由情境學習以 及認識論觀點探查學生臨床技能獲得，則以OSCE 作為比較兩組學生學習成效的比較。
本節將依序說明本研究所使用的評估工具內涵，以及執行程序。
118
一、 概念圖
(一)
工具介紹本研究中用概念圖讓學生透過圖像表達以組織及表徵知識，進一步的研究者由概念 圖，瞭解PBL 學生新知識與原有知識的連結，以及對知識的認知架構與未接受 PBL 學 生有何不同。
概念圖是美國康乃爾大學的學者Novak 及 Gowin，共花了十一年的歲月，所發展 出來的教學方法，可作為教學、學習、研究、及評量等工具使用。在學習上來說，概念 圖幫助學生將概念具體化之有效的學習與教學工具；在教學上，透過概念圖教師也可瞭 解學生知識組織的形式以及呈現記憶系統中的表徵，是有效的分享、討論、修正概念架
構瞭解以存在的概念與新概念間關係的管道(Daley & Torre, 2010; Ruiz-Primo &
Shavelson, 1996)。在構圖過程需要將已有的概念做整合、聯結，以及做適當的呈現，或 是作圖過程遇到需要與新概念發展聯結，因此，概念圖可以說是一種具創造性的學習活 動，也可以促進創造力的發展(Novak & Gowin, 1984)。目前，在教學領域大多讓學生透 過徒手作圖方式表徵學生的概念的認知架構，不過，作圖過程會受限於篇幅，以及不易 塗改、組織、美化等因素，大大限制概念圖的優點。在教學上，目前亦已研發出多項以 電腦繪圖方式呈現概念圖的軟體，如：freemind, mindmanager, insprition, Xmind 等，不 僅使得繪圖過程的限制減少許多，製圖過程也較容易重新組織、美化及修正。本研究所 使用的概念圖製圖之工具軟體是由Florida Institute for Human and Machine Cognition (IHMC)所發展的 Cmap tools，透過 http//cmap.ihmc.us/conceptmap.html 取得，這項軟體 目前為是免費提供使用，而且目前為止在國外醫學院的教學或是國內科學教育、教育心 理學領域廣為使用(陳學志，2009；Daley & Torre, 2010; Novak, 2010)，如圖 3-5-1 所示，
119
圖3-5-1 概念圖工具 Cmap tools
軟體介面使用簡單，構圖中可以製造出階層、聯結、交叉聯結，以及舉例，透過自動佈 局，很容易即可以將概念圖組織美化。
本研究中執行概念圖評量的程序係依據Ruiz-Primo 與 Shavelson (1996)所建議的概 念圖評量執行程序而規劃進行，程序包含：概念圖作圖任務、概念圖作圖方式與呈現，
以及概念圖評分系統三部分。
1. 概念圖作圖任務
本研究將概念圖作圖主題訂為「認知障礙職能治療」，因此，依據職能治療教科書 Occupational therapy for physical dysfunction (Radomski, 2008)以及 Occupational therapy:
Practice skills for physical dysfunction (Pedretti, 2006)，關於認知障礙個案的職能治療，由 認知所包含的內容、認知失能的疾病範疇、影響認知的因子、理學檢查、職能治療評估 工具、職能治療介入以及智能治療活動等六類，每次PBL 教案結束提供 10 個固定的概 念(共兩組)讓學生繪製概念圖。以下為本研究所提供的兩組概念內容：
120
(1) Executive function, Experience, Neuropsychological evaluation, Aging,
Compensatory strategies, Routine, Tabletop activity, LOTCA, Problem solving, Abtract thinking .
(2) Attention, Higher order thinking ability, Self-awareness, cultural, physical evaluation, A-ONE, Cognitive retraining, personality, Habit, Computer-based exercise
提供概念圖繪製任務前，每位學生已接受一個小時，由任課教師提供之關於如何製 作概念圖的講習與訓練。訓練課程中包含概念圖的簡介、概念圖繪圖系統的介紹、繪圖 系統的示範操作，並提供一個與認知疾患職能治療非相關的例子之製作示範。
2. 概念圖作圖方式與呈現
作圖進行時，學生可以參考書籍，並於回家後使用Cmap Tool 進行自由繪圖。繪圖 說明時，已告知學生每次繪圖必須繪入指定的10 個概念，同時亦鼓勵鼓勵學生可以加 入自己認為可以使概念圖主題更加明確的相關概念與聯結，這個作法的優點是較容易捕 捉到學生知識架構中的差異，而且也提供空間讓學生發揮創意的建構概念圖，但是相對 的完成的概念圖會放入更多的概念，且顯得複雜，因此，評分教師不僅需要具有概念圖 評分的訓練，同時也必須熟稔認知疾病職能治療的內容知識(Kassab & Hussain, 2010)。
3. 概念圖評分系統
本研究使用於概念圖的評分標準，係依循Novak 及 Gowin (1984)所提供的概念圖評 分標準。概念圖的評分標準在評分進行前，已預先進行評分人員的訓練，在評分教師瞭 解評分架構且獲得評分共識後，才進入評分流程。整個評分流程包含兩大程序，第一，
先檢視學生概念圖之作圖品質，包含檢視概念之間聯結(concept- concept relationship)的 正確性，以及命題(proposition)的正確性。第二，依據評分系統評量及計算概念圖中四 個評分項目的得分(Srinivasan, McElvany, Shay, Shavelson, & West, 2008)。以上兩個評分 流程，在接下來的小節中做詳細說明。
121
(二)評分標準與分析
本研究使用於概念圖的評分標準，係以Novak 及 Gowin(1984)所提供的概念圖評分 標準而來，包含四個面向，如下所示。
1.概念聯結(Relationship)
概念聯結意指每個概念都以節點(node)表示語意空間中的位置，兩個概念點以路徑 (pathway)之連結字連繫後，能產生有意義且可辨別真偽的命題關係(陳學志，2009)，但 是例子不包含於概念聯結中。
本研究中學生所繪製之概念圖之概念聯結，若為有意義的聯結，則每一個有意義 的聯結或是有意義的命題則給予一分。
2.概念階層(Hierarchy)
概念階層指的是概念圖中所展示的階層性的層次，且在概念圖中，越屬頂層或上層 階層為最一般化的概念，越屬下階層，則為越特殊化的階層。每個下層的概念都能較上 層特定與仔細。但，例子並不算是一層(陳學志，2009)。
本研究中學生所繪製之概念圖之階層，若為有效的階層，則每一個有效的層次，
給予五分。
3.概念的交叉連結(Cross links)
概念的交叉聯結指的是在概念圖中顯示一些交叉連結，而此有意義的聯結將屬兩組 不同分支的概念相連結。交叉聯結可以顯示學生的創造能力，因此Novak (1984)特別提 到，只要學生可以顯示出交叉聯結，應該提出而給予鼓勵，可以在分數上多加分。
本研究中針對學生所繪製之概念圖之交叉聯結，就每一個有效而帶有重要啟發的交 叉連結，給予十分。若為交叉聯結，但卻較無意義或是聯結清楚則給予二分。
122
4.概念的舉例(Examples)
概念的舉例意指學生能為某概念或命題提供有效、具體、仔細的事件或實物例子。
本研究中針對學生所繪製之概念圖之舉例，每一個例子給予一分。
另外，在作圖品質管控上，本研究透過兩個步驟的流程，以確保學生作圖的正確性，
而能準確的給予學生適當評分。首先，是「概念與概念聯結的正確性」，主要檢視學生 由概念使用的正確性，以及聯結的正確性，若使用的概念不適合於該主題中呈現，使用 的概念將不計分。其次，是檢視「概念聯結所形成的命題 (proposition)的正確性」，若 命題不正確亦不計分。
接著的評分步驟即是評定概念圖在四大項評分之各項的分數，第一，概念聯結的計 算，即依據學生繪製的概念圖，依序計數該幅概念圖中所具備的正確概念聯結數；第二，
階層，由主架構的第一個概念起始，透過由上至下的詳細閱讀與標記，以計算概念圖中 的階層數；第三，交叉聯結，計算不同分枝概念間的聯結情形；第四，計算舉例的數目；
完成上述四個步驟後，最後總計四項並給予一個總分，完成概念圖的評定。
二、 問題導向學習學生評估表
(一) 工具介紹
本研究以梁繼權、王維典(2008)中文版 TutotestC作為評量學生在PBL 中的技巧與態 度的評量工具。Tutotest 源自加拿大魁北克省的 Sherbrooke University，由 Hébert 與 Bravo (1996)欲評量學生在小組中的團隊合作情形所發展，原問卷有 44 個題目，回答 分為「很少或沒有」、「有時」、「常常」、「經常」等0-3 分評量，已建立良好信效度。梁 繼權、王文典於 2003 年初次引用，並將 Tutotest 轉化為中文版 TutotestC，中文版中共 有 44 個題目，為 1(總是如此)-5(無法評估)等級的李克氏量尺，可用於監測學生隨著時 間的改變，詳細量表內容請見附錄二。
123
在Hébert 與& Bravo (1996)所建立的量表中，量表內容分為四類，分別為：1.尊重 團體(respect to the colleagues)，4 題、2.有效率的團體工作(effectiveness in the group)，23 題：可以看見團體的動力情形(生產、穩固、維持、殘餘的能量)、3.溝通領導技巧 (communication and leadership skills)，13 題，以及 4.對科學的好奇心(scientific curiosity)，
4 題。在梁繼權與王文典對 Tutotest 進行中文版後，同時針對台灣的大學生參與 PBL 進 行信效度分析，於Leung 與 Wang (2008)所發表的 TutotestC在量表向度上有些許有更動，
原中文量表中 PBL 學習技巧與團隊工作的效能合成一項，成為團隊工作的效能，而且 以假設的形成與檢驗取代英文版的對科學的好奇心。所以最後中文版 TutotestC 量表內 容共分為四個向度，分別為：1.團隊工作的效能(effectiveness in group)，18 題、2.溝通 領導能力(communication and leadership skills)，15 題、3.假設的形成與檢驗(Hypothesis forming and testing)，7 題，以及 4.同儕尊重(respect for others)，4 題。
TutotestC使用於台灣之醫學院大學生的信效度良好，可以監測學生隨著時間的改變。
本研究將TutotestC使用於評量職能治療學生參與PBL 前、後之對 PBL 態度及技巧的改 變，由於研究對象與Hébert 與 Bravo (1996)及 Leung 與 Wang (2008)相同，皆為參與 PBL 的醫學院大學生，因此，也可獲得很好的效度，本研究已向梁繼權教授申請 TutotestC 使用權。
(二) 工具面向與分析
以下為TutotestC之工具面向，以及每個面向欲處理的內容：
1.團隊合作(effectiveness in group work)
團隊合作指的是當學生個人融入小組中，而個人的行為對於小組的「任務完成」的 影響程度。依據StArnaud提出的小團體動力學理論(small-group dynamics theory)，學生 個人的行為對於小組過程的影響可能產生四種能量：生產性能量(productive energy)、穩 固型能量 (solidarity energy)、維持型能量(maintenance energy)以及殘餘型能量(residual
124
energy)。而團體合作所指的是生產性能量，也就是測量學生個人的行為是否可以幫助團 體達成目標。在中英文量表發展時，均發現「掌控PBL的學習技巧」包含於團體合作項 目中，其意義代表當學生個人可以掌控PBL技巧時，則在團體合作過程就會很有效率
energy)。而團體合作所指的是生產性能量，也就是測量學生個人的行為是否可以幫助團 體達成目標。在中英文量表發展時，均發現「掌控PBL的學習技巧」包含於團體合作項 目中，其意義代表當學生個人可以掌控PBL技巧時，則在團體合作過程就會很有效率