教師情境判斷測驗之編製

(1)

趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝教師情境判斷測驗之編製 85 教育科學研究期刊第六十一卷第二期 2016 年，61（2），85-117 doi:10.6209/JORIES.2016.61(2).04

教師情境判斷測驗之編製

趙子揚

黃嘉莉

宋曜廷

國立臺灣師範大學教育心理與輔導學系師資培育與就業輔導處國立臺灣師範大學教育心理與輔導學系國立臺灣師範大學

郭蕙寧

許明輝

* 國立臺灣師範大學心理與教育測驗研究發展中心心理與教育測驗研究發展中心國立臺灣師範大學

摘要

為提供師資培育單位在甄選師資培育學生時，更多元的參考依據，本研究建置教師情境判斷測驗，並進行信度及效度之檢驗。研究一自 2010 年起，進行教師情境判斷測驗的建置，並蒐集 3,133 位實習教師及正式教師之施測資料，以試題反應理論（item response theory, IRT）進行分析，檢驗測驗之信度及效度。研究一共建置 75 題試題，且試題之中有 90.67%與 Rasch 模式適配。研究二自 2014 年起，進行試題的擴充，並蒐集了 3,039 位大學生之施測資料。經由試題分析，研究二共建置 105 題試題，總題數為 180 題。除試題分析外，研究二亦分析修習不同教育學程的學生，檢驗其在測驗分數之差異，提供已知團體差異之效度證據。此外，研究二利用資深教師團隊座談會之質性資料，進行內容分析，探討資深教師在面對教師工作上問題時，其作法判斷背後之意涵，提供更多的建構效度證據。本研究將就教師情境判斷測驗的概念、試題特性，以及編製實務等議題進行討論。關鍵詞：信度、效度、教師情境判斷測驗、試題反應理論、質性分析通訊作者：黃嘉莉，E-mail: carrie0802@ntnu.edu.tw 收稿日期：2015/09/08；修正日期：2015/11/23；接受日期：2016/01/12。

(2)

86 教師情境判斷測驗之編製趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝

壹、緒論

教學一向被視為是高度複雜的工作，誠如 Labaree（2000）所言，教學看似簡單但卻相當困難。教師必須具組織學生學習的特定經驗，瞭解國家與學校教育目的與價值，參照社會的期待等，進行審慎的思考與規劃（Pring, 2004）。在追求教學品質上，教師必須能在學校環境脈絡中，適切地與教室內的教學脈絡進行互動，包括關注學生的意願和努力、掌握教和學的機會、讓學生學習具有成效、符合學科知識與學生身心理發展等，才能展現教師優質的表現（Fenstermacher & Richardson, 2005; Shulman, 1987）。因此，優質教師需具備多元的知識、技術及態度。優良教師除了應具備專業知識，也需有專業工作技能，例如班級經營、教育行政、輔導、良好師生關係及人際溝通；同時，教師也應有良好特質，包含責任感、幽默感、公平性及有彈性等特性（Ogden, 1994; Shanoski & Hranitz, 1991; Speicher & Schurter, 1981）。

上述研究，均說明教師工作複雜程度較高，也需要有多元的能力才能勝任。因此，若能在師資培育學生（簡稱師資生）甄選階段，便使用測量工具，以檢視師資生是否有教師工作表現良好的潛能，則在師資培育的過程之中，可達到事半功倍的效能。然而，現今在國、內外的師資生甄選上，多以學業成績及認知測驗為主，例如，美國多以學生的學業平均分數（grade points average, GPA）作為學生申請教育學程的門檻，或是使用由美國教育測驗服務社（Educational Testing Service, ETS）所研發的 Praxis I（ETS, 2009）作為性向測驗，其測驗內容包含了閱讀、數學及寫作。國內在師資生甄選上，多數也以國文、英文及教育概論作為考科，透過紙筆測驗篩選成績有較佳表現的學生。單以性向測驗或學科成就作為甄選師資生的依據，只能確保師資生在學術性向或是學科知識上較其他人優秀，然而，認知能力或成績表現較優秀的學生，是否必然在未來成為優秀的教師，勝任複雜的教學工作，值得懷疑。因此，多元的評量方式，用以遴選未來較能展現優質教學工作的師資生就更顯重要。

情境判斷測驗（situational judgment tests, SJTs），相對於實習或是工作試用期而言，是一種低真實度的模擬（low-fidelity simulation）（Motowidlo, Dunnette, & Carter, 1990），測驗形式是呈現在工作之中會遭遇到的問題，搭配幾個選項，請受測者從中選出他們會做的選項，而這些選項事前會由專家決定優劣。若受測者能在情境判斷測驗之中有良好表現，則甄選單位將假設其在未來工作之中遭遇到相同的問題，也會有較佳的作為。在近 20 年來的人事甄選上，情境判斷測驗有愈來愈熱門的趨勢。最主要的原因在於情境判斷測驗在工作表現上有更好的預測力（Lievens & Sackett, 2006; McDaniel, Morgeson, Finnegan, Campion, & Braverman, 2001）。Chan 與 Schmitt（2002）的研究中顯示情境判斷測驗的分數在所有工作表現中的預測能力均展現出增益效度（incremental validity），也就是說，當納入情境判斷測驗的分數時，可以比單純以認知能力測驗或是人格測驗提供更多的工作表現預測能力。因此，對於師資生的

(3)

趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝教師情境判斷測驗之編製 87

甄選，若能加入情境判斷測驗，將能提升教師工作表現之預測性，且可呼應其複雜的工作情境，帶來較佳的生態效度（ecological validity）（歐宗霖、邱皓政、孫國勛，2013；Whetzel & McDaniel, 2009）。

本研究主要目的在於建置教師情境判斷測驗，並檢驗其信度及效度，使此測驗未來得以應用於師資生的甄選上。為檢驗教師情境判斷測驗之信度及效度，本研究在研究一上，利用項目分析，以及試題反應理論（item response theory, IRT）中 Rasch 模式之適配均方值（fit MNSQ）指標來進行試題檢驗，進而修正及刪除試題，並提供測驗信度及效度之證據。研究二主要在擴充研究一所建立的題庫，同時，在試題編製上，增加了資深教師的座談會次數，並將資深教師團體討論之錄音檔，轉謄為逐字稿，進行質性分析，提供試題分析之外的質化分析結果，以便更能瞭解教師情境判斷測驗結果背後所代表的內涵，為此測驗提供建構效度之證據。情境判斷測驗在實務的編製上所遭遇的困難，或是在測驗理論上的效度問題，均需要更多的研究探究之。本研究除了依實際甄選需求，編製教師情境判斷測驗，更期望此研究能帶動更多情境判斷測驗的實徵研究，使得國內更多研究團隊投入情境判斷測驗之中，除了增進情境判斷測驗的理論，也能使更多職業甄選得以加入情境判斷測驗，成為人事甄選參考的依據之一。

貳、文獻探討

一、情境判斷測驗的發展與內涵

回溯情境判斷測驗的發展，最早推及二次大戰期間公職及軍隊的選才測驗，而現代的情境判斷測驗則是由 Motowidlo 等（1990）於 1990 年代所發展。近 20 年來，情境判斷測驗應用在工作之人事甄選上有愈來愈熱門的趨勢，主要原因有三：第一，情境判斷測驗的預測效度（predictive validity）及增益效度（incremental validity）均比傳統測驗，如認知能力測驗及人格測驗來得好（Chan & Schmitt, 2002; Lievens & Sackett, 2006; McDaniel et al., 2001; Weekley & Jones, 1997）。舉例而言，McDaniel 等（2001）針對情境判斷測驗的研究進行後設分析，發現情境判斷測驗與工作表現平均來說有 .34 的相關。以增益效度來說，情境判斷測驗比其他預測工作表現的指標，像是認知能力、性格、工作知識與經驗，能夠解釋更多的變異量，換言之，情境判斷測驗有更好的預測效度（Chan & Schmitt, 2002; Clevenger, Pereia, Wiechmann, Schmitt, & Harvey, 2001; Weekley & Jones, 1997, 1999）。第二，情境判斷測驗減少了在認知能力測驗上對少數人不公平的現象（Clevenger et al., 2001; Motowidlo et al., 1990; Nguyen & McDaniel, 2003; O’Connell, Hartman, McDaniel, Grubb, & Lawrence, 2007; Olson-Buchanan et al., 1998; Weekley & Jones, 1997, 1999）。舉例而言，de Meijer、Born、van Zielst 與 van der Molen （2010）發展測量「正直性」（integrity）的情境判斷測驗，並用於警察甄選考試上，其結果顯

(4)

88 教師情境判斷測驗之編製趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝示，此測驗不會對於少數民族造成不利的效應。第三，情境判斷測驗不僅能以紙筆式來呈現，也能融入新式的技術，例如使用錄影帶或是電腦多媒體來呈現，使得情境的真實性得以增加，增進參與者的反應真實性（Chan & Schmitt, 1997; Lievens & Sackett, 2006; Weekley & Jones, 1997, 1999）。因此，情境判斷測驗在預測工作表現、減少族群差異所導致的不公平、呈現形式上，都是當今遴選或甄選人員重要的參考工具。在我國，歐宗霖等（2013）則從試題產生、試題分析及建構效度等三方面，比較情境判斷測驗及自陳量表在編製上的異同。經歸納後，本研究認為，情境判斷測驗與自陳量表的本質差異在於，實徵取向及理論取向的不同。情境判斷測驗的出發點，在於蒐集資深專家的經驗，專家團隊提供的是在特定情境之下，各種優劣的作法，而每一種作法的決定，均包含了個人的認知、情意、技術及經驗，而非特定的單一面向概念。Wagner 與 Sternberg（1985）認為情境模擬的問題，可測量內隱知識（ tacit knowledge ）或是實用智能（ practical intelligence），這兩種都是無法被描述出來的個人知識，卻可在實際場合中被應用出來。其他研究也發現，情境判斷測驗可能測得了工作知識、工作經驗與人際關係（McDaniel & Nguyen, 2001; Weekley & Jones, 1999）。另一方面，情境判斷測驗可能也會因問題呈現方式的不同，而量測到不同知識的建構。例如：Lievens、Sackett 與 Buyse（2009）的研究顯示，知識取向的指導語，例如「怎麼做會比較好？」，會造成測驗分數與認知能力分數有較高相關；而行為傾向的指導語，例如「你會怎麼做？」，會造成分數與情意方面的分數有較高相關。綜上所述，情境判斷測驗以資深專家經驗為參照，透過實際工作上的問題，預測人員在未來工作表現，並降低因測驗偏差所帶來的不公平。同時，情境判斷測驗所測量到的是較複雜的，而非特定的建構，且因問題的屬性而有所不同。

二、發展師資生甄選的新測驗工具之需求

師資生甄選無論是在國內還是在國外，愈來愈受到重視，而共同的目標均在於提高師資素質以及師資培育的品質，培育具有專業的教師（黃源河、符碧真，2009；黃嘉莉，2013）。然而在師資生的甄選上，絕大多數的國家依舊採認知取向的學科能力，例如英國的教育學程申請，以「中等教育普通證書」（General Certificate of Secondary Education, GCSE）英文 C 級與數學 C 級以上的成績，即可申請。美國多採學業成績 GPA，作為篩選門檻。在認知取向的測驗方面，美國有些州採 Praxis I 作為師資生甄選的測驗。Praxis series（ETS, 2009）是由美國師資培育認可委員會（National Council for the Accreditation of Teacher Education, NCATE）和美國教育測驗服務社在 2006 年合作研發，針對師資生及實習教師所設計的測驗。Praxis series 包含了三個部分－Praxis I、Praxis II 及 Praxis III，這三個測驗分別被應用在不同的時機，其中 Praxis I是用於師資生甄選階段，其測驗內容包含了閱讀、數學和寫作，主要是測量學生的一般性向。我國師資生的甄選，也多採國文、英文、教育測驗等紙筆測驗。

(5)

然而，單以學業成績或是 Praxis I 的認知取向測驗，作為師資生甄選的篩選工具仍有所不足，尤其是，當前的師資培育更著重於實務經驗（黃嘉莉、武佳瀅，2015）。先前研究指出，優良教師除了應具備專業知識外，其專業工作技能及良好特質，均是重要的教師屬性。在工作技能上，班級經營、教育行政、輔導及良好人際溝通，均是重要的工作技能；在人格特質上，責任感、幽默感、公平性及有彈性等，均是重要的人格特質（Ogden, 1994; Shanoski & Hranitz, 1991; Speicher & Schurter, 1981）。Koster、Dengerink、Korthagen 與 Lunenberg（2008）所提出教師專業發展之中，更包括了態度及信念，而組織能力、團體溝通能力，以及個人成長的能力等，也都是教師工作所需。上述學者提出重要的教師屬性，主要在反映教師工作的複雜性，根據過去研究者對於教師工作的歸類，認為教師主要工作在於教學活動，其中包含了掌握課程教學內容、促進學生學習、增進學生參與意願、維持課堂的學習氛圍，以及建立公民式的教室環境等（Hoban, 2000; Kennedy, 2006; Labaree, 2000）。進一步歸類教學活動，則可分為班級經營、課堂教學及學生輔導等三項主要的工作。除了教學活動外，教師工作也須與他人有互動關係，包括與學校內的同事及學生家長的互動（Cohen, Raudenbush, & Ball, 2003）。因此，本研究認為，若將教師工作情境進行分類，則可區分成班級經營、教學、輔導、同事相處及親師溝通五個工作情境，而教師在工作情境之中的表現，也將反映出教師所需的技能及特質屬性。此外，教育部（2012）發布《中華民國師資培育白皮書》也以採取開發更多甄選或測量師資生能力的測驗為政策方向。因此，多元評量（multiple assessment）成為師資生甄選上的重要概念，著重實際工作情境的情境判斷測驗，與認知測驗及人格測驗相比，具增益效度，不僅成為師資生甄選多元評量中首要的選擇，而且也提供多元的評量結果之參考依據。因此，為了要增進師資生甄選的效能，並彌補現階段認知測驗的不足，本研究發展教師情境判斷測驗，並檢驗其測驗特性。

參、研究目的

本研究旨在編製教師情境判斷測驗，以改善師資生甄選中，單以認知測驗作為測驗工具之不足。先前研究，說明情境判斷測驗在編製上，主要的困難點在於其測驗測量到的是多元非單一的建構，因此試題之間相關性不高、測驗的內部一致性信度低，以致情境判斷測驗之分數可能會有較大的測量誤差。然而，若是要發展甄選所用的測量工具，其測量誤差亦不能過大，因此也應盡可能提高整份測驗之分數信度。本研究期望以兩種方式能解決目前的問題，首先，增加足夠的題量，並將造成測量誤差的題目刪除，提高整份測驗的信度。第二，藉由試題反應理論，利用其估計不變性（estimate invariance）之特性（王文中，2004），以共同題的方式進行題本編排，以利教師情境判斷測驗題庫之建置。此外，使用試題反應理論，未來

(6)

90 教師情境判斷測驗之編製趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝可以潛在分數來取代觀察分數，以減少個人分數的誤差。教師情境判斷測驗之編製分為兩個階段。研究一從 2010 年起，初步編製 75 題試題，以建立教師情境判斷測驗之題庫。研究二則是擴充研究一的題量，新增 105 題，兩個研究共建立 180 題。在測驗效度方面，誠如先前研究指出，情境判斷測驗因其性質，難以得到以因素分析為基的建構效度證據，因此，在研究一之中，將以模式分析，檢驗試題是否符合 Rasch 模式，以教師情境判斷測驗是否可依工作情境作為不同的向度。研究二在測驗分數分析上，則增加已經團體差異（known group differences）之檢驗，並蒐集資深教師團隊討論資料，進行質性分析，歸納教師情境判斷測驗背後判斷選項優劣的依據，為此測驗提供更豐富的建構效度證據。

肆、研究一：教師情境判斷測驗之編製

一、研究方法

（一）參與者

在研究一之中，資料蒐集分為兩個階段。第一階段於 2010 年 2 月所進行之小規模預試，施測的對象為國立臺灣師範大學實習階段之大五學生，每個題本的施測人數為 56 人、57 人及 55人。第二階段為正式施測，時間於 2010 年 6 月，採立意取樣的方式，以全國高、中職及國中之在職教師及實習教師為對象，進行施測。三個題本之施測人數分別為 989 人、988 人及 988人。

（二）測驗編製

本研究遵循 Motowidlo 等（1990）之編製流程，進行試題編製。首先邀集教育學者、中學教師、中學校長及測驗專家，共 12 人，組成主題專家團隊（Subject-Matter Experts, SMEs），討論教師在工作上可能會面臨的情境，進而將工作情境分類為五個主題：班級經營、教學、同事相處、親師溝通及輔導。同時，請主題專家團隊依據教師在日常工作中的情境，編寫成試題題幹。接著，邀請 8 位中學在職教師所組成之教師團隊，針對題幹提出所有可能的解決方案，並編寫成選項。接著，邀請 102 位，年資均在 10 年以上之資深教師，針對每一題的每個選項進行評分，將選項分別判斷為「優良的方法」、「普通的方法」及「不好的方法」，並依序計為二分、一分及零分。最後，評分資料由研究者進行分析，並從中挑選出四個具有優劣之分的選項，組成試題。在四個選項之中，有一個是資深教師認為是最佳的選項，一個是資深教師認為最差的選項，兩個選項則是屬於中等的選項。挑選選項是依據資深教師評分之平均數檢定，最佳的選項，平均數要大於 1，且顯著高於兩個中等選項；兩個中等選項之平均數之間無顯著差異；最差的選項則是平均數要小於 1，且顯著低於兩個中等選項。若試題中無足

(7)

趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝教師情境判斷測驗之編製 91 夠的選項符合上述條件，則試題將不納入下一階段的題本編排。測驗作答時，受測者必須從四個選項中選出一個「最想採用的作法」及一個「最不想採用的作法」，每一題均須選擇兩個答案（見圖 1）。在計分上，若受測者在「最想採用的作法」之下選到最佳選項，則得到兩分，若選到最差選項，則得零分，選擇中等選項則得到一分；在回答「最不想採用的作法」時，是以相反的方式計分。因此，每一題的得分會介於零到四分之間。經由命題、修審題、資深教師判斷，以及優劣選項挑選之流程後，此階段共完成 94 題情境判斷試題。接著，本研究估計受測者適當的作答時間，以及考量共同題的數量，本研究將 94 題編排成三個預試題本，每題本有 42 題，其中有 16 題為共同題。圖1. 教師情境判斷測驗例題

（三）測驗施測流程

本研究將教師情境判斷測驗建置為網路化測驗的形式。測驗實施方式為團體或個人施測的方式，由研究者提供參與者一組帳號密碼，請參與者登入系統，填寫相關資料。在練習題之後，預試參與者會接受預試題本 42 題，而正式施測參與者會接受 50～60 題不等的試題。測驗過程中僅給予操作上的協助，涉及到情境內容的部分則由參與者自行判斷。測驗時間沒有設限，依照參與者的步調進行，整份測驗結束時間大約為 45～60 分鐘。

(8)

二、研究結果

（一）預試分析

本研究先行以三個題本的預試資料進行項目分析及內部一致性分析，使用的分析工具為統計套裝軟體 SPSS 13.0 版。試題分析的部分，以修正後試題─總分相關分析（corrected item-total correlation）作為鑑別度指標。本研究發現部分題目之鑑別度指標呈負值，例如：題本一的鑑別度指標介於為 -.26～ .52；題本二為 -.47～ .44；題本三為 -.32～ .69。此值小於 .10 的試題，代表其與總分的關係不大，而負值代表總分高的人在此題反而拿到較低的分數，這兩者均代表該試題不適合與其他試題放置在一起，測量同一種能力。接著，再以當初設定的五個向度，針對三個題本進行試題內部一致性 Cronbach’s α 信度分析，其結果如表 1 所示。與鑑別度指標的結果一致，各向度之內部一致性信度均較認知測驗或情意測驗低，甚至出現一般測驗不太可能出現之負值。以上指標，與先前研究一致，說明情境判斷測驗可能會因建構不明，造成分數的信度較低，因此，教師情境判斷測驗的特性確實與一般測驗不同。計算三個題本總分之內部一致性係數分別為 .57、 .56 及 .75，說明在視教師情境判斷測驗為整體分數時，才能提升分數信度。接著，本研究根據試題分析及內部一致性分析的疊代過程，將三個題本之中，鑑別度不佳的試題刪除，同時，研究者也依召開修審題會議，請教育專家進行逐題檢視，保留一些重要情境題目。在刪題及保留題目的反覆分析後，最後得到正式測驗題本信度如表 1 所示。其中，題本一及題本二之整體測驗信度提升到 .70，題本三提升至 .85，三個題本之測驗題本已達到一般測驗可接受的信度要求，因此編定為正式測驗題本，總試題數為 82 題。

（二）正式施測分析

1. 試題分析及信度

由於情境判斷測驗的性質較為特殊，因此，在施測後進行第二次試題分析，計算試題鑑別度。分析後仍發現某些試題之鑑別度不佳，因此，研究者將鑑別度小於 .10 之試題，進行第二次刪題。刪題後，三個題本之試題由 82 題減少為 75 題。刪題後之各題本測驗信度如表 1 所示，三個版本之內部一致性介於 .73～ .76。

2. 模式分析

在進行 Rasch 模式分析時，本研究之教師情境判斷測驗在計分上，每題之分數介於 0～4 分，因此，資料較適合用 Rasch 家族中的部分給分模式（partial credit model, PCM）（Master, 1982; Verhelst & Verstralen, 2008）。本研究所使用之分析工具為統計套裝軟體 ConQuest（Wu, Adams, & Wilson, 1998）。

(9)

趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝教師情境判斷測驗之編製 93 表 1 研究一各題本內部一致性信度結果預試班級經營教學親師溝通同事相處輔導 _{（刪題前）}總分 _{（刪題後）}總分正式題本1（預試N＝56；正式N＝965） α信度 .39（11） 0-.15（6） .25（9） .35（8） .40（8） .57（42） .70（32） .76（32）題本2（預試N＝57；正式N＝945） α信度 .41（11） -0.29（6） .25（9） .39（7） -.04（9） .56（42） .70（32） .73（32）題本3（預試N＝55；正式N＝957） α信度 .22（11） -0.07（6） .49（8） .45（8） .49（9） .75（42） .85（32） .76（32）註：（）內數值為題數。首先，先比較單向度模式及五向度模式，檢視何種模式與資料較適配，由表 2 可看出，單向度模式相較於五向度模式，與資料的差異較小；同時，在五向度模式中，各向度間均有高相關，相關值介於 .78～ .87。因此，在模式選擇上，本研究選擇單向度之模式，並以其結果檢視各試題之加權後適配均方值（weighted fit MNSQ）。適配均方值代表資料所展現的試題特徵曲線是否與模式符合，其期望值為 1，此值愈接近 1 代表資料與模式間愈符合，也代表試題適合置於此一群試題當中。通常適配均方值在 0.8～1.2 之間之試題，屬於可被接受的試題（Wright & Linacre, 1994）。從本研究分析的結果可以看出，所有題目之適配均方值在 0.8～1.2 之間，均落在可接受之範圍內，屬於可被接受之試題。然而，其中 7 題之加權後 MNSQ，落在 95%信賴區間之外，代表其值不為 1，此結果在往後組題時可作為參考。由此結果，說明研究一所編製的 75 題試題之中，有 90.67%的試題符合 Rasch 模式，提供了部分效度證據。

三、討論

研究一所編製之教師情境判斷測驗，題目之間的相關性低，造成其鑑別度指標不佳，以及各個工作情境的內部一致性信度低，甚至出現負值的情況；以整份測驗來看，其內部一致性信度最高僅達 .76。以內部一致性信度的結果，可以得知情境判斷測驗屬於測量較發散的測驗，說明了大多數先前的研究，未報告試題品質及內部一致性信度，以及鮮少提供內部一致性信度的可能因素。極少數研究，例如 Conner（2007）之研究提出在不同向度及不同情境之下，分數的內部一致性信度其分別為問題解決 .11、計畫 .26、事先準備 .16，以及領導能力 .30。在不同情境方面，則分別是領導團隊 .17、教導 .05、進步表現-.02、同儕領導力 .15、商業知識 .26，以及團隊成員 .18。整份 33 題的測驗，其信度為 .47。Conner（2007）的研究結果與研究一得到的結果類似，無論是單一向度情境或整份測驗，其內部一致性係數會低於

(10)

94 教師情境判斷測驗之編製趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝表 2 研究一測驗模式分析結果單向度模式模式差異 300,083.48 參數估計 275 能力區分信度 .76 五向度模式模式差異 300,115.09 參數估計 289 向度 1.班級經營 2.教學 3.同事相處 4.親師溝通 5.輔導能力區分信度 .72 .65 .69 .72 .69 1 － 2 .87 － 3 .86 .85 － 4 .87 .78 .83 － 5 .86 .85 .82 .83 －一般能力測驗或是情意測驗。上述結果，如同先前研究者認為，情境判斷測驗測量到許多與工作有關之知識、技術及能力（KSAs），而非測驗到單一構念有關（McDaniel et al., 2001; McDaniel & Whetzel, 2005; Weekley & Jones, 1999）。

在測驗效度方面，從單向度及多向度的 Rasch 模式分析，研究一所編製之教師情境判斷測驗，較符合單向度模式，說明教師情境判斷測驗可能測量到一種綜合判斷的能力。Wagner 與 Sternberg（1985）提出情境判斷測驗能夠測量有別於學術的認知能力，他們認為情境判斷測驗可以測量到內隱知識（tacit knowledge）或是實用智能（practical intelligence）。本研究的發現也支持這個觀點，情境判斷測驗所測量到的部分比較是內隱的、內化的、包含情意面及認知面的綜合能力，因此，我們可以將教師情境判斷測驗視為是針對教師工作的綜合判斷能力測驗（黃嘉莉、趙子揚、宋曜廷，2013）。即使由研究一之結果，可推論教師情境判斷測驗測量到的是綜合能力，然而，研究一仍無法明確指出綜合能力為何。雖然研究一採試題篩選的方式的確可提高其內部一致性信度，使其內部一致性信度均達到 .70，達到一般測驗的要求，然而，信度的提升無法保證測驗具有效度，而從現場工作情境所進行的試題編製，也難以事前提供建構之說明，以及呈現建構效度之證據。研究一所編製之教師情境判斷測驗，在編製流程上，是請資深教師用評分的方式去評斷選項的優劣，而非討論選項優劣及其背後所代表的意義。資深教師團隊的評分，雖可

(11)

趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝教師情境判斷測驗之編製 95 代表教師認為何種解決方式較為有效，但其判斷背後所代表的知識、技術及態度特質，無法單從評分方式獲得明確的答案。因此，在研究二，本研究除了擴充試題之外，也將針對資深教師團隊的討論內容進行質性分析，期能更加瞭解教師情境判斷測驗背後所代表之建構，提供更多的效度證據。

伍、研究二：試題擴充與效度檢驗

一、研究方法

（一）參與者

在試題編製方面，本研究於 2014 年 4 月起進行教師團隊的招募，共召集 30 位教師，男性八位、女性 22 位。在 30 位教師之中，年資在 5 年以內的初任教師共有九位，年資在 6-10 年的教師有三位，年資在 11-15 年的教師有七位，年資在 16-20 年的有六位，年資在 21-30 年的有三位，年資超過 30 年的有一位。在任教科目上，30 位教師的任教科目涵蓋了國文、英文、公民、數學、歷史、輔導、地理、化學、地科、音樂、藝術與電腦等不同的科目。本研究將 30位教師分成四個小組進行團體討論，每個小組人數為六至八人不等。在測驗資料方面，本研究於 2014 年 9 月起，進行教師情境判斷測驗施測的工作，共招募全國 16 所大專院校，分別在 81 個場次，施測 3,039 位大學生，其中男性 904 位（29.7%）、女性 2,121 位（69.8%），以及未填答性別 14 位（0.5%）。年級方面，大一學生 467 位（15.4%）、大二學生 950 位（31.3%）、大三學生 746 位（24.5%）、大四學生 651 位（21.4%）、碩士班學生 190 位（6.3%）、博士班學生 3 位（0.1%）及未填答 32 位（1.1%）。在教育學程方面，未修習教育學程 957 位（31.5%）、修習中等教育學程 775 位（25.5%）、修習國小教育學程 873 位（28.7%）、修習幼稚園教育學程 90 位（3.0%）、修習特殊教育學程 149 位（4.9）、未填答 195 位（6.4%）。在有修習教育學程的學生之中，修習第 1 年的有 812 位（40.6%）、修習第 2 年 588 位（29.4%）、修習第 3 年 460 位（23.0%）及修習第 4 年以上 141 位（7.0%）。

（二）測驗編製

研究二在測驗編製上延續研究一，同樣分為班級經營、教學、同事相處、親師溝通及輔導等五個工作情境。與研究一不同之處，在於研究二在程序上，從題幹編寫、選項新增，到判斷選項優劣等三個階段，均由教師團隊進行討論，而每個教師團隊在三階段均討論不同的題目。舉例而言，第一組成員在題幹編寫之後，將會為第二組所編寫之題幹新增選項，接著，再為第三組所完成之選項進行優劣判斷之討論，以此類推。同研究一，根據教師團隊的討論，教師們會選出一個最佳選項、一個最差選項，以及兩個中等選項，使得每個試題有四個選項，而作答的計分也如同研究一。經由教師團隊之討論，共得到 150 題教師情境判斷測驗試題。

(12)

96 教師情境判斷測驗之編製趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝在施測的題本編排上，研究二採部分平衡不完全區塊設計（partially balanced incomplete block, PBIB）（Arenson, 1999; Cheng & Bailey, 1991），將 150 題分為 10 個區塊，每區塊有 15 題，再組成 10 個題本，並使每個題本均有三個區塊，共 45 題。研究二之題本設計，可使每道試題約有 900 人次的作答。

（三）測驗施測流程

研究二採紙筆測驗，實施方式為團體施測。施測時，由研究者向參與者說明作答方式及卡片劃記方式，並發下施測題本、答案卡及鉛筆。其餘施測流程及注意事項如研究一。整體測驗時間約 40～60 分鐘，研究者在施測後對參與者做後續說明，並贈與小禮物，結束施測程序。

（四）資料分析流程

研究二在分析上，同時進行量化及質性之分析。在量化分析方面，與研究一類似，先進行試題分析，並依分析結果進行試題之修正或刪題，後續再進行信度分析。在試題分析上，同時除了古典測驗理論的分析之外，研究二也採 Rasch 模式的分析。另外，本研究亦進行差異分析，以檢視有無修習教育學程之學生，在教師情境判斷測驗之得分是否產生差異，分析之方式為變異數分析及事後比較。在質化分析方面，根據張芬芬（2010）及 Miller 與 Crabtree （1999）所提出的分析步驟，本研究以四步驟進行資料分析：第一，將教師座談會的錄音檔轉謄為逐字稿。第二，閱讀逐字稿，列出資深教師對於選項優劣理由陳述之關鍵字句，例如，「導師若忽視學生問題就等於是沒有處理」（D-0527-A-1-008），其關鍵字句為「忽視學生問題、沒有處理」。第三，編碼與分類，將第二步驟之關鍵字句進行概念化的編碼，例如「讓學生學習對自己的事情自我負責」（D-0527-A-1-016），其概念化的編碼為「教育意義、積極性」，接著，再將相同的編碼進行分類。第四，將歸納後的核心資料進行命名與定義，以命名的形式來呈現資料的核心意義，以表達文本的上層概念，成為教師情境判斷測驗背後的意涵。在質化分析的過程中，本研究將於第二至第四步驟間進行疊代，直到結果對於教師情境判斷測驗之核心概念達到飽和。

二、研究結果

（一）試題分析與 Rasch 模式分析

試題分析方面，研究二同樣先檢視鑑別度指標。在古典測驗中的鑑別度小於 .30 的試題共有 125 題，占了整體的六分之五；而鑑別度小於 .20 之試題共有 65 題；鑑別度小於 .10 之試題共有 18 題；鑑別度為負值之試題共有五題。整體而言，研究二所得到的結果與研究一相同，試題間之相關不如一般的測驗高，以致鑑別度偏低。在 Rasch 模式分析的部分，在單向度模式之下，150 題的分析結果，試題絕大多數均符合 Rasch 模式，其加權 MNSQ 值均落在 95%

(13)

趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝教師情境判斷測驗之編製 97 的信賴區間之內，而未加權 MNSQ 只有兩題超出 95%的信賴區間。因有較多試題之鑑別度較低，因此，本研究另邀請兩位測驗專家及兩位教育學專家，與研究團隊共同進行多次的修審題會議，逐題檢視試題。修審題完畢後，共保留 105 題，加上研究一保留之 75 題，總共有 180 題。

（二）信度分析

在信度分析方面，計算各題本之內部一致性信度係數，發現 10 個題本的整體信度介於 .47 ～ .74 之間，而各工作情境下之內部一致性信度則介於 -.03～ .57 之間（見表 3）。整體而言，其題間之相關性低，使得各工作情境之內部一致性信度較一般測驗低，甚至出現負值之情況，當以題本為單位時，其信度才能提升至可接受的水準，此結果與研究一類似。表 3 各題本之內部一致性信度及題數題本編號總分班級經營教學同事相處親師溝通輔導人數 1 .67（43） -.43（10） .01（12） -.22（9） .14（5） .37（7） 301 2 .64（43） -.20（10） .33（ 8） -.20（9） .15（7） .29（9） 306 3 .74（40） -.42（11） .57（10） -.22（6） .12（5） .44（8） 302 4 .60（38） -.27（ 9） .02（ 9） -.01（7） .18（6） .42（7） 303 5 .50（39） -.16（ 7） .03（ 8） -.17（9） .21（7） .10（8） 308 6 .61（37） -.25（10） .22（ 5） -.34（7） .29（8） .24（7） 317 7 .62（37） -.18（10） .49（10） -.08（6） .23（7） .22（4） 301 8 .60（38） -.35（ 6） .32（10） -.16（8） .34（7） .18（7） 301 9 .47（36） -.03（ 7） .13（ 7） -.33（9） .14（5） .15（8） 298 10 .65（36） -.17（ 9） .32（ 7） -.45（8） .01（6） .39（6） 302 註：（）內數值為題數。

（三）差異分析

教師情境判斷測驗之得分，可視為受測者與資深教師在遭遇工作問題時想法有多接近。因此，本研究關心教師情境判斷測驗之分數，是否得以區分有無修習教育學程之學生。本研究假設有修習教育學程之學生，對於教育現場熟悉度及教育相關知能高於一般學生，因此有修習教育學程之學生，其測驗分數應優於未修習教育學程之一般學生，若得到此結果，則將為教師情境判斷測驗提供「已知團體差異」之建構效度證據。本研究將修習教育學程類型視為獨變項，而教師情境判斷測驗分數視為依變項，進行單因子變異數分析。其敘述統計結果

(14)

98 教師情境判斷測驗之編製趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝如表 4 所示。經由變異數分析（表 5），發現修習不同學程的學生，其在教師情境判斷測驗上的分數達到顯著差異，F(3, 2840)＝18.25，p ＜ .001；其效果量 η2＝ .02，以 Cohen（1977）的標準而言，屬於小的效果量。經由事後比較結果可以得知，修習「中等教育」、「小學教育」與「幼兒教育與特殊教育」之學生，在教師情境判斷測驗平均得分（M＝14.06、14.16、14.22）較未修學程之學生高（M＝13.84）；而修習「幼兒教育與特殊教育」學生的平均得分（M＝ 14.22），也顯著高於修習「中等教育」之學生（M＝14.16）。由修習學程與否的學生之分數差異結果，為教師情境判斷測驗提供另一項建構效度證據。表 4 不同教育學程學生分數之描述統計教育學程類型平均數標準差人數未修 13.84 1.16 2,957 中教 14.06 0.96 2,775 小教 14.16 0.97 2,873 幼特 14.22 0.98 2,239 整體 14.03 1.05 2,844 註：未修：未修教育學程；中教：修習中等教育學程；小教：修習小學教育學程；幼特：修習幼兒教育或特殊教育學程。表 5 不同教育學程學生分數之變異數分析摘要變異來源平方和自由度均方 F值事後比較學程類型 2,058.89 2,843 19.63 18.25*** 中教、小教、幼特＞未修誤差項 3,053.95 2,840 1.08 幼特＞中教總和 3,112.84 2,843 註：未修：未修教育學程；中教：修習中等教育學程；小教：修習小學教育學程；幼特：修習幼兒教育或特殊教育學程。 ***p ＜ .001.

（四）質化分析

本研究以質性方法分析教師座談會內容，從教師們的角度深入理解，在中學教育的各種情境中，對於最佳和最差的方法，其判斷依據為何，以及背後所隱含的概念。研究者針對各次座談會之逐字稿內容，挑選出與判斷選項優劣相關的關鍵句，並對其進行編碼及分類，完成後再依分類賦予主題名稱，共有六項主題，分別為「積極處理問題」、「落實教育意義」、「善

(15)

趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝教師情境判斷測驗之編製 99 用輔導知能」、「嘗試錯誤累積經驗」、「營造人際和諧」及「規範與常理判斷」。資深教師在六項主題中，提到關鍵句的次數如表 6 所示，其內涵說明及其所對應之核心資料舉例如下所述。表 6 資深教師判斷主題及其關鍵句計次判斷主題次數 1. 積極處理問題１ 72 2. 落實教育意義１ 33 3. 善用輔導知能１ 33 4. 嘗試而累積經驗 28 5. 營造人際和諧１ 19 6. 規範與常理判斷 11 小計 196

1. 積極處理問題

(1)正視問題與親自處理

教師在面對情境與學生的問題時，身為教育者，是不會忽視與不處理的。換言之，若不涉及其他因素，教師看到問題時一定不會視若無睹，是為最基本的教育落實態度。因此，在教師情境判斷測驗中，「忽視」、「不處理」的選項都會被教師選定為不好的作法。再者，教師認為當學生發生問題時，必須站在第一線，知道自己如何解決問題，而不是推給他人。學生有問題忽略不處理是不好的。（D-0527-A-1-001）導師若忽視學生問題就等於是沒有處理。（D-0527-A-1-008）不做任何處理是最差的。（D-0527-A-1-030）最主是我們要秉持著教師專業的精神，遇到問題都是老師親自解決。（D-0527-A- 1-010）身體界線的問題……不一定要委託輔導老師，而是自己可以做什麼……。（D-0610- A-1- 006）自己班上同學在科任課有狀況時，雖然是任課老師在場，還是要請人通知導師來處理。（D-0527-A-1-021）

(16)

(2)釐清問題與判斷問題層次

面對教師工作的各式各樣情境問題，背後潛藏著許多不同因素，教師通常會先瞭解問題背後的原因，釐清與界定問題，再進而解決問題。再者，教師工作同時發生不同問題時，教師必須能夠判斷解決問題的輕重緩急，優先處理最重要的核心問題。此外，教師在解決問題時，也要瞭解即時性，預防後續可能延伸更多的問題。例如，當問題發生在課堂中，教師當下就必須即時解決。遇到學生問題，先瞭解實際的狀況，事情的始末為何，再做決定是最好的，若老師沒有搞清楚就直接下判斷，會讓事情更惡化。（D-0527-B-1-001）當班級出現問題時，必須還原事實，瞭解整個事情的狀況，界定今天的問題是什麼？（D-0527-B-1-009）學生遇到學習問題或是作業缺繳，要瞭解學生寫作業的習慣。（D-0528-C-002）老師在解決問題時，需考慮到即時性、有積極性的解決。（D-0527-A-1-003）有時候是看問題的前後順序來處理。（D-0527-A-1-012）必須針對產生問題的核心來解決，例如老師被學生跟蹤，老師因而產生困擾，必須想辦法制止掉跟蹤這個行為，真正的主因是那個學生的行為。（D-0527-A-1-028）

2. 落實教育意義

在面對情境問題時，教師認為讓學生能從中有所學習，並產生後續效應，積極落實教育的意義。關於落實教育意義的概念，包括：引導學生學習正確的觀念、品格教育、學習自我管理與自律、引發主動學習的動機、創造學生的成就感、發自內心的思考等；教師們也會善用其教學上的知能，例如差異化教學，以及自身影響力來影響學生，使學生能正向成長。讓學生在問題解決中可以有所學習，有時候學習是在問題解決之後，不會是在問題處理的當下。（D-0527-A-1-005）讓學生學習對自己的事情自我負責。（D-0527-A-1-016）關鍵就在於讓學生訓練自己負起責任，與他約談，和他討論問題解決的辦法。（D-0528-C-005）可以教導學生，當學生不要浪費任何一種學習的機會。（D-0610-A-2-001）要教導孩子守時守規的觀念。（D-0527-B-1-002）

(17)

趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝教師情境判斷測驗之編製 101 讓這些學生參與全校性的資源回收工作是最好的，把教育的懲罰，這種負面元素減少，並教育學生，回收不容易，資源浪費是可觀的，例如全校都用免洗筷，那攤開來還蠻多的。（D-0528-C-004）當學生有戀愛困擾而無法專心讀書時，鼓勵學生化為向上的力量，把危機變成轉機，把轉機變成動機，但如果超出我能力範圍的，我就會轉介輔導室協助。（D-0610-A-2- 002）利用時間讓學生就此問題進行討論，引導學生處理類似問題，這樣的方式充滿可能性，而且也是讓學生發自內心的去做，而不是老師指定要學生怎麼做。（D-0527-A-1- 036）給學生創造ㄧ些來校的成就感。（D-0527-B-1-006）面對資優學生，可以上課時運用差異化教學，給他ㄧ些特別的活動。（D-0610-A-2- 003）發揮導師的影響力。（D-0611-C-002）在親師溝通時，會尊重家長想法，但若是家長本身有問題也會請家長要負責任，有需要時會提供家長怎麼教小孩。（D-0527-A-1-017）另一方面，同樣是為了教導學生，教師認為以正向和開放的態度來面對學生，勝於懲罰式的教育方式。例如：記警告或是懲罰，雖然代表教師權威，但是為治標不治本的教育方式，較無法發揮正向之教育意義。此外，當教師專業受到挑戰或質疑時，教師則認為必須自我反省與再精進，才能不斷地自我成長。鼓勵是好的。（D-0610-A-1-001）多鼓勵學生去做正面的事情，老師可依據他們的善行給予肯定與加分，這是另一種思維，而不是老去懲罰學生或硬要找出負責的人。（D-0527-A-1-035）學生有行為問題時，記警告不是解決問題的方法，這是比較差的作法。（D-0527-A- 1-032）在解決學生問題時，不該以針對性、貼標籤的方式來暗示學生。（D-0527-A-1-004）懲罰也很不好。（D-0527-A-2-002）當學生質疑你解題的過程，老師基本上是開放的態度去面對這件事。（D-0611-C- 010）

(18)

102 教師情境判斷測驗之編製趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝遇到被資深前輩指出教課的問題，一定要先從自己的專業扎實度開始充實。（D-0610-B-1-001）總是要碰到會挑戰你的學生，才會有進步空間。（D-0610-B-2-002）有時候老師也真的要自我反省，教學內容、教學方法等。（D-0610-B-2-004）

3. 善用輔導知能

教師在處理有關學生輔導的問題情境時，會融入與運用輔導的相關知能。例如：關懷、鼓勵與肯定學生、協助學生找出問題原因、同理與安撫學生的情緒與心境，幫助學生從情緒中找到出口，幫助學生面對與適應他所處的困境等；在面對家長時，也會從同理的角度來協助。例如：讓家長學習感同身受，或是親師之間傾聽彼此的期待，以建立溝通的管道；此外，在中學教育中，經常會出現男女關係、身體界線、性別平等、師生戀等性別議題，教師也會傾向輔導知能來進行班級或個別學生的輔導。學生在情緒當下，也不好處理，可以等學生情緒平復後再傾聽與輔導。（D-0611-C- 012）遇到班上人際適應有問題的學生，要與學生晤談，找出他的問題，幫助他面對現實和成長，能夠逐漸成熟以適應環境，多鼓勵與讚美學生的良好行為。也可以鼓勵班上學生多與這樣的學生互動。（D-0527-B-2-011）當學生因為參加學科競賽而備感壓力時，請家長陪同參與所有的數學競賽，也是一個很聰明的作法欸，……家長陪同的話，可以去感受一下孩子的壓力。（D-0610-A- 1-004）親師溝通時，要能與家長溝通，傾聽彼此的期待，沒有溝通的過程是不好的。（D-0610-A-1-007）遇到學生有肢體接觸等界限問題，會先跟學生分享肢體接觸的合宜性，只要到青春期，不管是老師與學生或學生與學生之間，就平常的時候，趁著全班活動或班及經營時間機會教育（性平教育），不會單針對誰，都會劃一個界線在。（D-0528-C- 003）

4. 嘗試而累積經驗

教師們在教育生涯中，在嘗試過程中所累積的經驗是最主要的判斷依據。從新手教師到資深教師的過程中，從一次又一次的經驗裡，汲取教訓，不斷累積比過去更好、更有用的方

(19)

趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝教師情境判斷測驗之編製 103 法，無論是教學、班級經營或是學生本身的狀況，教師願意以嘗試的精神尋求對學生或對問題最佳的解決方式。這些經驗之累積，就成為一種類似教師的常識。例如，教師和學生相處一段時間，當學生有某些外顯行為時，教師當下即能判斷學生的心情與狀況。因為小孩雙手握拳、眼角泛淚一定表示我有事要說。（D-0611-C-004）一開始我先請我們班把門窗先關起來，並請同學先包容，但第二次我就直接去那個班找班長，如果有導師最好是直接找導師。（D-0610-A-1-003）有經驗的老師，遇到問題會去想適合學生的教法是什麼。（D-0610-B-2-003）問題如果是發生在特定的老師和學生之間，如果不是本人與學生談，而是其他老師，根據經驗是沒有用的，一定要該名老師當面跟學生說才會有效果。（D-0527-A-1-025）根據經驗，老師們會採取的作法。（D-0527-A-1-034）

5. 營造人際和諧

在情境判斷測驗的「同事相處」情境中，得以發現教師會以人情準則來做選擇與判斷，維持人際間和諧，教師們不僅重視人際和諧，也會運用幽默感與人溝通，嘗試在衝突中找到平衡點。這與華人社會文化中以和為貴，且將人際關係和諧視為自我實視的一部分之特性是一致的（楊國樞、陸洛，2005）。但有時候為了和諧，自己就也會將考卷全部出完。（D-0611-C-006）學生頂多待三年，但同事是一輩子的，還是要維持辦公室的和諧，運用幽默感與同事溝通很好，對同事也不會有壓力。（D-0611-C-001）和同事溝通……也許做一些修正，或者是讓步，就是彼此之間可能會達到一個平衡點，……你可能事情有一些轉彎的地方。（D-0610-B-1-005）除了在人際的互動上傾向維繫和諧的關係，反求諸己也被認為是重要的事情。若遇到資深前輩給予指教時，教師們認為虛心接受與認真反省較佳，例如當遇到資深教師的指教，最好能夠去瞭解資深教師給予指教的原因，根據自身問題進行反省，並從中充實個人的專業度。此外，若遇到工作上的挫折，教師們認為堅持個人的理念，尋找其他志同道合的夥伴，彼此激勵，並持續努力是最佳的選擇；反之，壓抑、逃避或行事變得低調是最差的選擇。表現好的他們聚在一起，大家反而能夠更激勵自己更好。（D-0527-A-2-I-082）

(20)

104 教師情境判斷測驗之編製趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝就是做自己並尋找志同道合的夥伴。（D-0527-A-2-I-089）做自己。（D-0527-A-2-II-110）另尋找志同道合的夥伴。（D-0527-A-2-I-092）低調融入老師群中，這個是最差的。（D-0527-A-2-II-112）在校行事變得低調……這是最差的。（D-0527-A-2-I-095）詢問那位資深老師瞭解如此建議的原因。（D-0527-A-2-III-085）就是先自己研究，自己先從自己專業紮實度開始充實。（D-0610-B-1-II-004）這重點應該比較不像是同事之間溝通跟澄清，而是堅持自己的那個理想去做。（D-0527-A-2-III-095）因為你找志同道合的夥伴，你就會找到跟你比較相近的同事，願意努力的、比較熱血的。（D-0527-A-2-I-114）

6. 規範與常理判斷

在某些特定狀況中，如涉及相關的法規，教師就會以法律規範，例如校規、兒少法等，來決定與判斷情境處理之作法的優劣。此外，在某些情境中，一般的常理推理也成為重要的判斷依據，例如，人身安全或是不去擴大錯誤的訊息。發現驗孕棒這種，牽涉到法律問題。……應該是先把性平、兩性這部分確定沒有問題……。（D-0611-C-008）讓學生瞭解，師生戀是有違法律的事情。（D-0527-B-1-008）通常孩子觸犯校規，會明確告知家長因為是校規，但在安撫家長之後，還是會提供一個可以銷過的方法。（D-0611-C-011）若有危及安全的狀況，維護安全是最重要的。（D-0527-A-1-023）有誤會產生時，而你知情，就不要再讓錯誤的訊息越演越大。（D-0527-B-2-010）透過質性分析，將資深教師的判斷準則以此六項主題來描述，說明教師在面對各種情境時，傾向使用這些原則將得到較佳的判斷。從上述結果得知，教師在面對各種情境時，不單單以一種原則來處理，而優良的教師應具備這六項主題的概念，在不同的情境之下才能選擇最佳的作法。此外，以整體教師工作情境而言，這六個主題孰輕孰重，本研究也針對六個主

(21)

趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝教師情境判斷測驗之編製 105 題之關鍵句計次資料，進行適配度之卡方檢定。結果顯示，六項主題之關鍵句，其出現次數有顯著差異，χ2(5)＝68.12，p ＜ .001，其中「積極處理問題」出現 72 次，是六項主題之中出現最多的，而「規範與常理判斷」出現 11 次，是當中最少的。

三、討論

研究二在試題分析及內部一致性信度上，得到與研究一相似的結果，再次說明情境判斷測驗與一般之認知測驗及情意測驗有所不同。為了提供更多的效度證據，本研究比較有無修習教育學程之學生，結果發現有修習教育學程之學生，在教師情境判斷測驗的得分上，較未修習的學生佳，此結果提供一項已知團體差異之建構效度證據。另外，研究二與研究一在編製測驗上最大的不同，在於資深教師團隊在決定選項優劣時，是以小組討論方式進行。因此，本研究獲得大量之質性資料，試圖從資深教師的討論之中，萃取教師情境判斷測驗背後之概念，為此測驗提供另一項效度證據。在質化分析的結果中可知，資深教師面對教育情境時，會以積極而有效的處理方式作為最佳選項，而將較負面、消極，或是弄巧成拙的作為視為最差選項。同時，教師們也將教育意義、輔導知能、法律規範及一般常識等當作判斷的基準，並加入教師職涯中所累積的經驗，來判斷最佳與最差選項。在人際互動上，教師會考量以和為貴、謙虛接受與內省問題，但也不失自己的立場為最佳選項，同時，將火上加油及未堅持立場視為不佳選項。從研究一模式分析推論，教師情境判斷測驗可能測量到的是一綜合判斷能力，然而，卻無法指出其測量何種能力。研究二透過質性資料找出六項主題，說明教師情境判斷測驗的選項優劣，在判斷上還是有特定的依據。由關鍵句的計次上，也可發現六個主題出現的次數不一致，在 196 個關鍵句中，若在六個主題中出現次數一致，則其期望值約為 32 次。由表 6 得知，「積極處理問題」出現 72 次，是六項主題之中出現最多的，可能是資深教師們在面對各種情境時，首重「積極處理問題」的準則，先把握住積極處理問題的原則，再進一步考慮其他原則，因此，教師是否能以積極態度來處理問題，實屬重要。質性分析之結果，也為教師情境判斷測驗提供一項建構效度之證據，補充單以施測資料所進行量化分析之不足。同時，在師資培育的歷程之中，也可參考研究二所得之結果，將此六項主題導入師資培育課程之中，向師資生闡釋面對教師工作可能遭遇到的問題，以及應如何因應。例如遇到班級秩序問題，應積極處理而非消極處理，且最好能夠有教育意義，使學生行為改正能夠內化。

陸、綜合討論

一、教師情境判斷測驗之編製

師資生之甄選，若僅以認知測驗，亦即單以學業分數或是性向測驗為依據，可能無法符

(22)

106 教師情境判斷測驗之編製趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝合現今教師工作上複雜與多元潛能的需求。因此，本研究編製教師情境判斷測驗，期望此工具作為開端，促進師資生的甄選作業邁入多元評量之方向。同時，本研究檢驗了教師情境判斷測驗之試題特性，以及其信度與效度之結果，期望在推廣教師情境判斷測驗之前，確保此測驗之品質。在測驗信度方面，從研究一與研究二得到試題鑑別度及內部一致性信度之結果，說明教師情境判斷測驗試題之間，其相關性不如一般測驗高。此結果說明，以「共識決」決定出正確答案的情境判斷測驗，有其特殊的屬性。在標準答案的能力測驗中，負的鑑別度可能是正確答案輸入錯誤所導致；在沒有標準答案的情意測驗中，負的鑑別度可能是遇到反向題，卻未反向計分所導致。情境判斷測驗的鑑別度呈現負值，可能代表有些試題，生手與專家對於情境的判斷還是有所差異，又或是情境判斷測驗所量測到許多不同的能力，致使受測者在同樣情境之下得分不一致的現象。舉例而言，受測者可能在某個班級經營的題目表現良好，卻會在另一個同樣是班級經營的題目上表現不佳。試題間的低相關，將連帶造成測驗之內部一致性信度降低。關於內部一致性信度，先前也有研究者指出，情境判斷測驗，若使用內部一致性作為信度指標，則會有被低估的情況，而使用再測信度較不會低估信度（Lievens, Peeters, & Schollaert, 2008; Ployhart, Porr, & Ryan, 2004）。本研究編製的教師情境判斷測驗，是以增加題數來增進測驗信度，並未取得再測信度之資料，此為本研究限制之一。未來，將加強以再測信度或複本信度之方式進行信度估計。在測驗效度方面，研究一及研究二使用 Rasch 模式分析，發現試題之 MNSQ 均在可接受之範圍內，符合 Rasch 模式。同時，將教師情境判斷測驗試題視為單向度的模式，優於五向度的模式，說明測驗分數代表的是一種綜合能力及特質，我們可以將其視為與資深教師思考方式接近的程度。換言之，教師情境判斷測驗的不同情境，僅是情境內容上的區分，而非受試者個人能力或是特質向度的區分。從單向度模式較適配的結果宣稱情境判斷測驗可量測到多元的能力，乍看之下是個矛盾的宣稱。然而我們認為，情境判斷測驗所量測到綜合判斷的能力，背後是由許多能力、特質及經驗在運作的。正因如此，造成「單向度」及「多元能力」兩者看似衝突的情況發生。研究二的質性分析結果，提供了教師情境判斷測驗之中，主要的判斷依據，而此結果也部分支持了綜合判斷能力底下，有不同的能力及特質在運作這個觀點。簡而言之，現有的情境判斷測驗，有著「一既是多，多既是一」的特性。未來，在情境判斷測驗編製上，若能加強設計出對應到某個特定特質上之試題，才有可能將「多元能力」顯現在「多向度適配」的結果上。研究二則是分析已知團體差異，發現修習教育學程之學生，其分數均高於未修習教育學程之學生。此結果與當初之預期相符，說明了進入教育學程之學生，可能因修習課程或是實習，使其在面對教師工作的問題時，其思維與資深教師更為接近，而此結果，將提供另一項建構效度之證據。另外，研究二嘗試讓資深教師團隊共同討論出計分鑰，並將其討論之內容，進行質性內容分析，期望更加瞭解教師情境判斷測驗選項擇定背後

(23)

趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝教師情境判斷測驗之編製 107 所代表的意義，並指出資深教師情境處理的特徵。資深教師在處理事情上，會以積極的態度來面對問題，並做出立即性的處理，例如：當遇到問題時，資深教師皆以「親自處理」、「不能放任不管」等概念思考解決情境問題。更進一步，當資深教師在面對學生時，會善用教學和輔導知能，除了考量解決問題的有效性之外，亦會採取更具有教育意義的作法，例如，當學生透露因為家長的期許，參加多項競賽而備感壓力時，教師偏好的方法為「與家長溝通，請家長全程陪同參與」，教師不僅能同理學生的處境，也期望家長也能親自體會學生的狀況，增進同理心。同時，在面對人際上可能的衝突時，資深教師會考量對象的情緒，並採取較為圓融，以及開放性較高的作法。從教師情境判斷測驗之計分鑰的共識過程，可呼應教師應具備的特性，包括積極面對問題、讓學習有意義、不斷自我精進、同理心、善於傾聽、開放的心胸、關懷與激勵等（Layne & Boyles, 1997; Wenzlaff, 1998）。在情境判斷測驗的研究中，以因素分析為基的建構效度分析，經常讓研究者感到困窘，原因在於情境判斷測驗本身的建構不明，在試題中即包含多向度的建構（Whetzel & McDaniel, 2009），或是情境判斷測驗本身即在測量一種綜合判斷的能力。此外，在計分上，情境判斷測驗每一題的分數除了代表受測者的傾向之外，也代表了專家團隊的評分結果（歐宗霖等，2013）。上述原因，造成情境判斷測驗分數之因素分析無法達到令人滿意的結果。未來情境判斷測驗的編製者，還可嘗試更多種的計分方式，檢視在不同分數分派方式的結果，何者更符合因素分析或試題反應理論的模式。本研究為了建構效度的困境，除了提供已知團體差異之證據，也嘗試進行質性分析，直接探索教師情境判斷測驗其背後之建構，進而提供更豐富之效度證據。雖然本研究試圖從不同的面向，提供教師情境判斷測驗的效度證據，然而，未來也應再蒐集師資生成為正式教師之後的工作表現指標，提供效標關聯效度。情境判斷測驗的主要功能在於預測未來的工作表現，因此效標關聯效度是較理想的效度證據。本研究目前正完成測驗研發的階段，因此尚未取得工作表現指標，此為本研究限制之二，未來如何取得教師的工作表現指標，以及要採用何種工作表現指標，均是本研究往後思考的重點。

二、實務議題

本研究除檢視教師情境判斷測驗之信度及效度結果，同時，從測驗編製之歷程，探討情境判斷測驗在實務上之議題。這些探討，有助於對情境判斷測驗感興趣之研究者，在開始編製測驗之前，預先考量相關問題，以利後續編製。本研究將分別討論情境判斷測驗與傳統測驗之差異、高風險測驗，以及情境判斷測驗發展成為教材等相關議題。

（一）情境判斷測驗與傳統測驗之差異

從教師情境判斷測驗的編製，發現其與測量認知成分之能力測驗，或是測量情意成分之自陳量表確實有所不同（歐宗霖等，2013）。能力測驗，主要是在測量一個人在某項能力上之最大表現，且其試題會有正確答案（計分鑰），例如電腦化適性職涯性向測驗（鄭育文、陳柏

(24)

108 教師情境判斷測驗之編製趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝熹、宋曜廷、陳信豪、蕭孟莛，2014）。情意測驗，則是在測量一個人在某項特質上之典型表現，其試題通常不會有正確答案，例如賴氏人格測驗（賴保禎、賴美玲，2003）。本研究之教師情境判斷測驗，其問項「最想採用的作法」及「最不想採用的作法」，代表此測驗欲測量個人之典型表現，而由資深教師團隊討論出來之正確答案，代表欲測量個人之最大表現。因此，此測驗既有能力測驗的成分，也帶有情意測驗的成分。根據教師情境判斷測驗之編製經驗，本研究提出三項情境判斷測驗與一般測驗不同之處，分別是「編製思考」、「編製流程」及「分數解釋」。首先，在編製思考上，一般測驗均需要從「建構」著手。換言之，在編製之前，須思考要測量到哪些概念、這些概念從何種理論而來，以及這些概念是否還有更小的概念等。相較於情境判斷測驗，在編製之前，研究者須思考在工作之中有哪些常見情境，而這些情境是否為工作上常遭遇的關鍵問題等。因此，不先以考量建構為基的情境判斷測驗，已與一般測驗的編製思考有先天上的差異。在編製流程方面，一般測驗編製時，研究者須將測驗建構定義出來，並規劃測驗藍圖。例如，測驗編製者會列出測量認知能力及內容之雙向細目表，再根據建構定義及測驗藍圖來進行命題。反觀情境判斷測驗在編製時，研究者則需先召集資深專家團隊，進行情境問題的編寫、討論此情境可能的處理方式，再討論選項之優劣。在編製歷程之中，研究者須將重點放在現場實際會發生的問題，以及工作者在面對問題時，實際上可能會採取的作法。在分數解釋上，受測者在一般測驗得到之結果，可視為其潛在能力或特質之程度。例如學生的數學性向強弱，或是外向性之高低等。然而，情境判斷測驗之分數，則代表受測者與資深專家思維的接近程度，而測驗使用者假設受測者若與資深專家想法較近，其未來將會表現得較佳。舉例而言，某位師資生在教師情境判斷測驗上最想採用的作法均為資深教師認為最佳的作法，而其最不想採用的作法也為資深教師認為是最差的作法，代表該生與資深教師們想法一致，若此師資生未來成為教師，遇到相同的情境，會有較大的機會展現較佳的處理方式。

（二）高風險測驗

情境判斷測驗的目的即在甄選人員，其形式演變已存在很長的一段時間，可回溯到第二次世界大戰期間公職及軍隊選才。近年來，情境判斷測驗更因其預測效度及增益效度，在人事甄選上愈來愈被廣泛使用（Chan & Schmitt, 2002; de Meijer et al., 2010; Lievens & Sackett, 2006; McDaniel et al., 2001; Weekley & Jones, 1997）。然而，在人事甄選測驗之中，國家考試屬於高風險測驗，因此，情境判斷測驗用於國家考試上，仍需謹慎考慮。原因有三，第一，如上所述，情境判斷測驗與一般測驗不同，其計分鑰沒有傳統能力測驗的絕對性，由專家團隊之共識決所產生，容易造成爭議。第二，以測驗成本而言，情境判斷測驗編製成本較一般測驗來得高，在編製試題的各階段均需要專家團隊的參與，而編製後須淘汰之試題數量也較一般測驗來得多。若是將其提升為高風險測驗，則為了有充足的題數，編製成本勢必以倍數增加。第三，情境判斷測驗之試題，其編製時程較長，以教師情境判斷測驗為例，從召集資深

(25)

趙子揚、黃嘉莉、宋曜廷、郭蕙寧、許明輝教師情境判斷測驗之編製 109 教師命題開始，到試題分析後修正結束，至少約需 1 年。若將其提升為高風險測驗，則在測驗結束後必須公告試題，將會造成試題曝光而無法使用。如此一來，將使得編製試題之速度無法跟上試題曝光之速度。從教師情境判斷測驗之編製實務經驗，本研究建議，若非必要，高風險測驗不宜貿然納入情境判斷測驗。

（三）情境判斷測驗編製等同於工作教材編製

本研究從教師情境判斷測驗的編製過程中，發現在試題建立的過程中，同時也是將資深教師的經驗加以具體化及文字化。以往，教師面對的困難或是兩難的情境，往往只能靠有經驗的實習輔導教師傳授給實習學生，較像是師徒制的經驗傳承，非系統性之傳授。然而，從學校現場的情境問題以及各種解決情境的方案，到判斷各種解決方案的優劣，皆由資深教師所提供，此方式等同於將資深教師的個案經驗具體化。未來，對於師資培育之大學而言，教師情境判斷測驗是為珍貴的教材，此教材可能有助於師資生內隱知識的內化（陳美玉，2005），同時搭配問題導向學習（problem-based learning）（徐靜嫻，2013），融入師資培育課程之中。在師資培育的課程之中，可將教師情境判斷測驗之試題改編為「教師情境學習單」。在實際作法上，本研究建議，可將蒐集到之情境問題及其解決方法重新進行分類，整理出哪些方法是教師遇到特定情境之下可以用的方法、哪些方法則是要盡量避免的方法。例如，當遇到學生問題時，教師要有主動、負責、開放和落實教育意義等積極的態度和作為，應盡量避免忽視、懲罰、針對性等負面的態度和作為。情境判斷測驗所轉化成的教材，可使師資生及早瞭解教師工作上的各種情境，以及較佳的解決方法。以往，所謂「考試領導教學」是測驗編製者想避免的事情，然而，本研究之教師情境判斷測驗，在建立試題時，同時也是在建立教師工作知識，而這些知識多是來自實務上的經驗。因此，本研究未來會將教師情境判斷測驗之汰舊試題，轉換成教師情境學習單，提供師資培育單位使用，並建議未來其他的情境判斷測驗編製者，加強蒐集資深專家的討論資料，將有助於特定工作知識之建立。

柒、結語

情境判斷測驗對於國內來說，算是剛興起的測驗類型，其與傳統測驗相比，具有獨特性，但其難以掌握的特性則必須加以克服。在教師工作之中面對的問題五花八門，恰可利用情境判斷測驗，檢驗師資生是否具有成為教師的潛能。本研究利用 5 年的時間，編製教師情境判斷測驗，除了幫助師資培育單位，提供單採認知測驗遴選師資生的不足，展現師資培育多元評量的精神之外，更從測驗編製的歷程中，獲得理論及實務上的知識。本研究實為未來投入情境判斷測驗的研究者及測驗編製者，投出一塊問路石。

(26)

誌謝

感謝教育部師資培育及藝術教育司「教師暨師資生潛能測驗組合應用（第一年）計畫」之支持，另匿名審查委員悉心斧正本文，特此感謝。

(27)

參考文獻

一、中文文獻

王文中（2004）。Rasch 測量理論與其在教育與心理之應用。教育與心理研究，27（4），637-694。

【Wang, W.-C. (2004). Rasch measurement theory and application in education and psychology. Journal of Education & Psychology, 27(4), 637-694.】

徐靜嫻（2013）。PBL 融入師資培育教學實習課程之個案研究。教育科學研究期刊，58（2）， 91-121。doi:10.3966/2073753X2013065802004

【Hsu, C.-H. (2013). Case study on applying problem-based learning to the student teaching curriculum. Journal of Research in Education Sciences, 58(2), 91-121. doi:10.3966/2073753X2013065802004】

張芬芬（2010）。質性資料分析的五步驟：在抽象階梯上爬升。初等教育期刊，35，87-120。

【Chang, F.-F. (2010). The five steps of qualitative data analysis: Climbing up a ladder of abstraction. Journal of Elementary Education, 35, 87-120.】

教育部（2012）。中華民國師資培育白皮書。臺北市：作者。

【Ministry of Education. (2012). White paper for teacher education of R.O.C. Taipei, Taiwan: Author.】

陳美玉（2005）。師資生個人知識管理及其對專業學習與發展影響之研究。師大學報：教育類， 50（2），181-202。doi:10.3966/2073753X2005105002010

【Chen, M.-Y. (2005). Teachers college students’ personal knowledge management and it’s impact on professional learning and development. Journal of National Taiwan Normal University: Education, 50(2), 181-202. doi:10. 3966/2073753X2005105002010】

黃源河、符碧真（2009）。一樣軌跡兩樣情：美國與我國師資培育機構轉型與教師質量之比較。教育科學研究期刊，54（4），171-200。doi:10.3966/2073753X2009125404007

【Huang, Y. R., & Fwu, B.-C. (2009). Similar routes but different paths: teacher preparation, teacher quantity and quality in the U.S. and Taiwan. Journal of Research in Education Sciences, 54(4), 171-200. doi:10.3966/ 2073753X2009125404007】

黃嘉莉（2013）。標準本位師資培育理念與實踐。臺北市：國立臺灣師範大學出版中心。

【Huang, J.-L. (2013). The ideas and practice of standards-based teacher education. Taipei, Taiwan: National Taiwan Normal University Press.】

黃嘉莉、武佳瀅（2015）。我國教育實習學生知覺教師專業知能習得、運用與重要之研究。教育科學研究期刊，60（2），1-32。doi:10.6209/JORIES.2015.60(2).01

【Huang, J.-L., & Wu, J.-Y. (2015). Student teacher perception of teacher education and professional knowledge acquisition, use, and importance in Taiwan. Journal of Research in Education Sciences, 60(2), 1-32. doi:10. 6209/JORIES.2015.60(2).01】

黃嘉莉、趙子揚、宋曜廷（2013）。教師情境判斷測驗編製之理論基礎與實踐。載於吳清基、黃嘉莉（主編），雲端時代的師資培育（pp. 97-124）。臺北市：中華民國師範教育學會。

【Huang, J.-L., Chao, T.-Y., & Sung, Y.-T. (2013). The theory and practice for compiling teacher situational judgment test. In C.-J. Wu & J.-L. Huang (Eds.), Teacher education in E-cloud era (pp. 97-124). Taipei, Taiwan: Teacher Education Society of R.O.C.】