學生評鑑教師教學量表跨層級構念的分析

(1)

曾明基、羅寶鳳、張德勝、邱于真跨層級因素結構的分析 31 教育科學研究期刊第五十六卷第三期 2011 年，56（3），31-60

學生評鑑教師教學量表跨層級構念的分析

曾明基

*

羅寶鳳

國立東華大學課程設計與潛能開發學系研究生國立東華大學課程設計與潛能開發學系副教授

張德勝

邱于真

國立東華大學課程設計與潛能開發學系教授國立臺灣師範大學教育學系研究助理

摘要

研究主要探討學生評鑑教師教學因素構念在跨層級架構下的合理性，以作為學生評鑑教師教學多層次議題發展的立論依據。研究對象為東部某大學大學部 180 班學生，班級人數介於 13 和 78 人之間，總樣本數為 6,568 人。經多層次模式競爭及多層次複核效度檢定發現，學生評鑑教師教學量表的因素構念在學生層次分為教學準備、教材內容、教學方法、教學評量、教學態度等五個次向度，但在班級層次卻僅以單一因素構念「學生評鑑教師教學」反映不同班級間的差異。因此，本研究建議在進行跨層級的量表建構及議題探討時，應先檢視跨層級的構念是否產生改變，透過跨層級的模式競爭及效度複核，忠實呈現因素構念在多層次下的樣貌，而非僅將組間層次及組內層次的因素結構假定為相等，以避免後續跨層級推論的謬誤。關鍵字：多層次效標關聯效度、多層次模式競爭、多層次複核效度、學生評鑑教師教學通訊作者：曾明基，E-mail: d9988101@ems.ndhu.edu.tw 收稿日期：2010/08/18；修正日期：2011/03/04、2011/07/28；接受日期：2011/08/02。

(2)

32 跨層級因素結構的分析曾明基、羅寶鳳、張德勝、邱于真

壹、緒論

國內、外在編製學生評鑑教師教學量表或探究何種因素影響學生評鑑教師教學時，大抵從學生（組內）層次、班級（組間）層次的角度切入，在單一層次的分析架構下，受限於研究方法（學生層次與班級層次僅能分開討論，無法同時在同一模式下進行分析），其所採用的學生評鑑教師教學因素構念在單一學生層次與班級層次可能是不相同（Cranton & Smith, 1990），也可能相同（Linn, Centra, & Tucker, 1975）。然而，在同時考慮跨層級（將學生層次及班級層次納入同一模式共同分析）的學生評鑑教師教學量表編製或探討跨層級的因素對學生評鑑教師教學的影響時，在學生層次及班級層次的因素構念是否有所差別，過往的研究並未加以探究。

在跨層級的學生評鑑教師教學量表編製時，如果組間及組內的因素構念相同，則表示在學生層次及班級層次對於學生評鑑教師教學的跨層級構念一致，可類化相同的構念及功能關係連結到不同層級（Klein & Kozlowski, 2000），後續在進行多層次結構模式（multilevel structural equation modeling, MSEM）推論時，在組間及組內的路徑關係可以假定為相同，並同時針對組間及組內的結構關係加以比較。但在量表編製時如果發現學生評鑑教師教學跨層級的構念不同，不但在探究量表的跨層級信、效度時要加以區隔，且在後續的模式驗證時，對於組間及組內的因素構念及路徑關係須以不同的模式加以比較，以避免跨層級推論的謬誤。雖然學生評鑑教師教學的量表編製及影響因素時常被討論，但在考慮跨層級的架構下，有必要先行釐清學生評鑑教師教學的構念在學生層次及班級層次的意涵。畢竟學生評鑑教師教學除了可以提升高等教育的教學品質、反映教師教學績效、提升學生學習動機、作為教師升等參考外（張德勝，2002），也是學生評鑑教師教學的結果，所影響的層面既廣且深，因此對於任何可能會影響學生評鑑教師教學的因素，都有必要持謹慎的態度加以探討。因此，本研究主要探究學生評鑑教師教學量表因素結構跨層級的合理性，以作為學生評鑑教師教學議題探討在多層次發展的基礎。除了透過跨層級的模式競爭及效度複核、效標關聯效度忠實地呈現學生評鑑教師教學的因素構念在多層次下的樣貌，並對後續探討多層次學生評鑑教師教學議題的研究者提出相關的建議。

貳、文獻探討

一、學生評鑑教師教學忽略嵌套結構的可能缺失

現有的影響學生評鑑教師教學的研究大多仍採用單一層次的分析邏輯，且專注於學生層次（如：張德勝，2009）或班級層次的分析（如：張德勝、邱于真、羅寶鳳，2011）。然而，

(3)

曾明基、羅寶鳳、張德勝、邱于真跨層級因素結構的分析 33 教育研究本身即存在階層的特性，學生嵌套於班級，而以跨層級研究設計為實證策略的研究仍為少數，形成理論與實證研究間的缺口。當學生評鑑教師教學的研究專注於學生層次的分析，而忽視班級層次的重要性，可能產生幾個問題。將影響學生評鑑教師教學的班級層次因素打散分配於學生層次，會因未考慮到同一班級內學生的反應具有同質性（homogeneity）及相互依存的關係，可能導致標準誤的低估。而另一個問題是忽略迴歸的異質性（heterogeneity of regression），由於是以學生個體作為分析的單位，研究者通常不易察覺班級間在迴歸係數上的差異。此外，將學生層次合併成班級層次進行探討時，將產生合計的偏差（aggregation bias），在合併的過程中，可能會忽略了各班級內學生內部的差異，以致於變數間的關聯性在合併後比合併前強，且將學生層次合併成班級層次會減少樣本數進而降低統計力，也浪費了班級內學生的資訊（曾明基、邱于真、張德勝、羅寶鳳，2011；Raudenbush & Bryk, 2002）。

此外，當班級層次結構係數與學生層次結構係數的正、負方向是顯著且同向時，則其對應的傳統結構方程式模型的結構係數值會較學生層次結構係數大；反之，若班級層次結構係數與學生層次結構係數的正、負方向是顯著且不同向時，則其對應的傳統結構方程式模型的結構係數值會較學生層次結構係數小。在跨層級的分析架構下，組間層次構念間的關係方向與組內層次構念間的關係方向愈一致，則愈可能增強傳統單一層次結構方程式模型中結構係數的強度；反之，則會減弱（李仁豪、余民寧，2008）。可見在探究學生評鑑教師教學的影響因素時，忽略嵌套結構而僅採單一層次的分析模式，有許多不足之處，而同時考慮跨層級的結構關係應是較合理的方式。

二、學生評鑑教師教學因素結構跨層級探究的必要性

關於組間層次及組內層次潛在變數的因素數目的探討，過往的文獻結果差異頗大（邱皓政，2007；黃芳銘、溫福星，2007；Härnqvist, 1978; Muthén, B. O., 1994）。雖然在教育心理學門，許多研究並未探究組間層次及組內層次因素構念的異同，便假定不同層級的因素結構及路徑關係一致而進行後續探討（李仁豪、余民寧，2008；Caprara, Barbaranelli, Borgogni, & Steca, 2003; Cheung, M. W. L. & Au, 2005），然而，當跨層級的模式檢定發現組間及組內因素構念不同時，這樣的分析方式可能產生跨層級推論的謬誤。因此在考慮跨層級的分析架構下，學生評鑑教師教學在班級層次及學生層次的因素構念意涵為何，則有待進一步加以釐清。在學生評鑑教師教學的實證上，張德勝等（2011）採分層隨機抽樣抽取樣本，然而在探究影響學生評鑑教師教學的因素時，將學生層次的構念聚合（aggregate）成班級層次加以探究，以班級為單位反映學生評鑑教師教學的差異。此一研究假定學生評鑑教師教學的構念在學生層次與班級層次為一等值模式（equivalent model），因此將學生層次的因素結構聚合後，以代表班級層次的因素結構。而少數使用階層線性模式（hierarchical linear models, HLM）分析學生評鑑教師的研究（黃瓊蓉，2004；Ting, 2000），雖然已經關注到使用單一層次分析的缺失，

(4)

34 跨層級因素結構的分析曾明基、羅寶鳳、張德勝、邱于真但在學生評鑑教師教學跨層級的分析架構下，仍舊假定班級層次及學生層次的因素結構相同。此外，曾明基等（2011）在探究影響學生評鑑教師教學的因素上雖然採用 MSEM 分析，但其因素結構跨層級的合理性仍舊建立在過往學生評鑑教師教學單一層次的理論基礎。可見在探討學生評鑑教師的議題上，不論是量表編製或是實證研究，在學生層次、班級層次甚至是跨層級的分析，多數研究仍假定學生評鑑教師的因素構念具有組間不變性，此一假定是否合理，從過往的實證研究及文獻並無法得知。然而，Härnqvist（1978）的研究發現，組間層次的因素與組內層次不同，也就是說，不同層級的因素數目可以有所不同。而邱皓政（2007）以 MSEM 進行潛在脈絡變數的因素模型與結構模型分析，也證實了組內層次與組間層次的潛在因素模型並不相同，為一非等值模型（non-equivalent model），組內層次測量變數在組間層次是一個單一完整的潛在構念，但在組內層次則仍保有原先的二因素架構。B. O. Muthén（1994）也指出在多層次分析上，組間層次的因素結構是最困難的部分，組間層次的意義與組內層次的意義可能不同，且仍不清楚組間層次的共變結構如何形成較為簡單的模型。此外，黃芳銘與溫福星（2007）以多層次驗證性因素分析（multilevel confirmatory factor analysis, MCFA）編製量表時也發現，量表在組間層次依然具有五因素的結構，與過往研究相符，但在組內層次因素結構卻縮減成只有四個因素。可見在多層次的分析架構下，組內層次的因素結構與組間層次的因素結構可能不同，有可能組間層次的因素構念較過往的研究精簡，也有可能組內的因素構念產生偏移。綜上所述，在學生評鑑教師教學的相關議題上，不論是單一層次（學生層次或班級層次）或跨層級的探討，多數研究假定學生評鑑教師教學在組內層次的因素結構可以類推至組間層次。然而，相關的跨層級研究卻也指出，因素構念在組間層次與組內層次有可能並不相同。因此，本研究將從跨層級的角度出發，探討學生評鑑教師教學量表在組內層次與組間層次的因素構念是否如過往學生評鑑教師教學的研究般可以假定相等。如果學生評鑑教師教學量表的因素構念在組內層次與組間層次不同，則過往有關學生評鑑教師教學量表單一層次的編製方式，其信度與效度可能受到組間因素構念不同的干擾而無法忠實反映量表的原貌（葉連祺、董娟娟、楊世英、陳仁海、蕭芳華，2005；潘靖瑛，2004；鄭博真、黃義良，2009），而使用學生評鑑教師教學量表在單一層次（許崇憲，2009；張德勝，2009；張德勝等，2011）及跨層級（曾明基等，2011；黃瓊蓉，2004；Ting, 2000）所進行的實證研究，也可能因跨層級推論的謬誤而使第一類型錯誤的機會膨脹。

三、過往學生評鑑教師教學因素結構的探討

此部分主要探討過往學生評鑑教師教學量表建立時，其量表內容及因素結構的異同，以作為後續在跨層級模式競爭的立論基礎。關於學生評鑑教師教學量表的評量內容，國、內外差別不大。張德勝（2002）統整美國

(5)

曾明基、羅寶鳳、張德勝、邱于真跨層級因素結構的分析 35 大學的學生評鑑教師教學量表指出，雖然評鑑工具或研究者所主張採用的評鑑內容有所不同，但其所涵蓋的內涵主要包含教學方法、教學內容、師生互動、評分公平性、教師整體表現，以及科目整體學習價值。而國內學生評鑑教師教學的工具大都由學校或各系所針對教學評鑑或行政上的需要自行設計（張德勝，2005），但其量表呈現的內容與國外相似。本研究所引用的東部某大學學生評鑑教師教學量表在該校也行之有年，但其內涵與上述國、內外的評量內容也大同小異，主要包含教學準備、教學方法、教材內容、教學評量、教學態度等五個次向度。而有關學生評鑑教師教學量表建構效度的探討，國、內外皆有許多實證研究，但目前仍局限在單一學生層次或是班級層次，並未有研究將其拓展至多層次領域，本研究試圖補足此一缺口，供後續進行多層次學生評鑑教師議題探討的依據。過往在單一層次的架構下，研究者對於學生評鑑教師教學因素構念是多層面或單層面有不同的觀點。《美國心理學會期刊》（American Psychologist）曾於 1997 年針對學生評鑑教師教學的效度議題，尤其是建構效度方面，邀請學界提供意見。其中，Marsh 與 Roche（1997）認為學生評鑑教師教學應該是多層面，因為教學本身是多層面，所以學生評鑑教師教學的工具也應該是多層面，如此才能將評鑑結果作為教師教學上的回饋（以此觀點編製問卷及議題探討的如：張德勝等（2011）、鄭博真與黃義良（2009）。而本研究所探討東部某大學學生評鑑教師教學的量表也是以此為出發點）；相對地，d’Apollonia 與 Abrami（1997）、Greenwald 與 Gillmore（1997）、McKeachie（1997）皆認為教學本身雖然是屬於多層面的，但是評鑑本身應該包含一個更大、更完整的因素（global factor），而這一個大因素底下才涵蓋了較低層次的因素（如：林珊如，1999；許崇憲，2009）。過往關於學生評鑑教師教學因素構念在單一層次議題的探討，其因素建構包含了多層面及單層面兩大架構，因此後續在進行分析及討論時，將一併納入模式進行比較。待確立學生評鑑教師教學量表在單一層次最佳的因素構念為何，將以此為基礎進行學生評鑑教師教學因素構念跨層級的探討，以呈現學生評鑑教師教學因素結構在多層次下的樣貌，並進一步作為學生評鑑教師教學在跨層級探究的合理性依據。

參、研究方法

一、跨層級的檢定方式及步驟

本研究以 MSEM 檢視學生評鑑教師教學量表的跨層級因素構念在學生層次及班級層級的異同。使用 Mplus（Muthén, L. K. & Muthén, B. O., 2006）軟體進行分析，其優點是可以直接進行組內及組間樣本共變數矩陣的計算，不需要另行以其他軟體或步驟來獲得。而關於 MSEM 的模式建構過程（Muthén, B. O., 1989, 1991, 1994）、跨層級的探討及說明（余民寧，2006；

(6)

Lüdtke et al., 2008; Marsh et al., 2009; Muthén, B. & Asparouhov, 2010）可參略相關文獻，在此不加以贅述。本研究為探究學生評鑑教師教學量表構念的跨層級意涵，進行一系列的檢定，茲說明如下：

（一）組內相關係數的內涵及判準依據

由於本研究在蒐集樣本時採集群抽樣，以班級（層次）為單位蒐集班級內的學生（層次）進行學生評鑑教師教學量表構念的跨層級探討，使得資料具有嵌套結構，造成樣本獨立性的違反，此時，用來檢定資料是否違反獨立性的統計指標為組內相關係數（intraclass correlation coefficient, ICC）。ICC 主要有兩種涵義（溫福星、邱皓政，2011）：一為依變項的總變異中可以被組（班級層次）與組之間的差異所解釋的百分比；另一為依變項間的相關係數期望值，用來捕捉組內（學生層次）資料的相似性或是資料的不獨立性。而 Cohen（1988）認為當 ICC 小於 .059 時，算是相當小的組內相關，其效果可以略而不記，其次介於 .059～ .138 之間為中度相關，而高於 .138 為高度相關，當 ICC 大於 .059 時便不能忽略相似性的存在而需進行跨層級的探討，以避免影響迴歸係數估計標準誤進而造成第一類型錯誤的機會膨脹。此外，設計效果（design effect）也是樣本獨立性違反的重要概念（Muthén, B. O. & Satorra, 1995），當設計效果大於 2 時，才有進行跨層次分析的必要性。

（二）多層次複核效度及多層次競爭模式

測量結果在不同情境下的穩定性檢驗，都可以視為複核效度（cross-validation），當一個理想模型在不同樣本上重複出現的程度，即稱之為模型的複核效度（Diamantopoulos & Siguaw, 2000）。複核效度的樣本蒐集有兩種方式：其一是獨立蒐集兩群樣本；其二是蒐集一群足夠大的樣本，然後將其隨機分成兩群樣本。而本研究有效樣本為 180 班 6,568 人，樣本數在班級層次及學生層次皆夠大，因此後續以隨機分派方式將樣本群分為測定樣本（calibration sample）與效度樣本（validation sample）。鑑於過往學生評鑑教師教學的建構效度主要包含單層面和多層面取向，因此有必要先行透過不同取向的模式競爭（邱皓政，2007），確立在單一層次架構下的因素結構，並進一步在嵌套結構（曾明基、張德勝、羅寶鳳、邱于真，付梓中；黃芳銘、溫福星，2007）下進行跨層級的學生評鑑教師教學因素構念探討，藉以探究學生評鑑教師教學量表構念跨層級的意涵。因此將總樣本分群後，測定樣本主要進行跨層級的模型比較，藉以確立學生評鑑教師教學因素結構跨層級的合理性，而效度樣本將進行複核效度（Kaplan, 2000）檢定，以作為學生評鑑教師教學因素構念在多層次架構下穩定性的依據（黃芳銘、楊金寶、許福生，2005）。

複核效度依參數設限的多寡，主要分為寬鬆複核取向（loose replication strategy）、溫和複核取向（moderate replication strategy）及嚴謹複核取向（tight replication strategy）（MacCallum,

(7)

曾明基、羅寶鳳、張德勝、邱于真跨層級因素結構的分析 37

Roznowski, Mar, & Reith, 1994）。然而，考量 χ2考驗的特性，一般在高階模型的分析中均不建議採取模型適配優劣的絕對考驗法來判定模型的優劣，而建議採用階層性或巢套性的模型適配相對比較（邱皓政，2008）；此外，嚴謹複核取向（MacCallum et al., 1994）不僅要求測定樣本與效度樣本之間具有完全相等的模式設定，同時對等參數的數值也完全設定相等，無須進行任何參數的估計，嚴格說來，將測量誤差及殘差的變異數或共變數進行等同的限制，常是不切實際的作法，因為各個樣本間必然會有或多或少的變異量差異（李茂能，2009）。因此在複核效度的檢定上，本研究採取寬鬆複核取向漸進至嚴謹複核取向的方式，逐一檢定學生評鑑教師教學因素結構跨層級的穩定性。

（三）多層次效標關聯效度

效標關聯效度是指工具所測驗出來的分數對於目前或未來某一行為表現預測力的高低（余民寧，2002）。有關學生評鑑教師教學量表的效標關聯效度研究頗為困難，主要原因是欠缺良好的效標（Marsh, 1995）。而本研究在此波蒐集資料中，第 15 題題項適合（詳細說明見第四節）作為以學生學習為中心（曾明基等，2011）反映學生評鑑教師教學的效標，因此在考慮嵌套結構下進行多層次效標關聯效度檢定。

二、研究對象

本研究以臺灣東部某大學 97 學年度第一學期大學部班級為研究對象，研究對象之大學的學生評鑑教師教學問卷共有三種，分別是一般性、體育課程以及實驗課程，三種問卷的內容不同，不過以一般課程問卷使用的班級最多，所以本研究在徵求老師及同學同意之後，以一般性課程班級為研究對象，共有 180 班。這些班級的選課人數介於 13 和 78 人之間，扣除資料填達不全的樣本後，總樣本數為 6,568 人。從開課性質來看，必修學生為 2,915 人、選修為 1,858 人、學程為 1,795 人，其中以必修學生為多數。而班級的分布情形，大一班級有 69 班、大二有 61 班、大三有 39 班、大四有 11 班，由班級的年級分布情形得知，大一班級的學生配合調查的意願最高因此班級數最多，其中大一學生為 2,560 人、大二學生為 1,865 人、大三學生為 1,473 人、大四學生為 670 人。就學生性別區分，男生為 2,729 人、女生為 3,839 人，女學生占 58.5%。本研究目的主要以學生學習為中心反映學生評鑑教師教學，因此在進行跨層級的學生評鑑教師教學構念探討時，所蒐集到的樣本主要以班級為單位，進行隨機集群抽樣，在資料分析時，將有可能出現同一位學生評定多位授課老師，以及 1 位授課老師被多班級學生評定這兩種情形互相交雜，此為本研究的一大限制，也是後續在蒐集資料時可以改進的方向。如果研究目的主要以改進教師教學為中心（張德勝等，2011），反映學生評鑑教師教學，則在資料蒐集時，可透過學校內教師的 ID 編號與學生評鑑教師的 ID 進行有效連結，在以改進教師教學為中心的跨層級探討時，將有可能跟本研究以學生學習為中心的跨層級構念有所差異，

(8)

38 跨層級因素結構的分析曾明基、羅寶鳳、張德勝、邱于真此亦為後續比較以學生學習為中心，或是以改進教師教學為中心的學生評鑑教師教學議題發展可行的方向。正式問卷回收後，將 180 班學生以班級為單位進行各班級內學生樣本的隨機分派。在以班級為單位進行隨機分派後，樣本群分為測定樣本與效度樣本，測定樣本依舊為 180 班，總人數 3,311 人，人數介於 6 和 39 人之間，而效度樣本也是 180 班，總人數 3,257 人，人數也介於 6 和 39 人之間。

三、研究工具

研究工具為該校「學生教學意見反映調查表」，包含學生評鑑教師教學題目 15 題，內容包含教學準備、教學方法、教材內容、教學評量、教學態度等五個次向度。題目填答方式以非常不同意、不同意、普通、同意和非常同意五等量表計分，得分愈高，表示學生對題目內容的同意度愈高，反之則愈低。由表 1 得知，測定樣本、效度樣本及總樣本各分量表及總量表內部一致性算是不錯。採用學生評鑑教師教學五個次向度的建構及推論已累積許多實證研究，因此進行測定樣本、效度樣本及總樣本的驗證性因素分析，由表 2 得知學生評鑑教師教學量表五個次向度的因素構念均符合理論建構（Marsh & Roche, 1997），且構念的信度與效度均不錯。表 1 學生評鑑教師教學量表各層面在測定樣本、效度樣本及總樣本之 α 係數層面數層面題數 _{（N＝3,311）}測定樣本α _{（N＝3,257）}效度樣本α _{（N＝6,568）}總樣本α 一教學準備 2 .80 .83 .82 二教學方法 2 .74 .75 .75 三教材內容 4 .88 .89 .89 四教學評量 2 .79 .80 .79 五教學態度 5 .91 .91 .91 總量表學生評鑑教師教學 15 .96 .96 .96

肆、研究結果與討論

為了理解學生評鑑教師教學量表因素結構在多層次下的可能樣貌，後續將進行一系列的模型比較。從過往單一層次學生評鑑教師教學的研究得知，學生評鑑教師教學的因素結構主要分成多層面及單一層面，因此進行分析時將以此為基礎進行跨層級的模型比較。在確立測定樣本最佳的跨層級因素結構後，將以效度樣本進行多層次的複核效度檢定及效標關聯效度檢定。

(9)

曾明基、羅寶鳳、張德勝、邱于真跨層級因素結構的分析 39 表 2 學生評鑑教師教學量表測定樣本、效度樣本及總樣本驗證性因素分析結果摘要測定樣本（N＝3,311）效度樣本（N＝3,257）總樣本（N＝6,568）因素題目 λ SMC ρc ρv λ SMC ρc ρv λ SMC ρc ρv 教學 t01 .77 .59 .81 .68 .79 .62 .83 .71 .78 .60 .82 .70 準備 t02 .88 .77 .80 .80 .89 .79 教學 t03 .85 .72 .75 .60 .86 .73 .76 .62 .85 .73 .75 .61 方法 t04 .70 .48 .70 .50 .70 .49 t05 .84 .70 .88 .65 .85 .72 .89 .68 .84 .71 .89 .66 t06 .80 .64 .82 .67 .81 .66 t07 .78 .60 .78 .61 .78 .61 教材內容 t08 .82 .67 .84 .70 .83 .69 教學 t09 .80 .63 .79 .65 .82 .67 .80 .66 .81 .65 .79 .66 評量 t10 .82 .67 .81 .65 .81 .66 t11 .72 .51 .91 .67 .73 .53 .91 .67 .72 .52 .91 .67 t12 .83 .68 .83 .70 .83 .69 t13 .82 .68 .82 .67 .82 .67 t14 .81 .65 .81 .65 .81 .65 教學態度 t15 .90 .81 .90 .80 .90 .81 註：1. λ 為各題目的因素負荷量；SMC 為各別項目信度；ρc為潛在變項的組合信度；ρv為潛在變項的平均變異數抽取量 2.量表各題目的內容說明詳如附錄一

一、測定樣本描述統計與相關分析

表 3 列出了學生評鑑教師教學量表在測定樣本 180 班共 3,311 位大學部學生的描述統計量與相關係數。整體而言，在學生層次 3,311 位大學部學生在 15 題學生評鑑教師教學量表的評分水準偏高，平均數介於 3.88 至 4.28 之間，各題目評分的變異相似，標準差介於 .72 至 .85 之間，題目間的相關均達 .01 顯著水準，相關係數介於 .47 至 .75，各題目間的關聯性在中等程度。另一方面，從班級層次變數 180 班的關係來看，可以發現學生評鑑教師教學各題的聚合平均數的相關更高，多數係數皆高於 .80 以上，甚至許多題目間的相關更達 .90 以上，顯示學生評鑑教師教學量表對於教師的評分，在班級層次的關聯強度更甚於學生層次間的關聯。比較學生層次及班級層次可知，學生層次各題目的相關係數值均相對較低於班級層次的相關係數值，且學生層次的 SD 值均相對較高於班級層次的 SD 值，由此可知，學生層次各題值差異較大，可能隱含多個因素或是無共同因素的結構，而班級層次則可能隱含只有單一因素的結構。

(10)

(11)

此外，由表 3 的 ICC 可知各構念題目的組內相關皆為高度關聯以上（Cohen, 1988），且設計效果皆大於 2（Muthén, B. O. & Satorra, 1995），可見過往單獨以學生層次或班級層次所進行的學生評鑑教師教學因素探討需有所調整，有進行跨層次分析的必要性。然而，學生評鑑教師教學在跨層級（同時包含班級層次及學生層次於同一模式）的因素構念是否仍有所差異，有待後續加以釐清。此外，細究各題項的內容說明（詳如附錄一），其中，第 15 題內容「整體而言，教師的教學表現優良」主要代表學生評鑑教師教學時對於教師教學的整體觀感，因此將此題項納入學生評鑑教師教學五個次向度中的任一個，在學生層次及班級層次皆會與其他 14 個題項產生高度關聯（詳如表 3）。雖然相關實證研究將此題項納入教學態度此一向度，但本研究主要在探討學生評鑑教師教學跨層級的構念為何，研究取向有所區別，將可能因納入第 15 題而出現因素構念在跨層級的模式檢定與計量數據上不合宜之處。且本研究主要以學生學習為中心反映學生評鑑教師教學，單獨將此題項拉出除了可作為以學生為中心反映教師教學的效標，也能補足過往學生評鑑教師教學欠缺良好效標的情況（Marsh, 1995）。

二、測定樣本因素結構單層次的模型比較

為了探究學生評鑑教師教學量表在教學準備、教學方法、教材內容、教學評量、教學態度等五個次向度潛在構念的跨層級因素效度，首先進行十四個觀察變數的 CFA 分析。由於資料結構具有多層次特性（詳如表 3 的 ICC），因此 CFA 的檢驗將先針對單一層次測定樣本評定資料，進行單層次 CFA，藉以驗證過往忽略多層次架構的因素模型。此外，並同時納入控制母體組間變異數（在此為班級層次效果或是情境效應、脈絡效應）的學生層次（N＝3,131）進行更嚴謹的組內層次模型檢定，藉以更細緻地瞭解學生評鑑教師教學在組內層次的因素結構，以作為後續多層次模型比較的組內模式基礎。礙於篇幅及研究目的，關於排除母體組間變異數的說明及實證研究請參略相關文獻（如：曾明基等，付梓中；溫福星、邱皓政，2011； Kamata, Bauer, & Miyazaki, 2008）。

過往學生評鑑教師教學的因素結構包含多層面及單層面，依據潛在變數之間的相關有無，區分為四個模型：在多層面架構下主要細分為兩種，直交五因素模型（M1），表示五個構念相關為 0；斜交五因素模型（M2），表示五個構念間的相關自由估計。在單層面架構下也區分為兩種，單一因素模型（M3），表示將學生評鑑教師教學量表的五個次向度構念合而為單一因素學生評鑑教師教學表示；二階五因素模型（M4），表示在斜交五因素模型上，有一更高階的整體因素學生評鑑教師教學。各模型的適配結果詳如表 4。在 Mplus 的模式設定上，將直交五因素模型（M1）的五個構念間的相關設定為 0 時，產生了模式參數估計的標準誤無法計算的情形，使得模式無法被定義，因此在 M1模型的估算上重新將五個因素構念間的相關設定為 .001，藉以表示各因素間的相關為 0。此外，在模型比

(12)

42 跨層級因素結構的分析曾明基、羅寶鳳、張德勝、邱于真表 4 學生評鑑教師教學量表單層次與多層次模型適配指標分析值摘要

SRMR 組內組間 χ2 _df _{CFI TLI 調整BIC RMSEA}

組內組間單一層次CFA（N＝3,311） M1 直交五因素－ 14,576.03 77 .58 .51 88,434.72 .24 .47 － M2 斜交五因素－ 1,258.37 67 .97 .95 75,166.34 .07 .03 － M3 單一因素－ 2,295.49 77 .94 .93 76,154.18 .09 .03 － M4 二階五因素－ 2,418.88 73 .93 .92 76,297.28 .10 .44 －組內層次CFA（N＝3,131） WM1 直交五因素－ 11,776.84 77 .58 .50 77,626.47 .22 .45 － WM2 斜交五因素－ 982.10 67 .97 .96 66,880.45 .07 .03 － WM3 單一因素－ 1,907.94 77 .93 .92 67,757.58 .09 .04 － WM4 二階五因素－ 2,344.35 73 .92 .90 68,213.48 .10 .68 －多層次CFA（N＝3,311） MM1 斜交五因素直交五因素 1,887.72 149 .94 .93 73,845.23 .06 .08 .44 MM2 斜交五因素斜交五因素 1,249.97 134 .96 .95 73,281.39 .05 .03 .03 MM3 斜交五因素單一因素 1,305.42 144 .96 .95 73,287.57 .05 .03 .03 MM4 斜交五因素二階五因素 1,538.93 140 .96 .94 73,540.78 .06 .03 1.95 註：1.上列模式 p 值皆＜ .001 2. B. O. Muthén（1994）指出，在進行母體組內變異數的模式檢定時，需將組間變異數及樣本數排除，而後再進行後續的比較。因此組內層次的樣本數為 3,311－180＝3,131 較上，依過往學生評鑑教師教學單層面及多層面因素結構所進行的四種模型比較，彼此間並非嵌套模型，相關文獻指出，非嵌套模型的卡方差異檢定並不理想（Cheung, G. W. & Rensvold, 2002; Wu, Li, & Zumbo, 2007）。而許多研究顯示，RMSEA 在評鑑適合度時表現的比其他指標還要好（Browne & Arminger, 1995; Marsh, 1996; Marsh & Balla, 1994），且調整 BIC 指標在判斷模型優劣時也有非常理想的表現（Yang, 2006），因此本研究主要以 RMSEA 及調整 BIC 指標作為評斷模式好壞的依據。

由表 4 得知，在組間層次及組內層次合併成單一層次的 CFA 分析架構下，四個假設模型中以斜交五因素模型（M2）的適配情形最好，χ2＝1,258.37，df＝67，CFI＝ .97，TLI＝ .95，

調整 BIC＝75,166.34，RMSEA＝ .07，SRMR＝ .03，除了卡方值因為樣本數過大導致數值較高外，其他指標顯示適配情形良好。且從各模型的 RMSEA 得知，僅斜交五因素模型（M2）

小於 .08 的最低可接受標準（McDonald & Ho, 2002）且調整 BIC 為最小，相對之下，直交五因素模型（M1）、單一因素模型（M3）及二階五因素模型（M4）適配情形均不理想，表示學

(13)

曾明基、羅寶鳳、張德勝、邱于真跨層級因素結構的分析 43 外，也不具有二階的因素模型架構。而在控制母體組間變異數的組內層次 CFA 分析，其結果也指出在除排母體組間變異數的架構下，斜交五因素模型是較好的模型架構，符合 Marsh 與 Roche（1997）所提出學生評鑑教師教學具有多層面的觀點。因素結構在單一層次及組內層次以斜交五因素模型最佳，因此，此一模型將作為多層次 CFA 在組內層次的分析基礎。單一層次斜交五因素模型（M₂）及組內層次斜交五因素模型（WM2）的參數估計結果詳如表 5，其中，由各潛在變數的因素負荷量、項目信度、組合信度及平均變異數抽取量顯示，因素內的一致性頗高且潛在變數的信度與效度良好。表 5 學生評鑑教師教學量表斜交五因素模式在單一層次及組內層次的參數估計摘要單一層次CFA（N＝3,311）組內層次CFA（N＝3,131）因素題目 λ 殘差 SMC ρc ρv λ 殘差 SMC ρc ρv t01 .771 .406 .594 .808 .678 .748 .440 .560 .771 .628 教學準備 t02 .873 .238 .762 .834 .304 .696 t03 .849 .279 .721 .750 .602 .811 .342 .658 .718 .561 教學方法 t04 .695 .517 .483 .682 .535 .465 t05 .839 .296 .704 .883 .654 .809 .346 .654 .858 .601 t06 .801 .358 .642 .769 .409 .591 t07 .782 .388 .612 .756 .428 .572 教材內容 t08 .811 .342 .658 .766 .413 .587 t09 .797 .365 .635 .790 .653 .779 .393 .607 .765 .619 教學評量 t10 .819 .329 .671 .795 .368 .632 t11 .733 .463 .537 .878 .643 .704 .504 .496 .855 .597 t12 .837 .299 .701 .810 .344 .656 t13 .836 .301 .699 .809 .346 .654 教學態度 t14 .797 .365 .635 .762 .419 .581 註：為了詳細比較兩模型參數估計值的差異，將小數點移至第三位呈現

三、測定樣本因素結構多層次的模型比較

延續單層次的 CFA，本節將學生（組內）層次與班級（組間）層次的因素結構同時納入模型進行分析，其中組內層次採前一節所保留的斜交五因素模型，組間層次的因素結構延續學生層次的模型設定，依序為直交五因素模型（MM1）、斜交五因素模型（MM2）、單一因素模型（MM3）及二階五因素模型（MM4）。這四個多層次 CFA 模型的適配結果詳如表 4。

(14)

44 跨層級因素結構的分析曾明基、羅寶鳳、張德勝、邱于真在多層次建模過程中，母體組間共變數矩陣可能出現非正定的現象並出現負向的變異數估計值（Muthén, B. O., 1994）。而測定樣本在多層次模型競爭時發現，MM1模型的題項 2、3、 8、9、12 共 5 題的組間殘差為負值，其原因在於測定樣本在班級層次各題項間皆為高度關聯（詳如表 3 上三角形），而 MM1模型雖然在班級層次設定為五因素結構，但卻假定各因素間為直交，模式設定與樣本所呈現的資訊有差別，因而導致 MM1模型在組間層次出現不適配的現象，此也反映在 MM1模型的 SRMRB上（詳如表 4）。為了便於比較測定樣本因素結構在多

層次下的可能樣貌，依 Dyer、Hanges 與 Hall（2005）以及 L. K. Muthén 與 B. O. Muthén（2006）的建議與殘差設定的合理性，乃將上述的多層次模型組間層次出現負值的殘差變異數設定為 .001，重新設定後模型的自由度有所調整。詳細的修訂過程請參閱曾明基等（2011）及 B. O. Muthén（1994）的研究。由表 4 可知，在多層次的架構下，組內層次為斜交五因素，但組間層次若為直交五因素模型（MM1）或二階五因素模型（MM4），模式適配不理想，其中兩模型的 SRMRB皆超過可接受的標準值，表示五個潛在變數在組間層次並非無相關的獨立構念，也不包含二階的因素結構。而組間斜交五因素模型（MM2）與組間單一因素模型（MM3）兩模型的 RMSEA 皆為 .05，

但調整 BIC 相差 6.18，顯示兩模型有差別（Long, 1997），1_{其中 MM}₂_{模型調整 BIC 較小，顯}

示 MM2模型的整體適配度較佳，但差別不大。然而，就內在結構適配度而言，雖然在組間層次兩模型的因素結構不同，但參數估計值在跨層級的架構下均良好（詳如表 6），顯示學生評鑑教師教學的跨層級因素結構在組間層次是斜交五因素或是單一因素都是可被接受的，組間層次的因素區辨力很低。進一步針對組間斜交五因素模型（MM2）的因素間相關加以檢定（詳如表 7），發現組間斜交五因素模型（MM2）在組間層次的因素間相關均高達 .92 以上，組間因素的相關係數 95% 信賴區間已涵蓋 1.00（ .97 到 1.03），表示學生評鑑教師教學的五個潛在構念（包含教學準備、教學方法、教材內容、教學評量、教學態度）在組間層次是同一構念（學生評鑑教師教學），產生構念偏移而無法加以區別（邱皓政，2007），2_{因此在組間層次以單一因素來解釋較為合理。} 雖然組間斜交五因素模型（MM2）的整體適配度較組間單一因素模型（MM3）佳。但兩模型的內在結構適配度均良好，且組間斜交五因素模型（MM2）的潛在變數在組間層次區辨不理想，可能在 MSEM 模型分析時造成嚴重的共線性問題，使參數估計結果產生扭曲現象，

1_Long_{（1997）指出兩模型調整 BIC 差值介於 0～2 為 weak、介於 2～6 為 positive、介於 6～10 為 strong、}

大於 10 為 very strong。

2_{在 MSEM 模型架構下，組間層次與組內層次因素結構及因素數目不一定相同（Hox, 2002），因此可以檢視}

組間層次與組內層次潛在因素結構的對應關係。如果兩個層次因素結構相等，此時可稱為等值潛在脈絡變數模型（equivalent latent contextual variable model），如果兩個層次結構不相等，組間層次脈絡效果與組內層次潛在變數無法直接對應，此時可稱為是非等值潛在脈絡變數模型（non-equivalent latent contextual variablemodel），亦即構念偏移的現象（邱皓政，2007）。

(15)

曾明基、羅寶鳳、張德勝、邱于真跨層級因素結構的分析 45 表 6 多層次模式組間斜交五因素（MM2）與組間單一因素（MM3）模型的參數估計摘要組內斜交五因素組間斜交五因素模型（MM2）組內斜交五因素組間單一因素模型（MM3）因素題目 λ 殘差 SMC ρc ρv λ 殘差 SMC ρc ρv 組間層次斜交五因素單一因素 t01 .908 .176 .824 .952 .908 .899 .192 .808 .987 .844 教學準備 t02 .996 .008 .992 .984 .032 .968 t03 .965 .069 .931 .845 .735 .951 .096 .904 教學方法 t04 .734 .461 .539 .738 .455 .545 t05 .967 .065 .935 .971 .892 .961 .076 .924 t06 .923 .148 .852 .931 .133 .867 t07 .912 .168 .832 .904 .183 .817 教材內容 t08 .975 .049 .951 .967 .065 .935 t09 .933 .130 .870 .937 .881 .919 .155 .845 教學評量 t10 .944 .109 .891 .922 .150 .850 t11 .856 .267 .733 .959 .853 .830 .311 .689 t12 .983 .034 .966 .966 .067 .933 t13 .957 .084 .916 .946 .105 .895 教學態度 t14 .893 .203 .797 .911 .170 .830 組內層次斜交五因素斜交五因素 t01 .749 .439 .561 .771 .628 .750 .438 .563 .772 .630 教學準備 t02 .834 .304 .696 .835 .303 .697 t03 .810 .344 .656 .718 .561 .811 .342 .658 .718 .561 教學方法 t04 .683 .534 .466 .682 .535 .465 t05 .808 .347 .653 .857 .600 .808 .347 .653 .857 .601 t06 .769 .409 .591 .769 .409 .591 t07 .756 .428 .572 .757 .427 .573 教材內容 t08 .764 .416 .584 .765 .415 .585 t09 .780 .392 .608 .766 .621 .781 .390 .610 .767 .623 教學評量 t10 .796 .366 .634 .797 .365 .635 t11 .705 .503 .497 .856 .598 .708 .499 .501 .857 .601 t12 .810 .344 .656 .813 .339 .661 t13 .811 .342 .658 .813 .339 .661 教學態度 t14 .762 .419 .581 .762 .419 .581 註：為了詳細比較兩模型參數估計值的細微差異，將小數點移至第三位呈現

(16)

46 跨層級因素結構的分析曾明基、羅寶鳳、張德勝、邱于真表 7 學生評鑑教師教學量表組間斜交五因素模型（MM2）信賴區間分析值摘要

組間因素相關 Lower 0.5% Lower 2.5% Estimate Upper 2.5% Upper 0.5% 教學方法與教學準備 .94 .95 .98 1.02 1.03 教材內容與教學準備 .93 .94 .97 .99 1.00 教材內容與教學方法 .95 .97 1.00 1.03 1.04 教學評量與教學準備 .89 .90 .95 .99 1.01 教學評量與教學方法 .85 .87 .93 .99 1.01 教學評量與教材內容 .92 .93 .97 1.00 1.01 教學態度與教學準備 .94 .95 .98 1.00 1.01 教學態度與教學方法 .86 .87 .92 .97 .98 教學態度與教材內容 .93 .94 .97 .99 1.00 教學態度與教學評量 .93 .94 .98 1.02 1.03 註：1. 單一因素模型（MM3）在組間層次僅有單一因素構念，故沒有因素間的相關

2. 表中 Lower 2.5%與 Upper 2.5%表示 95%的信賴區間檢定，而 Lower 0.5%與 Upper 0.5%表示 99%的信賴區間檢定。其中，Lower 0.5%、Lower 2.5%、Upper 2.5%與 Upper 0.5%所呈現的數值分別表示信賴區間檢定的邊界值造成不適當的解（如標準化迴歸係數值大於 1 或原本顯著的係數值變成不顯著），因此後續進行學生評鑑教師教學多層次複核效度及多層次效標關聯效度檢定時，將組間模型潛在變數僅以單一因素「學生評鑑教師教學」表示。

四、測定樣本與效度樣本多層次複核效度檢定

在測定樣本最終模式確立後，為求學生評鑑教師教學組內層次斜交五因素組間層次單一因素模型在不同樣本下仍具有模型穩定性，因此以效度樣本進行跨層級的複核效度檢定。以不同群組樣本進行複核效度時，需使用一系列模型比較程序，主要區分為兩個階段逐步檢定其假設。第一階段為單樣本 MCFA 檢驗，首先以全體樣本估計適配良好的 MCFA 模型為基礎，進一步針對測定樣本與效度樣本進行個別的 MCFA 分析，此一步驟在確認總樣本及測定樣本與效度樣本是否具有相同的因素結構模型及因素個數。當確認測定樣本與效度樣本在因素結構及因素個數具有恆等性的情況下，便可進行更嚴謹的巢套模型卡方差異量檢定。若未設限模型與設限模型卡方差異量不顯著，表示兩個模型恆等，可進行更嚴苛的設限模型檢定；若卡方差異量達顯著，則表示兩模型已經不恆等，應停止跨樣本的比較。關於巢套模型卡方差異檢定可參考 Jöreskog 與 Sörbom（1996）以及 Kaplan（2000）的專書及文獻。

接著分別以測定樣本與效度樣本進行同一因素結構及因素個數的模型檢定。由表 8 階段一得知，全體學生及測定樣本與效度樣本具有相同的因素結構模型及因素個數，全體學生所建構的模型對測定樣本與效度樣本而言是一個相當有效的模型。在基底模式確立後，便進行

(17)

表 8 測定樣本與效度樣本多層次複核效度檢定摘要

多層次 χ2 _{df p CFI}_TLI_{RMSEA ECVI} _SRMR

階段一全體學生（N＝6,568） 2176.94 144 ＜ .001 .97 .96 .05 組間＝ .03 組內＝ .03 測定樣本（N＝3,311） 1305.42 144 ＜ .001 .96 .95 .05 組間＝ .03 組內＝ .03 效度樣本（N＝3,257） 1053.61 144 ＜ .001 .97 .96 .04 組間＝ .03 組內＝ .02 階段二因素結構 2,362.54 301 ＜ .001 .97 .96 .05 22.094 組間＝ .02 組內＝ .02 組內因素負荷量 2,369.78 315 ＜ .001 .97 .96 .05 22.090 組間＝ .02 組內＝ .02 Δχ2_{＝7.24 Δdf＝14} _{＞ .05}₀ 組間因素負荷量 2,379.58 329 ＜ .001 .97 .96 .04 22.088 組間＝ .03 組內＝ .02 Δχ2_{＝9.80 Δdf＝14} _{＞ .05}₀ 階段三組內殘差 2,407.32 343 ＜ .001 .97 .97 .04 22.088 組間＝ .03 組內＝ .02 Δχ2_{＝27.74 Δdf＝14} _{＜ .05}₀ 註：1. 本研究多層次分析及多層次複核效度的估算法皆使用 MUML 法，請參考相關文獻說明（李仁豪、余民寧，2008；邱皓政，2007；Muthén, B. O., 1989, 1991, 1994） 2. 多群組分析在多層次架構下的巢套模型差異性檢定達顯著時，表示設限模型在不同樣本間有所差別，即停止跨樣本的比較。詳細的分析步驟及說明請參略曾明基等（付梓中） 3. 多層次複核效度語法詳如附錄二組間資料併組的巢套模型卡方差異量檢定，用以檢定測定樣本與效度樣本在學生評鑑教師教學量表跨層級因素結構的穩定性。由表 8 階段二可知，因素結構模型代表測定樣本與效度樣本所有參數均分別估計，除 χ2 受樣本數影響達顯著水準外，顯示模型的適配相當不錯，測定樣本與效度樣本的因素個數及因素組型在多層次下可視為相等。以因素結構模式為基底模式和組內因素負荷量限制模型相比較，它們的 Δχ2＝7.24，Δdf ＝14，p ＞ .05，因素結構模型與組內因素負荷量限制兩模型差異考驗的結果並未達 .05 顯著水準，因此可推知測定樣本與效度樣本在組內層次斜交五因素模型中共十四個觀察指標的因

(18)

48 跨層級因素結構的分析曾明基、羅寶鳳、張德勝、邱于真素負荷量具有組間不變性。由組內層次巢套模型的檢定發現，學生評鑑教師教學的因素組型及因素負荷量具有恆等現象，表示測定樣本與效度樣本在學生評鑑教師教學組內層次五個因素的反應態度一致，可視為組內層次斜交五因素模型對於量表各題目具有相同的效度（Bollen, 1989），且對於測定樣本與效度樣本而言，此五個因素之間的相互關係也是一樣，信度相同。在確立測定樣本與效度樣本在組內層次斜交五因素模型具有相同的信度與效度後，接著檢驗測定樣本與效度樣本在組間層次單一因素模型是否具有組間不變性。以組內因素負荷量為基底模式，組內因素負荷量和組間因素負荷量兩模型的 Δχ2＝9.80，Δdf＝14，p ＞ .05，由此可知，測定樣本與效度樣本在組間層次單一因素模型具有組間不變性。可見在跨層級的架構下，測定樣本與效度樣本跨層級的信度與效度並未產生改變，反映出學生評鑑教師教學組內層次斜交五因素組間層次單一因素模型具穩定性，可以有效用於相同母群的其他樣本上。此外，因素結構從組內層次的複核效化漸進至跨層級的複核效化時，各巢套模式的 ECVI 值由大漸小，表示學生評鑑教師教學在組內層次斜交五因素組間層次單一因素的結構複核效化程度最好。其中，僅殘差變異數顯示不恆等現象（表 8 階段三），表示各個樣本間有或多或少的變異量差異（李茂能，2009），而本研究為了完整呈現複核效度在跨層級下的樣貌，因此一併列出。測定樣本在多層次模型競爭時發現，因素結構在組內層次為斜交五因素組間層次為單一因素較為合理，因此以效度樣本針對此一模式進行跨層級的複核效度，在跨層級的架構下其信度與效度依舊保持恆等，可見學生評鑑教師教學的因素結構在考慮嵌套結構時以組內斜交五因素組間單一因素進行設定較佳。

五、測定樣本與效度樣本多層次效標關聯效度檢定

透過跨層級的模式競爭及複核效度確立學生評鑑教師教師的跨層級因素結構後，接著以量表中評鑑教師整體教學表現的第 15 題題項「整體而言，教師的教學表現優良」作為效標，針對組內斜交五因素組間單一因素模型進行多層次效標關聯效度檢定。由表 9 得知，測定樣本以測定樣本第 15 題為效標，在學生層次的學生評鑑教師教學五個次向度構念與反映教師整體教學的第 15 題項「整體而言，教師的教學表現優良」有高度關聯，可見在學生層次，學生評鑑教師教學的五個次向度構念可有效反映教師整體教學，而在班級層次，以單一因素學生評鑑教師教學更可有效反映學生評鑑教師的整體教學。這樣的結果也同樣出現在效度樣本以效度樣本第 15 題為效標上。換言之，學生評鑑教師教學組內斜交五因素組間單一因素的模型，無論在測定樣本與效度樣本跨層級的架構下，皆可有效反映教師整體教學表現。然而，學生評鑑教師教學組間層次單一因素與組間層次的效標產生高度相關，在推論時有可能造成組間層次變數間共變分析的扭曲或非正定的問題（邱皓政，2011），因此在後續學

(19)

曾明基、羅寶鳳、張德勝、邱于真跨層級因素結構的分析 49 表 9 學生評鑑教師教學跨層級效標關聯效度檢定跨層級因素測定樣本第15題（N＝3,311）效度樣本第15題（N＝3,257）班級（組間）層次學生評鑑教師教學 .99*** .99*** 學生（組內）層次教學準備 .78*** .73*** 教學方法 .79*** .78*** 教材內容 .81*** .79*** 教學評量 .73*** .72*** 教學態度 .85*** .84*** ***p ＜ .001. 生評鑑教師教學跨層級的議題探討上，研究者可先行比較排除母體組間變異數（Kamata et al., 2008）與未排除母體組間變異數的跨層級測量模式差異，進一步作為後續多層次結構模式分析的基礎。

伍、結論與建議

過往學生評鑑教師教學量表因素構念的探討，主要將因素結構區分成單層面與多層面，然而受限於心理計量的發展與軟體的局限性，因此僅能以單一學生層次或是聚合後的班級層次作為分析單位加以探討，在忽略嵌套結構下，其因素結構以單一層次呈現，有其時代背景與限制。但在考慮嵌套結構下，同時將班級層次與學生層次的學生評鑑教師教學因素構念納入同一模式進行探討，則是本研究企圖補足之處。本研究透過一系列心理計量方法學的論述，以過往單一層次學生評鑑教師教學的建構效度為基礎，透過跨層級的模式競爭，先行確立學生評鑑教師教學因素結構在跨層級架構下的可能樣貌，並透過跨層級的複核效度，得知學生評鑑教師教學組內斜交五因素組間單一因素的模型在多層次架構下具有穩定性，且經由多層次效標關聯效度發現，學生評鑑教師教學組內斜交五因素組間單一因素模型可有效反映跨層級的教師整體教學，可見在跨層級的架構下，組間層次的因素與組內層次可能不同。不應僅將過往單一層次的因素結構類推至跨層級，學生評鑑教師教學因素結構需有所調整，有必要重新檢視因素結構在跨層級設定的合理性。本研究透過多層次的模式競爭、複核效度及效標關聯效度，發現學生評鑑教師教學的因素結構在組內層次以斜交五因素組間層次以單一因素進行設定較為合理，此一跨層級的模式設定或許可統整教學本身是多層面（Marsh & Roche, 1997），而評鑑本身是單一層面

(20)

50 跨層級因素結構的分析曾明基、羅寶鳳、張德勝、邱于真（d’Apollonia & Abrami, 1997; Greenwald & Gillmore, 1997; McKeachie, 1997）兩種不同取向的學生評鑑教師教學因素建構，在多層次架構下將學生評鑑教師教學不同的建構取向同時呈現。而國內、外大量使用學生評鑑教師教學量表的主要原因之一，在於學生評鑑教師教學量表的信度頗高（張德勝，2002），且在學生、行政人員以及同儕三者對教師的教學評鑑結果也相當一致（Marsh, 1987），但學生評鑑教師教學量表的信度多數仍建構在單一層級的分析上。本研究發現，學生評鑑教師教學在班級層次及學生層次的因素構念相異的情況下，組間層次及組內層次因素彼此間的相互影響及調節是未來建構量表的信度與效度時需要考量之處。畢竟，當班級層次結構係數與學生層次結構係數的正、負方向是顯著且同向時，則其對應的傳統單一層次模型的結構係數值會較跨層級的組內層次係數大，若僅以單一層次的分析而忽略了跨層級的架構時，將因為班級層次的影響而可能改變單一層次的係數值（李仁豪、余民寧， 2008），進而使得信度與效度的分析在忽略多層次的影響下而有所改變。此外，以學生評鑑教師教學量表進行推論時，僅以單一層次（學生層次或班級層次）的分析也將忽略了組間層次與組內層次因素構念的相互影響，在學生層次與班級層次因素構念不同時，後續進行跨層級的研究可將組間層次及組內層次的因素構念進行不同的設定，以反應組間層次及組內層次因素結構的合理性，避免在單一層次及跨層級的分析架構下忽略組間層次及組內層次的因素差異，而產生跨層級推論的謬誤，使得第一類型錯誤膨脹。本研究僅以臺灣東部某大學大學部班級為研究對象，探究學生評鑑教師教學量表的因素構念在跨層級的合理性，研究發現，在多層次的分析架構下，學生層次及班級層次的因素結構不同，然而僅以單一學校為樣本進行分析，在效度推展上確有不足之處，誠如 Cronbach （1971）所言，量表效度的建構是一種不斷擴張的過程，接受一個量表的建構效度必須有相當研究成果的累積。因此，建議後續研究者能以本研究的相同架構進行不同學校間的複核效度檢定，使學生評鑑教師教學的跨層級構念具有穩定性與預測性，以利後續使用該量表所進行的跨層級研究，如此可進一步瞭解跨層級結構對學生評鑑教師教學的影響，讓學生評鑑教師教學工具的品質以及題目內容能夠提升，以達到透過評鑑工具來反映教學品質以及改進教學的目的。此外，本研究主要探究在學生層次及班級層次學生評鑑教師教學因素結構的異同，嵌套結構主要建立在以班級為單位，學生嵌套於班級。而當嵌套結構是建立在以教師為單位時，學生嵌套於教師，則學生評鑑教師教學跨層級的因素結構是否仍相同，則有待後續加以探究，藉以釐清學生評鑑教師教學是以改進教師教學為中心或是以學生學習反映教師教學為中心兩種跨層級因素結構的異同。而不同領域的研究者，也可透過本研究所展示的心理計量方法學在考慮嵌套結構下的檢定步驟，回顧過往理論與實證的因素建構並經跨層級的模式競爭，藉以確立因素結構在跨層級下的可能樣貌，再以多層次複核效度及多層次效標關聯效度確立因素結構的穩定性及預測

(21)

曾明基、羅寶鳳、張德勝、邱于真跨層級因素結構的分析 51 力，以供後續作為跨層級議題發展的立論基礎。

誌謝

感謝中山醫學大學心理學系李仁豪老師慨然提供 MSEM 相關資源，並與研究團隊透過 E-mail切磋交流，使此篇研究增色不少；也感謝 2 位審稿者細緻且嚴謹的審查，研究團隊要在此致上最高的敬意與謝意。

(22)

參考文獻

一、中文文獻

余民寧（2002）。教育測驗與評量：成就測驗與教學評量（第二版）。臺北市：心理。

【Yu, M.-N. (2002). Educational measurement and evaluation: A chievement testing and learning assessment (2nd ed.). Taipei, Taiwan: Psychological.】

余民寧（2006）。潛在變項模式：SIMPLIS 的應用。臺北市：高等教育。

【Yu, M.-N. (2006). Latent variable models: The application of SIMPLIS. Taipei, Taiwan: Higher Education.】

李仁豪、余民寧（2008）。二層次結構方程式模型的應用：以教育心理學為例。師大學報：教育類，53（3），95-123。

【Li, R.-H., & Yu, M.-N. (2008). Applying two-level structural equation model to a data sample draw from educational psychology. Journal of National Taiwan Normal University: Education, 53(3), 95-123.】

李茂能（2009）。圖解 Amos 在學術研究之應用。臺北市：五南。

【Li, M.-N. (2009). An introduction to graphic Amos 6.0/7.0 and its uses in research. Taipei, Taiwan: Wu-Nan Book.】

林珊如（1999）。大學生評鑑教學量表：編製及效度考驗。教育與心理研究，22（2），295-321。

【Lin, S.-J. (1999). Student evaluation of effective university teaching in Taiwan: Scale development and factor structure. Journal of Education & Psychology, 22(2), 295-321.】

邱皓政（2007）。脈絡變數的多層次潛在變數模式分析：口試評分者效應的多層次結構方程模式實證應用。中華心理學刊，49（4），383-405。

【Chiou, H.-J. (2007). Multilevel latent variable modeling of contextual variables: Application of multilevel structural equation modeling on rater effects. Chinese Journal of Psychology, 49(4), 383-405.】

邱皓政（2008）。潛在類別模式－原理與技術。臺北市：五南。

【Chiou, H.-J. (2008). Latent class modeling: Principles and techniques. Taipei, Taiwan: Wu-Nan Book.】

邱皓政（2011）。結構方程模式：LISREL/SIMPLIS 原理與應用（第二版）。臺北市：雙葉。

【Chiou, H.-J. (2011). Primciples and practice of structural equation modeling with LISREL (2nd ed.). Taipei, Taiwan: Yeh Yeh Book Gallery.】

許崇憲（2009）。「學生評鑑教師教學量表」的效度與共變異量穩定度。測驗學刊，56（2）， 179-205。

【Hsu, C.-S. (2009). The validity and covariance stability of students’ ratings of faculty instruction. Psychological Testing, 56(2), 179-205.】

曾明基、邱于真、張德勝、羅寶鳳（2011）。學生認知歷程對學生評鑑教師教學的影響：階層線性模式分析。課程與教學季刊，14（3），157-180。

【Tseng, M.-C., Qiu, Y.-Z., Chang, T.-S., & Lo, P.-F. (2011). HLM analysis of the effects of cognitive process on student ratings of instruction. Curriculum & Instruction Quarterly, 14(3), 157-180.】

曾明基、張德勝、羅寶鳳、邱于真（付梓中）。學生評鑑教師教學題目安排順序不同對學生評鑑教師的影響：MI 與 MMI 分析取向。測驗學刊。

(23)

【Tseng, M.-C., Chang, T.-S., Lo, P.-F., & Qiu, Y.-Z. (in press). The effects of question order difference on student ratings of instruction: MI and MMI analysis approaches. Psychological Testing.】

葉連祺、董娟娟、楊世英、陳仁海、蕭芳華（2005）。大學學生評鑑教師教學量表之編製。測驗學刊，52（1），59-81。

【Yeh, L.-C., Tung, C.-C., Yang, S.-Y., Chen, J.-H., & Shiau, F.-H. (2005). The development of the university teacher instructional evaluation scale. Psychological Testing, 52(1), 59-81.】

潘靖瑛（2004）。通識教育課程學生評鑑教師教學問卷之發展－以慈濟大學為例。測驗學刊， 51（1），79-102。

【Pan, C.-Y. (2004). Developing questionnaires for student ratings of general education course instruction－With Tzu Chi University as an example.Psychological Testing, 51(1), 79-102.】

張德勝（2002）。學生評鑑教師教學：理論、實務與態度。新北市：揚智。

【Chang, T.-S. (2002). Student ratings of instruction. New Taipei, Taiwan: Yang-Chih Book.】

張德勝（2005）。台灣地區大學校院「學生評鑑教師教學」制度之研究。師大學報：教育類， 50（2），203-225。

【Chang, T.-S. (2005). College and university student ratings systems in Taiwan.Journal of National Taiwan Normal University: Education, 50(2), 203-225.】

張德勝（2009）。第一印象與學生評鑑教師教學之相關研究。測驗學刊，56（3），321-341。

【Chang, T.-S. (2009). The effects of students’ first impressions of instructors on student ratings of instruction. Psychological Testing, 56(3), 321-341.】

張德勝、邱于真、羅寶鳳（2011）。題目順序對學生評鑑教師教學與學生自評影響之探索性研究。測驗學刊，58（2），367-389。

【Chang, T.-S., Qiu, Y.-Z., & Lo, P.-F. (2011). The exploratory study on the effects of question order on student ratings of instruction and student self-evaluation. Psychological Testing, 58(2), 367-389.】

黃芳銘、溫福星（2007）。模式化學習型學校：多層次驗證性因素分析取向。測驗學刊，54 （1），197-222。

【Hwang, F.-M., & Wen, F.-H. (2007). Modeling learning school: An approach of multilevel confirmatory factor analysis.Psychological Testing, 54(1), 197-222.】

黃芳銘、楊金寶、許福生（2005）。在學青少年生活痛苦指標發展之研究。師大學報：教育類， 50（2），97-119。

【Hwang, F.-M., Yang, K.-B., & Hsu, F.-S. (2005). Development of an at-school adolescent “everyday misery” index. Journal of National Taiwan Normal University: Education, 50(2), 97-119.】

黃瓊蓉（2004）。使用階層線性模式分析學生評量教學績效之資料。測驗學刊，51（2），163-184。

【Huang, C.-J. (2004). Student evaluation of teaching effectiveness: A hierarchical linear model. Psychological Testing, 51(2), 163-184.】

溫福星、邱皓政（2011）。多層次模式方法論：階層線性模式的關鍵問題與試解。新北市：新亞測驗評量暨技術研究中心。

【Wen, F.-H., & Chiou, H.-J. (2011). Methodology of multilevel modeling: The key issues and solutions of hierarchical linear modeling. New Taipei, Taiwan: New-Asia Institute.】

(24)

【Jeng, B.-J., & Hwang, I.-L. (2009). The development of the university teacher teaching evaluation scale. Journal of Education & Psychology, 32(2), 57-80.】

二、外文文獻

Bollen, K. A. (1989). Structural equations with latent variables. New York: John Wiley & Sons. Browne, M. W., & Arminger, G. (1995). Specification and estimation of mean- and covariance-

structure models. In G. Arminger, C. C. Clogg, & M. E. Sobel (Eds.), Handbook of statistical modeling for the social and behavioural sciences (pp. 185-249). New York: Plenum.

Caprara, G. V., Barbaranelli, C., Borgogni, L., & Steca, P. (2003). Efficacy beliefs as determinants of teachers’ job satisfaction. Journal of Educational Psychology, 95(4), 821-832.

Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing MI. Structural Equation Modeling, 9(2), 233-255.

Cheung, M. W. L., & Au, K. (2005). Applications of multilevel structural equation modeling to cross-national research. Structural Equation Modeling, 12(4), 598-619.

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Erlbaum.

Cranton, P., & Smith, R. A. (1990). Reconsidering the unit of analysis: A model of student ratings of instruction. Journal of Educational Psychology, 82(2), 207-212.

Cronbach, L. J. (1971). Test validation. In R. L. Thorndike (Ed.), Educational measurement (2nd ed., pp. 443-507). Washington, DC: American Council on Education.

d’Apollonia, S., & Abrami, P. C. (1997). Navigating student ratings of instruction. American Psychologist, 52(11), 1198-1208.

Diamantopoulos, A., & Siguaw, J. A. (2000). Introducing LISREL: A guide for the uninitiated. Thousand Oaks, CA: Sage.

Dyer, N. G., Hanges, P. J., & Hall, R. J. (2005). Applying multilevel confirmatory factor analysis techniques to the study of leadership. The Leadership Quarterly, 16(1), 149-167.

Greenwald, A. G., & Gillmore, G. M. (1997). Grading leniency is a removable contaminant of student ratings. American Psychologist, 52(11), 1209-1217.

Härnqvist, K. (1978). Primary mental abilities at collective and individual levels. Journal of Educational Psychology, 70(5), 706-716.

Hox, J. J. (2002). Multilevel analysis: Techniques and applications. Mahwah, NJ: Lawrence Erlbaum Associates.

Jöreskog, K. G., & Sörbom, D. (1996). LISREL 8 user’s reference guide. Chicago, IL: Scientific Software.

(25)

Kamata, A., Bauer, D. J., & Miyazaki, Y. (2008). Multilevel measurement model. In A. A. O’Connell & D. B. McCoach (Eds.), Multilevel analysis of educational data (pp. 345-388). Charlott, NC: Information Age.

Kaplan, D. (2000). Structural equation modeling: Foundation and extensions. Thousand Oaks, CA: Sage.

Klein, K. J., & Kozlowski, S. W. J. (2000). From micro to meso: Critical steps in conceptualizing and conducting multilevel research. Organizational Research Methods, 3(3), 211-236.

Linn, R. L., Centra, J. A., & Tucker, L. (1975). Between, within, and total group factor-analyses of student ratings of instruction. Multivariate Behavioral Research, 10(3), 277-288.

Long, J. S. (1997). Regression models for categorical and limited dependent variables. Thousand Oaks, CA: Sage.

Lüdtke, O., Marsh, H. W., Robitzsch, A., Trautwein, U., Asparouhov, T., & Muthén, B. (2008). The multilevel latent covariate model: A new, more reliable approach to group-level effects in contextual studies. Psychological Methods, 13(3), 203-229.

MacCallum, R. C., Roznowski, M., Mar, C. M., & Reith, J. V. (1994). Alternative strategies for cross-validation of covariance structure analysis. Multivariate Behavioral Research, 29(1), 1-32.

Marsh, H. W. (1987). Student’s evaluations of university teaching: Research findings, methodological issues and directions for future research. International Journal of Educational Research, 11(3), 253-388.

Marsh, H. W. (1995). Still Weighting for the right criteria to validate student evaluations of teaching in the IDEA system. Journal of Educational Psychology, 87(4), 666-679.

Marsh, H. W. (1996). Positive and negative global self-esteem: A substantively meaningful distinction or artifactors? Journal of Personality and Social Psychology, 70(4), 810-819.

Marsh, H. W., & Balla, J. R. (1994). Goodness of fit in confirmatory factor analysis: The effects of sample size and model parsimony. Quality and Quantity, 28(2), 185-217.

Marsh, H. W., Lüdtke, O., Robitzsch, A., Trautwein, U., Asparouhov, T., Muthén, B. et al. (2009). Doubly-latent models of school contextual effects: Integrating multilevel and structural equation approaches to control measurement and sampling error. Multivariate Behavioral Research, 44(6), 764-802.

Marsh, H. W., & Roche, L. A. (1997). Making students’ evaluations of teaching effectiveness effective: The critical issues of validity, bias, and utility. American Psychologist, 52(11), 1187-1197.

(26)

McDonald, R. P., & Ho, M.-H. R. (2002). Principles and practice in reporting structural equation analyses. Psychological Methods, 7(1), 64-82.

McKeachie, W. J. (1997). Student ratings: The validity of use. American Psychologist, 52(11), 1218-1225.

Muthén, B. O. (1989). Latent variable modeling in heterogeneous populations. Psychometrika, 54(4), 557-585.

Muthén, B. O. (1991). Multilevel factor analysis of class and student achievement components. Journal of Educational Measurement, 28(4), 338-354.

Muthén, B. O. (1994). Multilevel covariance structure analysis. Sociological Methods & Research, 22(3), 376-398.

Muthén, B., & Asparouhov, T. (2010). Beyond multilevel regression modeling: Multilevel analysis in a general latent variable framework. In J. Hox & J. K. Roberts (Eds.), The handbook of advanced multilevel analysis (pp. 15-40). New York: Taylor and Francis.

Muthén, B. O., & Satorra, A. (1995). Complex sample data in structural equation modeling. In P. Marsden (Ed.), Sociological methodology 1995 (pp. 267-316). Washington, DC: American Sociological Association.

Muthén, L. K., & Muthén, B. O. (2006). Mplus user’s guide (4th ed.). Los Angeles, CA: Author. Raudenbush, S. W., & Bryk, A. S. (2002). Hierarchical linear models: Applications and data

analysis methods (2nd ed.). Thousand Oaks, CA: Sage.

Ting, K. F. (2000). Cross-level effects of class characteristics on students’ perceptions of teaching quality. Journal of Educational Psychology, 92(4), 818-825.

Wu, A. D., Li, Z., & Zumbo, B. D. (2007). Decoding the meaning of factorial invariance and updating the practice of multi-group confirmatory factor analysis: A demonstration with TIMSS data. Practical Assessment Research & Evaluation, 12(3), 1-26.

Yang, C. (2006). Evaluating latent class analysis models in qualitative phenotype identification. Computational Statistics & Data Analysis, 50(4), 1090-1104.

(27)

附錄一學生評鑑教師教學量表各題目內容說明

教學準備 t01 教師有提供完整的教學計畫表（含評分方法與標準） t02 教師課前準備充分，上課內容豐富充實教學方法 t03 教師表達條理分明、清晰流暢 t04 教師使用適當的教學方法或媒體（黑板、投影機等），來增進教學效果教材內容 t05 教師授課內容有助於提升學生的學習能力與專業知識 t06 教師對於課程進度安排適當，並能充分運用課堂時間 t07 教師對於教材內容的安排難易適中 t08 整體而言，我在本課程收穫豐富教學評量 t09 教師對學生的學習評量公平合理 t10 教師所指定的作業有助於本課程的學習教學態度 t11 教師能夠準時上課，如有請假會安排調課或補課 t12 教師教學認真 t13 教師樂於解決學生的學習問題 t14 教師授課時，能與學生維持良好互動 t15 整體而言，教師的教學表現優良

(28)

附錄二學生評鑑教師教學多層次複核效度基底模式語法

TITLE: This is a two-level cross-validation with continuous factor indicators DATA: FILE is CROSS.dat;

VARIABLE: NAMES = course rand t1-t14; CLUSTER = course;

GROUPING = rand (0 = BACK 1 = FRONT); ANALYSIS: TYPE = TWOLEVEL;

ESTIMATOR is MUML; MODEL: %WITHIN% TPREP by t1*t2; TMETH by t3*t4 ; TCONT by t5*t6-t8; TASSE by t9*t10; TATTI by t11*t12-t14; TPREP@1; TMETH@1; TCONT@1; TASSE@1; TATTI@1; %BETWEEN% TEACHER by t1*t2-t14; TEACHER@1; MODEL BACK: %WITHIN% TPREP by t1*t2; TMETH by t3*t4 ; TCONT by t5*t6-t8; TASSE by t9*t10; TATTI by t11*t12-t14; TPREP@1;

(29)

曾明基、羅寶鳳、張德勝、邱于真跨層級因素結構的分析 59 TMETH@1; TCONT@1; TASSE@1; TATTI@1; %BETWEEN% TEACHER by t1*t2-t14; TEACHER@1;

學生評鑑教師教學量表跨層級構念的分析