• 沒有找到結果。

預試量表信效度與 Rasch 分析

在此節中,首先運用 Mplus3.0 進行驗證性因素分析,考驗此量表的整體效 度。接著透過 ConQuest 軟體對各分量表進行 Rasch 單向度模式檢驗,從預試的 分析結果中,排除品質不良試題,其品質優劣的取決標準包括試題與模式的適配 度以及是否含有 DIF。但考量到一般大學多包含數個學生核心能力,因而不宜在 每個分量表中保留過多試題;復以大學生填答教學滿意度量表時,也多在 10 題 左右,因此本研究以 10 道試題作為正式量表的最終版本。鑒於上述原因,除了 考慮試題的適配度及排除含有 DIF 的試題之外,還需注意難易試題的分布及分量 表中各個子向度的涵蓋情形,選出具有代表性的 10 道題目作為正式量表的試題。

壹、預試量表的效度

本研究透過 Mplus3.0 進行驗證性因素分析(confirmatory factor analysis,

CFA),驗證性因素分析運用於研究進入較成熟階段,屬於測量建構效度的常用方 法。在評估驗證性因素分析的適合度時,主要參考 RMSEA(<=0.1)這個指標。

從預試分析結果中得知 RMSEA 值為 0.10,顯示資料與模式的適配度在可接受的 邊緣。據以上所述,預試量表的效度分析結果,雖不盡理想,但希望透過以下的 Rasch 單向度模式檢驗及 DIF 考驗,刪除不良試題,藉以進一步提升量表的效度。

貳、RSM 模式下的信度估計及結果分析

本研究的信度採用條件信度(conditional reliability; Raju, Price, Oshima &

Nering, 2007),也就是個人化的信度,其原理係運用受試者能力估計變異數及每

個受試者能力估計標準誤的平方,算出每位受試者的個別信度,並求其平均,作

為此量表的信度估計。在 RSM 模式下的信度為 0.92,顯示預試量表的信度有不

常用的是加權均方誤(weighted mean square error, MNSQ),根據 Linacre 及 Wright

(1994)的看法,對於評定量尺而言,MNSQ 的值介在 0.6〜1.4 之間是合理、可 接受的,代表受試者在此試題的反應結果符合模式預期的範圍,亦即試題吻合於

參、DIF 檢測的結果分析

一份好的測驗應對所有的次群體(性別、種族、城鄉等)都是公平的,意即 相同能力的受試者答對某題的機率不應有所區別,反之,若相同能力的受試者在 某試題的難度上有顯著差異,表示該題對不同次群體顯示出差異試題功能,即為 品質不良試題。應予以刪除。本研究利用 ConQuest 軟體進行性別 DIF 分析,檢 驗各試題是否受性別影響而導致 DIF 存在。

就 DIF 的效果分類而言,首先計算每題 DIF 量的全距,以第一題而言,男生 的 DIF 值為-0.01,女生的 DIF 值為 0.01,求得兩者之間的全距為 0.02,根據上述 結果,全距量小於 0. 5(即 0. 5 個 logits),代表此題無 DIF 存在,反之,若大於 0.5,表示此題具有 DIF 效果,為品質不良試題,應予以刪除(Wang, 2008)。從 表 2 得知,所有試題的 DIF 量皆小於 0. 5,代表各試題的 DIF 效果可忽略。

肆、正式量表試題的挑選

原則上,若預試分析中的試題與模式適配且無 DIF 效果,此題應予保留,但 考量到一般大學多包含數個學生核心能力,因而不宜在每個分量表中保留過多試 題,因此除了考慮適配度及 DIF 效果之外,本研究兼參考試題的難度分布及分測 驗中各個子向度的涵蓋情形,選出具有代表性的 10 道題目作為正式量表的試題。

以第一分量表「對人的敏銳覺察能力」而言,包含兩個子向度,分別為願意 了解別人的感覺、態度及動機和能理解部屬的需要和興趣。量表中的第 1、2、3 題皆在測量第一個子向度,此三題的難度值分別為-2.00、-1.70、-2.03,DIF 量分 別為 0.02、0.12、0.24,為兼顧難易度分布及考量最少的 DIF 效果,因此保留第 1、

2 題。量表中的第 4、5、6 題皆在測量第二個子向度,其中第 6 道題的難度為-0.99,

為此向度下難度最高的一題,為平衡難易分布,再加上其 MNSQ 值及 DIF 量皆 在標準範圍之下,因此優先保留。

表 2 預試量表性別 DIF 參數估計值

一題作為代表性題目,在 MNSQ 及 DIF 量皆符合範圍下,接著考量難易度分配,

抽取出向度內最易及最難試題,分別為第 9 題(-1.76)及第 11 題(-0.60),此兩 題也正好取自第一、二子向度中,因此,最後一題從第三子向度中選出,因第 12 題的 DIF 效果低於第 13 題,所以優先保留。

以第三分量表「協同合作」而言,包含兩個子向度,分別為組織內成員的個 別意見能完全表示並受尊重及與夥伴互助合作並完成目標。量表中第 14、20 題 在測量第一子向度,第 15、16、17、18、19 題在測量第二個子向度,預計分別 從兩個向度中各抽取一題作為代表性題目。在其他數據皆符合標準範圍下,接著 考量難易度分布,從此向度中抽取出最易及最難試題,分別為第 14 題(-2.23)

及第 17 題(-1.42),正好由兩子向度各貢獻一題,因而選取此兩題為代表性題目。

以第四分量表「實現共同目標」而言,包含為組織建立明確且具吸引力的目 標及與夥伴共同討論且決定解決困境的方法。量表中第 21、22 題測量第一子向 度,第 23、24 題測量第二子向度,預計從兩向度中各抽取一題。但向度內四題 的量化數據皆相差不遠,且皆符合標準範圍,在難以選擇下,只好訴諸質性考量。

以第一子向度來說,第 22 題的題目敘述比第 21 題的題目敘述更能符合原先的子 向度定義。另外,以第二子向度來說,第 24 題的題目敘述比第 23 題的題目敘述 更切合第二子向度的內涵,因此,會同專家討論後,選取第 22、24 題作為代表 性題目。綜合以上所述,本研究選取預試量表中第 1、2、6、9、11、12、14、17、

22、24 題作為正式量表中的施測題目。

相關文件