試題分析主要是針對測驗題本中的個別試題進行分析,若希望對整體 測驗題本的特性有所瞭解,就必須對整份測驗題本進行分析工作,亦即本
研究所指的測驗分析。在此將就測驗分析的兩個主要面向,即信度與效 度,分別予以說明。
(一)信度
信度(reliability)是指測驗分數的一致性或穩定性,基本上來說就是 同一份測驗,對同一批受試者重複施測,所得到的分數是否一致,若測量 的結果相當一致,就表示該測驗具有穩定性、可靠性與可預測性,因此信 度也是評鑑一份測驗是否合宜的重要指標。信度有許分析類型,主要包括 重測信度、複本信度、與內部一致性信度。由於重測信度與複本信度都需 要同一批受試者接受兩次以上測驗的測驗結果,才能加以估算,不符合本 研究的研究背景,因為本研究中受測學生皆只參加一次審美知能甄試,故 本研究將採用只根據一次測驗結果便可估計信度的內部一致性方法,來進 行審美知能測驗的信度估算。以內部一致性方法求得的信度係數稱為內部 一致性信度係數(internal consistency reliability coefficient),本研究將採用 內部一致性方法中的α係數估計法來進行信度計算,其公式如下:
其中α為估計的信度;n 為整份測驗的題數;Si為每一題目分數的變 異數;SX為測驗總分的變異數。一般而言,優良的測驗其α係數至少要達 到0.80 以上,超過 0.90 便算是具有極佳的可靠度。
(二)效度
效度(validity)即測驗的有效程度,代表測驗是否能真正測量出所欲 測驗的特質。效度愈高,表示該測驗愈能夠測量所欲測量的特質,也就是 一份愈好的測驗。以審美知能測驗為例,若它具有良好的效度,那它就能
α= n
n-1 (1- )
2
2
S 2 X
S 2 i
∑
正確測量出具備審美知能的各項行為特徵,並且能甄別不同審美知能程度 的學生,也就是審美知能程度高的學生,所得到的測驗分數應該會高於審 美知能程度低的學生。由於效度才是測驗是否正確測量到目標的關鍵,因 此效度(有效性或正確性)會比信度(一致性或可靠性)來的重要。效度 有許多不同的類型,主要包括內容效度、效標關連效度、建構效度等。
由於評量之前,必須將被測量的概念轉化為具體的行為目標,確定行 為目標後,接著必須發展能測量這些行為的工具,而行為目標的「測驗」
(test)通常是最直接的方式。「內容效度」(content validity)就是測量行為目標 的工具所需具備的基本條件(Borg & Gall, 1989)。評量者必須保證每個測 驗項目,都能精確地代表(測量到)學習的成果。而本研究中便將採用內 容效度,來檢驗本次審美知能測驗是否具有良好的效度表現。
第六節 研究目的
綜合以上分析,茲詳細說明本研究之目的如下:
研究目的一:探討本次審美知能科試題的命題方式與藝術教育理念。
可分為實際資訊的瞭解與理論探討兩方面說明。實際資訊的瞭解,將 透過出題專家之深入訪談,獲知本次審美知能科試題的形成原因、題型設 計的考量、編製過程、以及根據的藝術教育理念等。理論探討方面,將透 過審美知能以及命題原理原則的文獻分析,建構本次審美知能測驗之學理 基礎。最後,綜合上述兩者之結果,全盤瞭解本次審美知能科試題之命題 與理念背景,以做為後續研究與結論歸納之基礎。
研究目的二:對本次審美知能科試題進行個別試題的難易度、鑑別度、選 項分析、形式內容分析;以及整份測驗題本的效度、信度與總分分析等。
根據相關測驗理論,對本試題進行深入之試題分析工作。包括個別試 題與整體測驗題本的分析,都包括質與量兩個部分。個別試題方面的質性 分析,將針對試題的內容與形式進行品質方面的邏輯分析;量的分析則將 研究各試題的鑑別度、難易度、選項的有效性等統計分析。測驗題本分析 部分則以信度與測驗總分的統計分析,和內容效度的質性分析為主。本研 究目的所呈現之資料,將配合其他研究目的之結果,綜合做為試卷的整體 評鑑指標之一。
研究目的三:瞭解國中美術教師對此份試題的反應與意見,以及受測學生 對此份試題的反應。
為了蒐集更多可供參酌之資訊,研究者將實際訪談十所實施本次審美 知能測驗學校的國中美術教師,以及實際接受測驗的學生,以瞭解參與者 和使用者對於本份試題的直接觀感和意見反應,並將訪談所蒐集之資料,
與研究目的一與研究目的二之結果相互對照,做為瞭解試題使用狀況,以 及分析測驗品質的參考指標。