第三章 研究方法
第五節 研究工具的信度與效度
本試卷經審查試題並修正後,自彰化縣縣市抽取了四所學校共計二百三 十八位五年級學生進行預試。為了增加測驗的穩定性,研究者在預試階段進 行試探性的信度分析,以作為題目改善的依據。預試資料回收後,研究者利 用該資料以 SPSS 10.0 版進行信效度之檢定,包括:項目分析、信度分析 與因素分析,作為正式問卷之選題依據,茲分述如下:
(一)項目分析
預試分析最重要的工作為項目分析,項目分析是測驗分析必備的 步驟,主要目的是在針對預試題目進行適切性的評估。小數概念之預 試試題的項目分析數據如表 3-5,分析結果如下:
1. 遺漏值檢驗:整體來看遺漏值並未超過 1.5%,資料完整。
2. 描述統計檢驗:標準差檢驗:發現此份試卷的標準差絕大多數介於 0.31~ 0.50,其中以第 5 題偏低。
3. 極端組 t 檢驗:將總分選擇最高與最低的 27%為極端值,總分之前 27%稱為高分組,總分最低之後 27%者稱為低分組,再以 t 檢驗逐題 進行平均差異檢定。結果顯示除了第 21 題未達顯著差異,其餘每一 題 t 值均達.001 顯著水準,反應出題目均有高度的鑑別度。(見附 錄ㄧ)
4. 同質性檢驗:分析結果發現,試卷試題的同質性極高,內部一致性 係數為.913,顯示出試卷試題具有相當的同質性。個別試題的同質 性檢驗標準以相關係數低於.3 或因素負荷量低於.3 為標準(邱皓 政,民 94 年)。
(1) 相關係數:本試題經分析,結果其相關除第 15、21 題之相 關係數低於 0.3 外,彼此間都具有高相關。(見表 3-5)
(2) 因素負荷值:當因素設定為一個主成分,因素負荷值大多在 0.3 以上都是佳的負荷值,第 21 題未達標準。(見附錄二)
表 3-5 小數試卷預試之項目分析表
由表 3-5 發現五項指標中,有三項指標不理想者有第 21 題;第 5、15 題僅一項指標出現警訊,留待信度分析時再詳細予以檢查。
(二)信度分析
α係數是代表量表的內部一致性信度,α係數愈高,代表量表的內部一 致性愈佳。統計分析結果顯示,本份試卷的α信度為 0.913(見附錄三), 高於 0.80,一份信度佳的量表或問卷,其總量表的信度係數最好在 0.80 以 上(吳明隆,2005)。所以這份試卷內部一致性佳,具有良好的信度。
計算每一題被刪除後的α值,刪除該題後能提高量表α值的題目,則考 慮加以刪除。本試卷之試題之信度分析結果,刪除第 21 題後,試卷的α值 可以提高。且在上述的項目分析的六個指標檢驗中,也顯示出第 21 題有 3 個指標不臻理想。由此,將刪除本試卷的第 21 題,刪題後的試卷共 37 題,
試卷的α值為 0.9133,將成為正式試卷來進行正式施測。(見附錄五)
(三)效度分析
(1) 內容效度
內容效度反映測量工具本身內容的廣度的適切程度,強調測量 內容的廣度、涵蓋性與豐富性,以作為外在推論的主要依據。因此,
測量工具在編製與取材上,必須顧及受試者的經驗背景與能力水 準,為顧及內容效度之要求,所以研究者在編製小數概念試題量表 時,是以九年一貫暫行綱要之能力指標為依據,再對應「試題概念 分析表」(見附錄四)而編製出小數概念量表。
(2) 專家效度
研究工具是依據小數概念架構圖並配合國小小數教材而設計 的。此外,並請熟悉小數教材的三位師院教授及二位從事小數教學 多年的國小資深教師等專家,針對筆試工具仔細的檢閱,以確定是 否和研究目的相符,所以筆試工具應該有不錯的專家效度。
(3) 建構效度
建構效度(construct validity)係指測量工具能測得一個抽 象概念或特質的程度,亦即實際之測驗分數能解釋某ㄧ心理特質有 多少的指標(邱皓政,2005)。統計學上,考驗建構效度常用的方 法即是因素分析。為了要證實研究者所設計的測驗的確在測某一個 潛在特質,並釐清潛在特質的內在結構,能夠將一群具有共同特性 的測量分數,從外顯抽離出背後潛在構念的統計技術,便是因素分 析(factor analysis)(邱皓政,2005)。本研究利用因素分析,將小 數概念試題量表所包含的七個小數教材能力進一步簡化,將七個類 型能力抽離出相同的因素群,再以共同因素的特徵值大於 1 的特徵 向量及因素結構的可解釋性為考量依據,搭配陡坡圖來決定因素的 個數,結果研究者發現抽離出四個因素群最適合。相關理論,在第 四章有詳細的分析。研究者以因素分析檢定測驗工具的效度,經過 統計安裝軟體 SPSS 10.0 for Windows 的分析結果,得到的取樣適 切性量數(KMO)值為 0.924,顯示測驗工具的題項間適合進行因 素分析,即代表「自編小數概試題」此測驗工具具有良好的建構效 度。
第六節 資料的處理與分析
ㄧ、資料處理
在完成所有的施測後,研究者將所有收集到的學生資料先依照學校類型 做分類,並將無效試卷刪除。先以 Excel 軟體將學生的原始選項輸入電腦 中,並配合本研究目的以及相關之待答問題,利用 SPSS 10.0 for Windows 軟體來進行資料的分析與討論。
二、資料分析
本研究將蒐集到的學生資料,根據不同的研究目的,所採用的方法分析 如下:
(一) 以自編的「小數概念試題」為工具作因素分析之研究,將小數教材 分成七個類型能力,各別命題測驗各部分之答題能力,再從成績中歸 類出幾個共同因素並分別命名,找出最具影響力的第一主因素為何?
採用的研究方法分析:
本節之相關資料主要是用 Excel 軟體統計資料,再利用 SPSS 10.0for Windows 軟體來進行「因素分析」。
1. 因素分析的基本概念與原理
可以用來證實研究者所設計的測驗的確在測某一個潛在特質,並 釐清潛在特質的內在結構,能夠將一群具有共同特性的測量分數,抽 離出背後潛在構念的統計技術,便是因素分析(factor analysis)(邱皓 政,民 94)。因素分析的主要功能有三:第一,能夠協助測驗研究者 進行效度的驗證。第二,可以協助研究者簡化測量的內容,因素分析 最重要的概念,即是將複雜的共變結構予以簡化,使得許多有相似概 念的變項,透過數學關係的轉換,簡化成幾個特定的同質性類別。第 三,可以用來協助測驗編製,進行項目分析,檢驗試題的優劣好壞。
因素分析是一種潛在結構分析法,其模式理論中,假定每個指標 (外在變項或稱題項、觀察值、問卷問題)均由二個部份所構成,一為
「共同因素」(common factor)、一為「獨特因素」(unique factor)。
共同因素的數目會比指標數(原始變項數)還少,而每個指標或原始變 項接皆有一個獨特因素,亦即一份量表共有 n 個題項數,則也會有 n 個獨特因素。獨特因素性質有二個假定:
(1)所有的獨特因素間彼此沒有相關
(2)所有的獨特因素與所有的共同因素間也沒有相關
因素分析運算的過程,與同樣採用共變為計算基礎的迴歸分析類 似。因素分析最常用的理論模式如下:
Zj= aj1F1+aj2F2+aj3F3+Λ+ajmFm+Uj 其中
(1)Zj為第j個變項的標準化分數。
(2)Fi為共同因素。
(3)m 為所有變項共同因素的數目 (4)Uj為變項Zj的獨特因素。
(5)aj1為因素負荷量
所謂的因素負荷量為因素結構中,原始變項與因素分析時抽取出共 同因素的相關。在因素分析中,有二個重要指標一為「共同性」
(communality) 、二為「特徵值」(eigenvalue)。為便於說明,以三個 變項抽取二個共同因素為例,三個變項的線性組合分別為:
Z1=a11F1+a12F2+U1 Z2=a21F1+a22F2+U2 Z3=a31F1+a32F2+U3
表 3-6-1 變項的線性組合轉換成因素矩陣表
變項 F1(共同因素一) F2(共同因素二) 共同性(h2) 獨特因素(d2) X1 a11 a12 a211+a212 1-h21
X2 a21 a22 a221+a222 1-h22
X3 a31 a32 a231+a232 1-h23
特徵值 a211+a221+a231 a212 +a222 +a232 解釋量 (a211+a221+a231)÷3 (a212 +a222 +a232)÷3
所謂的「共同性」,就是每個變項在每個共同因素之負荷量的平方和 (一橫列中所有因素負荷量的平方和),也就是個別變項可以被共同因素 解釋的變異量百分比,這個變項與共同因素間之關係程度。而各變項的 獨特因素大小就是 1 減掉該變項共同性的值。
至於「特徵值」是每個變項在某一共同因素之因素負荷量的平方總 和(一直行所有因素負荷量的平方和)。在因素分析之共同因素抽取中,
特徵值最大的共同因素會最先被抽取,其次是次大者,最後抽取的共同 因素之特徵值最小,通常會接近 0。將每個共同因素的特徵值除以總題 數,為此共同因素可以解釋的變異量,因素分析的目的,即在因素結構 的簡單化,希望以最少的共同因素,能對總變異量作最大的解釋,因而 抽取的因素愈少愈好,但抽取因素之累積解釋的變異量愈大愈好。
2.因素分析的主要流程,可簡述為以下幾個步驟:
(1)計算變項間相關矩陣以檢視進行因素分析的適切性
因素分析的基礎是變項之間的相關,如果一個變項與其他變項間相 關很低,在次一個分析步驟中可考慮剔除此一變項,但實際排除與否,
還要考量到變項的「共同性」(communality)與「因素負荷量」(facto loadings)。探討相關係數是否適當的方法為球形考驗(Bartlett,s test of sphericity),顯著的球形考驗表示相關係數足以作為因素分析抽取 因素之用。另外,題項間是否適合進行因素分析,依據Kaiser(1974)
的觀點,可從取樣適切性量數(Kaiser-Meyer-Olkin measure of sampling adequacy;KMO)值的大小來判別,其判斷的準則如下表 3-6-2:
表 3-6-2 KMO 統計量的判斷原理表
KMO 統計量值 因素分析適合性 .90 以上 極適合進行因素分析 .80 以上 適合進行因素分析 .70 以上 尚可進行因素分析 .60 以上 勉強可進行因素分析 .50 以上 不適合進行因素分析 .50 以下 非常不適合進行因素分析
(2)抽取共同因素,以得到未轉軸負荷量
抽取共同因素時,所得到的未轉軸因素負荷量的數值都很接 近,沒有特別大或特別小的數值出現,因此,不容易看出到底哪ㄧ 個測驗是屬於哪ㄧ個因素。
(3)進行因素轉軸,以得到已轉軸負荷量
因素轉軸的目的是要設法找到新的參照軸,使能盡量達到所謂
「簡單結構」的標準,使某幾個測驗在某一個共同因素的負荷量盡 量最大,而在其他共同因素的負荷量則盡量接近於 0,如此,我們
「簡單結構」的標準,使某幾個測驗在某一個共同因素的負荷量盡 量最大,而在其他共同因素的負荷量則盡量接近於 0,如此,我們