• 沒有找到結果。

正式施測之試題品質分析

第四章 研究結果與討論

第一節 正式施測之試題品質分析

壹、正式施測試題之信度分析

本研究採用 Cronbach's α 係數來做正式施測試題的信度分析,求其內部一致 性,以檢測試題品質。再以斯皮爾曼等級相關係數 (Spearman rank order correlation) 來計算兩位評分者之評分一致性,作為評分者信度。

一、Cronbach's α 內部一致性係數

本研究為縱貫研究,施測的三波時間點分別為三上、三下與四上,以下針對 三上、三下與四上之數學溝通能力測驗正式施測試題進行內部一致性分析。

(一)三上數學溝通能力測驗正式施測之Cronbach's α 內部一致性係數 正式施測結果之Cronbach's α 信度如表 4-1-1 所示,A 卷 Cronbach's α 值 為.804,B 卷 Cronbach's α 值為.879,整體為.908。顯示三上數學溝通能力測驗正 式施測試卷有相當良好的內部一致性信度。

表4-1-1

三上數學溝通能力測驗正式施測之

Cronbach's α 係數

題數 α 值

A 卷「表達自己的數學想法和概念」 15 .804

B 卷「判斷與轉化他人的數學解法」 24 .879

三上數學溝通能力測驗 39 .908

1. 三上正式施測試題 A 卷信度

三上正式施測試題A 卷之 Cronbach's α 值為.804,刪除試題後之 Cronbach's Alpha 值,其數據如表 4-1-2 所示。由表 4-1-2 中得知,雖然刪除試題 A11 會使信 度提高至 .806,但提昇幅度不大,且試題 A11 為定錨題,因此仍保留試題 A11。

表4-1-2

三上

A 卷正式施測信度 Cronbach's Alpha 值分析表

題號 項目刪除時的

尺度平均數

項目刪除時的 尺度變異數

修正的項目 總相關

項目刪除時的 Cronbach's Alpha 值 A11 23.420 76.769 .140 .806 A12 21.360 65.317 .415 .795 A13 22.440 68.409 .448 .790 A21 23.200 75.812 .364 .801 A22 22.190 64.215 .459 .791 A23 22.920 67.375 .554 .783 A31 23.190 75.771 .391 .801 A32 21.420 62.719 .495 .788 A33 22.280 66.810 .547 .783 A41 23.220 75.017 .412 .799 A42 20.980 66.897 .406 .794 A43 22.320 69.069 .442 .791 A51 23.500 74.551 .394 .799 A52 21.780 60.898 .532 .784 A53 22.570 66.283 .583 .780

2.三上正式施測試題 B 卷信度 Cronbach's Alpha 值 B1一1 23.393 132.089 .198 .880 B1一2 22.847 123.249 .426 .876 B1二1 23.411 132.337 .161 .880 B1二2 22.950 123.941 .382 .877 B2一1 23.371 131.853 .240 .880 B2一2 23.231 122.403 .487 .874 B2二1 23.393 131.627 .252 .879 B2二2 23.243 121.447 .545 .872 B3一1 23.551 129.523 .392 .877 B3一2 23.461 121.512 .511 .873 B3二1 23.558 129.929 .352 .878 B3二2 23.389 118.982 .560 .872 B4一1 22.262 115.650 .514 .874 B4一2 23.651 127.572 .547 .875 B4一3 23.601 122.778 .524 .873 B4二1 22.913 117.817 .432 .878 B4二2 23.875 127.797 .550 .875 B4二3 23.829 124.255 .542 .873 B5一1 21.776 114.106 .598 .871 B5一2 23.717 127.316 .565 .875 B5一3 23.006 116.881 .612 .870 B5二1 22.019 112.650 .625 .869 B5二2 23.707 127.245 .571 .875 B5二3 22.935 114.949 .645 .868

(二)三下數學溝通能力測驗正式施測之Cronbach's α 內部一致性係數 正式施測結果之Cronbach's α 信度如表 4-1-4 所示,A 卷 Cronbach's α 值 為.769,B 卷 Cronbach's α 值為.917,整體為.920。顯示三下數學溝通能力測驗正 式施測試卷有相當良好的內部一致性信度。

表4-1-4

三下數學溝通能力測驗正式施測之

Cronbach's α 係數

題數 α 值

A 卷「表達自己的數學想法和概念」 15 .769

B 卷「判斷與轉化他人的數學解法」 24 .917

三上數學溝通能力測驗 39 .920

1.三下正式施測試題 A 卷信度

三下正式施測試題A 卷之 Cronbach's α 值為.769,刪除試題後之 Cronbach's Alpha 值,其數據如表 4-1-5 所示。由表 4-1-5 中得知,刪除試題 A11 會使信度提 升至.770,但因提昇幅度不大,且 A11 為定錨題,所以保留該試題。雖然刪除試 題A52 會使信度提高至 .772,但提昇幅度不大,因此亦保留試題 A52。

表4-1-5

三下

A 卷正式施測信度 Cronbach's Alpha 值分析表

題號 項目刪除時的

尺度平均數

項目刪除時的 尺度變異數

修正的項目 總相關

項目刪除時的 Cronbach's Alpha 值 A11 28.030 48.990 .048 .770 A12 24.960 45.471 .336 .755 A13 26.670 43.626 .431 .747 A21 27.800 47.411 .367 .758 A22 25.160 42.470 .457 .743 A23 26.870 42.022 .475 .741 A31 27.660 48.160 .420 .761 A32 25.660 39.414 .404 .753 A33 26.880 40.421 .579 .730

(續下頁)

表4-1-5 Cronbach's Alpha 值 A41 27.710 47.890 .379 .760 A42 25.400 39.625 .496 .738 A43 27.000 39.895 .587 .728 A51 27.790 47.660 .331 .759 A52 25.730 42.240 .221 .772 A53 27.200 43.263 .474 .743

2.三下正式施測試題 B 卷信度

三下正式施測試題B 卷之 Cronbach's α 值為.917,由表 4-1-6 可得知,不管刪 除任何試題,都不會使其Cronbach's Alpha 值高於.917,表示三下正式施測之 B 卷所有試題皆可保留,均不用刪除。 Cronbach's Alpha 值 B1一1 30.560 159.841 .501 .916 B1一2 29.892 147.760 .629 .911 B1二1 30.579 159.908 .459 .916 B1二2 29.892 147.411 .587 .912 B2一1 30.680 159.386 .409 .916 B2一2 29.949 147.483 .625 .912 B2二1 30.722 158.760 .442 .916 B2二2 30.120 148.093 .590 .912 B3一1 31.032 159.834 .308 .917 B3一2 30.491 149.521 .583 .912 B3二1 31.035 160.008 .294 .917 B3二2 30.627 149.619 .547 .913

表4-1-6

三下

B 卷正式施測信度 Cronbach's Alpha 值分析表(續)

題號 項目刪除時的 尺度平均數

項目刪除時的 尺度變異數

修正的項目 總相關

項目刪除時的 Cronbach's Alpha 值 B4一1 28.468 146.485 .503 .915 B4一2 30.804 156.787 .576 .914 B4一3 29.801 143.614 .697 .910 B4二1 28.557 146.419 .527 .914 B4二2 30.760 156.831 .593 .914 B4二3 29.741 142.904 .692 .910 B5一1 29.057 142.619 .588 .913 B5一2 30.845 156.170 .614 .914 B5一3 30.139 145.454 .734 .909 B5二1 28.810 140.072 .666 .911 B5二2 30.756 155.925 .675 .913 B5二3 30.019 145.352 .706 .910

(三)四上數學溝通能力測驗正式施測之Cronbach's α 內部一致性係數 正式施測結果之Cronbach's α 信度如表 4-1-7 所示,A 卷 Cronbach's α 值 為.801,B 卷 Cronbach's α 值為.897,整體為.919。顯示四上數學溝通能力測驗正 式施測試卷有相當良好的內部一致性信度。

表4-1-7

四上數學溝通能力測驗正式施測之

Cronbach's α 係數

題數 α 值

A 卷「表達自己的數學想法和概念」 15 .801

B 卷「判斷與轉化他人的數學解法」 24 .897

三上數學溝通能力測驗 39 .919

1. 四上正式施測試題 A 卷信度

四上正式施測試題A 卷之 Cronbach's α 值為.801,刪除試題後之 Cronbach's

Alpha 值,其數據如表 4-1-8 所示。由表 4-1-8 中得知,刪除試題 A41 會使信度提 升至.803、刪除試題 A51 會使信度提升至.802,但因提昇幅度不大,且試題 A51 為定錨題,所以仍然保留試題A41 和 A51。

表4-1-8

四上

A 卷正式施測信度 Cronbach's Alpha 值分析表

題號 項目刪除時的

尺度平均數

項目刪除時的 尺度變異數

修正的項目 總相關

項目刪除時的 Cronbach's Alpha 值 A11 25.160 68.236 .238 .801 A12 23.780 55.774 .445 .791 A13 24.660 58.861 .551 .778 A21 25.110 68.329 .300 .801 A22 23.490 56.043 .492 .784 A23 24.380 57.133 .633 .771 A31 25.120 67.939 .355 .799 A32 23.230 56.407 .410 .795 A33 24.270 58.932 .556 .778 A41 25.120 68.827 .153 .803 A42 23.360 55.238 .549 .777 A43 24.710 59.442 .518 .781 A51 25.500 67.933 .166 .802 A52 22.610 61.999 .442 .787 A53 24.180 60.590 .501 .783

2.四上正式施測試題 B 卷信度

四上正式施測試題B 卷之 Cronbach's α 值為.897,由表 4-1-9 可得知,不管刪 除任何試題,都不會使其Cronbach's Alpha 值高於.897,表示四上正式施測 B 卷 的所有試題皆可保留,均不用刪除。

表4-1-9 Cronbach's Alpha 值 B1一1 31.851 137.757 .373 .897 B1一2 31.159 124.913 .566 .891 B1二1 31.893 136.953 .408 .896 B1二2 31.133 125.395 .545 .892 B2一1 32.052 136.796 .296 .897 B2一2 31.651 125.351 .559 .891 B2二1 32.010 136.269 .369 .896 B2二2 31.460 122.463 .580 .891 B3一1 32.000 136.773 .323 .896 B3一2 31.214 124.552 .545 .892 B3二1 31.929 137.391 .307 .897 B3二2 31.388 127.251 .523 .892 B4一1 29.528 127.321 .498 .893 B4一2 31.958 134.826 .574 .894 B4一3 30.793 122.431 .682 .888 B4二1 29.689 124.962 .556 .891 B4二2 31.981 134.402 .593 .894 B4二3 30.845 122.781 .681 .888 B5一1 30.233 119.140 .600 .891 B5一2 32.343 133.999 .507 .894 B5一3 31.948 126.491 .552 .891 B5二1 30.466 120.905 .607 .890 B5二2 32.398 134.805 .446 .895 B5二3 32.019 127.526 .500 .893

二、評分者信度

表 4-1-10 和表 4-1-11 所呈現的是兩位評分者在各評分細目上給分之相關係數 表。A 卷部份,三上的評分者信度平均為.995、三下平均為.992、四上平均為.992;

B 卷部份,三上的評分者信度平均為.988、三下平均為.973、四上平均為.991,顯 示本研究之數學溝通能力測驗三波正式施測均具有相當良好的評分者信度。

表4-1-10

兩評分者在A 卷不同評分細目之相關係數表(Spearman rank order correlation)

三上 三下 四上

兩評分者在B 卷不同評分細目之相關係數表(Spearman rank order correlation)

三上 三下 四上

質疑辯正 0.981(**) 0.000 0.925(**) 0.000 0.993(**) 0.000 B1二1 判斷正確性 1.000(**) 0.000 1.000(**) 0.000 1.000(**) 0.000 B1二2 認同解析與

質疑辯正 0.975(**) 0.000 0.934(**) 0.000 0.990(**) 0.000 B2一1 判斷正確性 1.000(**) 0.000 1.000(**) 0.000 1.000(**) 0.000 B2一2 認同解析與

質疑辯正 0.964(**) 0.000 0.935(**) 0.000 0.993(**) 0.000 B2二1 判斷正確性 1.000(**) 0.000 1.000(**) 0.000 1.000(**) 0.000 B2二2 認同解析與

質疑辯正 0.989(**) 0.000 0.956(**) 0.000 0.985(**) 0.000

(續下頁)

表4-1-11

二、建構效度

本研究以驗證性因素分析來檢覈自編數學溝通能力測驗之建構效度。

(一)數學溝通能力之測量模型假設

本研究之數學溝通能力測驗設計架構依據文獻探討將數學溝通能力分為三 個向度,「表達自己的數學想法和概念」、「判斷他人的數學解法」和「轉化他人 的數學想法」。其中「表達自己的數學想法和概念」的能力指標細目又分為「了 解題意」、「解題」和「表達溝通」;「判斷他人的數學解法」的能力指標細目分為

「判斷正確性」和「認同解析或質疑辯正」;「轉化他人的數學想法」的能力指標 細目則分為「轉化」、「判斷正確性」和「認同解析或質疑辯正」。為確認本研究 之數學溝通能力測驗的內容有確實檢測到學童之數學溝通能力,研究者以數學溝 通能力測驗在三上、三下、四上三波正式施測之結果來進行驗證性因素分析。

本研究依據數學溝通能力測驗之架構設計出一階三因子之假設模式,茲以圖 4-1-1 呈現之。

4-1-1 數學溝通能力之一階三因子假設模式因素路徑圖

(二)數學溝通能力之一階三因子模式適配度分析

模式適配度分析主要為說明理論模式能否充分解釋實際觀察所得之資料,指 標分為三類:絕對適配檢定、增值適配檢定和精簡適配檢定(李茂能,2006)。

針對三類指標分別說明如下:

1、絕對適配度指標:

本研究採適配度指標 (goodness of fit index [GFI])和標準化均方根殘差 (standardized root mean square residual [SRMR] ) 來作為絕對適配度指標。最小適 配度函數卡方值 (minimum fit function chi-square [χ2] )雖亦可用來檢驗模型和資 料是否適配,但余民寧(2006)提到,當樣本數超過 200 人以上,就很容易達到 顯著差異;因卡方檢定本身易受到樣本大小的影響 (Bagozzi & Yi,1988),本研究 之研究樣本有309 人(n=309),所以採用規範卡方值 (Normed Chi-Square [NC]),

也就是卡方值與自由度 (degree of freedom [DF]) 之比值來取代卡方值以檢定模 型適配度。

GFI 代表模型可解釋觀察資料之變異數和共變數的比例,愈接近 1 表示愈 佳,其基本門檻為.90。SRMR 的數值介於 0 到 1 之間,數值愈接近 0,表示模式 適配度愈佳,一般設定SRMR 值必須小於.05,才是良好的模式。

2、增值適配度指標:

本研究採相對適配指標 (relative fit index [RFI] ),增值適配指標 ( ncremental fit index [IFI] )、比較適配指標 (comparative fit index [CFI] ) 和規範適配指標 ( normed fit index [NFI] ) 來作為增值適配度指標。四項指標的數值皆介於 0 至 1 之間,數值愈大表示模式適配度愈佳,一般設定這四項指標的數值必須超過.90 為宜。

3、精簡適配度指標:

本研究採卡方值與自由度之比值來作為精簡適配度指標。CMIN 即代表卡方

值 (chi-square [χ2] ),用來檢測模型是否與資料適配,但因卡方值容易受樣本過大 而影響,所以通常採卡方值與自由度的比值取代,Bagozzi & Yi(1988) 建議 CMIN/DF 宜介於 1~5 之間,而小於 3 則最佳。

本研究利用三波數學溝通能力測驗之施測資料來驗證所假設之一階三因子 模式是否與資料適配,三上、三下、四上三波施測之標準化徑路係數估計結果如 圖4-1-2、4-1-3、4-1-4 所示,適配度指標檢核表呈現於表 4-1-12。

表4-1-12

適配度指標檢核表

絕對適配指標 增量試配指標 精簡適配指標

GFI SRMR RFI IFI CFI NFI CMIN/DF 標準值 >.9 <.05 >.9 >.9 >.9 >.9 介於 1~5

三上 .927 .044 .875 .937 .937 .924 5.584 三下 .928 .041 .882 .941 .940 .928 5.510 四上 .931 .040 .884 .942 .941 .929 5.382 註:加註底線者為未達標準值之適配指標。 

如圖4-1-2、4-1-3、4-1-4 所示,數學溝通能力三大向度所分出之能力指標細 目,其因素負荷量皆在 .30~.95 之標準範圍內。從表 4-1-12 中可知,本模式之 適配度指標除了RFI 值未在標準範圍內,其餘皆符合標準,顯示本研究之數學溝 通能力一階三因子模式與三波數學溝通能力測驗施測資料的整體適配度良好。綜 合上述,本研究之自編數學溝通能力測驗確能測量到數學溝通能力的子能力,建 構效度良好。

4-1-2 含標準化解的數學溝通能力一階三因子模式(三上)

4-1-3 含標準化解的數學溝通能力一階三因子模式(三下)

4-1-4 含標準化解的數學溝通能力一階三因子模式(四上)

參、正式施測試題之難易度與鑑別度

本研究之數學溝通能力測驗透過各試題的通過率來了解試題的難易度,並且 利用Pearson 相關係數來呈現試題之鑑別度。詳細整理如表 4-1-13、4-1-14、4-1-15 所示。

一、三上正式施測之測驗試題難易度、鑑別度

由表4-1-13 中可知三上數學溝通能力測驗正式施測試題通過率介於 3.115%

至86.916%之間,平均通過率為 40.011%;鑑別度則均達顯著相關,故顯示本測 驗整體而言具有適當之難易度及鑑別度。

表4-1-13

至94.304%之間,平均通過率為 46.846%;鑑別度則均達顯著相關,故顯示本測 驗整體而言有適當之難易度及鑑別度。

表4-1-14

三、四上正式施測之測驗試題難易度、鑑別度

由表4-1-15 中可知四上數學溝通能力測驗正式施測試題通過率介於 9.709%

至94.175%之間,平均通過率為 49.324%;鑑別度則均達顯著相關,故顯示本測 驗整體而言有適當之難易度及鑑別度。

表4-1-15

四上正式施測試題難易度、鑑別度分析表(續)

題號 問題 溝通項目 難易度

(通過率%)

鑑別度 (Pearson相關)

B4一1 轉化 50.809 .563(**)

B4一2 判斷正確性 82.201 .596(**)

B4一3 認同解析與質疑辯正 41.748 .730(**)

B4二1 轉化 40.129 .620(**)

B4二2 判斷正確性 79.935 .615(**)

B4二3

整數的乘法

整數的乘法