第四章 結果與討論
第三節 正式問卷施測結果之信度、鑑別度分析
第三節 正式問卷施測結果之信度、鑑別度分析
本節主要以大規模正式問卷施測結果來進行各試題之難度、鑑別度 及問卷信度分析，以了解上述三項數值是否合乎本研究訂定之標準，以 作為確定坡地防災標準化評量正式問卷內容之依據。
九個受測階段有效問卷回收率介於 55~90%之間，雖有些年段回收率 偏低，但問卷回收數量皆能達到本研究所需要之樣本數，將大規模施測 之信度、難度、鑑別度分析說明如下：
一、大規模問卷信度分析
大規模問卷之信度以
Cronbach
α值進行內部一致性信度分析，各年 段Cronbach
α值，將其整理如表4-8所示，由表4-8得知各年段學生及中 小學教師之Cronbach α
值平均在0.611~0.906之間，總平均為0.825，其 中幼兒園數值為0.611，最低；國小低年級數值為0.778，次之；稍低於 其他年段問卷，以上兩者應屬於中高信度水準，而自國小中年級之後其 他七個年段每個年段平均值皆有0.8以上，顯示其問卷應屬於高信度水 準，茲將知識題、態度題、技能題三類別之Cronbach α
值分述如下：項目 幼稚
園
國小 低年級
國小 中年級
國小
高年級 國中 高中 大學
(一般)
大學 (專業)
中小學 教師 知識題
數量 15 14 12 15 15 14 21 18 20
態度題
數量 4 9 13 12 14 17 16 15 16
技能題
數量 7 6 8 6 12 8 13 13 8
表 4-7 坡地防災素養標準化評量正式問卷試題數量表
(一)知識題信度值：各年段學生及中小學教師信度值落於0.525~0.879之間，
除了幼兒園為0.525之外，其餘年段數值皆為0.7以上，幼兒園信度得分 最差，並未達到本研究設定的標準0.7，而以大學(專業)最高為0.879。
(二)態度題信度值：各年段學生及中小學教師信度值落於0.710~0.955之間，
以幼兒園數值最低0.710，中小學教師最高為0.955，各年段數值皆為0.7 以上，符合本研究0.7的標準。
(三)技能題信度值：各年段學生及中小學教師信度值落於0.700~0.948之間，
以幼兒園數值最低0.700，國中年段最高為0.948，各年段數值皆為0.7以 上，符合本研究0.7的標準。
比較上述三類知識、態度、技能之信度值平均值，知識題信度平均值 (0.728)分數最低，態度題平均值(0.879)次之，技能題平均值(0.917)最高；
整體而言皆高於0.7分以上，故本研究坡地防災素養之知識、態度、技能之標 準化試題，應屬於中高信度之試題如表4-8所示。
項目 幼兒園 國小低
年級
國小中 年級
國小高
年級 國中 高中 大學 (一般)
大學 (專業)
中小學
教師 平均值 知識題 0.525 0.750 0.749 0.754 0.796 0.702 0.790 0.879 0.705 0.728 態度題 0.710 0.758 0.868 0.909 0.954 0.930 0.919 0.909 0.955 0.879 技能題 0.700 0.826 0.852 0.838 0.948 0.893 0.929 0.930 0.917 0.870 整體信度
平均值 0.611 0.778 0.823 0.833 0.899 0.841 0.879 0.906 0.859 0.825
二、大規模問卷難度與鑑別度分析
本研究難度(P)設定於 0.2~0.85 之間、鑑別度(D)要 0.25 以上，問 卷施測結果就有效問卷部份輸入 SPSS 18.0 及 Excel 分析其難易度、鑑 別度，對於不合於本研究規定範圍者有標*號，試題難度、鑑別度，如統 計表 4-10 所示，表中標*號為落在規範標準外之試題，因本研究主要在 發展坡地防災標準化評量問卷，故選題時會有較大選取範圍，以免遺落 表 4-8 坡地防災素養標準化評量大規模問卷信度分析表
重要核心的題目，故當難度、鑑別度標準兩者有一者符合時，仍將予以 保留；而難度、鑑別度兩者都未達到標準時，則需將該題之問卷進行修 改，改正內容或刪除該題，表 4-10 中標有*號為落在規範標準外之試 題，大部份為難度不符合規範，而鑑別度較無問題；但因部份題目內容 為坡地防災素養重要的核心觀念題目，因而予以保留；其中以幼兒園階 段題目較多，其次為國小低年級；而國中以上至大學(專業)所有題目其 難易度、鑑別度皆符合本研究標準。
分析幼兒園及國小有許多題目未達本研究之難度、鑑別度標準，主 要與幼兒園特殊的作答方式有關，因考慮幼兒園學童年齡還小，在幼兒 園施測時主要以老師唸題目，學童當場作答方式為主，題目為圖形題以 圈選方式完成，如果老師又不小心過度解說引導而誘導學童作答，會導 至學童知道答案，雖然在施測指導手冊中有說明不要有此狀況，但老師 與學童互動模式已固定，很難去預防，也因為幼兒其認知發展情況具特 殊性與作答的適合程度也不能太難，故幼兒園題目其難易度得分狀況較 不理想。
而在國小低年級階段，題目是有注音的，但畢竟低年級學生對文字 字意還不是很了解，可能有些教師會以唸題目的方式讓學童作答，學童 因程度高低不同，有問題問老師時，教師一不小心會有過度解說狀況，
因而產生引導作用，情況和幼兒園相似，故幼兒園及國小低年級年段，
學童容易得分較高。
由表 4-9 分析各年段學生與中小學教師階段整份試題的平均難度 值、鑑別度其說明如下：
(一)知識題平均難度、鑑別度數值分析:
1.難度部份
以幼兒園(0.942)最高，高中(0.504)數值最低，其變化趨勢為 幼兒園最高(0.942)，之後由國小低年級(0.756)、中年級
(0.725)、高年級(0.632)、國中(0.614)逐級下降到高中(0.504)降
至最低，高中之後至大學(一般)(0.514)、大學(專業)(0.668) 逐 步上升到中小學教師(0.684)。
由數值分析顯示幼兒園的題目相對簡單，大部份幼兒都能答 對，也就是答對率很高，難度數值很高，這和之前兩次預試結果相 似，應該與幼兒園特殊的作答方式有關，之前文章已有述明，在此不 在贅述。其他年段則符合本研究之標準，國小低年級、中年級、高年 級、國中、大學(專業)、中小學教師平均在 0.60 分以上，題目為中間 偏易稍微簡單，高中、大學(一般)約在 0.50 題目難易度較為適中。八 個年段及中小學教師知識題總平均值為 0.671，整體難度為中間偏易。
2.鑑別度部份
以大學(專業)(0.754)數值最高，其次為大學(一般)(0.722)，
以幼兒園(0.321)最低，其變化趨勢為幼兒園最低 0.321，之後由國 小低年級(0.514)、中年級(0.592)、高年級(0.626)、國中
(0.683)、高中(0.702)、大學一般(0.722)逐步上升到大學專業 (0.754)最高，中小學教師則為(0.517)，各年段之鑑別度數值皆在 本研究規範 0.25 以上，總平均為 0.60 相當良好，表示本研討之大 規模問卷能有效區別受測者的能力高低程度。
(二)態度題平均難度、鑑別度數值分析：
1.難度部份
以幼兒園(0.965)最高，其次為國小低年級(0.828)、中年級 (0.813)、高年級(0.825)，再其次為國中(0.677)、高中(0.687)，
最低為大學(一般)(0.558)最低，而由大學(專業)(0.628)回升直到 中小學教師(0.823)，由數值分析顯示幼兒園的題目也是相對簡 單，大部份幼兒都能達到，也就是態度達成率很高，這和之前兩次 預試結果相似，這也應該與幼兒園特殊的作答方式有關，在態度題答 題部份主要以圈選為主，共有三個圖示分為三等第，其圖示分別為笑 臉、普通臉及哭臉，幼兒園主要以老師唸題目學童當場作答方式，大
部份幼兒喜歡笑臉故會圈選笑臉為主，其施測得分分數會得到 3 分，
本研究將 3 分視為答對，故其答對率也較高。這些年段除幼兒園太高 外，達 0.965 之外，其餘上述年段約略也接近 0.80，而大學(一 般)(0.548)題目難易度較為適中，八個年段及中小學教師態度難度題 總平均值為 0.755，整體而言題目為容易達到。
2.鑑別度部份
其變化趨勢以幼兒園(0.941)數值最高，其次為大學(一般) (0.861)，而以國小低、中年級階段(0.332)最低，中小學教師 (0.446)約在中間值，各年段之鑑別度數值皆在本研究規範 0.25 以 上，總平均為 0.583 相當良好，表示本問卷能有效區別受測者的能力 高低程度，鑑別度數值則在 0.332-0.941 之間，每個年段皆能符合標 準。
(三)技能題平均難度、鑑別度數值分析：
1.難度部份
變化趨勢與態度題類似，以幼兒園(0.954)最高，其次為國小 低年級(0.881)，再其次為國小中、高年級(0.823)、最低為大學專 業(0.557)，中小學教師又上升到 0.803，由數值分析顯示幼兒園的 題目也是相對簡單，大部份幼兒都能答對，也就是答對率很高，這 和之前兩次預試結果相似，本研究技能題目難度較為適中，整體而 言技能題總平均值為 0.748 題目為中間偏易。
2.鑑別度部份
幼兒園(0.881)數值最高，其次為而大學(專業)(0.835)，最低 者為國小低年段(0.341)，中小學教師(0.382)。各年段之鑑別度數 值皆在本研究規範 0.25 以上，總平均為 0.61 相當良好， 表示本問 卷能有效區別受測者的技能能力高低程度，鑑別度數值則在 0.341-0.881 之間，每個年段皆能符合標準。
由以上歸納分析結果得知，八年段學生與中小學教師坡地防災素 小學教師數值落在(0.566-0.954)之間也屬於難度中偏易的試題。
鑑別度數值：各年段學生與中小學教師無論在知識、態度、技能
幼兒園 國小低年級 國小中年級 國小高年級 國中 高中職 大學(一般) 大學(專業) 中小學教師
D3-11 0.70 0.71 平均 0.62 0.75 F3-3 0.51 0.90 G3-7 0.53 0.86 *H3-4 0.85 0.23
D3-12 0.70 0.75 n=1505 F3-4 0.56 0.85 G3-8 0.52 0.87 *H3-5 0.85 0.32
平均 0.70 0.72 F3-5 0.60 0.76 G3-9 0.56 0.87 H3-6 0.80 0.36
n=1321 F3-6 0.61 0.80 G3-10 0.54 0.89 H3-7 0.78 0.39
F3-7 0.53 0.91 G3-11 0.55 0.87 *H3-8 0.84 0.32 F3-8 0.57 0.85 G3-12 0.62 0.79 平均 0.80 0.38
F3-9 0.56 0.86 G3-13 0.59 0.83 n=531
F3-10 0.53 0.90 平均 0.56 0.84
F3-11 0.48 0.93 n=856
F3-12 0.63 0.77 F3-13 0.59 0.84 平均 0.57 0.83
n=2871
*表示難度或鑑別度不符合本研究標準之題目，但是為坡地防災心概念之題目，
予以保留作為網路題目用
.
三、大規模問卷防災素養施測結果分析
本研究對大規模施測進行三大面向及各子面向得分分析，將八個年段 學生及中小學教師防災知識、態度、技能之總平均及各小面向得分結果 詳列如表4-11，並加以分析說明。
(一)防災知識、態度、技能三類別試題總平均得分之比較 1.知識題平均答對率
以幼兒園(0.942)最高，其次為國小、國中、中小學教師約在 0.756-0.614 之間，最低者為高中(0.504)數值最低，由數值分析顯 示幼兒園的題目大部份幼兒都能答對，也就是答對率很高，應該是 幼兒階段之學童對老師服從性高，也相當依賴老師及學校，故對學校 課程能認真聽講，在加上知識題以圖示回答，看圖圈選二個選一個正確 的，故能很高的答對率，而自國小低年級開始答對就率逐漸下降，趨勢 往中年級、高年級、國中下降直到高中下降到最低，高中得分為
0.504，之後大學(一般)0.514 也是相對低分，之後大學(專業)才往上 爬升直到中小學教師(0.671)，因為本研究發展之坡地防災問卷其難度 也會隨著年段增長，題目難度會越來越難；在高中階段知識題平均答對 率最低 0.504，主因高中課業壓力大，知識題的內容在高中階段已有相
當難度，而高中很多防災課程學生心態只淪為應付了事，聯考不考學生
度相當積極良好，國小學童天真無邪，總是將老師及學校規定視為理所 我，因此大學一般(3.62)及大學專業(3.77) 態度題平均得分敬陪末 座。中小學教師之平均值高達4.20，顯示大部份中小學教師還是很認真
3.技能題平均得分
整體而言，八年段學生及中小學教師防災知識、態度、技能的比較發
(二)知識、態度、技能各子面向得分表現情形分析 1.知識題子面向得分分析
八個年段學生及中小學教師在知識題三個子面向的表現以防備知識 (0.696)最優，其次為應變知識(0.664)，最差者為災害知識(0.660)。防 備知識的答對率會優於應變知識及災害知識，應是在坡地防災教育推行
八個年段學生及中小學教師在知識題三個子面向的表現以防備知識 (0.696)最優，其次為應變知識(0.664)，最差者為災害知識(0.660)。防 備知識的答對率會優於應變知識及災害知識，應是在坡地防災教育推行