第三章 研究設計與實施
第五節 資料處理與分析
五、學生自評問卷
以設計與科技與學習與科技組為對象,利用學生自評問卷來了解系 上選修專題製作總整課程後對於大學部各項專業核心能力的具備程度。
問卷發展的時間為 106 年 6 月初。專題製作學生核心能力之構面及內容 項目請參見附錄五【專題製作(一)】課程核心能力自評表。
第五節 資料處理與分析
根據本研究之研究目的,本研究的資料主要有二大部分,分別為:
(1)問卷設計及效度、(2)修正式德懷術問卷調查結果,以及(3)學生的 學習成就表現。以下就此二類資料說明資料的處理與分析情形。
一、問卷設計及效度 1.第一回合問卷
第一回合問卷之修正式德懷術調查問卷是依據文獻探討、系上教育 目標編製而成,並經過兩位專家審查完成後而形成第一回合修正式德懷 術問卷,其問卷內容如下:
(1)問卷說明函
第一回合的問卷包含:研究說明函詳細描述本研究的目的、本研究 修正式德懷術的實施方式、本研究專家群的對象及研究者聯絡的方式 等。
(2)填答說明
共分成兩個部分,第一部分為資本資料,包括:任職企業(機 關)、職稱、最高學歷、擔任人力資源相關工作的年資。第二部分為說
20
明本研究人資教育訓練人員專業職能指標建構之問卷」,共分成一般認 知與技能層面、職能導向層面、個人特質層面、價值和倫理層面等四大 項,計48項於各個項目內列有「重要性程度」,是採用Likert五點量 表,請專家們依據自己的觀點填入非常重要【5】至非常不重要【1】等 五個選項中圈選一個,最後在每一個項目都增列修改意見說明及每個構 面最後都增列是否有需要增加的內容項目。
2.第二回合問卷
將第一回合的修正式德懷術專家意見加以彙整、統計及分析,以編 製第二回合的修正式德懷術問卷,其內容如下:
(1)問卷說明函
第一回合的問卷包含:研究說明函詳細描述本研究的目的、本研究 修正式德懷術的實施方式、本研究專家群的對象及研究者聯絡的方式 等。
(2)填答說明
附上第一回合修正式德懷術專家群對於「人資教育訓練人員專業職 能指標建構」所圈選的意見,並統計分析其眾數、平均數及標準差並列 出,以供專家填答時參考,同時也列出所有專家修改的意見,另外以紅 色文字顯示本回合問卷的修正內容,藍色文字係根據專家建議所新增的 內容。
3.問卷效度
本研究之修正式德懷術問卷是根據文獻探討及科技系教學目標形 成,並經由兩位專家審查後製成問卷,邀請十二位專家組成修正式德懷 術專家群,利用電子郵件問卷的方式針對問題進行二回合的修正式德懷 術問卷調查,包括數據統計分析及專業意見,讓問卷的內容效度能更加
21
貼近實際的情況。因此,本研究的修正式德懷術研究已經具有專家效 度。
二、修正式德懷術問卷結果分析
將採用修正式德懷術問卷取得學者與專家對於大學生核心能力構面 及內容項目之共識,並進行資料分析說明。
修正式德懷術研究可依據其研究需要決定所需的統計處理方式,通 常計算以下數值(簡茂發、劉湘川,1993):
1. 所有專家對各內容項目的平均數、中位數及眾數(平均數愈 大,相對重要性愈大)。
2. 計算各個指標項目的重要性結果的分配情形(百分比愈高,相 對重要性愈大)。
3. 計算專家意見的離散程度(平均標準差愈小愈好)。
修正式德懷術的主要目的是獲得專家一致性的意見,每一個題項圈 選重要程度4和5的專家們其總比例達百分之75以上者,該題視為已達一 致性(Todd & Reece,1989)。
四分位差可以了解專家意見的離散情形,四分位差越小,表示意見 越一致。四分位差有三種結果:(1)四分位差若小於0.6,表示專家的意 見呈高度一致性。(2)四分位差若介於0.6至1.0之間,表示專家的意見 具備中度一致性。(3)四分位差若大於1.0,表示專家的意見不一致 (Raskin,1994)。
若要了解修正式德懷術成員對問卷各項目的看法是否一致,可以依 據問卷評估等級十分之一的值來判斷,當四分位差的值小於或等於此值 時,代表成員們對問卷的看法一致,也就是說,若研究問卷為五點量表 時,當四分位差小於或等於0.5時,代表專家們的意見達到高度一致性
22
(Faherty,1979)。當問卷前後回在意見平均值的平均數差距小於15%
時,代表穩定(Franchak,1984)。
綜合以上所述,本研究採四分位差來了解專家群意見一致性的程 度,統計方式是採用平均數統計專家群對每個題項項目的意見平均值,
來判斷各個項目的重要性;並採用眾數來統計專家對各項目的意見集中 的情形,來判斷各個項目的滿分頻率;並採用標準差來判斷各個專家的 意見,以了解其離散程度情形;此外,刪題的依據為符合每一個題項圈 選重要程度「4」與「5」占所有專家百分比在75%以下及四分位差大於 1。
三、修正式德懷術問卷資料的處理方式 (一)每回合問卷
將開放性意見的「增加其他構面(內容項目)」欄以及「綜合建 議」欄以逐字稿的方式來呈現,並彙整內容及分析,以作為題項增加與 修改的參考依據;並統計專家對所有樣本的每個選項答題之百分比、平 均數、中位數、眾數、標準差及四分位差,以了解專家整體意見的一致 性、重要程度及離散情形,主要程序為三個步驟:
1.計分與統計數據:將專家填答每個題項之重要性程度「1」至
「5」分勾選情形,統計每個題項的答題百分比、平均數、眾數、標準 差及四分位差。
2.整體意見及個人意見之處理:整體意見以平均數、眾數及四分位 差來呈現。
3.形成第二回問卷:將第一回問卷各題項的量化統計結果,依據刪 題標準來判斷題項的保留或刪除,然後依據專家開放性意見的彙整結果 來決定新增或修改問卷題項,作為編製第二回合問卷的參考。在第二回
23
合問卷中,除了需要呈現各題項之統計平均數、眾數、四分位差,還要 註明專家必須填答之意見以及「與眾數持不同意見之理由」,以提供專 家填寫其個人意見與整體意見不同時的堅持理由。
(二)專家權益建的共識率分析
判斷專家意見共識性的標準為比較各題項於第二回合與第一回合問 卷結果其標準差改變情形,若該題項在第二回合問卷結果之標準差小於 或等於第一回合問卷結果之標準差,可說明此題項專家的意見已經趨於 穩定及聚合。Greenet建議,當百分之八十以上之題項達成穩定,表示 專家已經達成一致性,則可以停止問卷調查(何俐安、李信賢、廖芳 君,2009)。
(三)確定構面及內容項目
本研究所建構之科技系學生核心能力的構面及內容項目必須是專家 們認為其重要程度高且重要性需要在一定共識下產生。在本研究中選取 重要程度如下:(1)平均數達到「4」或「4」以上,表示其重要程度 很高。(2)四分位差小於「1」,表示專家意見具有一致性。
(四)列出各內容項目的相對重要程度作為後續科技系課程規劃的參考。
三、學生的學習成就表現
根據總整課程之學生自評的結果來分析學生的學習成果是否符合教 學目標。