• 沒有找到結果。

從第七章第二節敘述中可以瞭解本研究以幼兒保育專業為例所進行之能 力分析與效度分析之過程與結果,本節中將針對「幼兒保育專業」功能圖之 效度分析進行相關討論,並從效度分析結果檢視功能圖以及功能分析方法。

壹、「幼兒保育專業」效度分析之結果

一、形成性效度分析結果

(一)對能力分析方法之分析

1. 在量化評量上,評量者對這個方法在各個項目上同意度從 75.4%到 91.8%。

2. 深度訪談之綜合結論為:多數受訪者認為功能分析是可以適用於各種職 業的分析方法,先期準備使會議進行方式可縮短到三個小時;受訪者均 同意受過有系統訓練的使用者,應該能接受此種方法與觀念;功能分析 師必須接受完整的訓練;適合以專家會議的形式來進行功能分析,使得 花費合理可接受;功能分析在特定時間內進行方式應具有穩定性;功能 圖有相當的效力。

(二)對能力分析過程之分析

對五位參與本次功能分析會議之專家的深度訪談結果,受訪者對本次功 能分析會議進行過程之功能分析師的表現、會議籌備工作、會議場地安排、

會議進行時間、會議進行過程以及參與會議之專家學者的代表性都給予肯定。

二、總結性效度分析結果

總結性效度分析是以問卷調查方式訪問 813 名幼兒保育職場人員對功能 分析結果(功能圖)之同意度。

813 名受調查人員之特質為:年齡分佈以20 歲到 30 歲人數最多、性別分佈 以女性較多、教育背景分佈以高中職畢業人數最多、工作所在地分佈北中南三區接 近而以東區最少、目前擔任工作角色分佈以幼教師與保育員人數最多、目前任職機 構分佈以托兒所最多、擔任現職年資分佈以一至三年最多。

對功能圖內容之同意度分兩個反應向度,在「工作的重要性」向度中,

同意度從96.2%到 80.4%。在「工作出現的頻率」向度中,同意度從 88.8%到 61.6%。對「工作的重要性」之同意度比「工作出現的頻率」之同意度,整體 較高,顯示受訪者認為幼兒保育專業應該做到的事項,但在實際經驗中所觀 察到的情形卻比理想低。

貳、「幼兒保育專業」效度分析之討論

一、效度分析結果的討論

(一)形成性效度分析

1. 對方法之分析結果顯示,無論是量化的評量或深度訪談均顯示功能分析 方法能被接受為一個有效的能力分析方法。

2. 對過程之分析結果顯示,參與本次功能分析會議之專家認為本次功能分 析在進行過程上可視為有效的能力分析。

(二)總結性效度分析

對功能圖內容之同意度分兩個反應向度,在「工作的重要性」向度中,

同意度從96.2%到 80.4%。在「工作出現的頻率」向度中,同意度從 88.8%到 61.6%。

整體而言,受訪者對本次功能分析所得到之「幼兒保育功能圖」中之能 力單元適用於職場的同意度全部超過80%,出現於目前工作中的同意度超過 60%。

二、效度分析所採用之方法的討論

(一)效度分析方法選擇

本案例依據多元化與消去法原則所採用之效度分析方法均能適用於「幼 兒保育專業功能分析」之效度分析。比較困難者為對能力分析方法之評量部 分,因為本案例所用之能力分析為功能分析,此種能力分析方法在國內尚屬 較新方式,要找到30 人以上對功能分析瞭解者給予評量相當不易,至於對功 能分析之專家深度訪談也頗費周章,理由同上,雖然深度訪談只需五位訪談 對象,但要找到五位有實際參與功能分析或擔任功能分析師經驗者也不容 易,這些都是事前規劃工作中應該注意之處。

一般而言,選擇能力分析方法時,多選擇分析師較熟悉的方法,大多情 形下,分析師對於此種方法相關資訊也有所了解,包括能尋找其他對此種方 法熟悉可作為訪談對象之人選,若缺乏這些相關資訊時,就要慎選能力分析 方法。

(二)精簡原則之考量

本研究所進行之「幼兒保育專業」功能圖的效度分析經參考綜合架構後 採取了幾種方法:在形成性效度分析採用了量表評量一次以及深度訪談兩 次,在總結性效度分析採用了問卷調查,原本的設計中問卷調查之後還包括 一次深度訪談,後來發現以研究者一人之力要進行三次共十五人深度訪談有 實際上困難,且在能力分析過程中,第一次功能圖產生後,已先請兩位幼兒 保育學者審查過,就將總結性效度分析中之專家深度訪談取消,改為在過程

分析中加入相關問題(訪談題綱中第一個問題)。

然而,即使做了上述步驟的修改,其餘工作仍然非常繁瑣,研究者在此 提出建議,在選擇效度分析方法時,必須衡度人力物力與財力,儘量以最有 效又最精簡的原則來設計,使用較多方法也許有相互印證的功效,但超過工 作負荷時也可能適得其反。事實上,第五章文獻中所探討之能力分析方法

(DACUM 以及功能分析)以及美國、澳洲等國家發展能力標準時所用之效 度分析方法也非常精簡,例如DACUM 建議只要從專家會議、郵寄問卷或是 訪談觀察三種方法中任選一種即可,而且問卷調查也只要求25 人以上即可

(Norton,1997);澳洲訓練套裝教材之形成性效度分析與國家認證過程合併,

總結性效度分析也很有彈性,只需要從訪談或觀察等方法中則一即可(ANTA, 2002)。

(三)分析方法結果之一致性

本次案例所選之效度分析方法得到之結果均有一致性之反應,所以研究 者做綜合性歸納時,較無衝突性解釋的問題,但也必須考慮此種可能性,如 果對能力分析結果之方用了問卷調查及焦點團體兩種效度分析方法,所得到 之結論卻差異甚多,究竟是否能接受此結果呢?DACUM 通常會將總結性效 度分析(有效性驗證)結果再交由原來能力分析參與者做討論與決定,也許 可作為對此問題的一種參考。

(四)時間因素

本次實際案例之效度分析,在第一部分能力分析資料係經由田振榮(民 92)同意引用田振榮之研究案我國技職教育體系建立能力標準建構之可行性 研究之部分研究成果。以這個替代性引用方法主要在於本研究主要目的並非 能力分析,研究者原本也屬於該研究案成員之一,且擔任該次功能分析之分 析師,最重要的也是本研究為一人研究案,以研究者個人之力要完成整個能 力分析及效度分析工作有諸多困難。然而,田振榮之研究案完成於民國92 底,本研究由於資料收集因素,至民國93 年四月才開始進行深度訪談,在對

過程之深度訪談工作上確實晚了些,幸好先前的能力分析會議有完整的紀錄 以及若干相片,因此可以在訪談時提供給受訪者參考,然而研究者在此也建 議,類此在能力分析後之訪談最好不要相隔超過一個月,而且適當的紀錄務 必存留,以補充受訪者之記憶不足。

(五)效度分析的程序

正如上面的討論,本案例是在能力分析活動以進行結束後才決定以 該次能力分析結果進行效度分析,雖然該次能力分析資料完整,對於後續的 效度分析工作頗有助益,但在形成性效度分析中進行「對方法之分析」時,

才發現幸而本次能力分析所使用的功能分析受到量化評量及深度訪談的認可 與接受,然而也引發了一個對效度分析程序上的新考量,也就是「對方法之 分析」應放在能力分析規劃階段,換句話說,若在最開始階段,預期選用之 方法若受到質疑(不論是量化評量或深度訪談或兩者兼具),就應該放棄該種 能力分析方法,另選他種方法。

此外,依據圖6-2 對效度分析程序之建議,最好將形成性效度分析完成 後,最起碼應得到形成性效度分析之初步報告後,再進行總結性效度分析。

然而依據圖7-2 之程序設計,本次效度分析在形成效度分析後,並未先獲得 效度分析初步成果報告後,再進行總結性效度分析,事實上,由於時間安排的限制,

必須利用各地區幼兒保育訓練班受訓期間取得問卷調查之樣本,因而總結性效度分 析幾乎是與形成性效度分析同時進行,然而,依據綜合架構原來之設計,若形成性 效度分析初步成果報告有疑問時,總結性效度分析應暫時擱置,至少也應待相關疑 問處理後再進行。

事實上,依據澳洲的訓練套裝教材(Training Package; ANTA,2002),總結 性效度分析是放在初步認證與最後認證之間的的覆閱階段,也就是在覆閱的 第一個階段必須將已完成的訓練套裝教材撰寫成完整的報告(詳參第四章第 三節),然後在覆閱的第二個階段依據第一階段的報告資料進行有效性驗證,

這個程序的設計也就是期望在初步認證過程可以將能力分析過程可能影響結

果有效性的因素先行分析確定後,才對結果進行有效性驗證。

本次對「幼兒保育專業」功能圖的效度分析受限於時間緊迫以及人力不 足,雖然形成性效度分析結果是可接受的,因而先進行總結性效度分析並未 產生明顯的不當影響,然而從方法的討論而言這不是一個正確的示範工作,

建議在未來的類似研究工作中仍應依據圖6-2 的程序進行。

三、分析師的討論

Admodt(1996)認為會議形式的工作分析方法有系統性的技術可資運 用,而分析師就是運用這些技術的關鍵人員。Carlisle(1986)認為分析師必

Admodt(1996)認為會議形式的工作分析方法有系統性的技術可資運 用,而分析師就是運用這些技術的關鍵人員。Carlisle(1986)認為分析師必

相關文件