• 沒有找到結果。

本研究參考相關文獻後建構出效度分析綜合架構,以此架構為基礎進行

「幼兒保育專業」為實例之能力分析與效度分析,在本節中則依據實例分析 結果進行對效度分析綜合架構的討論。

壹、效度分析綜合架構之可行性

在實施能力分析時,效度分析是不可缺少的環節。任何一種被公開發展 並推廣的能力分析方法,其方法本身必然具有可被接受的效度,然而源於能 力分析過程相當複雜,具有關鍵影響的事項甚多,因而每一次實施能力分析 時,都有必要探討其效度,對結果以及執行過程做討論與分析應可減少應用 時的風險。

有關能力分析之效度分析,在許多能力分析方法之指導手冊中都有建 議,但是不同的能力分析觀點也不同。在不同的國家實施能力分析時也都對 效度分析有所規範。但在目前國內有關能力分析或能力標準之研究中,多數 都未曾做效度之相關分析探討,事實上目前需要共同的規範參考,本研究所 建構之效度分析綜合架構可以作為一個有用的參考資料。但本研究所提出之 效度分析綜合架構僅為一假設性架構,在經由以「幼兒保育專業」為實例之 能力分析與效度分析後,依據實例分析結果進行對效度分析綜合架構可行性 提出討論。

一、效度分析綜合架構有合理之理論依據

綜合架構的理論基礎源自於兩方面:功能分析學者Mansfield(1996)所 提出之能力標準之評估觀點以及研究方法學者Neuman(1997 )對評估研究 之解釋的觀點,由此可知,綜合架構所依據之理論基礎既符合評估研究的概 念又符合能力標準的概念,用於效度分析具有可行性。

二、綜合架構可提供多元化效度分析方法的參考建議

效度分析綜合架構是以多元化原則來建構的,參考文獻包括了各種能力 分析方法之效度分析方法,除了作為理論基礎之功能分析的評估觀點外,也 參考了在我國使用普及有具體說明的DACUM 指導手冊;此外,參考文獻還 包括了在能力標準發展較有系統之國家如澳洲、美國,以及國際組織如歐盟 歐洲基金會等在效度分析的作法,蒐集的資料相當豐富。本次「幼兒保育專 業」為實例之效度分析,即從綜合架構中選取了量表評量、深度訪談及問卷

調查等方法進行分析,實施過程也證明具有可行性。

三、效度分析綜合架構具有系統性的程序性考量

效度分析綜合架構另一個建構原則是程序性原則,能夠考量形成性效度 分析與總結性效度分析進行過程中不同步驟的配合,也考慮了程序造成資料 與數據蒐集技術的差異,本次「幼兒保育專業」實例受到人力及時間因素影 響,未能完全參考此程序規範,但在檢討中有提出「程序原則必須性」的說 明。

貳、效度分析綜合架構之修訂

本研究所提出之綜合架構僅為初步研究成果,已有進行實際案例,並且 從此案例之嘗試中,在邏輯上可接受此綜合架構之參考價值,但為擴大其應 用效能,仍需要從不同專業、不同能力分析之經驗中持續給予修定檢驗,俾 使此綜合架構更完整有價值。有關效度分析綜合架構之修訂在說明如下。

一、未來應進行各種不同專業之實例來充實綜合架構之內涵

本研究綜合架構所提供之方法雖有說明,但終究是假設性的建議,在實 際操作後,可能發現運用策略的差異,例如能力分析屬於資訊相關專業與本 研究之幼保專業相比時,前者以網路問卷調查來進行總結性分析最經濟實 惠,相較之下,本研究在問卷調查取樣過程就非常費力,若能進行各種不同 專業之實例,必然能獲得更多元之資料充實綜合架構內涵;

二、宜廣泛蒐集各種能力分析之效度檢驗方法增加綜合架構之參考價值 在各種能力分析方法中,也許還可以找出適用於其他能力分析方法或適 用於所有能力分析方法之效度分析策略,可以使綜合架構具有更多元的參考 價值。此項對效度分析綜合架構修訂檢驗需要展開更多的研究工作持續進行。

參、效度分析綜合架構之推廣

依據本研究案例結果,未來在進行能力分析工作時,有關如何運用綜合 架構進行效度分析,可提出下列建議。

一、效度分析應屬於能力分析規劃工作之必要步驟

在能力分析之規劃工作中必須將效度分析列為必要之步驟,如 DACUM

(Norton,1997)就在其指導手冊中明確的定出「職責 G:成果驗證」,另外也 在職責B、C、D、E 中對過程之效度有所規範。至於在功能分析,雖然不是 以效度這個名詞,卻明確的要求進行分析工作必須包括形成性及總結性兩種 評價工作。澳洲的訓練套裝教材(ANTA,2002)與美國的 NSSB(2000)也 都具體要求能力分析整體工作項下一定要包括效度分析,目前只有我國能力 標發展之工作並未有特定規範。

為精確掌控計畫進行,並避免發生事後尋找參與者訪問的困難以及訪談 工作的延誤,本研究建議能力分析規劃工作之初可參考效度分析綜合架構,

選擇適當之方法列為必須進行之工作步驟,若需要訪問參與會議者對會議過 程的意見,也可以在初次邀請時就一併說明邀請。

二、能力分析規劃案應視經費與時間狀況選擇適用的效度分析方法

除了在能力分析規畫初始就要把效度分析列為工作步驟外,如何選擇合 適的效度分析方法也是規劃工作的重點,以下幾點可作為選擇方法之參考:

1. 對能力分析方法之評量要找到對該方法瞭解之足夠的評量人數(統計上一 般要求至少30 人),因此無法達到此條件時,盡量不要採用量表評量,可 改用訪談或專家會議。

2. 對能力分析方法採用專家深度訪談也要找到數位有實際參與該種能力分 析或擔任功能分析師經驗者,無法達到此條件時,就要考慮改用較為普及 的能力分析方法。

3. 依據精簡原則,必須考量人力物力與財力,儘量以最有效又最精簡的原則

來設計效度分析方法,畢竟在效度分析以後,還有許多後續工作要進行。

三、效度分析工作應以小組方式進行

本研究所進行之案例效度分析工作由研究者個人規劃及執行,在執行過 程中得到許多前輩與學界師友支持,才能完成,但仍然有許多力不能及之處。

例如總結性效度分析中所進行的問卷調查工作,因所設定的範圍是全國,所 以分北中南東四區抽樣,因研究者在幼兒保育領域探討有十年以上,認識許 多該領域之專家學者,本次研究工作也向許多先進朋友請託協助完成抽樣施 測,可謂支持系統相當完整。然而抽樣過程卻出了許多狀況,例如,其中一 個地區由於原先預定抽樣的活動(幼保人員訓練班,有來自該 區各幼兒保育 機構之人員,相當具有代表性)停辦,以致整個進度受影響。

在DACUM(Norton,1997)的對結果有效性驗證工作(總結性效度分析)

是由一個驗證小組執行的,而且初步驗證資料回來後,原先的DACUM 委員 還會協助做進一步的分析與修改;又如前文曾提及的俄亥俄州立Columbus 社區學院為課程所發展的DACUM,其有效性驗證工作是由學校老師負責(發 展DACUM 也是學校老師,但是另一批老師,不會重疊),但另有一個由相 關產業代表組成的有效性驗證委員會,每個月開一次會,這個委員會就是協 助學校再次確認老師門所做的有效性驗證工作。

另外,討論到形成性效度分析時,本次有關效度分析工作包括有兩個專 家深度訪談,雖然只是各訪問五位專家,但由研究者一人訪問,在時間調配 上相當不易,訪談結果由研究者一人整理,也可能較主觀。在澳洲的訓練套 裝教材(ANTA,2002),其嚴謹的認證過程被視為形成性效度分析,而這個認 證工作是由許多地區性以及全國性機構共同執行的,經由這樣嚴謹有系統的 過程所得到之資料作為對形成性效度參考當然較具有客觀性。

為舉例說明將實際案例作為初步研究資料,然而也顯示在整個能力分析 規劃工作中應將效度分析列為正式步驟,並由一組人員負責,才能有效執行。

相關文件