• 沒有找到結果。

模糊德懷術專家審題結果之分析

第四章 研究結果與討論

第一節 模糊德懷術專家審題結果之分析

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y 第四章 研究結果與討論

本章依據文獻探討初擬教育 學門系所評鑑指標體系,進 行評鑑指標的確認。本 章共分三節,第一節透過專 家審題分析,進行教育學門 系所評鑑指標架構的審題作 業;第二節說明模糊德懷術 實施結果分析和討論,亦即 選取罕見夠教育學門系所評 鑑可用的評鑑指標;第三章為指 標相對權重調查結果之分析,瞭 解各指標的重要性。

第一節 模糊德懷術專家審題結果之分析

初擬之教育學門系所評鑑指標均由國 內外文獻整理而來,其指標體系共計 7 個 向度、17 個次向度和 88 個評鑑指標,指標項目恐顯繁多且內容或許無法呈現現行 運作的實際情況。故第一階 段的問卷著重在專家審題部 分,藉由量化分析和質化審 題等方法,協助篩選和修改 指標項目,以求適用於現行 教育學門系所評鑑之所需。

以下先就量化分析和質化審 題方法予以說明,再依指標 向度逐項分析量化結果與修 正後資料。

為求評鑑指標的嚴謹性和完 整性,此次專家審題調查的 分析可分為量化統計分 析和質化專家審題建議兩部分。在量化統計部分,分為採用程度和重要程度的分析。

採用程度乃請專家諮詢小組 針對調查問卷中的向度和指 標勾選採用程度,選項包括

「刪除」、「修改」和「採用」;如指 標在「修 改 」和「採 用 」之 百 分 比 加 總 高 於 80%,

則顯示指標具保留價值。

重要程度分析則是請專家諮 詢小組勾選評鑑指標的重要 性,重要程度以七點量 表作答,數值愈大表重要程度愈高,故「7」表非常重要,「1」則為非常不重要。除 了透過平均數、標準差和眾 數的呈現,個別分析各指標 的重要程度外,最後尚將上 述結果予以分級和加總,以 瞭解諮詢小組對於指標重要 程度的整體認定結果,各項 分級評分如表 4-1 所示。指標的平均數高表重要程度高,標準差低表專家共識高,

眾數則顯示多數專家對於該 指標重要程度的認定,若指 標內容的重要程度高或專家 共識高,則評分等級越高,反之亦然。

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

表 4-1

各項指標重要性程度等級評分對照表

等級評分 平均數(M) 標準差(SD) 眾數(Mo) 3 M 6≧ SD 0.5≦ Mo=7 2 6>M 5≧ 0.5<SD 1≦ Mo=6 1 5>M 4≧ 1<SD 1.5≦ Mo=5 0 M<4 SD>1.5 Mo<5

再將上述分級結果予以加總,成為指 標重要程度的綜合評分(最高為 9、最低 為 0),以作為指標初步篩選的考量。根據上述指標重要性程度的評比分析,本評鑑 指標的綜合評分結果如表 4-2。此表顯示綜合評分以 8 分為多,6 分居次,而評分為 7 以上的指標達半數以上,顯示本研究的指標多屬重要程度高且專家共識值高。雖 無綜合評分為 0 分的指標,但有 3 個指標加總為 3 分,表指標的重要程度不高或專 家意見紛歧,恐需針對該指標的量化分析和質性意見,考量有無刪除或合併的必要。

表 4-2

各項指標綜合評分結果統計表 綜合評分 個數 百分比

3 3 3.41 4 5 5.68 5 13 14.77 6 17 19.32 7 13 14.77 8 35 39.77 9 2 2.27

有關質化審題部分,即是藉 由專家諮詢小組的專業,針 對各項評鑑指標提供各 項質性修改意見,作為 指標用語修改的參考。

壹、「行政管理」向度

觀察行政管理向度各項次向度和 評鑑指標的調查結果如表 4-3 所示。在採用程 度部分,檢視「採用」與「修改」的百分比加總結果,除「1-1-4 教育理念」僅 68.75%,

其餘達 80%的採用門檻,因此,本向度的指標大多得以保留,唯「1-1-4 教育理念」

宜列入刪除考量。至於重要 程度的平均值,除「1-2-6 服務價值」為 4.93,其餘在 5.60~6.73 之間,換算成百分等級在 80~96 之間,表指標的重要程度達 80%以上;

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

表 4-3 (續)

指標名稱 採用程度 重要程度

評鑑指標 刪除 修改 採用 M 等 級

SD 等 級

Mo 等 級

綜 合 1-5

人 員 服 務

1-5-1 作業 流程

3(18.75) 13(81.25) 6.00 3 1.07 1 6 2 6 1-5-2 服務

態度

1(6.25) 15(93.75) 6.33 3 0.82 2 7 3 8 1-5-3 行政

專業

1(6.25) 3(18.75) 12(75.00) 6.00 3 1.65 0 7 3 6 1-5-4 網頁

資源

1(6.25) 15(93.75) 6.40 3 0.74 2 7 3 8 1-5-5 服務

成長

1(6.25) 15(93.75) 5.73 2 1.03 1 6 2 5 1-5-6 服務

考核

1(6.25) 15(93.75) 5.73 2 1.10 1 6 2 5

綜合上述量化結果的探討, 可見大部分的指標多值得採 用,且重要程度也高,

雖然部分指標的專家意見較 為分歧,但是指標的綜合評 分結果顯示多可予以保留,

唯「1-1-4 教育理念」和「1-2-6 服務價值」兩指標建議予以刪除。

專家對於「行政管理」向度內各 項次 向 度 和 評 鑑 指 標 的 質 性 意 見,表 列 如 4-4。

綜合專家提供的修正意見和上述 量化分析結果,決定刪除「1-1-4 教育理念」和「1-2-6 服務價值」兩指標,其餘則 針對專家建議進行語意修改 ,使指標內容更為明確。

偏低外,其餘介於 5.80~6.47,相當於百分等級的 83~96;標準差介於 0.64~1.40,

專家意見較行政管理向 度集中;而眾數除了「2-1-6 情境布置」為 5 外,其餘為 6

看法較為分歧(標準差 1.47~1.59),顯示此部分的指標內容或架構可予以調整或修 改。檢視各指標的綜合評分,七成以上的指標評分達 6 以上,更有指標為 9 分滿分,

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

表 4-8(續)

原指標內容 修正後內容 修正意見

3-2-2【教學意見】

教師依學生意見,改進教 學與提升品質

3-2-3【多元發展】

開設多元化課程滿足學 生選擇需求

3-1-7【多元發展】

開設多元化課程學生滿 足選擇需求

調整至 3-1-7 並修飾文 字,符合課程設計內涵 3-2-4【專業課程】

專業課程開設滿足學生 未來發展需求

3-1-8【專業課程】

開設 專業課程滿足學生 未來發展需求

調整至 3-1-8 並修飾文 字,符合課程設計內涵

肆、「教師教學」向度

表 4-9 為教師教學向度中次向度和評鑑指標的調查結果。就採用程度而言,除

「4-2-6 優質教學」的刪除意見較高(31.25%),其餘指標均達採用標準(即「修改」

和「採用」的百分比加總高於 80%)。再觀察重要程度的分析內容,除了「4-2-5 教 學獎勵」(5.13)和「4-2-6 優質教學」(4.60)偏低外,其餘指標的平均值介於 5.87~6.67,相當於百分等級的 84~95,重要程度達 80%以上;至於標準差方面,以

「4-2-5 教學獎勵」(2.26)和「4-2-6 優質教學」(2.10)的標準差過高外,其餘指標 介於 0.49~0.92;而眾數部分,皆為 6 或 7,相當於非常重要的程度。各指標的綜 合評分多介於 6~9,唯「4-2-6 優質教學」為 3,評分最低。

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

表 4-12(續)

原指標內容 修正後內容 修正意見

5-2-6【導師制度】

實施導師制和師生晤談 時間

5-2-7【特殊輔導】

提供外籍生和特殊學生 輔導協助機制

5-2-7【特殊輔導】

提供外籍生和特殊學生 的輔導協助機制

5-2-8【學習檢核】

建立學生學習產出檢核 機制

新增

陸、「專業表現」向度

綜覽專業表現向度、次向度 和評鑑指標的調查結果如表 4-13 所示。以「採用」

和「修改」的百分比加 總為採用依據,所有指標皆達 80%的採用門檻,指標皆可保 留;但「6-2-4 能力檢定」的建議修改比率為 25%,較其他指標為高,顯示該指標內 容應予調整。另在重要程度部分,以「6-2-3 競賽表現」和「6-2-4 能力檢定」的平 均值最低(皆為 5.47),其餘介於 5.60~6.47,相當於百分等級的 80~96;標準差則 介於 0.74~1.58,其中以「6-1-5 學生指導」意見最為分歧;眾數在 5~7 之間。從各 指標的綜合評分多介於 5~8,但「6-1-5 學生指導」評分較低,顯見評分者對此項指 標的重要性評定較不一致。

其餘指標的平均值介於 5.93~6.53,相當於百分等級的 85~93,重要程度達 80%以上;

至於標準差方面,則以「7-2-6 教育口碑」(2.05)和「7-1-4 學以致用」(1.55)標準 差過高外,其餘指標介於 0.49~1.06;而眾數部分,多為 6 或 7,相當於非常重要

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

表 4-16(續)

原指標內容 修正後內容 修正意見

7-2-3【教師評價】

系所教師對系所發展評 價

7-2-3【教師評價】

建立 系所教師對系所發 展的評價機制

7-2-4【雇主評價】

雇主對系所聲譽評價

7-2-4【雇主評價】

建立 雇主對系所聲譽的 評價機制

7-2-5【招生情形】

系所招生政策與考生就 讀情形

7-2-5【招生政策】

擬定 系所招生政策以增 進學生就讀意願

釐清題意

7-2-6【教育口碑】

系所人員具教育熱忱與 教育楷模口碑

刪除 本項的內容較為抽象、模

捌、小結

綜合文獻探討原訂 7 個向度、17 個次向度和 88 個評鑑指標,為此次專家審題 內容。由專家填答情形發現 ,除了少數評鑑指標外,大 部分的指標達採用標準,且 平均數多為 5.6 以上,即指標的重要性在 80%以上,顯示出諮詢小組對本評鑑指標 多表認同。

此次指標的修訂乃根據專家 填答結果,進行量化分析和 質性意見彙整,除了刪 除綜合評分為 3 的指標,即重要性偏低且專家歧見大的指標外,也根據專家建議新 增學習檢核指標、調整部分 評鑑指標的順序、潤飾題項 文字,使指標的層次更具系 統,題意也更加明確精鍊。 經審題結果分析,刪除「1-1-4 教育理念」、「1-2-6 服務 價值」、「4-2-6 優質教學」、「7-1-4 學以致用」、「7-2-6 教育口碑」,另將「4-2-5 教學 獎勵」併入「4-1-3 教學評鑑」、「5-1-3 培養能力」併入「5-1-4 考核能力」,再新增

「5-2-8 學習檢核」,共訂定 7 個向度、17 個次向度和 82 個評鑑指標。

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y