第三章 研究設計與實施
第三節 德懷術問卷編製
本研究經文獻分析,務求結合實務經驗與理論研究,除檢閱國內外社 團評鑑實施情況及爬梳國內社團評鑑相關理論研究外,根據Stufflebeam 所 發展的CIPP 評鑑模式,包括「背景評鑑」(context evaluation)、「輸入評 鑑」(input evaluation)、「過程評鑑」(process evaluation)與「成果評鑑」
(product evaluation)四種評鑑類型,參考美國高等教育標準促進評議會
(CAS)於 2016 修正之「自我評量指引」(Self-Assessment Guide, SAG)其 中針對校園活動方案(Campus Activities Programs)所制定之 14 個自我評量 項目,以及國內外評鑑相關研究及評鑑指標,分為「背景」、「輸入」、「過 程」及「成果」4 種評鑑類型並擬定其操作性定義,編製成大學學生社團評 鑑指標共39 項。本指標必須依靠專家學者之意見,針對 4 種評鑑類型之操 作型定義及各項評量指標內容,就題意敘述之適切性提供建議,以完成德懷 術問卷之制定。再借重德懷術專家小組成員對指標內容提供意見,經過數次 重複問卷調查後,取得專家小組成員共識後,方能完成本研究欲建構之指 標。本節將分成三部分論述,首先進行德懷術問卷設計,其次進行問卷內容 效度分析,最後進行本節小結。
壹、德懷術問卷設計
一、評鑑類型之操作型定義及評量指標
本研究根據Stufflebeam 所發展的 CIPP 評鑑模式,參考美國高等教育 標準促進評議會(CAS)於 2016 修正之「自我評量指引」中關於校園活動
106
方案的14 個自我評量項目,以及國內外社團評鑑相關實務與研究,包括我 國全國大專校院社團評選活動之指標,經與指導教授討論後,編製成4 個評 鑑類型、共39 項大學學生社團評鑑指標。同時並協請專家小組成員,針對 4 種評鑑類型之總配分(不區別各項指標之配分)提供意見。有關評鑑類型 之操作型定義及指標之內容如表4-1-1:
107
表3-4-1
評鑑類型之操作型定義及評量指標
操作型定義 評量指標
背 景 評 鑑 ( Context Evaluation)
社團發展目標是否符合理論
輸入評鑑(Input Evaluation)
又稱為資源評鑑,其主要目
108 Evaluation)
主要目的在了解社團執行各
109
3-11 活動結束召開檢討會議,針對活動實施 之問卷回饋意見,提出往後規劃及改善建 議。
3-12 社團方案多元,且能針對不同學生群體 的興趣及需求,以促進學習發展的多樣性。
3-13 社團有辦理例行性社團專業課程(社 課)以進行社員培訓。
3-14 社團與大學人員與資源連結良好(如社 團之個人會員和整體社團定期溝通,參與校 園活動、相關的校園資源使用、與校友聯繫 等)
3-15 社團能與其他組織建立互惠的夥伴關 係,並支持成員和其他組織成員發展緊密的 社群關係。
3-16 社團具有系統性的計劃和步驟,以達到 社團之績效與責任及學生學習發展成果。
3-17 社團定期進行評量和評估,以確認其使 命及教育效果。
3-18 社團以質化和量化方法調查社團成員 與受其影響群體的意見,來確認任務、目標 及學生學習發展成果的達成度。
3-19 評估結果用於修改和改進計劃、確定方 向,以及認可社團成員的表現。
(續下頁)
110
成 果 評 鑑 ( Product Evaluation)
目 的 在 評 估 社 團 經 營 的 成 效,了解社團經營成果和預 期目標的差距,以做為解釋 與判斷各項社團方案應如何 修正,或是否該繼續執行的 依據。簡言之,成果評鑑旨在 了解社團整體經營的結果。
4-1 增進學生的課外核心能力(含溝通表 達、創新創作、團隊合作、終身學習、問題 解決、正向態度、人際關係、批判思考及國 際視野能力)。
4-2 協助提升高等教育的學習發展成果(含
「認知複雜性」、「知識獲取、整合與應用」、
「人道主義」、「公民參與」、「人際與個人內 在發展」及「實用與競爭力」)。
4-3 社團活動具有創意特色,能展現學校文 化或社團傳統。
4-4 參與或主辦校外、跨校或社區活動之績 效。
4-5 辦理服務學習、社會關懷或與教育政策 相關的活動之績效(如教育優先區中小學營 隊活動、帶動中小學社團發展、社區服務等)
資料來源:研究者整理
二、評量指標之引用來源說明
本研究經過文獻探討,爬梳國內外與社團評鑑相關之理論與實證,參 考國內全社評之評分標準表及各校現行評鑑指標,擬訂之大學學生社團評鑑 指標,並將各項指標之引用來源提供專家參考,茲說明如表3-4-2:
111
表3-4-2
提供專家參考之評量指標引用來源
指標類型 編號 指標內容 引用來源
背景評鑑
1-1 宗旨能符合專業標準,納入學習發展成果目標,
以增強社團參與者之整體教育經驗。
研究者修改自:
SAG/Mission/1.5:「社團在其成立宗旨中須納入學習 和發展成果目標。」
SAG/Mission/1.4:「社團宗旨符合專業標準。」
1-2 社團宗旨與學校辦學理念一致,並定期檢視。
研究者修改自:
SAG/Mission/1.2:「社團發展、傳遞並定期檢視其宗 旨。」
SAG/Mission/1.3;俄亥俄州立大學「組織自我評鑑」/
社群成功架構:「社團成立宗旨與學校之辦學理念一 致。」
(續下頁)
112
1-3
社團發展計畫(包含短中長程計畫、年度計畫、
行事曆)與社團宗旨有確實構連,並持續修正、
訂定年度活動計畫(含行事曆、活動名稱、參與 對象、活動時間、所需經費等)。
研究者修改自:
全社評「組織運作」;各校社團評鑑指標:
社團之社團發展計畫(包含短中長程計畫、年度計 畫、行事曆)與社團宗旨有確實構連並持續修正。
組織章程適時修訂並詳實紀錄(條文修訂前後之說 明、各次修正時間詳實記載於組織章程名稱下方)。 社團須訂定年度活動計畫(包含行事曆、活動名稱、
參與對象、活動時間、所需經費等)
社團須訂定訂定社團發展計畫(具有短、中或長程計 畫,內容包含目標、實施策略、具體項目、經費需求、
資源管道等)。
1-4 社團方案的目的是使社員成為負責任的倡導者和 公民,以積極促進社會變革。
研究者修改自:
SAG/Mission/1.1:「社團成立宗旨在於透過開發、接 觸和參與提高社員合作和領導能力的課程和活動,來 增強社員的整體教育體驗,同時使社員成為負責任的 倡導者和公民,並補充學院的學術課程。」
俄亥俄州立大學「組織自我評鑑」/社群成功架構:「社 團方案的目的是積極的促進社會變革。」
(續下頁)
113
輸入評鑑 2-1
組織章程明確、清楚(具有社團宗旨、社員大會 的召開與權責、幹部架構及職務、社員的權利義 務、會費的收退方式、選舉罷免等規範)。
全社評「組織運作」;各校社團評鑑指標。
2-2 有社員招募、培訓與評估的程序規範,使社團有 足夠人力完成任務目標。
研究者修改自:
SAG/Human Resources/4.1:「社團有足夠且具資格完 成任務和目標的人員。」
SAG/Human Resources/4.8.4:「擁有清晰準確的職位 描述,職前培訓和持續的社員發展。」
SAG/Human Resources/4.10.3:「擁有培訓和資源,以 支持指定社團幹部和成員的職責。」
2-3 社團人事資料(社員、幹部及指導老師)完備並 確實辦理幹部訓練。
研究者修改自:
SAG/Program/2.13.5:「社團實施培訓,發展和教育機 會。」
全社評「組織運作」;各校社團評鑑指標:「社團之幹 部、社員及指導老師資料完備,並辦理幹部訓練。」
2-4 社團針對弱勢學生有制定相關補助或減免措施。 SAG/Equity and Access
(續下頁)
114
2-5
社團針對具有法律影響的社團相關措施或方案,
制定了清楚的規範(如簽訂場地、車輛租賃契約 等)。
SAG/Legal Responsibility/6.2
2-6 社團訂有財務管理制度及相關辦法。 全社評「資源管理」;各校社團評鑑指標。
2-7 社團訂有產物保管制度及相關辦法。 全社評「資源管理」;各校社團評鑑指標。
2-8 社團有聘任與社團專業背景相關或具輔導經驗之 指輔導老師或顧問。
研究者修改自:
SAG/Human Resources;私校學輔經費實施要點/附件 六之四 學輔相關人力一覽表。
2-9 社團有足夠的設施和設備,並編列定期維護費 用,以支持其使命和目標。
研究者修改自:
SAG/Facilities and Equipment/13.1:「社團擁有足夠的 設施和設備來支持其使命和目標。」
SAG/Facilities and Equipment/13.2:「社團有編列定期 維護設備相關的費用。」
(續下頁)
115
2-10 社團之空間符合法律規定(如消防設施、逃生通 道、通風等)且能支持其活動和責任。
研究者修改自:
SAG/Facilities and Equipment/13.3.2:「社團之空間有 符合法律相關要求(如消防設施、逃生通道、通風 等),以確保使用者之使用便利、健康及安全。」
SAG/Facilities and Equipment/13.4.2:「社團擁有設備 齊全,規模適中的工作空間,以支持他們的社團活動 和責任。」
2-11 社團有足夠資金以完成使命及目標,且有明確和 公平的資金收集和分配方法。
研究者修改自:
SAG/Financial Resources/11.1:「社團有足夠之資金來 完成其使命及目標(如年度經費編列狀況、來源及所 欲辦理之方案項目)」
SAG/Financial Resources/11.4:「社團建立,收集和分 配學生和社團經費的方法是明確和公平的。」
(續下頁)
116
過程評鑑
3-1 社團依規定召開各項會議並確實製作會議記錄存
查。 全社評「組織運作」;各校社團評鑑指標。
3-2 社團檔案保存數位化及注意資訊安全與保存狀 況。
研究者編修改自:
全社評「組織運作」;各校社團評鑑指標:「各項會議 或活動記錄採取數位化紀錄與傳承。」「社團推動檔 案資料數位化」
SAG/Technology/12.3:「社團能解決相關資料之安全 性及備份問題。」
3-3 能妥善運用網路科技例如社群平台及數位軟體
(如Line)互動,並確保內容準確與及時性等。
研究者修改自:
SAG/Organization and Management/9.4;全社評「資源 管理」:「社團有對所屬網頁進行監控以確保內容之準 確性、資料更新程度及正常運作。」「社團有利用社 群網頁(軟體)互動。」
3-4 清楚紀錄各項經費來源、使用原則及運作情形。 全社評「資源管理」;各校社團評鑑指標。
3-5 將社團經費的非私人專戶,簿冊與印章由專人分
別保管,並定期公告收支概況。 全社評「資源管理」;各校社團評鑑指標。
(續下頁)
117
3-6
將年度經費收支情形詳載於於帳冊、且社團活動 項目及年度總預決算表、核銷憑證蓋有稽核印
將年度經費收支情形詳載於於帳冊、且社團活動 項目及年度總預決算表、核銷憑證蓋有稽核印