• 1. 蒐集學生作品。
• 2. 將學生作品分為不同程度的數組(如:
高、中、低三組),並分析各組的表現特 質。
• 3. 對表現特質進行層面的分類,並寫下分 類的原因。注意層面應涵蓋所有特質。此 階段的目的在建立教師與學生共通的語言,
學生透過參與,能對規準及成功的標準有 更深一層的瞭解。
• 4. 以清楚明確的語言界定層面。
• 5. 列出每一層面不同等級行為表現的描述 語,根據各程度的描述語,編製檢核表或 等級評量表。
• 6. 選取各個層面不同等級具有代表性的樣 本作品。
• 7. 修訂與改進。試用訂定的標準,若無法 有效描述不同程度的表現,可在過程中不 斷修訂與改進。
視覺藝術教學評量效度的建立 一. 效度的概念
• 效度(validity)就是測驗結果或分數的有效程 度,也就是測驗能夠提供正確的資料,以 做適切解釋及決定的程度。
視覺藝術教學評量效度的建立
• 評量工具本身不涉及效度的問題,我們無 法說某個評量工具是有效或是無效的,只 有當我們根據評量的用途,賦予分數意義、
解釋或推論分數所代表的意義、根據分數 做決定或採取行動時,才涉及到效度的問 題。
視覺藝術教學評量效度的建立
• 信度(reliability),指的是測量結果的一致性、
可靠性或可複製性,評量結果或分數要具 效度,它必須具相當程度的一致性。
視覺藝術教學評量效度的建立 二. 效度的確認
• 內容面向
• 實質面向
• 結構面向
• 類推面向
• 外在面向
• 後果面向
Messick (1994, 1995)
• 內容面向
• 內容(content),指的是評量內容的關聯性與 代表性,意即評量內容與欲測構念具關聯 性,且是欲測構念的代表性樣本。內容面 向涵蓋三個部份:(1)標的行為(構念)
領域的界定,(2)代表性樣本(測驗或作 業)的編製,(3)檢視欲測構念與測驗間 的關係。
• 評量標的行為的界定最常見的是以細目表
(或雙向細目表)的方式呈現,並以此做 為評量試題編撰的藍圖。
• 待評量編製初步完成後,則可藉由專家評 斷及實徵分析(如:「試題與目標一致性 指標」)等途徑,分析細目表與評量試題 之間的關聯,並判斷內容的關聯性與代表 性。
• 實質面向
• 實質(substantial),指的是評量所測的歷程 (processes)是否與欲測構念之歷程一致。
藝術與人文領域的評量相當重視認知與實 作的歷程,譬如:探索、藝術評論、藝術 創作、美學省思、問題解決、評鑑、示範 等行為。
• 評量的實質面向涉及:
• (1)評量作業是否測到認知或實作的實質 歷程?
• (2)此歷程與欲測構念領域的歷程是否一 致?
• (3)學生在作答時是否確實從事這樣的歷 程?
• (4)計分準則是否也反映同樣的歷程?
• 結構面向
• 結構(structural)指的是評量或測驗的內在結 構須符合欲測構念的內在結構,亦即試題 間或分測驗間的關係必須反映理論構念的 結構。
• 在實作評量中,計分方法的結構,亦即 計分準則及計分程序也必須反映所測構念 的內在結構(Miller & Linn, 2000)。
• 計分準則除了能清楚的反映欲測的特質外,
也要能有效鑑別在特質上不同程度的表現。
• 計分程序也是影響分數推論正確性的要素 之一。評分者必須忠實的依據計分準則進 行一致且可靠的評分。
• 為避免發生評分者受個人偏見、月暈效應、
使用邏輯錯誤的指標等情形,我們應在評 分之前對評分者進行訓練,提供評分範本 與計分練習,使其熟悉計分準則的內容及 計分的程序,以確保評分結果能達到一定 程度的一致性。
• 此外,也應採用不只一位的評分者,以提 高評分結果的一致性。
• 類推面向
• 類推(generalizability)指的是我們能否根據 學生在特定評量上的表現,一致且可靠的 類推他們在其他情況下(譬如:不同時間、
不同題目、不同評分者等)的表現。
• 影響評量結果的一致性因素:
• 時間、題本、評分者及題目(含內容、形 式、用語、難度、題數…等)
• 評量的實施程序(含施測說明、施測者用 語、施測者與受試者關係…等)
• 情境(含室溫、光線、安靜、使用器材…
等)
• 計分程序(含計分準則、標準、紀錄…等)
• 受試者本身狀況(含動機、情緒、焦慮、
疲憊、應考經驗…等)
• 在實施程序、情境與計分程序上可藉由適 度的標準化,提高評量結果一致性的程度。
• 要避免因過度的標準化而剝奪了學生在實 作評量中展現其完整能力的機會(或甚至 因此而改變了欲測的能力)。
• 如何在標準化與開放之間取得平衡,就有 賴教師的妥善處理。
• 外在面向
• 外在(external)指的是評量分數與外在變項 間的關係是否能與構念所預期的關係一致,
這些外在變項可以是測驗想要預測的效標。
• 聚斂與區辨憑證的立論基礎:測驗應與測 相同構念的測量有較高的相關,與測不同 構念的測量有較低的相關。
• 譬如:以筆試及操作兩種方式測得藝術評 論能力之相關,應該高過以筆試測藝術評 論能力及以紙筆測藝術創作技巧兩者間的 相關程度
• 效標關聯憑證探討的是測驗分數在預測效 標的表現上是否準確。
• 譬如:以美術性向測驗的成績預測學生在 大學的美術實作表現,此時,高中美術性 向測驗的成績是預測變項,大學的美術表 現是我們感興趣的行為特質。
• 我們可以選擇大學的美術成績做為效標,
並求得預測變項與效標變項間的相關,若 相關愈高則表示性向測驗的預測力愈高。
• 後果面向
• 後果(consequential)指的是測驗的使用是否 造成一些預期(intended)的正面後果,及未 造成一些非預期(unintended)的負面後果。
• 效度確認的根本目的是對評量的目的是否 達到提出憑證。
• 從實作評量的角度言,它之所以受到重視,
很重要的一個原因是社會大眾對它賦予厚 望,希望藉此能對教學及學習帶來一些正 向的影響,譬如:改進教師的教學、提昇 學生的學習動機、鼓勵歷程與結果並重的 學習、培養學生自主學習的習慣等。
• 除此之外,我們還須提出憑證,支持評量 結果未受一些與所測特質無關之因素(如:
試題的形式與用語、計分與實施程序、獲 取資源的機會、學習機會、父母參與、動 機與能力、性別、族群、社經地位等)的 影響,
• 而造成一些負向或非預期的後果,導致分 數在解釋及測驗結果在使用上對部份次群 體產生偏差或不公平的現象。
• 效度是「評量是否達到了目的」,達到了 目的的評量,它的分數才具有意義,根據 有意義的分數所做的解釋、推論、回饋及 決定才會正確且適當。
• 高品質評量體系的建立,同時也是效度的 建立,從評量的目的與用途開始,跟著界 定評量的標的領域及行為,再根據評量欲 測的內容及標的行為,以系統化的方式
(譬如:雙向細目表、狀聲思考等)編製 具代表性且能反映構念歷程的評量試題或 作業。
• 在實施過程中,儘可能的控制一些與所測 特質無關的因素,使其影響力降至最低,
或將實施過程在不影響所測能力的前提下,
適度的標準化。
• 最後,編製能反映所測能力的計分準則,
根據準則進行一致化的評分,並根據準則 提供明確的回饋訊息。
• 在完成這個歷程後,尚需思考評量是否達 到了正向的預期目的(不論是短期或長 期),以及未造成一些非預期且負向的後 果。
視覺藝術課程設計的實例
建築之美 高中美術 / 二年級 四節200分鐘
• 教學目標:
• 1. 認識人與建築的關係。
• 2. 探索影響建築的主要因素。
• 3. 欣賞中外建築藝術之美。
• 4. 理解綠建築的意義與指標。
• 5. 具體說明居住環境如何落實綠建築的理 念 。
視覺藝術課程設計的實例
• 教學評量:
30%
個人學習單
(綠建築)
個人書面報告 40%
(建築之美)
小組報告 30%
(建築之美)
評量百分比 評量項目
• 建築之美 年 班 姓名
• 一、描述
• 建築物名稱:
• 建築師:
• 建置地點:
• 二、形式分析
• 建築物所選用的色彩:
• 建築物所選用的材料:
• 建築物表現了哪些美的原理?
• 建築物表現的風格:
• 三、解釋
• 建築師在設計本作品時,是否受到當時政治、經 濟、社會思潮或其他因素的影響?
• 四、你個人對本作品的評價(可參考專家學者的看 法,但請註明出處)
號
綠建築 學習評量 年 班 號 姓名
• 一、你知道「綠建築」?
1.知道 2.不知道
• 二、你知道綠建築標章?
1.知道 2.不知道
• 三、綠建築標章評鑑的項目有哪些?
• 四、台灣目前有哪些著名的綠建築?
• 五、日常生活中有哪些符合永續發展觀念的具體 可行方法?
• 六、運用綠建築觀念設計自家生活環境。
「建築之美」分組口頭報告評量規準:計100分
全組能分工合 作,針對探究 主題進行討論,
並能製作投影 片進行口頭報 告
大部分
合作,針對探 究主題進行討 論,並能製作 投影片進行口 頭報告
大致能分工合 作,針對探究 主題進行討論,
並能製作投影 片進行口頭報 告
能分工 僅有少數組
員,針對探 究主題進行 討論,並能 簡單口頭報 告
能針對探究 的主題,分 工合作,完 成目標
能具體及詳實 說明,並有獨 特的見解
能具體說明 有部分並簡略
說明 僅能憑個人
主觀看法做 少許說明 能說明影響
建築的各項 因素
能具體且詳實 描述,並附圖 說明
能具體描述,
並附有影像圖 片
有部分並簡略 描述,並附有 影像圖片
僅有少許描 寫,未能附 上影像圖片 能了解建築
藝術之特質
能從網路或書 面資料中,擷 取充分材料 能從網路或書
面資料中,擷 取頗多材料 能從網路或書
面資料中,擷 取部分材料 僅能從網路
或書面資料 中,擷取少 許材料
資料蒐集
優 得分
24-25 良
21-23 可
16-20 待改進
評分項目 15以下
「建築之美」書面報告評量規準:計100分
能具體評價,言 之有物,並有個 人獨特的看法 能具體評價,
且言之有物 能大略評價
僅約略評價 能評價建築
藝術
能具體且詳實說 明建築與人、社 會、環境、空間 的關係,且有個 人獨特的見解 能具體說明建
築與人、社會、
環境、空間的 關係
大略說明
與人、社會、
環境、空間的 關係
建 建築
僅少許說明
築與人、社會、
環境、空間的 關係
能闡釋建築 藝術與人、
社會、環境、
空間的關係
能具體詳實說明 形式與風格,並 有個人獨到的見 解
能具體說明形 式風格
僅 式 僅有少許說明,
無法判斷其形 式風格
部分說明形 能分析建築 與風格
藝術之形式 與風格
能具體詳實描述 並附圖說明
能具體描述,
並附有影像圖 片
有部分描述,
並附有影像圖 片
僅有少許描寫,
沒有附上影像 圖片
能描述建築 藝術之特質
能從網路或書面 資料中,擷取充 分材料
能從網路或書 面資料中,擷 取頗多材料 能從網路或書
面資料中,擷 取部分材料 僅能從網路或
書面資料中,
擷取少許材料 資料蒐集
優 得分
19-20 良
16-18 可
11-15 待改進
評分項目 10以下