第二章 文獻探討
第三節 電腦化評量應用於合作問題解決之相關範例與研究
郭伯臣(2015)指出目前國際上常見合作問題解決能力評量方式有二種，一是 以受試者與受試者合作進行問題解決，此方式的評量以澳洲墨爾本大學的 The Assessment and Teaching of 21st-Century Skills (ATC21S)計畫最為著稱。另一種方 式是以受試者與電腦代理人(agent) 合作進行問題解決，此方式為 PISA 2015 Collaborative Problem Solving Assessment 所採用。所以本研究針對 PISA、ATC21S 與有關合作問題解決能力電腦化評量的相關文獻進行探討。
壹、PISA2015 合作問題解決範例
根據 PISA 2015 CPS 的草稿架構，為了降低真人對話中的情緒與人格特質誤 差以得到更精確的能力值，測驗方式採用選項式對話人機互動的電腦化測驗。列 舉兩個 CPS 單元可當作初步的範例，且已測試過一小群學生，試題確認可以檢核 出想要測驗的技能。
由表 2-2｢水族箱｣範例說明，此單元是以一對一合作關係中對等的角色設計，
以合作導向的代理人來與受試者互動，而圖 2-3 PISA ｢水族館｣範例的介面正在 進行｢檢核及修正相互的理解｣的過程。受試者必須提出如何進行下一步的方法，
例如讓我們改變這個變數，若受試者沒有提出想法，艾比可以提示或建議自己的 想法。而測驗中會有一些情況，電腦代理人誤解結果，並且建議錯誤的解決策略，
只要受試者能修正錯誤，提出不同策略或方法，代理人是可以被說服的。倘若受 試者沒有修正結果的錯誤解讀，代理人會提供證據催促受試者接受這個方法。
表 2-2
PISA｢水族箱｣範例說明
背景： 校內|校外
內容： 建立共識，雙贏協商，合作任務
CPS 任務類型： 做決定|協商|作品 團隊人數： 兩位，包含學生
單元目標時間： 5 分| 10 分|15 分| 20 分
圖 2-2 PISA｢水族箱｣範例測驗介面
資料來源:PISA 2015 Collaborative Problem Solving Framework. OECD Publishing.
另一個單元是班級 LOGO，由表 2-3｢班級 LOGO｣範例說明可知此單元是以 受試者與二位電腦代理人共同合作的設計。馬克是合作行為導向的電腦代理人，
他先開始想點子，建立共識與回應，莎拉是代表低合作導向的電腦代理人，她會 打斷其他成員，反對受試者跟馬克，對作品做出負面評論。而圖 2-3 PISA ｢班級 LOGO｣範例介面正在進行｢發現其他團隊成員的觀點及能力｣的過程。馬克告訴成
員們以前為班上設計所有的標誌。莎拉認為這無關緊要。受試者必須探究馬克所 顯現出來的新能力，馬克提供如何設計將可以達到 5 顆星等級標誌的線索。如果 受試者選擇不去探究馬克的經驗，在這個階段將不再提供線索。
表 2-3
PISA｢班級 LOGO｣範例說明
背景： 校內|校外
內容: 建立共識，雙贏協商，合作任務
CPS 任務類型: 做決定|協商|作品
團隊人數: 三位，受試者與二位電腦代理人共同合作 單元目標時間： 5 分| 10 分|15 分| 20 分
圖 2-3 PISA｢班級 LOGO｣範例測驗介面
資料來源:PISA 2015 Collaborative Problem Solving Framework. OECD Publishing.
貳、 ATC21S 合作問題解決範例
ATC21S 採取發展性學習的方法來評估和指導，把重點放在學生的準備學習 上，為學生搭起目前學習階段的鷹架，連結舊經驗與新知識，使合作問題解決技 能走向更高階段的發展，邁向越來越複雜的知識道路。
ATC21S 的測驗方式是以真人互動的方式，隨機分配學生二人為一組，以解 決一系列不明確的 CPS 任務，試驗時間約 90 分鐘，彼此使用在線同步聊天工具 為唯一的交流方式，也看不到對方的電腦介面，得靠不斷的溝通和協調來完成任 務。
在圖 2-4 ATC21S 範例｢微笑的小丑任務｣施測介面，這兩個學生需要互相分享 訊息和討論遊戲的規則，彼此共享 12 顆球，協調輪流將球分別投入小丑口中(L、
M、R)，並觀察球出現的路徑(1、2、3)，雙方討論分配球數，以及分享結果，判 斷與對方的方程式是否相同?
圖 2-4 ATC21S 範例｢微笑的小丑任務｣測驗介面 資料來源：ACT21S CPS Assessments
在圖 2-5 ATC21S 範例｢橄欖油任務｣施測介面，兩位學生各有不同的資源，
需要藉由適當的分享，自呈現不同的資源工具中，一起想出可以填滿 4L 的橄欖 油的方法。
圖 2-5 ATC21S 範例｢橄欖油任務｣測驗介面 資料來源：ACT21S CPS Assessments
另外，Jennifer、Imelda、Christin、與 Elizabeth(2014)也利用了 ATC21S 的施 測平臺進行對話式電腦化評量合作問題解決任務的研究，如圖 2-6 與圖 2-7 所示，
這次 CPS 的任務是｢小金字塔｣。在此任務中，學生要利用他們解決問題的能力，
弄清楚一些金字塔的規則，進一步執行與完成三項子任務。任務一開始，兩人要 探索在金字塔底部左側的紅色方塊與出現在金字塔頂部的黑盒子的關係，必須一 起合作來解決問題（例如只有學生 A 可以鍵入數字變成了紅色框，而只有玩家 B 能看到數在黑盒子）。 再來要求兩人使用研究出來的規則來解題(例如要找到黑匣 子的數量時，紅色方框中數字是 6)。
研究結果指出，透過對話的情形，可以評估學生合作解決問題能力。成功的 CPS 二人組合是指能反思對話，且頻繁談話的團隊，過程中成員會回應與質疑，
發展出與任務有關的積極對話，同時能提升情感和凝聚力，有利於蒐集資料，進 而界定問題，解決問題。反之，不成功的 CPS 二人組合太早關閉通話或思考，使 得解決問題的任務被中斷，自然在溝通上有阻礙，無法齊力完成 CPS 任務。
圖 2-6 ATC21S 範例｢小金字塔｣A 學生的測驗介面 資料來源：ACT21S CPS Assessments
圖 2-7 ATC21S 範例｢小金字塔｣B 學生的測驗介面 資料來源：ACT21S CPS Assessments
還有 Greg Butler & Wayne Houlden 在 2014 提出新的數位評量方法，認為運 用數位網絡評估任務學習是重要的，他們也利用 ATC21S 的施測介面來進行此研 究。這些任務的目的是兩個或可能更多的學生在努力解決一個問題或挑戰，每個 人都有一個不完整的訊息和工具來解決問題，透過內置的任務與聊天窗口共享訊 息，相互支持， 一起合作。如圖 2-8 與圖 2-9 所示，這是一個｢熱巧克力｣的任務，
學生 A 控制配方並在各地設有銷售回報的訊息，而學生 B 設有區域偏好和利潤 的訊息，他們必須利用自身已有的資料與對方透露的訊息，相互協商策略，來完 成各項子任務。
圖 2-8 ATC21S 範例｢熱巧克力｣A 學生的測驗介面 資料來源：ACT21S CPS Assessments
圖 2-9 ATC21S 範例｢熱巧克力｣B 學生的測驗介面 資料來源：ACT21S CPS Assessments
參、合作問題解決在電腦化評量上的相關範例
Rosen (2014)在電腦化合作問題評量中探討與比較學生 CPS 的技能和模式 在於人對代理（HA），人對人（HH）之間的差異。結果表示，在標準的 CPS 的 設置，學生 CPS 表現在 HA 模式優於其他 HH 模式。顯示用電腦代理人與受試者 對話，可以提升更高層次的共同理解與加快任務進行的進度，達到監控和反饋的 目的。這項研究是在第一個有系統的探討合作問題解決的 HA 和 HH 標準化的評 估設置。
接下來介紹此研究的 CPS 評量範例。這個範例的情境設計是原本一個正常的 動物園，突然災難降臨了！珍稀動物 Artani 被發現死了！你和你的朋友要負責拯 救其他的 Artani。
在圖 2-10 測驗介面中可得知，學生被要求與一個合作夥伴（一個電腦代理人 或同學）藉由選擇不同種類的食物，生活環境，以及額外的功能，為拯救 Artani，
不斷的思考與嘗試不同方法，為牠們找到最佳生存條件。
圖 2-10 CPS 範例測驗介面一 (Rosen, 2014)
在圖 2-11 測驗介面中，雙方的合作夥伴都能夠看到所做的選擇和交流，在這 個任務中，學生將能控制自己和夥伴所做的選擇，修改到最適合 Artani 最好的生 活條件，合作雙方可以看到哪些變量被選中，不限嘗試的次數，以達到最佳的解 決方案或時間上的任務。然而，變量的選擇是由一方（即由學生在 HA 模式，或 由學生在 HH 之一模式）決定。
圖 2-11 CPS 範例測驗介面二 ( Rosen, 2014)
在圖 2-12 測驗介面中，學生可以自由選擇 0 到 26 壽命，在這個階段，可與 夥伴溝通協調，想方法達到最佳選擇，變數的調整是可以不斷的重試或保持現在 的狀況。當任務結束後，學生被要求對合作夥伴，以書面的方式評估共同解決問 題的歷程。
圖 2-12 CPS 範例測驗介面三 ( Rosen, 2014)