網路互評系統的學生群組分析
Networked Peer Assessment System: An Analysis of Student Segments
林珊如
新竹市大學路 1001 號交通大學教育學程中心
e-mail: sunnylin @cc.nctu.edu.tw
劉旨峰、卓宜青、袁賢銘
新竹市大學路 1001 號交通大學資訊科學研究所
e-mail:{gis85521, gis88533, smyuan} @cis.nctu.edu.tw
關鍵詞：網路教學，同儕互評，綜合，高 層思考能力
Keywords: Network teaching, peer assessment, synthesis, deeper intellectual
skills 摘要 隨著校園網路的熱絡，開始改變學生 尋找資料的型態，許多學生善於利用網路 的特性蒐集自己想要的資訊，或是與志同 道合的伙伴透過網路交換意見。透過網 路，不但使蒐集資料越來越方便，讓自我 學習的機會大增，而且也讓學習群體之間 能更容易地作互動與討論。有鑑於此，我 們成立了網路課程管理中心，將課程的內 容與相關的資訊放上全球資訊網路，並以 專用的課程 BBS 站來吸引學生上網討 論，增進師生與同學之間的互動與溝通。 在理念上，架設此種網路學習支援環境是 受到教育理論中建構主義、社會建構主 義、與合作學習等觀點的肯定。 在網路教學經驗中，我們獲得不少同 學的正面回應，而目前試行中的網路同儕 互評學習系統，著重於引發學生綜合設計 (網頁)、對他人的作品進行審查評論、與 自我測試出題等在教育學上所認定的高 層思考能力，而這些高層思考能力是以往 的教育環境所難以培養的。我們盼望借網 路之助，使高等教育因人與資料、人與人 的自由激盪，促成豐富而精緻的學習成 果。 ABSTRACT
Students enrolling in computer science courses at National Chiao Tung University have responded positively to network teaching. The Network Peer Assessment System currently under assess
predominantly focuses on deeper intellectual shills based on educational theory, such as initiating a synthesis of students, as well as assessing and discussing the assignments of others. Moreover, conventional educational approaches have found it extremely difficult to cultivate such deeper intellectual skills. Therefore, this study adopts Internet resources to facilitate contact between individuals, and generate meaningful learning in higher education.
研究的目的與動機
目前有相當多的教育應用需要資訊 技術來支撐，但常因對資訊能力的掌握不 足，常造成學生未受其利卻受其害，以 Ward, M. & Newlands, D. (1998)在文學院 寫作課時，使用電腦網路來輔助學生學 習，卻產生了負面影響：(1)貧瘠的學習資 源、(2)疏離的學習環境、(3)無法掌握技
術、(4)電腦資源的不足、(5)不公平、(6) 與教師的溝通不良、(7)學生間的溝通不 良。但事實上有許多的電腦技術能克服以 上的問題，反觀 Hiltz 在 1993 年對網路虛 擬教室的觀察：(1)虛擬教室的優點：(a) 地域性(location)，即不論位於何處皆可上 網存取、(b)時間彈性(flexible time)，即不 論何時只要你有空即可上網學習、(c)免長 途跋涉(no travel)，即在家即可上網學習、 (d)學習空間共享(shared work space)，即大 家可在一起做作業與學習、(e)避免浪費時 間(overhead)、(f)同等的參與機會 (participation opportunity)，即可讓大家一 起發問或作答，完全跳脫傳統的一問一答 式教學。(2)虛擬教室的教學有效性：(a) 合作學習的機會(collaborative learning opportunity)，虛擬教室是最佳的合作學習 平台，而合作學習是一誘發高層次思考的 好途徑、(b)主動學習(more active learning)，即學生在電腦上必需主動探索 才能逐步瞭解學習內容、(c)其他電腦資源 的可獲性(availability of other computer resources)、(d)完整的筆記(complete notes)。由此可見研究者對資訊能力的掌 握將加強實驗的成果，而且學生可享有的 效益也隨之增加。
Sternberg 在 thinking style 一書 中提出了他對學生思考風格的研究，將學 生分為司法型(此類型的人較適合做評 論)、行政型(此類型的人做作業的能力較 高)、立法型(此類型的人創意較多)、伙伴 型(此類型的人較容易融入團體生活中)、 內思型(此類型的人不容易與他們合作)、 自由型(此類型的人想法比保守型的人較 不受拘束)。根據此理論我們定義 Adapter 適應者可能是可以從他人的評論中，吸收 別人的意見，進而改善自己作業的人。我 們想要證明適應者是具有高度行政能力 的人。 文獻探討 Topping（1998）分析 109 篇同儕評 量的研究指出在高等教育各學科如：寫 作、土木、理科、電機、資訊、文科、社 會科學等都已有學者使用這種評量方 式，整體而言同儕評量具有一定水準的信 度與效度，採用同儕互評時老師並不能偷 懶省時，此種方式可以提昇學生的高級思 考方式與學習動機，是對成年學習者的良 好評量方式。實施同儕評量時若能以網路 系統做為媒介與控制中心，更能化解地域 阻隔或無法找到共同時間等溝通障礙。實 施時尚需注意公平性的問題，宜避免學生 全體為對方打高分，或惡意評低分的狀 況。 Topping 對同儕的定義是學生必須具 有相似的學位，譬如做同儕評量時學生的 背景有大學、研究所、博士班，那就不能 定義為同儕互評。學生若是屬於同一年級 就更好了。比較在高等教育實證研究中所 採用的同儕評量型態的差異，列於下表。
變數(VARIABLES) 差異範圍(RANGE OF VARIATION) 課程領域與主題 各研究都不相同 目的 1. 檢定教師與學生評定分數的區 別 2. 為省時間 3. 增進認知與情意等教學目標 研究方法 因研究目的，採用 1.質或 2.量的 研究 產出 (Product/Output) 測驗、勾選、評量、寫作、口頭 報告或其它表現 是否包含教師評量 1. 同儕評量完全取代教師評量 2. 同儕評量作為教師評量的補充 老師或助教評量的比 重 1. 只採用學生評定的成績為總分 2. 加入特定比重的老師評分 定向性 (Directionality) 1. 單向評量：評分者對作者（作 品）單向評量 2. 交互評量：每位評分者均為作 者，交相互評 隱私性 1.作者匿名、2.評分者匿名、3. 完全公開 互動性 1.遠距的，2.面對面的
同儕年級 1.同年級，2.跨年級 專長背景 同儕間 1.專長相同，2.不同專長 互評地點 1.限教室內，2.不限地點 互評時間 1.課堂時間，2.空閒時間或非正 式時間 評定者與被評者配對 分組 1.強制，2.自願 獎勵參與意願 1.課堂加分，2.其它誘因 在網路同儕互評系統(邱繼宏、王尉 任、袁賢銘、林珊如，1998)中，我們的理 念是由老師透過網路讓學生繳交作業，再 由同學間相互審查評分，並提出修改的建 議，然後再讓學生根據這些意見來修改他 們的作品。重複進行數回合後，老師可以 根據所有同學評分來替某一份作品打分 數。我們進行的七個步驟分別為：(1)教師 提出某一單元的問題或指定作業、(2)學生 在規定的範圍內，進行網頁設計，提出自 我測驗的考題及出題理念說明、(3)學生為 自我測驗的考題做出解答，經由網路互評 系統繳交作業、(4)學生為幾位同學的作業 進行審查、評分、並給予建議、(5)系統整 理評審結果的評分和意見，通知受評人和 教師、(6)學生根據得到的建議來修改作 品、(7)重複四到六的步驟數回。 我們將得到分數和資料作一分析所 得到的結果用圖形來表示 我們發現對別人的作品的評審用心 度和讓別人評審自己作品所得到的分數 排 除 期 末 考 的 影 響 有 明 顯 的 正 向 淨 相 關，顯示對同儕的作品評審的越用心，則 當別人評審自己作品所得到的分數越高。 作品從同儕互評中得到的分數和期 末考的得分排除對別人作品評審的用心 程度的影響仍有明顯的正向淨相關，顯示 從同儕互評中所得到分數越高，其從期末 考中得到的分數越高。 對別人作品評審的用心程度和期末 考所得的分數排除從同儕所得得分數影 響並無明顯的相關，但是期末考、對他人 作品評審的用心程度與接受他人評審的 成績三者有顯著的相關。顯示想要在期末 考獲得高分，必須同時具備對別人作品審 視的用心和接受別人的意見來改善自己 作業。 實驗設計 Adapter 適應者是可以從他人的評論 中，吸收他人的意見，進而改善自己作 業。我們在本實驗中想要證明是適應者應 是具有高度行政能力的人。 我們在活動前翻譯了 Thinking Style 問 卷，而根據這次實驗對象的問卷分析的結 果如下： 向度 信賴度 立法型 .90 行政型 .81 司法型 .83 君主型 .67 階層型 .84 寡頭型 .85 無政府型 .49 廣域型 .80 狹域型 .68 內思型 .84 伙伴型 .87 自由型 .93 保守型 .84 在活動後，我們並調查同學對活動的滿意 度與建議。 依照前面測驗的結果依行政型將所 有參加活動的人分成四組，其中左半部
(A+B)為高行政者為中位數以上者，而右 半部(C+D)為中位數以下者，A 與 B 及 C 與 D 為一隨機分配。在一個細格中以六個 人為同一組來相互評分或給予評語，達到 每一個作品都能被六個人評審且每個人 都能評六份作品。 High Execution Tendency Low Execution Tendency Tightly Coupled Comment Efficient Adapter(A) Inactive Adapter(C) Loosely Coupled Comment Inefficient Adapter(B) Failure(D) 這次互評的作品為論文式的題目，要求學 生以作業系統的領域作調查報告，而內容 盡量以課外讀物為主，主題可以橫跨各個 章節，而報告的格式至少要包括主題、動 機、主題說明、理論背景、探討、討論與 參考資料等七個項目。 以下為實驗的進度表： 日期 作業進度 3/24 繳交報告的主題、動機、 主題說明、參考資料 3/25~3/27 上 網評論 其他學 生的 作 業題目 3/28~4/8 緩衝期，學生可以一意見 修改題目或方向 4/9 完 成 第 一 次 作 業 和 上 載，第一次作業必須包含 格式要求的七個項目 4/10~4/17 第一回合互評 4/21~4/29 修改作業 4/30 重 新修改 後的作 業上 繳 完成 5/1~5/8 第二回合互評 系統會記錄每次作業評比的成績、每次評 語用心度的成績、學生所上載的第一回與 第二回作業資料和學生的評語資料等資 訊。 我們尚欲證明評論結構度與個人傾 向有相互作用存在、學生在不同的評論結 構下騎乘就有差異存在和高行政型的人 可吸收他人的經驗並產生良好的作品。我 們先分別假設：(1)H0=在 2x2 個細格之中 至少有一細格的αβij=0、(2)H0=評論結 構度因子所有兩個水準的α1=0、(3)H0= 個人傾向因子所有兩個水準的βj=0。 高行政 低行政 Total 高結構 M=7.114 SD=.962 M=6.692 SD=.708 M=6.8889 SD=.8489 低結構 M=6.682 SD=.678 M=5.180 SD=.983 M=5.8773 SD=1.134 3 Total M=6.9061 SD=.8506 M=5.9602 SD=1.1363 M=6.401 SD=1.112
Tests of Significance for TOTAL using UNIQUE sums of squares Source of Variation SS DF MF F Siq ofF Within Cells 38.40 54 .71 Comment 13.62 1 13.62 19.0 5 .000 Tendency 13.35 1 13.35 18.6 7 .000 Comment by tendency 4.20 1 4.20 5.87 .019 Total 70.46 57 1.24 R-Squared=.452 Adjusted R-Squared=.422 由以上的表可得知評論的結構度與個人 傾向的交互作用達到顯著水準(P<.05)，評 論結構度和個人傾向個別主要效果亦達 到顯著水準(P<.01)。
同質性檢驗 Univariate Homogeneity of Variance Tests
Cochrans C(14,4)=.33858, P=.561(approx.) Bartlett-Box F(3,5172)=.98278, P=.400
單純主要效果(評論結構度)
Test of Significance for TOTAL using UNIQUE sums of squares Source of Variation SS DF MS F Siq of F Within Cells 38.60 54 .71 Comment within tendency(H) 1.49 1 1.49 2.09 .154 Comment within tendency(L) 17.03 1 17.03 23.82 .000
事後比較(評論結構度)
Estinates for TOTAL Comment Within Tendency(H) Parame
ter
Coeff Std. Err. T-Value Siq. T Lower-95% CL-Upper 2 .47054
232
.32551 1.44555 .15408 -.18207 1.12315 Comment within Tendency(L)
Parame ter
Coeff Std. Err. T-Value Siq. T Lower-95% CL-Upper 3 1.4827
304
.30377 4.88104 .000 .87370 2.09176
單純主要效果(個人傾向)
Test of Significance for TOTAL using UNIQUE sums of squares
Source of Variation SS DF MS F Siq of F Within Cells 38.60 54 .71 Tendency within Comment (H) .97 1 .97 1.36 .249 Tendency within Comment (L) 17.29 1 17.2 9 24.1 9 .000 事後比較(個人傾向)
Estinates for TOTAL Tendency Within Comment (T) Parame
ter
Coeff Std. Err. T-Value Siq. T Lower-95% CL-Upp er 2 .3601145 0 .30907 1.16517 .24907 -.2595 2 .979 75 Tendency Within Comment (L)
Parame ter
Coeff Std. Err. T-Value Siq. T Lower-95% CL-Upp er 3 1.573694 2 .31994 4.91873 .000 .93225 2.21 513 由單純主要效果和事後比較，獲得兩 項資訊：(1)高結構與低結構的評論方式只 有在低行政組有顯著的差異(P<.01**)、(2) 剛行政與低行政型的人只有在低結構評 論中有顯著的差異(P<.01**)。由上兩項資 訊得到高結構的評論可以幫助低行政的 同學提高學習的效果；而低行政型的人若 無高結構的評論來輔，則其學習效果比不 其他組的同學。 最後，我們為網路同儕互評意見調查 問卷回收後作了統計分析，分為四個部 分：(1)描述性統計資料、(2)對網路同儕互 評的觀感、(3)對同儕互評方式的描述句的 統計資料、(4)對作業與系統的描述句的統 計資料。 大部分資訊系的學生對本系統的使 用為滿意的，僅有幾個特別的建議：(1) 上載方式：希望能一次上載更多的檔案(目 前為一次十個檔案)、(2)評審別人作品的 介面：大部分的人希望能評審完一個作品 後，能自動跳到下一個作品。 結論 本實驗為網路化互評活動，找到具有 影響力的因素，並做為未來教學活動的參 考。並證實了以下的假設：(1) 評論結構 度與學生思考分格傾向具有交互作用存 在、(2)高結構的評論可以提升低行政同學 的學習成效、(3)低行政的人若無高結構的 評論來輔助。最後將本研究的重點歸納如 下： 變數(VARIABLE) 值(VALUE) 課程領域與主題 交通大學資科系作業系統課程 目的 1.比較教師評量與學生評量分數 之符合度 2.增進認知目標：提昇綜合能 力、批判思考能力、促進使用自 我監控與微調等後設認知策略 3.增進情意目標：提高學習動 機、努力度、參與度 研究方法 進行質、量並重的研究 產出 (Product/Output ) 研究報告 是否包含教師評 量 有 老師或助教評量 的比重 學生評定的成績與老師的評分各 佔一部份 定向性 (Directionality ) 每位評分者均為作者，交相互評 隱私性 評分者匿名及作者匿名 互動性 遠距學習環境 同儕年級 跨年級(大二~大四) 專長背景 混合專長同儕互評狀況，但以資 科學生佔多數 互評地點 不限地點 互評時間 非正式時間 評定者與被評者 配對分組 強制（問卷）配對 獎勵參與意願 以同儕評量佔學期成績為誘因來 增強參與意願
未來發展 由於互評的概念是一抽象的教學方 法，所以未來可應用於不同目的的課程 中，並研究其與科目或活動間的適合度。 教育部有意推廣網路學習並承認其學分 的政策，則將來有更多的課程和活動會上 網，所以研究學科活動網路化將為一新主 流。而另一個重要的研究方向為如何將網 路互評中心與其他教材管理網站結合，以 達到一個完整的網路學習環境(王尉任、劉 旨峰、邱繼宏、賴雅惠、袁賢銘，1998)。 致謝詞 本研究係由國家科學委員會科學教育處 專題計畫經費補助 NSC88-2511-S-009-003-ICL。 最後感謝 Robert J. Sternberg 給予本研究 使用 Thinking Style Inventory 的權力。
參考文獻 中文文獻 王尉任、劉旨峰、邱繼宏、賴雅惠、袁賢 銘(民 87)。WWW 網路合作學習環境之教 材出版管理系統。Tanet98會議。 邱繼宏、王尉任、袁賢銘、林珊如(民 87)。 架構在 Web 上的作業相互評量系統。 Tanet98會議。 英文文獻
Hiltz, S.R. (1993). The virtual classroom:
learning without limits via computer networks. Norwood, New Jersey: Ablex
publishing corporation.
Sternberg, R.J. (1997). Thinking Styles. New York: Cambridge University Press.
Topping, K. (1998). Peer assessment between students in colleges and universities. Review of Educational
Research, 68, 249-276.
Ward, M., & Newlands, D. (1998). Use of the Web in undergraduate teaching. Computer & Education, 31, 171-184.
作者介紹
袁賢銘(Shyan-Ming Yuan, Professor)，交通 大學資訊科學系所教授，馬里蘭大學電腦 科學博士，專長為分散式系統、CORBA 相關領域、遠距教學。
林珊如(Sunny, S. J. Lin, Associate
Professor)，現任國立交通大學教育學程副 教授，學歷南加州大學哲學博士，專長為 認知心理、教育心理、遠距教學。 劉旨峰(Eric Zhi-Feng Liu, Student in Doctoral Program)，國立交通大學資科系 博士班研究生，專長為網路合作學習系統 研發、教育統計分析、多媒體網路教學系 統研發。
卓宜青(Yi-Chin Zhuo, Student in Master Program)，國立交通大學資科系碩士班研 究生，專長為網路合作學習系統研發。
