63
第四章 研究方法與步驟
本章依據前述的研究目的及相關文獻，依序說明本研究之研究架構、研究對
象、研究設計及實驗步驟等，茲分述於后。
第一節 研究架構
本研究需建置線上同儕評量系統，及自編線上同儕評量系統評估問卷，作為 研究工具。針對研究工具和研究目的，規劃本研究之研究架構如圖 4-1 所示。
研究工具 研究目的
線上同儕評量系統 評審能力相當之評審者
分配模組
評審者與受評者互動 溝通模組
評分偏誤檢查模組
線上同儕評量系統評估問卷
1、探討評審能力較相 當的評審者分配方式 對同儕評量效度的影 響。
2、探討增進評審者與 受評者之間的互動溝 通對同儕評量效度的 影響。
3、提出有效的同儕評 量評分偏誤檢查方式 4、探討經評分偏誤檢 查處理對同儕評量效 度的影響。
5、瞭解經由評審能力 較相當的評審者分配 方式、增進評審與被評 者互動溝通及評分偏 誤檢查後，學生對同儕 評量接受度與公正性 的看法。
圖 4-1 研究架構圖
效度是指評量結果的正確性。易言之，就是指一份評量能夠測量到它所欲評 量的特質的程度。效度愈高，則代表該評量結果愈正確。同儕評量因本身評量目
標的性質以及由參與者擔任評審角色，容易影響評量結果的正確性，因此，本研
究著力於設計相關策略及實施流程，使同儕評量更具效度，並期待經由此模式，
使同儕評量結果更可靠及客觀，更具參考及實用價值。暨使未來教師採用同儕評
量時，可無須再複評所有參與者的學習成果，即可得知較為客觀的評量結果資訊。
65
第二節 研究對象
本研究對象為中華大學資訊管理學系財務管理課程之選修學生，共有 69 人
參與本實驗，參與學生正接受一個學期每週三堂課的財務管理課程，內容包括金
融市場、認識財務報表與財務分析、債券與股票的評價、投資決策分析與長期資
金財務規劃等。授課教師於學期中已要求每位學生選擇一股票上市公司，搜集並
瞭解該公司之財務經營狀況，並在學期末撰寫該公司之財務報表分析報告，此報
告將做為本次線上同儕評量之評量目標。此外，參與學生經調查皆為資訊管理系
學生，皆具備電腦基本素養及操作能力，且熟悉網路瀏覽器操作，但未使用過本
研究所設計的線上同儕評量系統。
本實驗的進行是採隨機分派參與學生為三組實驗組與一組控制組，各組人數
分配如表 4-1 所示。
表 4-1 實驗分組及各組人數分配
組別 人數 第一實驗組-均質評審評量組 17
第二實驗組-互動溝通評量組 17 第三實驗組-偏誤排除評量組 17
控制組 18 合計 69
第三節 研究設計
本研究的主要目的在探討線上同儕評量中經由評審能力相當的評審者分配
方式、增進評審者與受評者之間的互動溝通及評分偏誤檢查後對評量效度的影
響。因此，本實驗根據同儕評量實施過程中的三個不同變因將參與學生隨機分派
為三組實驗組及一組控制組，四組學生皆利用本研究所設計的線上同儕評量系統
參與同儕評量。控制組學生在線上同儕評量的實施過程中，評審者分配方式採系
統隨機分派的方式，同儕相互評審時無相互溝通的活動設計，最後的評審結果亦
無評分偏誤檢查。三組實驗組的設計如下。
第一實驗組（均質評審評量組）：除了評審者分配方式採評審能力相當的評
審者分配方式之外，線上同儕評量的實施過程皆與控制組學生相同。
第二實驗組（互動溝通評量組）：除了同儕相互評審時有相互溝通的活動設
計之外，線上同儕評量的實施過程皆與控制組學生相同。
第三實驗組（偏誤排除評量組）：除了評審結果有評分偏誤檢查之外，線上
同儕評量的實施過程皆與控制組學生相同。
四組學生最後皆以教師（專家）的評分做為同儕評量的外在效度指標，並利
用皮爾遜積差相關（Pearson product-moment correlation）求得參與學生的平
均評分與外在效度指標的相關值，以此檢定同儕評量的效度。此外，並以兩個效
度（相關係數）的差異顯著性考驗來瞭解三個變因對同儕評量效度影響。最後，
67
第四節 實驗步驟
本實驗將以財務管理為教學單元，並利用為期兩週的時間來完成本次線上
同儕評量活動，活動過程中學生與教師隨時可利用網路登入系統參與評量。本實
驗程序包含實驗程序說明、期末報告撰寫說明、期末報告寫作、同儕評量及同儕
評量態度問卷調查，實施步驟共分為五階段依序進行（如圖 4-2 所示），具體實
施步驟說明如下：
圖 4-2 實驗流程圖 實驗程序說明
期末報告撰寫說明
同儕評量態度問卷調查 期末報告寫作
分組
控制組 均質評審評量組 互動溝通評量組 偏誤排除評量組
同儕評量
階段 開始
結束 一
二
三
四
五
（一）實驗程序說明
教師向參與學生說明實驗程序，需時 10 分鐘。另外，教師並利用電腦展示
本研究所設計的線上同儕評量系統，讓學生瞭解系統的操作程序與步驟，需時
20 分鐘。
（二）期末報告撰寫說明
教師提出「財報分析」的研究主題，告知學生編制財報分析的目的，要求每
位學生在期中所選擇的個案進行解析，需時 20 分鐘。此外，教師亦在學生進行
期末報告寫作前，公佈評審表單內容，並對其評審項目做相關的解釋與說明，需
時 20 分鐘。課後學生亦可透過本系統之課程討論區與教師提出相關諮詢。
（三）期末報告寫作
學生開始依研究主題收集資料、進行研究、並編制財報分析報告，需時一週。
學生在完成報告後，需將成果檔案上傳至本系統中，以供同儕評量之用。
（四）同儕評量
參與學生依所屬的組別分別進行線上同儕評量活動，每位學生必須依據教師
所公佈的評審表單評審 5 件期末報告，需時 4 天。線上同儕評量的評審程序又包
含評審者分配階段與評審作業階段。
控制組學生在評審者分配階段採系統隨機分派評審者方式，由教師於該課程
操作畫面中設定評審件數為 5 後，系統隨機產生符合人數安排的評審者分配。在
69
者報告的好壞並對該報告發表整體性評論。
第一實驗組（均質評審評量組）學生在評審者分配階段採評審能力相當的評
審者分配方式，每位學生皆需先對教師所挑選的報告範例進行評分，評分結果再
參考教師的評分結果做相關的評審能力預估。最後，教師再於課程操作畫面中設
定評審件數為 5 後，系統自動依據每位學生的評審能力預估值產生評審能力較相
當的評審者分配結果。評審作業階段，本組學生仍依據評審表單中的評審項目點
選適當的數字來表示受評者報告的好壞並對該報告發表整體性評論。
第二實驗組（互動溝通評量組）學生在評審者分配階段採系統隨機分派評審
者方式，由教師於該課程操作畫面中設定評審件數為 5 後，系統隨機產生符合人
數安排的評審者分配。在評審作業階段，本組學生除了依據評審表單中的評審項
目點選適當的數字以及發表整體性評論外，對於評審結果，尚可利用線上訊息收
發功能與評審或受評者做雙向的意見溝通，對於不瞭解或不適當的評審結果，雙
方於評審期限前尚有進一步雙向溝通解釋的機會。
第三實驗組（偏誤排除評量組）學生在評審者分配階段採系統隨機分派評審
者方式，由教師於該課程操作畫面中設定評審件數為 5 後，系統隨機產生符合人
數安排的評審者分配。在評審作業階段時，系統將在相互評審前、中及後三步驟，
對學生的評審行為進行合理的評審要求及特定項目的檢查，學生若是有偏差的評
審行為，系統將立即給予相關的指導與說明。
（五）同儕評量態度問卷調查
四組學生在完成線上同儕評量後，瀏覽其他評審者對個人所作的評審結果與
評論後，並將接受同儕評量態度問卷調查瞭解參與學生對線上同儕評量方式的接
受度與公正性看法，需時 20 分鐘。
