國立高雄大學應用數學系學系碩士班
碩士論文
國中小學伴參與數位學伴計畫之數學學科能力變化研究
A Research for Transmutation of Scholastic Ability with
Companion in Junior High School by Participating in Digital
Learning Companion Project
研究生：黃昱文
撰
指導教授：吳宗芳
教授
i
致謝
很幸運能成為國立高雄大學承辦數位學伴計畫的第一批大學伴，參與數位學伴計畫 至今已滿11 個學期，以帶班老師的身分參與計畫也有 8 個學期之久，很感謝在這四年 之中教育部對我連續四年傑出帶班老師的肯定，也希望能藉由我的研究論文為學伴計畫 提供助益來回報這份肯定。 在國立高雄大學應用數學系大學部的求學日子裡我不認為我掌握了多高深的數學 知識或是拿到了多麼傑出的成就，甚至也被二一過的經歷，但很榮幸能遇到非常欣賞我 的指導教授—吳宗芳老師，同時也是本校承接數位學伴計畫的計畫主持人之一，在老師 關心我對於未來的規劃時，我表達我對於數學研究沒有興趣打算大學畢業就先邁入職場 的想法時，老師為我提供了直升碩士班研究數位學伴計畫的建議，也鼓勵我這研究對於 數學能力的要求不高，怕我會覺得太容易，於是大學畢業後便開始了我的碩士生涯。 事實上在做這份研究的過程遠沒有當初老師說的那樣容易！在這跨領域的研究中， 我需要補足的是對於教育研究以及社會科學研究的相關知識及方法，於是我前往國立中 山大學的教育研究所學習我認為我研究所需知識的相關課程，很榮幸能在施慶麟老師的 課程中學習到試題反應理論的相關知識，很感謝老師為我投稿TANET2019 短篇論文提 供不少建議，還介紹中山校務研究辦公室的陳繼成助理研究員為我提供許多在短篇論文 撰寫上的建議。很高興能夠在林靜慧老師的課程中學習到教育研究法的相關知識，也非 常感謝老師在教學的過程中對我能力的肯定！最後也非常謝謝國立高雄大學數位學伴 計畫的助理許涵姊，為我提供許多研究所需的相關資訊、資料以及建議。如同陳之藩的 《謝天》所述「因為需要感謝的人太多了，就感謝天罷！」。 黃昱文 2020.07.30ii
國中小學伴參與數位學伴計畫之數學學科能力變化研究
指導教授：吳宗芳 博士（教授） 國立高雄大學應用數學系碩士班 學生：黃昱文 國立高雄大學應用數學系碩士班 摘要 近年來隨著數位學伴計畫的參與人數逐年增加，有越來越多關於數位學伴計畫之學 習成效的相關研究，大多皆是以問卷分析的方式研究大學伴、小學伴、教學端師長或學 習端之師長於質性問卷之反饋為資訊，分析數位學伴計畫在執行的過程中是否有符合該 計畫之核心目標作為是否具有學習成效的依據，而本研究則嘗試以測驗分析的方式，以 國立高雄大學108 學年度數位學伴計畫之夥伴國中的小學伴為對象，利用試題反應理論 之單參數二元計分模型，研究並分析在接受大學伴一學年的數學課程後，小學伴的數學 能力是否有所增長，也同時分析精進型、基礎型、陪伴型的小學伴以及大學伴留任與否 對於小學伴的數學能力變化之比較。研究結果顯示整體而言小學伴在參與整學年的數位 學伴計畫課程後，數學能力相比原先參加此計畫時是有所提升的；平均而言，陪伴型的 小學伴之數學能力成長程度高於基礎型的小學伴，基礎型的小學伴之數學能力成長程度 高過精進型的小學伴，而在平均能力的部分則呈現完全相反的關係，精進型的小學伴之 平均能力高於基礎型的小學伴，基礎型的小學伴之平均能力又高於陪伴型的小學伴；並 且綜合來說，大學伴有留任之小學伴的能力成長幅度是高於大學伴未留任的。此外本研 究也有另外獨創一種基於古典測驗理論改良之適性計分的方式來分析小學伴的數學能 力，並將所得結果與試題反應理論之結果做比較，經計算此兩種計分方式之相關係數為 0.973。 關鍵字：數位學伴、學習成效、試題反應理論、偏鄉教育、適性計分iii
A Research for Transmutation of Scholastic Ability with
Companion in Junior High School by Participating in
Digital Learning Companion Project
Advisor(s): Tsung-Fang Wu Department of Applied Mathematics
National University of Kaohsiung Student: Yu-Wen Huang Institute of Applied Mathematics National University of Kaohsiung
Abstract
In recent years, the number of participants in the Digital Learning Companion Project has increased year by year. There are more and more relevant studies on the learning effectiveness of the Digital Learning Companion Project. Most of them use the questionnaire survey method to study the feedback of university partners, elementary school partners, teachers of teaching or learning on the qualitative questionnaire as information. Analyze whether the Digital Learning Companion Project has met the core objectives of the project as the evidence for learning effectiveness during the implementation process. In this study, we tried to use test analysis method target elementary school companions of partner junior high school at the Digital Learning Companion Project of National University of Kaohsiung for the 108 academic year. Using single parameter binary scoring model of Item Response Theory. Research and analyze whether the mathematical ability of the elementary school partners have increased after accepting the mathematics course from university partners of the whole academic year. At the same time, we also analyze the comparison of the improvement of the mathematical ability of the elementary school partners for the advanced, basic and teachless type and whether university partners stay at next semester. The results of the study show that, overall, the elementary school companions have improved their math skills compared with when they first participated in the program after participating in the Digital Learning Companion Project throughout the academic year. On average, teachless type partners have better improvement of mathematics abilities than basic type. Basic type partners have better improvement of mathematics abilities than advanced type, and the average ability is completely opposite
iv
relationship, the average ability of advanced type partners is higher than basic type, and the average ability of basic type partners is higher than that of teachless type. And in general, the growth rate of mathematics ability with university partners stay at next semester of elementary school partners is better than that of university partners not stay at next semester. In addition, this study also created a unique adaptive scoring method based on the improvement of the classical test theory to analyze the mathematics abilities of elementary school partners, and compared the results with the results of the Item Response Theory. After calculating the coefficient of correlation form these two scoring methods is 0.973.
Keywords: Digital Learning Companion Project, learning effectiveness, Item Response
v
目錄
致謝 ... i 摘要 ... ii Abstract ... iii 目錄 ... v 第一章、 緒論 ... 1 第一節、 背景敘述 ... 1 第二節、 研究動機 ... 2 第三節、 研究問題 ... 3 第四節、 研究假設 ... 3 第五節、 研究範圍 ... 4 第六節、 名詞釋義 ... 4 第二章、 文獻探討 ... 7 第一節、 數位學伴計畫的發展 ... 7 第二節、 數位學伴計畫的成效 ... 8 第三節、 古典測驗理論的發展 ... 10 第四節、 現代測驗理論的問世 ... 12 第五節、 試題反應理論的假設 ... 14 第六節、 試題反應理論的模型 ... 15 第三章、 研究方法 ... 17 第一節、 試題設計 ... 17 第二節、 施測方式 ... 20 第三節、 分析方式 ... 21 第四節、 比較方式 ... 22 第五節、 研究限制 ... 23 第四章、 研究結果 ... 24 第一節、 學生程度及試題難度 ... 24 第二節、 測驗卷之試題鑑別度 ... 24 第三節、 整體研究之測驗信度 ... 25 第四節、 學生程度變化之情況 ... 26 第五節、 適性計分方法之介紹 ... 28vi 第六節、 適性計分方法之分析 ... 31 第五章、 結論 ... 34 第一節、 小學伴數學能力之成長 ... 34 第二節、 小學伴學習類型之影響 ... 35 第三節、 大學伴留任與否之影響 ... 35 第四節、 未來可改進方向及建議 ... 35 參考資料 ... 37 附錄 ... 40 圖目錄 ... 40 附件一、國立高雄大學數位學伴計畫108 學年小學伴課前(後)基本能力測驗試卷 (國中) ... 46
1
第一章、緒論
本章節共六節，於第一節背景敘述中說明本研究之相關背景及目的；於第二節研究 動機中說明本研究之動機以及闡述課前測驗的由來；第三節研究問題中提出本研究的待 答問題；第四節研究假設中說明本研究對哪些情境進行假設以利研究進行；第五節研究 範圍中說明本研究之研究對象及測驗取樣範圍；第六節名詞釋義中說明出現於本研究中 的特殊名詞並詳加敘述。第一節、背景敘述
基於關懷弱勢族群及縮減城鄉之數位落差情況，政府自民國93 年起至今陸續推動 「縮減數位落差」、「創造公平數位機會」及「深耕數位關懷」、「普及數位應用」、「邁向 數位平權」等政策計畫，期望能利用政府及民間資源，提供不同地區之學生平等的數位 學習機會。 數位學伴計畫始於民國 95 年由教育部資訊及科技教育司所推動至今，目前藉由 joinnet 線上會議平台作為媒介，以每學期 20 次，每周 2 次，每次 2 堂課，每堂 45 分鐘 之頻率由教學端所招募之大學伴與小學端所招集之小學伴進行一對一陪伴教育課程，主 要對小學伴提供陪伴關懷、知識學習、拓展視野、資訊應用等功能；對大學伴則提供自 我管理、邏輯思考、社會服務、關懷精神等訓練，大學伴可依據所配對小學伴之需求自 行思考及編製教材進行線上陪伴教學課程。 國立高雄大學一直以來對於偏鄉地區之教育議題都格外關注及重視，自民國104 年 申請辦理數位學伴計畫至今，始終不斷追求創新及改進，也結合校內各項資源協助計畫 進行與推動，執行成果更屢屢獲得小學端學校及教育部的肯定，本研究將以國立高雄大 學數位學伴計畫團對於前後測方面的實行過程及測驗結果，提供關於前後測部分在執行 上所可能遭遇之問題以及所選擇之解決或改善方式，以利未來對於數位學伴計畫之前後2 測有興趣之相關人員或研究者做為參考依據。
第二節、研究動機
自國立高雄大學參與及實施數位學伴計畫以來發現普遍參與計畫之偏鄉學童數學 程度皆未足當前年級，儘管在正式開課前會請學習端提供小學伴上學期之數學成績作為 大學伴課前準備教材的參考依據，但仍會面臨以下問題： 一、資訊量過少 學習端提供之成績僅限於小學伴前一學期成績，僅透過一組數字做為資訊，於 實際執行中發現無法使大學伴有效地了解小學伴之數學能力以及小學伴之數學能 力是否有在當前年級的水平。 二、可能無資料 若小學伴為剛入學之新生，則學習端無法提供任何關於其數學能力水平之相關 資料。 三、沒有強制性 學習端之前一學期成績提供沒有強制性，並非所有學習端學校都會向教學端提 供相關資料。 以上問題反映在每學期正式開課後的前數週，這段期間會屢屢收到大學伴實際反映 或於教學日誌上反饋，主要內容為：小學伴無法跟上教學進度、需要再降低教材難度、 小學伴可能需要再補強基礎能力等，對於大學伴而言，需要額外花費時間於上課的互動 中了解小學伴的真實數學能力，再重新規劃往後上課的教材內容；對於小學伴而言，剛 開始過於困難的教學內容一方面會影響其吸收效果，另一方面也同時會影響其學習動機， 雖然隨著時間過去，在大小學伴多次的交流之中此問題會逐漸改善，但對於教學端而言， 每週僅有 1.5 小時、每學期僅有 10 節課的授課時間實屬珍貴，若能節省大學伴了解小3 學伴真實數學能力所需花費的時間，對於大學伴的教學及小學伴的學習皆會有良好的幫 助，於是國立高雄大學數位學伴計畫團隊設計出用以了解小學伴真實數學能力的課前測 驗，並將結果於正式開課前的大學伴教育訓練中提供給大學伴以利大學伴準備課程內容。 而本研究也發現大多數關於數位學伴計畫學習成效之相關研究並無針對所學科目之能 力是否提升有所探討，於是本研究循序改良前、後測之試題，並用以研究參與數位學伴 計畫之偏鄉學童的數學能力是否會在參加此計畫後有所提升。
第三節、研究問題
本研究之研究問題如下： 一、以高雄大學數位學伴計畫之夥伴國中為例，小學伴在108 學年之整年度的授課之下 整體而言是否在數學能力上有實質提升？ 二、小學伴之學習類型對於小學伴數學能力提升的的差異為何？ 三、大學伴的留任率對於小學伴數學能力提升的的影響為何？第四節、研究假設
本研究由於在測驗的過程中涉及許多變因，如前後測之不同施測方式、各小學端選 用小學伴之標準、小學端教師判定小學伴之學習類型依據、小學端教師之配合程度、大 學伴之人格特質以及教學方式、大學伴於後測測驗時對小學伴之輔助程度、小學伴之作 答動機及學習動機等因素，為求研究能順利進行及分析故本研究有以下主要假設： 一、本研究假設同一位受試者，於108 上學期之前、後測及 108 下學期之前、後測總計 共四次測驗皆為不同受試者。 二、本研究假設前後測之不同施測方式不影響測驗結果。 三、本研究假設大學伴之人格特質與小學伴之作答反應及動機無相關。 四、本研究假設每位大學伴所使用之不同教學方法對於小學伴數學能力提升無影響。 五、本研究假設所有受試者在測驗過程中皆展現自己當下之真實數學能力。4
第五節、研究範圍
本研究之研究對象為 108 學年整學年皆有與國立高雄大學數位學伴計畫合作之夥 伴國中且上下學期之前、後測總計4 次測驗皆有參與受試之 S 校 5 位、J 校 12 位及 B 校6 位共 23 位小學伴為對象，另外為求研究結果之穩定，本研究移除在 4 次測驗之中 有存在某次測驗所得之能力值與前一次測驗所得之能力值成長或退步程度超過 3 個標 準差之小學伴資料，共移除 5 位小學伴之資料。而本研究於試題分析之測驗受試者取樣 範圍則為所有參與過施測之小學伴，共計152 筆測驗資料。第六節、名詞釋義
一、課前(後)測驗 本研究所指課前(後)測驗全名為「國立高雄大學數位學伴計畫之小學伴課前(後) 基本能力測驗」，課前測驗為使大學伴能於正式授課之前了解所配對之小學伴的真 實數學能力所實施之測驗；課後測驗為用以研究及評測小學伴數學能力變化所實施 之測驗。 二、教學端 教學端指欲參與數位學伴計畫之大專院校透過實施計畫申請並且通過學者專 家初審及教育部複審後，依據專家學者及教育部之建議修改計畫申請並實施，各個 教學端所媒合之學習端於教育部複審時決定，在學伴計畫中除計畫申請及修改計畫 之工作外主要擔任實際執行一對一線上陪伴教學之角色，負責管理、訓練大學伴、 與學習端師長溝通以及大小學伴的媒合作業。 三、學習端 學習端指欲參與數位學伴計畫且符合各縣市 E 化發展程度較為緩慢之三至五 級區域之國民中小學透過實施計畫申請並且通過縣市政府初審及教育部複審後實 施，各個學習端所媒合之教學端於教育部複審時決定，在學伴計畫中除計畫申請工5 作外，主要擔任實際輔助執行線上一對一陪伴教學之角色，負責選派參與計畫之小 學伴、提供小學伴相關資訊並且協助大學伴約束及管理小學伴。 四、大學伴 大學伴指由教學端經由公開甄選的過程，最終所錄取該校數位學伴計畫擔任教 授小學伴知識及分享生活經驗之角色的大學生或碩士生。 五、小學伴 小學伴指由學習端經由學校方指定或派選學童參與該校數位學伴計畫之學生。 六、教學日誌 在每次授課結束後大學伴皆須填寫教學日誌，如圖一，提供教學單元進度、教 學流程及教法、學習狀況等資訊，以利大、學習端了解各組大、小學伴之間的相處 狀況及授課情形。 圖一 數位學伴計畫之教學日誌範本 七、小學伴學習類型 學習端提供之學童需求表，如圖二，可由學習端之教師依照自行判斷填寫此小 學伴屬於精進型、基礎型或是陪伴型，無實際定義此三類型之判斷標準或依據，原 則上由學習端教師依在校成績或是學習意願作為區分。 圖二 數位學伴計畫之學童需求表範本 編號 姓名 年級 性別 輔導類型 (精進/基 礎/陪伴) 上學期 成績 家庭背景 (一般生/原住 民/新住民) 家庭狀況、人格特質、個人興趣、關懷需求、 其他學習需求或大小學伴配對建議…等 英文科學習需求 數學科學習需求 1. 英： 數：
6
八、大學伴留任率
大學伴留任率為當前學期之所有錄取大學伴中，小學伴配對與上學期完全相同 之大學伴佔全體錄取大學伴的比例。
7
第二章、文獻探討
本章節共六節，於第一節數位學伴計畫的發展說明該計畫發展之初到目前為止的發 展趨勢；於第二節數位學伴計畫的成效整理近年內有關於數位學伴學習成效之相關研究； 於第三節古典測驗理論的發展及第四節現代測驗理論的問世中介紹測驗理論的發展；於 第五節試題反應理論的假設及第六節試題反應理論的模型中闡述本研究所使用的 IRT 模型的假設條件以及相關衍伸模型。第一節、數位學伴計畫的發展
自民國95 年由輔仁大學首度執行數位學伴計畫至今，無論是學習端亦或是教學之 參與學校皆有逐年增長的趨勢如表一、圖三及圖四，此計畫主要利用網路會議平台 joinnet 作為授課教室，跨越城鄉之間距離上的限制進行一對一的線上陪伴教學，倡導 「以生命陪伴生命，以生活教導生活」為核心價值，期望藉由計畫訓練大專院校之學生 應用網路平台及資源教學外，也期望藉由計畫協助偏鄉學童提升學習動機及興趣。 表一 數位學伴執行至今之學習端及教學端之參與校數及人數 年度 學習端 教學端 小學端校數 小學伴人數 大學端校數 大學伴人數 95 2 20 1 13 96 7 135 3 110 97 44 757 4 1261 98 68 594 6 1200 99 82 1033 5 1490 100 80 1054 5 1523 101 84 1000 5 1471 102 85 1000 5 1302 103 79 1015 13 1300 104 96 1219 17 1500 105 96 1292 19 1800 106 111 1512 23 20008 107 127 1749 26 2500 108 120 1654 26 2500 109 128 1663 26 2600 圖三 參與數位學伴計畫之學校總數 圖四 參與數位學伴計畫之大小學伴總數
第二節、數位學伴計畫的成效
近年來有越來越多關於教育部數位學伴計畫之學習成效的相關研究，其中大部分研 究皆以大學伴、小學伴、教學端或學習端之師長於質性問卷之反饋為資訊，並分析整體 而言大學伴、小學伴、教學端或學習端之師長是否認同該計畫有符合其計畫之核心目的 作為學伴計畫是否具有學習成效之判定，而研究結果皆指向數位學伴計畫確實有為縮短 城鄉數位學習落差、提升小學伴之學習動機等小學伴之真實需求提供實質上的幫助；而 在數位學伴計畫之線上一對一課程所教授之學科上的成績或能力是否有實質提升則較 少相關研究，僅有康譽騰、黃勇仁於2018 年的研究中提出小學伴在英文科與數學科之 在校成績的比較，以及本研究之作者於2019 年的研究中以一學校為例提出數位學伴計 畫對於小學伴之數學能力的提升會有一定程度之助益，並且認為大學伴之留任率與大小 學伴之間的親密度也有助於影響小學伴之數學能力的提升程度。下表為近年內關於數位 學伴計畫學習成效之相關研究，將論文分述於下：9 表二 近年內關於數位學伴計畫學習成效之相關研究整理 研究者 論文名稱 研究方法 研究結果 陳勝文、 白滌清 (2010) 研究數位學伴 對學習成效之 影響 問卷調查法 1. 數位學伴計畫，有助於中小學生課後學習且 有效提升大學生輔導功能，並縮短城鄉數位 學習上的差距。 2. 數位學伴計畫使學習時間與空間不再受到諸 多限制，改變了中小學生的學習態度與方 式，也增強其學習效益與效率。 康譽騰、 黃勇仁 (2018) 國中數位小學 伴學習滿意度 與學習成效關 係之研究 問卷調查法 訪問調查法 1. 國中小學伴對大學伴滿意度最高之選項為互 動關係。 2. 國中小學伴在學習成效之現況無顯著差異。 3. 女小學伴相較於男小學伴對教學內容之學習 滿意度較高。 4. 英語科成績有顯著差異，且第一次段考比第 二次段考顯著。 5. 數學科成績並無顯著差異，第一次段考顯著 大於第二次段考。 葉宸灝、 黃勇仁 (2019) 數位學伴計畫 學習滿意度與 數學領域學習 動機之相關研 究 問卷調查法 1. 學生對於數位學伴計畫滿意度整體來說相當 滿意。 2. 學生對於數學領域之學習動機整體來說十分 正向積極。 3. 不同性別、年級、家庭經濟狀況、不同數學 領域學習狀況之學生在學習滿意度上沒有顯 著差異 4. 不同數學領域學習態度之學生在學習滿意度 上，抱持喜愛態度之學生顯著高於抱持普通 態度之學生。 5. 不同性別、年級、家庭經濟狀況、不同數學 領域學習狀況、不同數學領域學習態度之學 生在學習動機上沒有顯著差異 許瀞文、 朱珈儒、 林乃函、 吳幸芳、 呂慈涵 (2019) 偏鄉學童學習 需求與成效— 以數位學伴計 畫為例 問卷調查法 1. 在參與數位學伴的過程中，大學伴有確實成 為小學伴在學習及生活上的輔助角色，有助 於小學伴理解白天時的上課內容。 2. 大多數師長認為陪伴與關懷、文化刺激、擴 展生活視野是偏鄉學童最需要的前三項需 求。 3. 偏鄉地區學童普遍面臨狀況有家庭功能失 調、隔代教養、新住民家庭、偏鄉師資不穩
10 定等問題。 4. 數位學伴計畫無論是核心目標或計畫執行上 皆有良好的契合偏鄉學童的真實需求並確實 為其學習及成長生涯提供實質幫助。 黃昱文、 吳宗芳 (2019) 以前後測分析 數位學伴計畫 之小學伴學習 成效－以高雄 地區某國中九 年級生為例 測驗分析法 1. 數位學伴計畫確實能夠帶給參與的小學伴在 學習成績上有一定程度的提升。 2. 大學伴的留任對小學伴的學習成效是有幫助 的。 3. 大小學伴之間的親密度越高，在相處上越融 洽也越能夠使小學伴能有更好的學習成效與 結果。
第三節、古典測驗理論的發展
測驗理論(test theory)主要是用來解釋受試者與測驗資料之間實證關係的理論學說， 最早所使用的測驗理論分析模型為真實分數模型，以簡單的線性假設： X = T + E (1) 其中X 為測驗分數、T 為真實分數、E 為一平均為 0 的常態分佈之誤差分數，且真 實分數 T 與誤差分數 E 無相關以及不同測量之間的誤差分數彼此也都無相關，此假設 有以下優點： 一、易於了解 由於模型十分簡單也容易理解，加上適用於大多數的教育與心理測驗資料，是 最被廣泛使用的測驗模型。 二、容易計算 使用真實分數模型分析時，通常依據平均數、標準差、分位數、答對率、鑑別 度等容易計算的統計資訊作為測驗表現的參照指標。 雖然真實分數模型由於容易理解及計算而被普及使用，但在實際應用上則有以下限 制：11 一、測試結果受樣本抽樣影響大 由於平均數、標準差、分位數、答對率、鑑別度等真實分數模型之指標對於不 同樣本的受試者來說都會有截然不同的結果，例如本研究欲了解偏鄉兒童之數學能 力學習成效所用之題目可以參考教育部進行過古典測驗理論之試題品質分析題目， 但無法將其結果中的分析指標作為參照依據，因本研究所取之偏鄉學童之樣本與教 育部所選樣本在作答情況與能力皆截然不同。 二、未考慮受試者個體能力差異 由於真實分數模型假設所有人的誤差分佈皆為平均為0 之常態分佈，對於高能 力與低能力的極端受試者而言，此誤差分數的假設並不合理。 三、若分數相同則視為能力相同 真實分數模型不考慮受試者的作答情況，視分數為實際能力，在實際情況中， 大多數獲得相同分數之不同受試者在答題的狀況並不盡相同，其能力估計也應不同。 四、同質性測驗無法有意義比較 由於真實分數模型假設任意兩測驗之誤差分數無相關，導致若有兩份同為測驗 學生國中數學能力之不同測驗則無法藉由此模型進行有意義的比較，僅能透過同一 試卷利用前後測或複本測驗的方式才能進行有意義的比較。 五、測驗信度指標的假設不合理 由於真實分數模型假設所有人的誤差分佈皆為平均為0 之常態分佈，故其信度 假設只要測驗足夠多次取平均數便能夠得到越接近受試者之真實分數，這並不符合 實際測驗情況，大多數測驗不會要求受試者進行一次以上的測驗，加上重複測試同 一份試卷還須考慮到受試者在前後測試的這段期間是否遺忘舊有知識或是學習新 知識以及是否在第一次後的產生的學習動機等問題，導致測驗的信度除假設不合理 外也不容易得到穩定的信度。
12
第四節、現代測驗理論的問世
直至改良真實分數模型缺陷的試題反應理論問世後，測驗理論才正式有了區分古典 測驗理論(classical test theory)與現代測驗理論(modern test theory)的分水嶺，而古典測驗 理論主要便是以真實分數模型為骨幹研究與歸納後形成；現代測驗理論則以試題反應理 論(item response theory, IRT)則作為理論架構，依據強勢假設(strong assumptions)而來， 用以解釋與分析受試者的能力與個別題目作答之間的關係(Hulin, Drasgow, & Parsons, 1983; Lord, 1980; Thissen & Steinberg, 1988; Weiss, 1983)，其有以下古典測驗理論所不具 備之特點(Hambleton, 1989; Hambleton & Cook, 1977; Hambleton & Swaminathan, 1985; Hambleton, Swaminathan, & Rogers, 1991; Lord, 1980)：
一、測試的結果不受樣本抽樣的影響
現代測驗理論使用試題特徵曲線(item characteristic curve, ICC)來解釋受試者答 對每一道題目的機率以及受試者能力高低的函數關係，而作為試題反應理論的基石， 試題特徵曲線也同樣整理了題目分析時所得到的許多資訊，可以用來理解受試者的 能力與測驗反應之間的關係(Lord, 1977; Lord & Novick, 1968; Rasch, 1960)，並且用 以描述試題特徵曲線的參數並不會取決於資料來源索取樣的樣本，舉例來說同樣一 道題目，對於國一生而言很困難，但對於國二生來說也許比較容易，甚至可能對國 三學生來說可能過於簡單。使用試題反應理論分析題目特性時不會受到受試者的特 性所影響。 二、每位受試者皆有不同的測量誤差 現代測驗理論的誤差指標會依據不同受試者的作答反應而有所不同，能夠更為 精準的估計受試者的真實能力。 三、可以適用相同質性間的測驗比較 現代測驗理論可以針對同質性的不同測驗間，推估進行有意義的比較來推估出
13
不同受試者的個人能力。 四、提出試題訊息量以及試卷訊息量
現 代 測 驗 理 論 提 出 試 題 訊 息 量(item information) 以 及 試 卷 訊 息 量 (test information)的概念作為信度指標來評斷整份試卷或是某試題的測量準確性，用以評 斷試卷的內部一致性。 五、考慮受試者作答反應及試題參數 現代測驗理論同時考慮受試的作答反應以及試題的參數，因此除了在估計能力 上相較於古典測驗理論會更為準確之外，對於原始得分相同之不同受試者也能夠依 據不同的作答反應給予不同的能力估計值。 六、現代測驗理論能提供適配度檢驗 現代測驗理論所採用之適配度檢驗值(statistic of goodness-of-fit)，可以為受試 者的作答反應是否有異常以及測驗模型與測驗資料之間的適合度做為參考指標。 儘管現代測驗理論相對於古典測驗理論似乎有著絕對的優勢，但實際應用上還是以 古典測驗理論為主，主要原因有以下幾點(余民寧，1991)： 一、晦澀難懂的數學機率模型 現代測驗理論是建立在理論假設非常嚴謹的數理統計模型上，對於大部分在數 學方面訓練有限之教育與心理學界學者而言過於複雜深奧、晦澀難懂，難以應用在 實務上與推廣。 二、多數學者以理論研究為主 現代測驗理論之學者主要都是出身於數學界、擁有數學背景或至少在統計學上 訓練有素者，多數專家學者對於理論的探索的偏好，遠勝於對實際應用的推廣工作。 三、計算複雜導致應用上受限 現代測驗理論發展之初，電腦的普及與軟體的開發技術有限，若沒有軟硬體之
14 間的配合對於現代測驗理論之參數估計難以實際計算，因此在應用於推廣上也較難 進行。但時至今日，隨著電腦軟硬體科技及技術的快速發展，此因素有逐漸改善的 趨勢，也有越來越多的分析軟體被開發出來可以用來進行試題反應理論的分析上。 四、測驗資料須大樣本的配合 當代測驗理論除了有嚴苛的基本假設外，也需要大樣本的配合，但由於大部分 的心理與教育測驗皆以小樣本為主，使得該理論發展之初的應用性大打折扣，無法 獲得一般使用者的青睞。不過隨著近年來數位科技的發展日益月新，廣泛提倡大數 據分析的現在，現代測驗理論便逐漸成為學術研究中的主流方法。
第五節、試題反應理論的假設
試題特徵曲線所代表的意義為受試者作答某一題目的答對機率是由受試者自身的 能力與該試題之特性所共同決定。因此試題反應理論須滿足以下假設條件皆滿足的前提 下才能適用於測驗資料的分析(余民寧，1992a)： 一、單向度假設 此假設指測驗中的各個試題皆須只測量到同一種能力或潛在特質。然而在實際 測驗情境中，受試者在測驗上的表現其實很少是僅受到一種因素影響，還會受到作 答動機、應試技巧、人格特質等因素影響，因此試題反應理論對於此假設的看法認 為，只要該測驗具有能夠影響測驗結果的一個主要成份或因素，便算符合單向度假 設各個試題皆只測量到同一種能力或潛在特質的基本要求。 二、局部獨立假設 此假設認為當受試者影響測驗表現的能力固定時，受試者對任意試題的作答反 應在統計學上而言皆是獨立的，也就是說測驗結果僅受試者自身能力影響，對於受 試者在不同試題上的反應之間沒有任何關係存在。 三、非速度性假設15 此假設指測驗的實施沒有時間或是速度上的限制，隱藏於前述單向度之假設， 受試者成績僅受到自身能力影響，不因時間不足所致。 四、知道-正確假設 此假設指若受試者知道某一題之正確答案，必然會作答正確；若其作答錯誤， 必然是受試者不知道該題答案所致，不過若是因為粗心導致的人為因素不此假設之 考慮範圍，人為疏忽無法被任何測驗理論所顧及。
第六節、試題反應理論的模型
常用的試題反應理論模型依據採用的試題參數數量多寡可分為以下三種，並且皆僅 能適用於二元計分資料(余民寧，1992b)：一、單參數對數模型(one-parameter logistic model)
單參數對數模型也稱之為Rasch 模型，是本研究所使用之模型，此模型關於試
題特性的描述僅有試題難度參數( 𝑏𝑏𝑖𝑖 )，故被稱為單參數對數模型，數學表示式如下： 𝑃𝑃(𝑋𝑋𝑖𝑖 = 1|𝑏𝑏𝑖𝑖) =1+𝑒𝑒𝑒𝑒𝑒𝑒(𝜃𝜃−𝑏𝑏𝑒𝑒𝑒𝑒𝑒𝑒(𝜃𝜃−𝑏𝑏𝑖𝑖)𝑖𝑖) (2)
其中𝑋𝑋𝑖𝑖 = 1表示第 𝑖𝑖 題作答正確；𝜃𝜃表示受試者之能力值； 𝑏𝑏𝑖𝑖 表示第 𝑖𝑖 題之試 題難度參數。
二、雙參數對數模型(two-parameter logistic model)
雙參數對數模型相比單參數對數模型增加試題鑑別度參數( 𝑎𝑎𝑖𝑖 )，是由美國測驗 學者A. Birnbaum 修改自 F.M. Lord 的原始雙參數肩型模型(normal ogive model)而 來，數學表示式如下：
𝑃𝑃(𝑋𝑋𝑖𝑖 = 1|𝑎𝑎𝑖𝑖, 𝑏𝑏𝑖𝑖) =1+𝑒𝑒𝑒𝑒𝑒𝑒[𝑎𝑎𝑒𝑒𝑒𝑒𝑒𝑒[𝑎𝑎𝑖𝑖(𝜃𝜃𝑖𝑖(𝜃𝜃−𝑏𝑏−𝑏𝑏𝑖𝑖)]𝑖𝑖)] (3)
其中𝑋𝑋𝑖𝑖 = 1表示第 𝑖𝑖 題作答正確；𝜃𝜃表示受試者之能力值； 𝑎𝑎𝑖𝑖 表示第 𝑖𝑖 題之試 鑑別度參數； 𝑏𝑏𝑖𝑖 表示第 𝑖𝑖 題之試題難度參數。
16
三、三參數對數模型(three-parameter logistic model)
三參數對數模型比雙參數對數模型增加試題猜測參數( 𝑐𝑐𝑖𝑖 )，主要用於選擇題或 是非題之題型的測驗，數學表示式如下： 𝑃𝑃(𝑋𝑋𝑖𝑖 = 1|𝑎𝑎𝑖𝑖 , 𝑏𝑏𝑖𝑖, 𝑐𝑐𝑖𝑖) = 𝑐𝑐𝑖𝑖+ (1 − 𝑐𝑐𝑖𝑖)1+𝑒𝑒𝑒𝑒𝑒𝑒[𝑎𝑎𝑒𝑒𝑒𝑒𝑒𝑒[𝑎𝑎𝑖𝑖(𝜃𝜃𝑖𝑖(𝜃𝜃−𝑏𝑏−𝑏𝑏𝑖𝑖)]𝑖𝑖)] (4) 其中𝑋𝑋𝑖𝑖 = 1表示第 𝑖𝑖 題作答正確；𝜃𝜃表示受試者之能力值； 𝑎𝑎𝑖𝑖 表示第 𝑖𝑖 題之試 鑑別度參數； 𝑏𝑏𝑖𝑖 表示第 𝑖𝑖 題之試題難度參數； 𝑐𝑐𝑖𝑖 表示第 𝑖𝑖 題之試題猜測參數。 除了上述三種基本的試題反應模型外，還有其他適用於非二元計分資料的模型，如 Bock (1972)所提出之名義反應模型(nominal response model)，可用於分析單選題中每個 選項被選種之機率。此外還有 Samejima (1969)所提出之等級反應模式(graded response model)以及經由 Masters (1982)歸納各種適用於次序反應資料的模型後提出之部分計分 模型(partial credit model)等適用於多元計分(polytomous scoring)這類有次序關係之資料 的試題反應模型。
17
第三章、研究方法
本章節共四節，於第一節試題設計中詳述本研究在試題設計上所遇到的問題以及基 於那些因素而設計本研究所用之試卷，也於節末提供試卷之完整雙向細目表作為內容效 度之依據；於第二節施測方式中說明本研究所採用之施測方式及於施測時所觀察之現象； 於第三節分析方式中介紹本研究所使用之分析軟體及模型；於第四節比較方式中解釋本 研究如何利用經過 IRT 分析後所得之數據比較小學伴在參與國立高雄大學數位學伴計 畫前後之數學能力是否有所提升以及提升程度所採用之比較方式及指標。第一節、試題設計
由於國立高雄大學數位學伴計畫團隊已有數個學期的課前測驗施測經驗，過往的經 驗便是本研究在試題設計上的前車之鑑。最早（106 學年度前）所設計的試題參考學習 端師長的建議，為使小學伴熟悉會考之試題形式，故整份試卷題型皆為選擇題（107、 108 學年度），出題範圍為國中範圍隨機出題，實際於現場施測時便發現以下狀況： 一、小學伴的猜測情況盛行 有不少小學伴在未過目題目敘述的情況下迅速地以猜測的方式作答完整份考 卷，導致無法正確判斷小學伴之能力。 二、小學伴的受試年齡較廣 受測小學伴程度從國一至國三皆有，低年級學生較難有良好的作答表現。而若 欲依照不同年級之學生分別設計試卷則會面臨樣本數嚴重不足的情況。 三、小學伴可能為國一新生 若小學伴恰巧為國一上學期之新生，前測當下可能從未接觸過國中之數學課程， 在作答上會較為不利。 四、大多數小學伴容易放棄 許多小學伴僅僅遇到一題不會作答的題目便可能放棄接下來的整份考卷，不願18 意去了解後面的題目是否還有自己有能力做答的題型。 除上述現場實際施測所遇到之情況外，在閱卷批改時的部分也發現以下狀況： 一、多數小學伴不擅長多步驟題 若依題意需要藉由題目所提供之資訊進行兩步驟以上的計算才能得到答案時， 多數小學伴僅完成到第一步便不再繼續作答，甚至於測驗結束後與某些只完成了一 步便不再繼續作答該題目的小學伴交流那些題目作答的想法時，交流過程中可以發 現大部分的小學伴若在具有該題所需之能力的情況下，在多步驟題作答的每一步驟 都有能力完成，但組合起來時卻可能不會作答了，初步判定可能導致的因素為作答 動機或訓練不足導致。 二、多數小學伴基礎普遍不扎實 大多數的小學伴不僅數學能力不在當前年級外，甚至也有對許多國小題目完全 不會作答的情況。 基於上述所發現之現象，本研究認為在編製用於測量偏鄉學童所用之試題應考量以 下因素設計： 一、試題需涵蓋各年級 以本研究為例，受試者從尚未接觸國中課程之國一新生到已結束會考之國三學 生皆有，故在試題設計上，出題範圍必須至少包含小六至國三程度。 二、以一份測驗卷為限 由於樣本總數已偏少，且能夠完整測量上下學期之前後測共四次測驗之學生總 數更為稀少，故試卷編制以一份為限，但若能取得足夠樣本數則無此限。 三、應避免多步驟題型
19 基於單向度假設，本研究測驗本身僅測量小學伴之數學能力，作答僅受小學伴 能力影響，故為盡可能減低多步驟題型所需之題意理解能力影響小學伴的作答情況， 在試題編制上應避免多步驟題型。 四、僅測驗小學伴概念 由於偏鄉學童普遍能力較差，平時於學校所受之訓練難度也較低，故編制試題 時需盡可能降低難度，不以測驗小學伴能否活用所學過之數學知識解題為主要目的， 而須以測驗小學伴是否了解該題之數學概念為主要目標。 五、應避免使用選擇題 由於選擇題型提供小學伴一個可以迅速完成測驗的作答方式，若放任小學伴隨 意作答，除無助於了解小學伴之真實能力外，也違反本實驗假設之所有受試者於測 驗中皆展現自己真實能力的假設。 六、題目應依年級排序 為盡可能減少作答動機對測驗結果之影響，題目應以年級排序，除可給予小學 伴作答動機外，也能讓不同年級之學生可以依照自己的學年了解該測驗有哪些題目 是不需要做答的。 七、應標示出各題範圍 由於測驗目的以是否了解該題欲測驗之數學概念為主，故在試題編製上明確標 示出該試題是出自於哪一個數學單元有助於小學伴了解該題所測驗之概念。 基於上述，表三為本次所用研究試卷之雙向細目表，作為本研究之內容效度依據。
20 表三 試題雙向細目表
第二節、施測方式
本研究的施測方式有以下兩種施測方式： 一、現場施測(前測) 由學習端師長協助並且由計畫團隊親至小學伴學校現場之空教室進行施測。 二、線上施測(後測) 向大學伴公開後測試卷之電子檔，並且分配每位大學伴所對應施測之小學伴，避免 該學期配對之大小學伴組合情況，並於上課時將其作為該堂課之教材放置在joinnet 教室之中，再抄下小學伴的作答過程及答案。 編碼 類別 對應課綱類別 學習內容條目及說明 1a 1b 2a 2b 2c 3a 3b 4 數線 5a 5b 6a 6b 6c 7a 7b 8a 8b 9a 9b 10 數與量 二次方根的近似值 11 多項式的四則運算 12 因式分解 13 因式分解的方法 14 代數 一元二次方程式的意義 15a 15b Q1 質因數分解的標準分解 式 Q2 100以內的質數 數與量+關係 解題：由問題中的數量 關係，列出恰當的算式 小六 數與量 解題：整數、分數、小 數的四則應用問題 空間與形狀 柱體體積與表面積 數與量 比與比例式 N-7-9 一元一次方程式的解法 與應用 國一下 代數 二元一次聯立方程式的 解法與應用 國一上 數與量 質因數分解的標準分解 式 負數與數的四則混合運 算（含分數、小數） 代數 圓弧長與扇形面積 N-8-2 A-8-3 A-8-4 A-8-5 A-8-6 S-9-5 會考題 數與量 國二上 代數 國三上 空間與形狀 對應課綱學習表現編碼 n-III-2 s-III-4 r-III-2 N-7-5 N-6-5 S-6-4 N-6-5 N-6-5 N-6-9 R-6-4 r-III-3 n-III-10 n-IV-2 N-7-2 N-7-1 對應課綱學習內容編碼 N-7-2 N-7-3 A-7-3 N-6-9 R-6-2 R-6-4 A-7-4 n-IV-1 n-IV-2 a-IV-2r-III-3 n-III-10 a-IV-4 n-IV-4 s-IV-14 a-IV-6 n-IV-1 n-IV-9 n-IV-6 a-IV-5
21 在過去的研究中(黃昱文、吳宗芳，2019)發現，現場施測時便發現有不少小學伴的 作答意願較低，不願意閱讀題目，甚至有在交卷過後與作答意願極低之小學伴交流，為 其說明某些題目之題意後，小學伴確實可以作答出正確答案，故本研究認為只以此方式 施測會低估小學伴的真實數學能力；而由大學伴施測則發現，大多數大學伴皆會細心為 小學伴說明每題之題意，以及在大學伴的領導之下，小學伴的作答意願也較高，但也有 不少大學伴於施測當下難以接受自己所教授之小學伴面對許多基礎題目的錯誤作答，並 給予提示，甚至還有大學伴因此在後測時教學起來。於是本研究為降低大學伴施測時所 造成過高的影響，本研究以分配大小學伴進行施測的方式進行避免大學伴親自測驗自己 所教學之小學伴。
第三節、分析方式
本研究所使用之分析工具為UC Berkeley BEAR Center所開發的ConstructMap免費 套裝軟體，用以分析108學年度參加國立高雄大學之數位學伴計畫之國中小學伴數學能 力變化。 本研究所使用之分析模型則為Rasch於1980年所提出之單參數二元計分Rasch模型 (Rasch, 1980)，假設受試者𝑗𝑗之真實能力為𝜃𝜃𝑗𝑗 ，其作答試題𝑖𝑖之答對（𝑋𝑋𝑖𝑖𝑗𝑗= 1）機率及答錯 （𝑋𝑋𝑖𝑖𝑗𝑗 = 0）機率公式如下： 𝑃𝑃�𝑋𝑋𝑖𝑖𝑗𝑗 = 1�𝜃𝜃𝑗𝑗, 𝑏𝑏𝑖𝑖� =1+𝑒𝑒𝑒𝑒𝑒𝑒(𝜃𝜃𝑒𝑒𝑒𝑒𝑒𝑒(𝜃𝜃𝑗𝑗−𝑏𝑏𝑗𝑗−𝑏𝑏𝑖𝑖)𝑖𝑖) (5) 𝑃𝑃�𝑋𝑋𝑖𝑖𝑗𝑗 = 0�𝜃𝜃𝑗𝑗, 𝑏𝑏𝑖𝑖� =1+𝑒𝑒𝑒𝑒𝑒𝑒(𝜃𝜃1 𝑗𝑗−𝑏𝑏𝑖𝑖) (6) 其中𝑋𝑋𝑖𝑖𝑗𝑗為受試者𝑗𝑗在試題𝑖𝑖的作答反應，答對計為 1，答錯計為 0； 𝑏𝑏𝑖𝑖為試題之難度 參數，圖形如圖五：
22 圖五 Rasch 模型之圖形 在 108 學年上下學期之前後測共計 4 次測驗皆使用同一份試卷測驗，在時間上兩兩 側驗之間的間隔最短為 2 個月，且試後無提供小學伴解題及教學服務，可以排除小學伴 在受試同一份試卷對答案之記憶做造成之測驗誤差。 本研究在不考慮個別受試者之能力估計誤差情況下，視同一受試者於不同時間點為 不同受試者，再分別取出每位受試者於不同時間點所測得之能力並將其繪製成圖表分析 國立高雄大學 108 學年度之數位學伴計畫夥伴國中有完整 4 次測驗資料共計 23 位小學 伴的數學能力變化，由於本研究所使用之單參數Rasch 模型會將受試者能力以標準常態 分佈呈現，故為了在分析上可以得到更為穩定之數學能力變化結果，本研究會移除在 4 次測驗之中有存在某次測驗所得之能力值與前一次測驗所得之能力值成長或退步程度 超過 3 個標準差之小學伴資料，共移除 5 位小學伴之資料。
第四節、比較方式
本研究在判斷整體或是比較不同分組之小學伴在參與國立高雄大學 108 學年數位 學伴計畫後之數學真實能力是否有成長採用之比較方法為，將各組之4 次測驗結果分別 取平均後再取線性回歸線並以其斜率作為成長指標，另外由於此成長指標沒有足夠樣本 數支持以及相關研究或理論佐證，故本研究目前僅以此成長指標為正作為判定能力有所23 成長之依據，並且藉由比較不同分組成長指標之大小關係來說明不同組別之小學伴程度 變化之差別及分析可能原因。
第五節、研究限制
本研究之研究限制有以下： 一、小學伴樣本數少 本研究以國立高雄大學 108 學年度數位學伴計畫之所有夥伴國中小學伴為對 象進行測驗及研究，排除測驗資訊不完整之小學伴後共可得到23 位有完整 4 次測 驗之小學伴，其中又有5 人有存在某一次測驗之結果與前一次結果相差超過 3 個標 準差而排除，導致在比較程度變化時可能無法得到較穩定之結果。 二、小學伴作答動機 儘管本研究盡可能排除任何可能導致影響作答狀況之努力，但唯獨受試者之作 答動機是本研究所無法控制及量測之變因，在本研究之測驗執行中，也發現儘管於 後測時不對小學伴有任何輔助作答之行為，僅一題一題要求小學伴作答，相較於前 測而言小學伴會更有意願做答題目，故作答狀況級結果於後測普遍較前測好。 三、小學伴作答記憶 由於會向大學伴於正式開課前提供前測試卷及小學伴之測驗結果，以及後測結 束後大學伴也都會向小學伴講解試題內容，前者可於往後改善，但後者除非有更為 合適之測驗方式，否則將會是無法控制之因素所在。 四、大學伴輔助程度 由於107 學年度已嘗試過由大學伴於後測時親自評測自己的小學伴，也因而發 現許多小學伴於後測呈現飛躍性的成長現象，故本研究採取隨機分配大學伴互相測 驗對方的小學伴之測驗方式，並多次向大學伴強調為保證測驗之準確性請不要向小 學伴提示或輔助，以期望能降低大學伴對於小學伴之輔助作答狀況，但於實際執行 仍難以避免大學伴未依照指示執行之情況。24
第四章、研究結果
第一節、學生程度及試題難度
將 108 年度之國中小學伴之所有受試資料以 ConstructMap(2008)軟體進行分析後可 以得到於不同時間點受試同一份試卷之所有受試者的分布情形以及題目難度的分布狀 況，如圖六。可以觀察出由於題目是依照年級所排序，加上受試者之學齡分布介於國一 至國三之間，故題目的難度普遍隨著題號增加而增加，符合本研究於題目設計所預期之 結果。 圖六 學生程度及試題難度第二節、測驗卷之試題鑑別度
由於本研究所使用之單參數Rasch model 假設所有題目之鑑別度皆為 1，故使用由 ConstructMap(2008)軟體分析後所得各試題之點二系列相關係數作為鑑別度指標(如下 圖)。再依據 Ebel 與 Frisbie(1979)所提出的評鑑鑑別度標準作為試題評鑑指標，如表 4。25 大部分試題之點二相關係數鑑別度皆有在 0.4 以上，或是接近 0.4，可以說明整體而言 本研究所用之測驗試卷確實能有效地鑑別出高分組與低分組之小學伴。 其中於試卷中鑑別度最低之兩試題編號Q1 及 Q2 便是 106 年國中會考題，試題範 圍皆為國一程度，由於採用選擇題形式，相較於應用題題型會有較低之鑑別度也符合本 研究在試題設計上的預期結果，也進一步說明若欲以試題測驗之方式了解偏鄉兒童的真 實數學能力，選擇題題型較不適切。 圖七 各試題之點二系列相關係數鑑別度 表四 鑑別度指標 鑑別度指標 試題評鑑 0.40~ 優良 0.30~0.39 優良，可以修改 0.20~0.29 尚可，應該修改 ~0.19 較差，需修改或刪除
第三節、整體研究之測驗信度
本研究使用由ConstructMap(2008)軟體分析後所得 Cronbachs Alpha = 0.92 之值作 為測驗信度依據，此為Cronbach, L. J. (1951)所提出之一種信度計算方法，也是目前社 會科學界最為廣泛使用的信度分析方法，一般而言Cronbachs Alpha 值之意義如下表所 示，故可用以說明本研究之測驗具有極好的內部一致性。
26 表五 Cronbachs Alpha 值之意義 Cronbachs Alpha 內部一致性 α ≧ 0.9 極好 0.9 > α ≧ 0.8 良好 0.8 > α ≧ 0.7 可接受 0.7 > α ≧ 0.6 可疑 0.6 > α ≧ 0.5 較差 0.5 > α 不可接受
第四節、學生程度變化之情況
由ConstructMap(2008)軟體分析後可以得到所有小學伴於不同時間點之能力值，將 有完整4 次測驗資料並除去前後測驗有相差超過 3 個標準差之小學伴資料後，再將每一 位小學伴之4 次測驗以折線圖方式重疊呈現並繪製成圖形，如圖八，由線性回歸線斜率 為0.342，可以觀察查出整體而言完整參與 108 學年數位學伴計畫之小學伴的數學能力 皆有一定程度的提升。另外由於本研究之前後測採取不同之測驗方式，故另外再分別取 出前測資料及後測資料再分別比較，如圖九和圖十，可以看出兩學期之課前測驗整體而 言成長幅度不大，相比前測測驗而言後測測驗的成長幅度極大，並且後測結果之標準差 較小於前測結果。 圖八 全體小學伴之程度變化27 圖九 全體小學伴前測程度變化 圖十 全體小學伴後測程度變化 若以顏色區分上下學期對小學伴而言大學伴是否有留任，並重新計算大學伴有留任 之組別以及大學伴未留任之組別的線性回歸線，如圖十一，由留任組之回歸線斜率 0.3238 以及未留任組之回歸線斜率 0.3707 可以得到大學伴未留任之小學伴整體之數學 能力成長稍高於大學伴有留任之小學伴，並且由於未留任組之漸進線皆在留任組之上， 故整體而言大學伴未留任之小學伴的數學能力平均高於大學伴有留任之小學伴。 圖十一 大學伴是否留任之小學伴程度變化 若以顏色區分由小學端學校所分類之精進型、基礎型以及陪伴型小學伴，並重新計 算各組別之線性回歸線，如圖十二，由精進型之回歸線斜率0.2493、基礎型之回歸線斜 率0.3485 以及陪伴型之回歸線斜率 0.5876 可以得到陪伴型小學伴之能力成長為最大、 基礎型次之而精進型之能力提升程度最小，而由各組漸進線也可以看出精進型之平均能
28 力為最高、基礎型次之而陪伴型之平均能力最低。 圖十二 精進型、基礎型、陪伴型小學伴之程度變化 另外本研究也將資料分別依不同學校繪製分組圖形並呈現於圖目錄之中。
第五節、適性計分方法之介紹
如本研究之研究動機所述，本研究除了欲了解小學伴參與國立高雄大學108 學年之 數學伴計畫對其數學能力之影響外，也同時是為大學伴在正式接觸小學伴前能夠提供一 個指標及資訊讓其了解與其配對之小學伴的數學程度以利其準備教材，但在實際應用 IRT 理論時仍會面臨以下問題： 一、常態分佈之數值不易理解 參與數位學伴計畫之大學伴若沒有足夠的統計背景知識，可能對於以標準常態 分佈之數值所表示之程度值並不能真正了解其所代表之含意，故有必要以更值觀之 方式提供易理解之指標值。 二、僅提供一數值資訊量過少 倘若能解決上述之問題，確實能提供一值觀且易理解之指標值讓大學伴參考自 己所配對之小學伴的數學能力，此時也會有新的困難：若得到之結果是小學伴程度29 較好或許只要依據其學校進度準備教材並教學即可並不會遇到困難；倘若得到之結 果為程度適中或是程度較差，對於大學伴而言此指標其實並無意義，僅是一個數值， 因為此指標僅提供小學伴可能在過去數學能力的訓練中並不扎實或是程度較差之 資訊，無法說明小學伴實際能力約莫落在哪個年級階段以及大學伴可以從哪些方面 加強其數學能力。 三、受試小學伴學齡分佈較廣 受試小學伴學齡分佈較廣所導致之問題是對於學齡較低之學生所能測得之資 訊量較少，儘管在本研究之測驗試卷設計上有一半左右的題目在評測國小六年級及 國中一年級程度之國中程度基礎題目，但無法避免若有國一新生完全正確作答小六 範圍之題目但卻會因為小六以外之題目皆不會作答導致得到較低之程度值，此個案 也顯示對於有學齡落差之受試母群而言 IRT 模型若要準確判斷每位受試者之程度 值或許還需要一些修正，但對於本研究僅探討在整學期的授課下，小學伴之數學能 力是否提升而言，使用IRT 模型仍有足夠之說服力，不會因為國一新生因不會作答 高年級之題型而被低估之能力影響後續之判斷，因第一次前測及第二次後測之時間 間隔有多達一年之久，此期間小學伴也持續學習著國中程度之數學教育，若能力有 所提升也能夠於後測時的評測中得到，並且隨著學齡增加能力之估計誤差會越小。 基於上述，本研究設計出一套基於古典測驗理論改良之適性計分方式，每題計分皆 為1(正確)、0(錯誤)以及 0.1(有嘗試作答但未做答正確)，並依據受試者當下學過之數學 課程，計算在其所學範圍內之所有題目得分總和除以這些題目之總數乘上100 再加上其 餘題目得分總和除以這些題目之總數乘上10，公式如下： 學生能力= ∑ 所學範圍之題目得分 #所學範圍之題目 ∗ 100 + ∑ 非所學範圍之題目得分 #非所學範圍之題目 ∗ 10 , (7) 舉例而言，倘若有一位國一上學期之學生進行後測測驗以及一位國二下學期之學生 進行前測測驗，他們所採用之記分公式分別為：
30 能力 (國一,上學期,後測) = ∑ 國一上學期範圍以下之得分 #國一上學期範圍以下之題目 ∗ 100 + ∑ 國一下學期範圍以上之得分 #國一下學期範圍以上之題目 ∗ 10 , (8) 能力 (國二,下學期,前測) = ∑ 國二上學期範圍以下之得分 #國二上學期範圍以下之題目 ∗ 100 + ∑ 國二下學期範圍以上之得分 #國二下學期範圍以上之題目 ∗ 10 , (9) 以第一位學生為例，由於國一上學期之後測在施測當下已完整學過國一上學期之課 程內容，故採計所有國一上學期範圍之分數並計算其能力；以第二位學生為例，由於國 二下學期之前測於施測當下小學伴尚未接觸國二下學期之課程內容，故僅採計所有國二 上學期範圍之分數並計算其能力。 採用此計分方式之原因有以下： 一、適性成績 由於小學伴存在學齡不同的誤差因素，加上研究樣本數極少，每個年級獨立出 一份試卷之方法並不合適，故採用適性計分之方式，依學生之學齡給予不同之記分 方式來補足學齡較低會測出程度較差之能力估計誤差，並且可以將學齡進一步細分 至各年級的上下學期。 二、作答意願 本研究認為有作答動機以及願意嘗試作答所學程度之外題目的小學伴也屬於 本研究認定之數學能力的一部份，但屬於微弱影響之因素，故針對小學伴願意作答 且作答正確之程度外題目給予10%分數作為額外加分。 三、能力指標 本研究設計此適性計分方式之初衷為建立一個用來了解小學伴之數學能力是 否有在其當前年級程度之指標，數值越高代表其對所學之數學之士掌握度較高，反 之則相反，而為了解決上述提到僅有一個數值指標做為參考依據並不足以讓教學程 度較差之小學伴的大學伴了解所需準備之教材內容為何，故實際上在提供測驗資訊 時也會一併將各年級題目之作答狀況獨立計算答對率並繪製成雷達圖，供大學伴參 考，如圖十三，此圖為108-2 學期 J 校某位三年級小學伴之前測結果所繪製之雷達
31 圖及其適性計分之成績，可以看出此小學伴整體來說程度是不錯的，國小程度之數 學能力掌握度高，而國一程度、國二上學期程度以及國三上學期剛學完之國三程度 之數學能力皆有些許遺忘的部分；而雷達圖也可以被作為前後測分析所使用，如圖 十四，橘色部分為圖十三之小學伴於後測時之作答結果，可以更明顯看出該小學伴 在經過一學期的授課之後有確實補強國一下、國二上以及國三上程度之數學能力， 而國一上學期程度之數學能力則尚未補強。整體而言，相較於從小學端學校之師長 所提供前一學期之小學伴在校成績來說雷達圖能提供更為多元的資訊供大學伴參 考及訂定該學期之教學策略也同時有助於大學端了解各小學伴於每學期授課結束 後之成長狀況。 圖十三 J 校 108-2 某學伴之前測結果 圖十四 J 校 108-2 某學伴之前後測結果
第六節、適性計分方法之分析
於適性計分方法介紹中有提過，使用ContrustMap 進行 IRT 分析所得之小學伴能力 在越低學齡之小學伴身上有越高的估計誤差，舉例來說，若有一位小學伴從國中一年級 開始就完全掌握國小六年級程度以下之所有數學題目，以及另一位從國中一年級就完全 掌握國一上學期程度之下的所有數學題目，假設此兩位小學伴在整個國中生涯中的數學 能力都沒有進步，但也沒有遺忘過所掌握之數學能力，則依照IRT 所計算及以適性計分 方式所計算之能力變化圖形如圖十五及圖十六。32 圖十五 完全掌握小六/國一上之 IRT 結果 圖十六 完全掌握小六/國一上之適性結果 由此舉例中可以看出對於 IRT 分析而言，沒有遺忘所學也沒有任何成長就是一個 穩定不變的沒有進步也沒有退步的能力值；但對於適性計分而言，隨著學齡的增加卻沒 有任何作答能力上的進步，其視為是一種退步表現，以一位國一上學期之學生而言，完 全掌握國小六年級以下程度之數學題目確實是非常優秀，但以一位國三下學期即將面對 會考之學生而言僅完全掌握國小六年級以下程度之數學能力顯然是不足的。 此外再額外舉例，倘若今天有一位小學伴之學習能力極高，永遠都能完全掌握過所 學之數學能力；而另外一位則完全相反，無論如何學習都完全不會做答，經過IRT 分析 以及適性計分方式計算後所得能力變化如圖十七及圖十八。 圖十七 完全/無法掌握所學之 IRT 結果 圖十八 完全/無法掌握所學之適性結果 從此舉例中可以看出，適性計分方式可以有效地將所有不同年級之小學伴以同一尺 度指標表示該小學伴之數學能力是否符合其當前年級程度，但其判別小學伴之數學能力 是否有所增加則較為嚴格；而 IRT 之分析結果則可以更加明顯的表現出小學伴在學習
33 生涯中的成長狀況，從一開始只能做答小六的題目開始，到後來不僅有能力完整作答整 份試卷，此兩種計分方式各有其適合使用之時機，對於研究小學伴能力是否增長而言 IRT 之計分方式較為合適；實際應用於提供大學伴參考指標而言，使用適性計分方式會 有更好的效果。 然而本研究將兩種計分方式分別繪製成程度變化圖形時發現在實際應用上此兩者 計分方式在圖形表現上並沒有太多的差異，若將 IRT 之所有結果+5 使其變為正數後再 以適性方式計算兩種計分方式之相關係數後得到0.973 之高度相關，兩種完全不同方法 以及在分析上認為有差異之計分方式，最終卻皆能得到近乎完全相同之結果，屬意外之 收穫，相關圖形收錄於圖目錄之中。
34
第五章、結論
第一節、小學伴數學能力之成長
由研究結果而言，小學伴確實在參與數學伴計畫期間的數學能力是有增長的，但實 際上本研究並無可用於比較是否參與數位學伴計畫對小學伴數學能力成長程度之對照 組，故無法說明小學伴的數學能力之增長與參與數位學伴計畫有任何直接關係，而在實 際執行面而言也會有以下可能影響實驗準確性之因素需要克服： 一、小學端對於小學伴之篩選是否有統一的標準 以國立高雄大學數位學伴計畫團隊之夥伴國中而例，各個國中對於評選參與數 位學伴計畫之選用學生標準不一，如J 校只選用該校成績較前端且即將面對會考之 國三學生參與數位學伴計畫；而 S 校及 B 校則依照學生及學生家長之意願決定是 否使其參與，學生程度及選用標準也會影響研究誤差。 二、對照組與實驗組之小學伴程度分布是否相同 理想的情況是從學校中隨機選出參與數位學伴計畫與不參與數位學伴計畫之 學生來達到從同一母群選出兩相同分布之子群做為實驗組及對照組，但實際上要做 到此點並不容易，不同的小學端學校承接此計畫之目的及初衷不盡相同，有的學校 將其視為課後補習班希望小學伴能藉由與大學伴之交流補足學校所學之知識；也有 的學校將其視為課後安親班希望大學伴能於此段時間多以陪伴的方式與小學伴互 動即可。 三、小學端之師長是否願意配合研究計畫之執行 除上述因素之外，小學端之教師是否願意或是否能夠配合也是一大影響要素， 近年普遍偏鄉教師人力短缺導致許多師長身兼數職較無多餘心力協助研究測驗，或 是有不少偏鄉教師較無服務熱忱不願意於後課後留下等因素，相關研究若無小學端 師長之協助，也不易進行。35
第二節、小學伴學習類型之影響
由研究結果而論，小學伴之學習類型主要體現於各類型平均而言的整體數學能力上， 雖然能明顯看出程度較低之陪伴組的成長幅度大於其他兩個類型，然而實際上對於不同 能力落點之學生成長的難度其實不盡相同，如得90 分的學生與得 0 分之學生於下次測 驗中進步10 分的難度並不相同，故陪伴型成長幅度大於基礎型且基礎型之成長幅度大 於精進型也屬合理結果，但無法明確比較各學習類型之間的學習及成長狀況。第三節、大學伴留任與否之影響
本研究之研究結果顯示有更換大學伴之小學伴相比大學伴留任之小學伴整體而言 有較高的成長，但實際上若將三間夥伴學校分開檢視後可以發現 S 校之大學伴未留任 之資訊僅有一筆資料且屬於高度成長，而另外兩間 J 校及 B 校的結果皆為大學伴留任 之小學伴的整體線性回歸線成長指標皆高於大學伴有更換之小學伴的整體線性回歸線 成長指標，此結果也說明了本研究在討論整體時也受限於研究樣本數過少之影響，容易 被極端值影響研究結果，故本研究認為參考各校分開之研究結果，實際上大學伴留任對 於小學伴而言的學習效果是高於大學伴進行過更替的。第四節、未來可改進方向及建議
本研究可改進方向主要有以下層面： 一、樣本層面 若能取得足夠樣本數仍建議以一份試卷測驗單一年級為佳，以一份試卷測驗國 中三個年級之所有學生實屬樣本數不足時之唯一選擇，或以建構電腦化適性測驗為 目標建構題庫搭配測驗分析理論給予測驗結果也是個不錯的方法。 二、軟體層面 若能解決樣本問題之下一步可以嘗試以 R 語言用相關套件及程式撰寫的方式36 在使用IRT 理論模型上會相較於套裝軟體有更好的客製化效果。 三、測驗層面 測驗方式本研究提供兩種不同之施測方式，各有優劣，但若以研究為目的，仍 建議使用統一施測方式為佳，否則難以解釋兩種結果之測驗誤差及如何將兩種結果 進行比較。 本研究比起提供足夠嚴謹的研究結果而言，更多著墨的部分為本研究在測驗小學伴 「學科能力」上的過程及嘗試，除使用了不同的施測方式外，也嘗試用不同之計分方式， 期望未來有對此方面研究有興趣之研究者或教學端可依據執行方面的情況選用或改良 本研究之流程，作為輔助說明計畫執行狀況用途或是研究用途使用，此外由於本研究無 法取得足夠樣本數導致研究結果較不穩定，故也建議未來以研究為目的之研究者，進行 相關研究時可能需取得更多樣本數才能獲得更穩定之結果。
37
參考資料
1. 王文中、陳承德（譯）（2009）。心理測驗。台北：雙葉書廊。 2. 余民寧（2009）。試題反應理論（IRT）及其應用。台北：心理。 3. 余民寧（1991）。試題反應理論的介紹（一）——測驗理論的發展趨勢。研習資 訊，8（6），13-18。 4. 余民寧（1992a）。試題反應理論的介紹（二）——基本概念與假設、研習資訊，9 （1），5-9。 5. 余民寧（1992b）。試題反應理論的介紹（三）——試題反應模式及估計、研習資 訊，9（2），6-10。 6. 教育部 108 學年度數位學伴計畫https://etutor.moe.gov.tw/zh/ 7. 郭伯臣、吳慧珉、陳俊華。試題反應理論在教育測驗上之應用。新竹縣教育研究 集刊，民101，第十二期，頁 05～40。 8. 陳聖文（2010）。研究數位學伴對學習成效之影響。淡江大學全球華商經營管理數 位學習碩士在職專班：碩士論文。9.
康譽騰（2018）。國中數位小學伴學習滿意度與學習成效關係之研究。樹德科技大 學資訊工程系：碩士論文。 10. 許瀞文、朱珈儒、林乃函、吳幸芳、呂慈涵（2019）。偏鄉學童學習需求與成效— 以數位學伴計畫為例。Best Paper，曾繁勛（主持人），TANET2019 臺灣網際網路研討會，高雄國際會議中心。 11. 黃昱文、吳宗芳（2019）。以前後測分析數位學伴計畫之小學伴學習成效－以高雄 地區某國中九年級生為例。偏鄉資訊&校務研究，呂慈涵（主持人）， TANET2019 臺灣網際網路研討會，高雄國際會議中心。
12.
葉宸灝（2019）。數位學伴計畫學習滿意度與數學領域學習動機之相關研究。樹德 科技大學資訊工程系：碩士論文。38
13. Bock, R. D. (1972). Estimating item parameters and latent ability when responses are scored in two or more nominal categories. Psychometrika, 37, 29-51.
14. Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests.
Psychometrika, 16(3), 297-334.
15. Ebel, R. L. & Frisbie, D. A. (1979). Essentials of educational measurement(3rd ed.). Prentice-Hall：Englewood Cliffs, N.J..
16. Hambleton, R. K. (1989). Principles and selected applications of item response theory. In R. L. Linn (Ed.), Educational measurement (3rd ed., pp. 147-200). New York: Macmillan.
17. Hambleton, R. K., & Cook, L. L. (1977). Latent trait models and their use in the analysis of educational test data. Journal of Educational Measurement, 14, 75-96.
18. Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and applications. Boston, MA: Kluwer-Nijhoff.
19. Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Newburry Park, CA: SAGE.
20. Hulin, C. L., Drasgow, F., & Parsons, C. K. (1983). Item response theory: Application to psychological measurement. Homewood, IL: Dow Jones-Irwin.
21. Kennedy, C., Wilson, M., Draney, K., Tutunciyan, S., & Vorp, R..(2008). ConstructMap Version 4 (computer
program).
http://bearcenter.berkeley.edu/bibliography/constructmap-version-4-computer-program
22. Lord, F. M. (1977). Practical applications of item characteristic curve theory. Journal of Educational Measurement, 14, 117-138
23. Lord, F. M. (1980). Applications of item response theory to practional testing problems. Hillsdale, NJ: Lawrence Erlbawn Associates.
149-39
174.
25. Rasch, G. (1980). Probability models for some intelligence and attainment tests. Chicago: The University of Chicago Press (Original edition publised in 1960). 26. Thissen, D., & Steinberg, L. (1988). Data analysis using item response
theory. Psychological Bulletin, 104(3), 385–395.
27. Weiss, D. J. (Ed.) (1983). New horizons in testing: Latent trait test theory and computerized adaptive testing. New York: Academic.
40
