以相關係數探討題組型試題之鑑別度 - 政大學術集成
81
0
0
全文
(2) 摘. 要. 題組題是依據所提供之新情境和資料作答的試題類型，它能測量到學生的理 解、應用、分析或評鑑能力，一般來說，同一題組內各子題有某種程度的關聯性。 由於題組題是近幾年國民中學基本學力測驗常見的試題類型，且目前各種鑑別度 定義僅針對單一試題作鑑別度分析，若將其應用在分析題組型試題鑑別度時，除 了無法計算題組本身的鑑別度之外，甚至會忽略題組內各子題之間的關聯性。此 外，目前題組鑑別度的相關研究並不多，故本論文以複相關係數的觀點探討其鑑 別度，提供新的研究方向。本文先分析獨立型試題鑑別度，並將其研究結果拓展. 政 治 大 以相關係數為定義的鑑別度之特例。對於題組型試題，在蒐集測驗結果資料後， 立 至題組型試題。對於獨立型試題，本文驗證了以點二系列相關為定義的鑑別度是. ‧ 國. 學. 本文運用迴歸分析的技巧計算「題組本身」鑑別度，同時，為了探求在排除同一 題組內前面各子題影響力後的子題鑑別度對於該題組鑑別度的貢獻程度，故本文. ‧. 提出「淨得分」與「淨鑑別度」的新概念，並發現題組鑑別度與各子題淨鑑別度. sit. y. Nat. 之間有密切的關聯性；再者，本文亦提供了檢定各子題淨鑑別度是否顯著的統計. al. er. io. 方法。最後，以 99 年第一次國中基測英語科試題為例，利用本文研究結果計算. v. n. 其獨立型試題鑑別度以及題組試題之題組鑑別度、各子題鑑別度與各子題淨鑑別. Ch. engchi. i n U. 度，並與其它有關試題鑑別度的研究作比較與分析。. 關鍵字：相關係數、點二系列相關、題組、子題、鑑別度、淨得分、淨鑑別度. iii.
(3) ABSTRACT For testlet, it is answered by the provided new situation and information, can measure the student’s understanding, application, analysis and judging ability. Generally speaking, a relation exists in each item within testlet. In the recent years, testlet is an usual type in the Basic Competence Test for Junior High School. Moreover, current all definitions of discrimination index are only focusing on the single item. When these definitions are applied to analyze the discrimination index of testlet directly, not only the discrimination index of testlet can not be calculated but the relation between items within testlet will be neglected. Furthermore, due to the. 政 治 大. lack of the discrimination index study on testlet, this thesis investigates the discrimination index of testlet by regression analysis with the view point of multiple. 立. correlation coefficient and provides a new direction for the following study. This. ‧ 國. 學. thesis is investigating the discrimination index of independent items, and this result is applied to testlet. For individual items, this study proves that point-biserial correlation. ‧. is a special case of correlation coefficient. For testlet, after data collection, this study calculates the discrimination index of testlet itself by regression analysis. In the. sit. y. Nat. meantime, for investigating the contribution of the discrimination index of testlet of. io. er. item within testlet which is getting rid of the influence of the previous items in the same testlet, this study proposes a new concept of “net score” and “net. n. al. i n U. v. discrimination”. First, this study finds the close relation between the discrimination. Ch. engchi. index of testlet and item within testlet. Second, this study states how to find the “net” discrimination index of item within testlet is remarkable or not by statistics. Finally, this study takes the English test items of the First Basic Competence Test for Junior High School Students in 2010 as example to calculate their discrimination index of individual item, testlet, item with testlet, and the net discrimination index of item within testlet, separately, by the deduced formula. A comparison and analysis between this and related study also have been taken into process in this study.. Key words: correlation coefficient, point-biserial correlation, testlet, item within testlet, discrimination index, net score, net discrimination index. iv.
(4) 目. 錄. 摘要 ............................................................................................................................. iii ABSTRACT ................................................................................................................. iv 目錄 ............................................................................................................................... v 表目錄 .......................................................................................................................... vi 第一章 緒論 ................................................................................................................. 1 1.1 前言 ..................................................................................................................... 1 1.2 研究動機 ............................................................................................................. 1 1.3 論文架構 ............................................................................................................. 3 第二章 文獻探討 ......................................................................................................... 4 2.1 試題鑑別度的理論 ............................................................................................. 4 2.2 試題鑑別度的相關研究 ................................................................................... 12 第三章 獨立型試題鑑別度之探討 ........................................................................... 23 3.1 基本假設 ........................................................................................................... 23 3.2 相關係數鑑別度 ............................................................................................... 23 3.3 範例 ................................................................................................................... 27 第四章 題組型試題子題及題組鑑別度之探討 ....................................................... 29 4.1 基本假設 ........................................................................................................... 29 4.2 題組內子題之鑑別度 ....................................................................................... 30 4.3 題組之鑑別度 ................................................................................................... 32 4.4 題組內子題之淨鑑別度 ................................................................................... 34 4.5 範例 ................................................................................................................... 39 第五章 實例分析 ....................................................................................................... 44 5.1 資料來源 ........................................................................................................... 44 5.2 資料分析 ........................................................................................................... 45 第六章 總結 ............................................................................................................... 52 6.1 研究結論 ........................................................................................................... 52 6.2 研究建議 ........................................................................................................... 53 參考文獻 ..................................................................................................................... 54 附錄一 鑑別度程式及其使用說明 ........................................................................... 55 附錄二 定理 4.3 證明 ................................................................................................ 58 附錄三 99 年第一次國民中學學生基本學力測驗英語科題本 .............................. 61 附錄四 99 年第一次國民中學學生基本學力測驗英語科題本參考答案 .............. 75. 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. v. i n U. v.
(5) 圖. 程式操作步驟一畫面 ................................................................................. 55 程式操作步驟二畫面 ................................................................................. 56 程式操作步驟三畫面 ................................................................................. 56 程式操作步驟四畫面 ................................................................................. 57. 立. 政 治 大. 學 ‧. ‧ 國 io. sit. y. Nat. n. al. er. 附圖一 附圖二 附圖三 附圖四. 目 錄. Ch. engchi. vi. i n U. v.
(6) 表. 目 錄. 表 2-1 表 2-2 表 2-3 表 2-4 表 2-5 表 2-6 表 2-7 表 2-8 表 3-1 表 3-2 表 3-3 表 4-1 表 4-2 表 4-3 表 4-4 表 4-5 表 5-1 表 5-2. 教育測驗的分類 ........................................................................................... 5 鑑別度值的評鑑標準 ................................................................................... 7 Φ 相關的 2×2 列聯表範例........................................................................... 9 Garrett 相關係數解釋表 ........................................................................... 11 例 1 之學生作答情形 ................................................................................. 14 例 1 的傳統模式與機率模式之難度與鑑別度比較表 ............................. 16 例 2 之學生作答情形 ................................................................................. 18 例 2 的傳統模式與機率模式之子題難度與鑑別度比較表 ..................... 22 例 3 傳統模式、機率模式與相關係數模式鑑別度比較表 ..................... 27 例 1 修改中間群體學生作答資料之答題情形 ......................................... 28 例 3 中間群體資料異動對傳統、機率與相關係數模式鑑別度之影響 ..... 28 例 2 的作答情形改成以得分方式呈現 ..................................................... 40 排除第 1 子題影響力後的第 2 子題淨得分 ............................................. 41 排除第 1、2 子題影響力後的第 3 子題淨得分 ....................................... 42 例 4 的各子題鑑別度、各子題淨鑑別度與各題組鑑別度 ..................... 42 傳統模式與機率模式下例 4 各子題鑑別度 ............................................. 43 獨立型試題之傳統模式與相關係數模式鑑別度比較表 ......................... 45 題組型試題之傳統模式與相關係數模式鑑別度比較表 ......................... 47. 附表一. 99 年第一次國民中學學生基本學力測驗英語科題本參考答案表 ........ 75. 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. vii. i n U. v.
(7) 第一章 緒論 1.1 前言 試題分析在整個測驗編製過程中，扮演非常重要的角色，它不僅能提供客觀 的試題特徵指標，供測驗使用者參考，以作為評鑑測驗良莠、驗證測驗效度和增 進命題技巧外，還可以協助教師作為改進教學和診斷學生學習困難之處，以作為 補救教學之依據。 以目前教育現場最常使用的紙筆測驗而言，其試題分析主要分為質的分析與 量的分析兩種。質的分析可由分析雙向細目表、題目內涵與所屬細目表細格的一. 治 政 致性、題目品質是否符合命題原則、編製過程的嚴謹性來進行；量的分析主要在 大 立 分析每個試題的統計特徵，如難度與鑑別度(李坤崇，2006)。由於量化數據較具 ‧ 國. 學. 客觀性，一般在進行試題分析時較常使用量的分析，同時，試題經過量化分析後，. ‧. 可以幫助教師釐清下列問題： 1. 試題是否具有預期的測量功能？. y. Nat. io. sit. 2. 試題是否具有適當的難度？. n. al. er. 3. 試題是否具有良好的鑑別度？. Ch. i n U. 4. 試題選項(指選擇題型而言)是否具有誘答力？. engchi. v. 教師如能透過試題分析篩選優良試題，將可累積題庫供日後使用，或選取合適的 試題來重編新的測驗(余民寧，1997)。. 1.2 研究動機 自民國九十年國民中學基本學力測驗實施起，國文、英文、數學、自然與社 會科測驗皆為選擇題題型，其中包含題組型選擇題，於是近年來題組型試題逐漸 廣佈於各領域測驗中。題組試題是依據所提供新的情境和資料作答，能測量到學 生的理解、應用、分析或評鑑能力，一般來說，同一題組內各子題有某種程度的. 1.
(8) 關連性。有鑒於目前的各種鑑別度指標定義僅針對單一試題作鑑別度分析，即將 題組內的每一個子題視為獨立型試題來分析其鑑別度，這樣除了會忽略題組內各 子題之間的關連性之外，亦無法探究整則題組的鑑別度值。因此，探討排除題組 內前面各子題影響力的子題鑑別度值，以及研究整則題組鑑別度之量化指標，是 目前亟需要的研究課題。 此外，傳統經常使用高低分組通過率差作為鑑別度的定義，此方法僅考慮高 分組與低分組得分，以統計的觀點而言，其在樣本的使用是不夠充分的。因此， 本文將以個別試題得分與測驗總分相關程度的觀點發展題組型試題鑑別度，將使. 治 政 大 綜覽國內關於題組試題鑑別度的研究數量並不多，其中，施焱騰(2008)以機 立. 用所有受試者的作答資訊，以彌補傳統鑑別度(即高低分組通過率之差)的缺失。. 率生成函數的方法發展題組型試題各子題鑑別度，其鑑別度計算公式繁複造成使. ‧ 國. 學. 用推廣上的不便，並且其研究限制假設每位學生皆回答每道試題且每一題組均依. ‧. 序作答，倘若學生未作答則必須給予未答試題適當的錯誤選項，才能使題組試題. y. Nat. 中之任兩個連續子題皆有完整的選項轉移資訊，方可計算鑑別度指標。因其研究. er. io. sit. 假設條件太多，造成實務應用上的限制。因此，本文將以相關係數的觀點發展題 組鑑別度，相較於施焱騰(2008)的研究，本文的計算過程簡單且能排除上述研究. al. n. v i n 限制，並針對過去相關研究皆未討論的整則題組鑑別度值，作一系列的探討。 Ch engchi U 綜合以上研究動機，茲將本研究目的分述如下：. 1. 探討題組試題之題組本身鑑別度。 2. 探討題組試題之題組內各子題鑑別度。 3. 比較本研究與傳統鑑別度(即高低分組通過率之差)及施焱騰(2008)以機率模 式探討題組型試題鑑別度之差異。 此外，本研究的貢獻主要為利用迴歸分析探討題組試題的題組鑑別度與排除 同一題組內前面各子題影響力後的子題鑑別度。舉例來說，若某則題組有 2 個子 題，在蒐集測驗結果資料後，由於兩子題之間有某種程度的關連性，因此將第 2 子題得分對第 1 子題得分迴歸所得之殘差值，是第 1 子題無法解釋第 2 子題的部 2.
(9) 份，即第 2 子題排除第 1 子題影響力後的「淨得分」，同時，也可利用複相關係 數求得該則題組之鑑別度，最後並發現題組鑑別度與各子題淨鑑別度之間有密切 的關聯性；再者，本文亦提供了檢定各子題淨鑑別度是否顯著的統計方法。本研 究提出的方法不僅能考慮同一題組內各子題之間的關連性，同時適用的試題範圍 亦更廣泛。. 1.3 論文架構 本文共分為六章，第一章為緒論，包含前言、研究動機與論文架構；第二章. 政 治 大 分析，以相關係數探討其鑑別度，再以點二系列相關探討作答情形為二分變項之 立. 為文獻探討，綜覽試題鑑別度的理論與相關研究；第三章為獨立型試題的鑑別度. ‧ 國. 學. 試題鑑別度，並驗證點二系列相關為積差相關的特例，最後再輔以範例說明並與 相關研究作比較；第四章為題組型試題子題及題組的鑑別度分析，分別以相關係. ‧. 數定義子題鑑別度及以複相關係數定義題組鑑別度，並利用迴歸分析排除同一題. sit. y. Nat. 組內前面各子題影響力以探求子題淨鑑別度，最後再輔以範例說明並與相關研究. al. er. io. 作比較；第五章為實例分析，以 99 年第一次國民中學學生基本學力測驗英語科. v. n. 試題為例，利用本文研究結果分別計算其獨立型試題(單題)及題組型試題(題組). Ch. engchi. i n U. 之題組鑑別度、各子題鑑別度與各子題淨鑑別度，並與其它有關試題鑑別度的研 究作比較與分析；第六章為總結，包含研究結論與研究建議。. 3.
(10) 第二章 文獻探討 關於試題鑑別度之研究，已有許多學者曾探討其定義，大致可分成古典測驗 理論的鑑別度以及試題反應理論的鑑別度兩類型，但因考慮本文研究方向，本章 僅針對古典測驗理論的鑑別度進行回顧與探討。第一節簡介古典測驗理論，以及 其延伸出對教育測驗的分類，進而闡述試題分析的方法，並扼要說明試題分析的 量化指標，即難度與鑑別度；接續概略介紹常模參照測驗的試題鑑別度定義，包 含：高低分組通過率之差、二系列相關、點二系列相關、Φ 相關與積差相關，其 中，點二系列相關與積差相關的鑑別度定義方式為本文討論的重點；最後，介紹. 政 治 大. 題組試題的題目形式及其優缺點。第二節則回顧國內應用統計方法於試題鑑別度. 立. 之相關研究。. ‧ 國. 學 ‧. 2.1 試題鑑別度的理論. Nat. sit. y. 古典測驗理論(classical test theory)是最早的測驗理論，又稱作真實分數理論. n. al. er. io. (true score theory)，它建立在以真實分數模式(true score model)及其假設的基礎. i n U. v. 上，針對測驗資料間的實證關係，進行有系統解釋的一門學問。假設在所有可能. Ch. engchi. 的施測情境下、在所有可能的不同時間範圍內、或儘可能使用不同試題，來針對 同一位受試者進行同樣的測驗多次(理論上是無窮多次)，則可獲得許多有關該受 試者的實得分數(observed score)，這些實得分數的平均，即代表該受試者能力的 不偏估計值，該估計值被定義為真實分數(true score)。真實分數不受測量次數的 影響，它代表長期測量結果不變的部份；但實際上，單獨一次測量所得的實得分 數總會與真實分數間有差距，此差距稱為誤差分數(error score)。誤差分數深受測 量工具之準確度影響很大，它代表某次測量結果可變的部份。將上述以數學公式 表示即為 實得分數＝真實分數＋誤差分數 4.
(11) 古典測驗理論模式所採用的計算公式簡單明瞭、淺顯易懂，適用大多數的教育測 驗、心理測驗及社會科學研究資料的分析，是目前心理計量學界應用廣泛的測驗 理論之一。 教育測驗可根據教育目標類型、試題類型、編製過程的標準化程度及分數的 解釋方法來分類，如表 2-1。 表 2-1 教育測驗的分類 分類標準. 教育測驗類型. 常見的測驗. 依教育目標類型. 認知測驗. 成就測驗. 政 治 大民意調查、人格測驗 動作技能測驗 實作測驗 情意測驗. 補充型試題測驗. 簡答題、論文式測驗. 標準化測驗 教師自編測驗. io. n. al. 常模參照測驗. C效標參照測驗 hengchi. er. 實驗性測驗. sit. y. Nat 依分數的解釋方式. 選擇題、是非題、填充題. ‧. 依編製過程的標準化程度. 選擇型試題測驗. 學. 依試題類型. ‧ 國. 立. 段考、模擬考. iv n U 隨堂測驗. 然而，試題分析在整個測驗編製過程扮演非常重要的角色，它不僅能提供客 觀的試題特徵指標供使用者參考，以作為評鑑測驗良莠、驗證測驗效度、和增進 命題巧外，還可以協助教師作為改進教學和診斷學生學習困難之處，以作為補救 教學之依據。試題分析的方法大致上分為品質分析(qualitative analysis)與量化分 析(quantitative analysis)兩種，品質分析可由試題的內容審查、有效命題原則與教 學目標等評鑑工具來進行；量化分析即針對每個試題所具備的統計特徵—難度 (difficulty)與鑑別度(discrimination)來分析。由於古典測驗理論所使用的難度與鑑 別度指標是一種樣本依賴(sample dependent)的指標，即試題分析的結果會隨著使. 5.
(12) 用的樣本不同而獲得不同的分析結果，因此，試題分析的結果只是獲得暫時性的 統計特徵指標，它會因為應試學生人數的多寡、教育背景與能力水準等因素而受 影響。因試題鑑別度為本文討論重點，接下來將針對試題鑑別度作更進一步的說 明。 測驗編製者通常都希望編製的試題能夠盡量讓有能力、會答的學生答對，而 沒有能力、不會答的學生答錯，試題的這種分辨功能或作用，即稱為「試題鑑別 度」。試題具有區別不同能力學生的功能愈強，則其鑑別度愈高，反之，試題具 有區別不同能力學生的功能愈弱，則其鑑別度愈低；一個良好的試題，通常具有. 治 政 大 準不同，主要可分成兩大類：一種為比較高分組和低分組受試者對個別試題的答 立 較高的鑑別度(余民寧，1997)。常模參照測驗的試題鑑別度因分析時所依據的標. 題情形，另一種為探求全部受試者對各試題的答題情形和測驗總分之間的關連性. 一、比較高分組和低分組受試者對個別試題的答題情形. ‧. ‧ 國. 學. (李坤崇，2006)。茲分別說明如下：. y. Nat. 當我們以測驗總分來代表學生成就高低時，我們多半期望高能力學生在每個. er. io. sit. 試題上答對的百分比應該比低能力學生在每個試題上答對百分比高。當高分組和 低分組的選取方式確定以後，則定義高分組和低分組在該試題的通過百分比之差. al. n. v i n 為該試題的鑑別度指標，記為C D，如公式(2.1)，並且定義高分組和低分組在該試 hengchi U. 題的通過百分比之平均為該試題的難度指標，記為 P，如公式(2.2)。目前也經常 使用通過率作為難度的計算方式，如公式(2.3)。 鑑別度指標. D PH PL ……………………(2.1). 難度指標. P. 通過率. P. PH PL ……………………(2.2) 2. R …………………….………(2.3) N. 其中， PH ：高分組在該試題的通過百分比 PL ：低分組在該試題的通過百分比 6.
(13) R：答對人數 N：受測總人數 舉例來說，如果高分組答對第一題的百分比是 0.85，低分組是 0.40，則第一題的 鑑別度為 D 0.85 0.40 0.45 ，難度為 P . 0.85 0.40 0.625 。如果受試者共有 2. 50 人，答對第一題人數共 30 人，則第一題的通過率為 P . 30 0.6 。鑑別度指標 50. 通常以小數表示，其值域介於－1.00 到＋1.00 之間，指標愈高，表示鑑別度愈大； 反之，則鑑別度愈小。如果指標為 0，則表示題目沒有鑑別作用，此種現象可能 原因是題目太容易或太艱難，即所有人均答對或所有人均答錯，亦或題目不清楚. 政 治 大. 也會造成沒有鑑別作用。另外，如果低分組答對百分比高於高分組，則鑑別度是. 立. 負值，此種試題具有反向作用，應淘汰之。美國測驗學者 Ebel& Frisbie(1991)曾. ‧ 國. 學. 提出一套鑑別度的評鑑標準供參考(如表 2-2)，使用者可根據這個評判標準與考 量測驗目的，挑選具有良好鑑別度的試題。. ‧. Nat. 0.40 以上. 非常優良. n. al. er. 試題評鑑. io. 鑑別度值 D. 0.30-0.39. Ch. 0.20-0.29. y. 鑑別度值的評鑑標準. sit. 表 2-2. i n U. v. 優良，但可能需修改. e n g尚可，但通常需修改 chi. 0.19 以下. 劣，需淘汰或修改. 一般而言，難度適中的題目對整體受試者的鑑別度較高，因此常模參照測驗 在選題時，應該多選難易適中的題目。但是若編製錄取率很低的篩選性測驗，則 應該多選較難的題目才能發揮鑑別作用。當在編製多水準(multiple level)的測驗 時，應該就每一年級(或年齡)計算難度指標，研究該指標隨著年齡變動的情形， 進而找出最適合各年級的試題(歐滄和，2002)。 二、探求全部受試者對各試題的答題情形和測驗總分之間的關連性 此種分析方法是探求受試者對該試題的答題情形和其測驗總分之間的相關 7.
(14) 程度，以相關係數來表示該試題的鑑別度。若答題情形屬於二分變項(dichotomous. variable)，即受試者的答題情形只有答對和答錯兩種，且受試者的測驗總分屬於 連續性變項(continuous variable)，則可採用二系列相關(biserial correlation)、點二 系列相關(point- biserial correlation)與 Φ 相關(phi correlation)方法；若受試者的答 題情形不是只有答對與答錯兩種，則可採用皮爾森積差相關係數(Pearson’s. product-moment correlation coefficient)。接下來扼要說明上述四種方法： 1. 二系列相關 此方法適用兩個變項均為常態的連續變項，但其中一個變項因為某種理由而. 治 政 大 1 表示，答錯以 0 表示)， 續變項，但以人為方式將其區分為二分變項(如：答對以 立 被以人為方式劃分為兩個類別的情況；以某一測驗為例，試題得分原為常態的連. 學. rbi . ‧. X p Xt p ……………………(2.4) St y. sit. y. Nat. 其中，. ‧ 國. 而測驗總分屬於常態分配的情形，如公式(2.4)。. io. n. al. X t ：所有受試者測驗總分的平均數. Ch. engchi. St ：所有受試者測驗總分的標準差. er. X p ：答對該題之受試者測驗總分的平均數. i n U. v. p：答對該題之人數百分比 y：常態分配下面積為 p 時的常態分配曲線高度 2. 點二系列相關 點二系列相關與二系列相關相似，主要的差別在於：點二系列相關是適用在 一個變項為等距或比率變項(如：測驗總分 0 分到 100 分不等)，而另一個變項卻 是真正的名義二分變項的資料(如：答對以 1 表示、答對以 0 表示)，如公式(2.5)。. rpb . X p Xq St. pq ……………………(2.5). 8.
(15) 其中， X p ：答對該題之受試者測驗總分的平均數 X q ：答錯該題之受試者測驗總分的平均數. St ：所有受試者測驗總分的標準差 p：答對該題之人數百分比 q：答錯該題之人數百分比 3. Φ 相關 此方法適用於試題與測驗總分均為名義二分變項的情形(如：答對以 1 表示、. 政 治 大. 答錯以 0 表示；測驗總分 60 分以上為及格、未滿 60 分為不及格)，如公式(2.6)。 . xy. px p y. px qx. ……………………(2.6). py qy. 學. 其中，. ‧. ‧ 國. 立p. pxy ：答對該題且及格之人數百分比. y. Nat. er. io. sit. px ：答對該題之人數百分比 qx ：答錯該題之人數百分比. n. al. p y ：及格人數百分比. Ch. engchi. i n U. v. q y ：不及格人數百分比 將所有受試者對於該試題的作答情形人數依下列的 2×2 列聯表分類(如表 2-3)， 再將列聯表中的資料，代入公式(2.7)求出 Φ 值。 表 2-3. Φ 相關的 2×2 列聯表範例 答錯. 答對. 及格. A. B. 不及格. C. D. 9.
(16) . BC AD ……………(2.7) ( A B )(C D)( A C )( B D). 其中，. A：答錯該題且及格的人數 B：答對該題且及格的人數 C：答錯該題且不及格的人數 D：答對該題且不及格的人數 以上三種方法是依據學生在某個試題反應的對或錯與其測驗總分之間求相. 治 政 大 者，表示其鑑別度愈高，該試題的鑑別功能愈好，反之，則鑑別度愈低。但是， 立 關係數而得，並以此相關係數來表示該試題的鑑別度值；相關係數值愈接近 1. 若是所使用的樣本數太少，即使求得的相關係數值再高，也將不具有任何意義。. ‧ 國. 學. 因此，在使用上述三種方法計算鑑別度時，必須注意到樣本數的限制(余民寧，. ‧. 1997)。. y. Nat. 4. 皮爾森積差相關係數. er. io. sit. 若受試者的答題情形不是只有答對與答錯兩種，上述三種方法並不適用，則 可採用皮爾森積差相關係數，簡稱「積差相關」，記為 r，如公式(2.8)。. n. al. i n U. v. X Y XY N r …………(2.8) 2 2 ( X ) ( Y ) X 2 N Y 2 N. Ch. engchi. 其中，. X：受試者之測驗總分 Y：受試者在該題之得分 N：所有受試者的人數 積差相關係數的值介於－1 到＋1 之間，其絕對值愈大代表受試者測驗總分和每 一試題得分之間的相關程度愈強、鑑別度愈佳，一般心理與教育測驗的研究者的 評鑑標準如表 2-4： 10.
(17) 表 2-4. Garrett(1969)相關係數解釋表. 相關係數 r 值範圍. 相關程度解釋. 0.00～ 0.20. 不重要或可忽略的相關. 0.20～ 0.40. 低相關. 0.40～ 0.70. 顯著相關. 0.70～ 1.00. 高度相關. 表 2-4 這樣的分類解釋是概括且有點試驗性質的，僅能夠當成是一般的指導原 則，並不具任何統計的意義。再者，從不同樣本人數中所求出來的積差相關係數. 政 治 大 係數的解釋有很大的影響。一般來說，相關係數依據其值域的不同，可區分成兩 立 即使相同，但它所代表的意義卻不一定相同，因為樣本人數的多寡對於積差相關. ‧ 國. 學. 大類：一類為 A 型相關，這類相關係數的值域介於 0 與 1 之間，其值愈接近 1 者，代表兩個變項間的關聯程度愈強，反之，其值愈接近 0 者，代表兩個變項間. ‧. 的關聯程度愈弱；另一類為 B 型相關，這類相關係數的值域介於－1 與 1 之間，. sit. y. Nat. 其絕對值愈接近 1 者，代表兩個變項間的關聯程度愈強，反之，其絕對值愈接近. io. er. 0 者，代表兩個變項間的關聯程度愈弱，屬於這類型的相關者，計有：積差相關、. al. 二系列相關、點二系列相關等。雖然，積差相關統計法可以看成其他相關統計法. n. v i n Ch 的通式，但在使用不同測量屬性資料時，建議使用合適的相關統計法 (余民寧， engchi U 2005)。. 由於題組型試題為本文研究主題，接下來將說明題組的題目形式。題組是先 提供相關資料給學生聽或閱讀，並依據資料內容提出約 5 到 10 題的任何題型之 題目，但通常以選擇題或簡答題居多。由於答題時是基於對所提供資料的理解， 而且各個子題不能脫離資料單獨使用，故稱為資料理解式試題組合(英文稱為. interpretive exercises, contex-dependent item sets, item bundles, testlets)，在語文領 域稱為「閱讀理解測驗」與「聽力理解測驗」，在其他領域則被稱為「題組題」。 由於題組題是依據所提供新的情境和資料作答，因此能超越知識層次，測量到學. 11.
(18) 生的理解、應用、分析或評鑑的能力(歐滄和，2002)。. 2.2 試題鑑別度的相關研究 王麗雯(1993)提出以雙隨機變項迴歸法定義試題鑑別度，賦予鑑別度統計意 義，不但可探討鑑別度的區間估計並可做檢定，相較於傳統以高低分組通過率差 所定義的鑑別度，此研究以雙隨機變項迴歸法定義的鑑別度在分析試題良莠時有 更客觀的標準。另外，以雙隨機變項迴歸法定義的鑑別度，在應用時不僅限於只 有答對或答錯的試題，甚至適用於部份給分的試題。研究結果發現以雙隨機變項. 政 治 大 別力相近，且優於相關係數的鑑別度定義。 立. 迴歸方法所定義的鑑別度，其鑑別力與以高低分組通過率差所定義的鑑別度之鑑. ‧ 國. 學. 謝佩瑾(2001)考慮小班教學之教育需求，研究提出利用中間 P 值作為判斷 「二 元給分試題」是否具有鑑別度以及費雪正確檢定 P 值作為判斷「部份給分試題」. ‧. 是否具有鑑別度之方法，相較於傳統以高低分組通過率差所定義的鑑別度，此研. sit. y. Nat. 究利用統計檢定的過程來評斷試題是否具有鑑別度，賦予試題鑑別度更客觀的判. al. n. 通過率之差所定義的鑑別度及臨界比有一致性。. Ch. engchi. er. io. 斷標準。研究結果發現利用中間 P 值與費雪正確檢定 P 值皆與傳統以高低分組. i n U. v. 傅怡銅(2003)提出當考生作答情形只有答對與答錯兩種，利用古典測驗理論. D 值、點二系列相關係數、項目反應理論、卡方適合度檢定、羅吉斯迴歸模式下 卡方適合度檢定、概似比函數等六種方法，進行試題鑑別度的比較與分析，研究 結果發現六種鑑別力之評定方法無絕對之優劣，需視評鑑者的需求決定使用方 式。大致為古典測驗理論寬鬆、羅吉斯迴歸模式下概似比函數次之、卡方適合度 檢定、羅吉斯迴歸模式下卡方適合度檢定再其次、項目反應理論嚴苛。 由於本文研究主題與施焱騰(2008)同為題組型試題的鑑別度，且施焱騰的研 究架構又為呂金川(2008)的延伸，因此本文研究內容與施焱騰與呂金川的研究關 聯性高。故接下來將針對兩人提出的研究結果作詳細的介紹，並各列舉一範例輔. 12.
(19) 助說明。 呂金川(2008)有鑒於傳統的難度(即高低分組通過率平均)與鑑別度(即高低 分組通過率差)僅考慮前段與後段的學生，故提出能兼顧中段學生表現的方法， 主要是利用機率模式所推導出的公式來計算獨立型試題的難度與鑑別度，並與傳 統的難度與鑑別度計算方法作比較。扼要說明其研究結果如下： 假設 高分組為答對題數至少為 rH 題的群體，即 H ( X rH ) 低分組為答對題數至多為 rL 題的群體，即 L ( X rL ). 政 治 大. PH j ≡高分組中答對第 j 題的比例. 立. PH j ≡高分組中答對第 j 題的比例. io. y. sit. 則. Nat. 1 ，若第 j題答對 Xj ，其中 j 1 , , m 0 ，若第 j題答錯. X X 1 X 2 X m 表示整份試卷答對的題數. n. al. er. 令. ‧. ‧ 國. 學. 對任何一位學生而言. v i n C j 題答對題數 h eXn 為不含第 gchi U. X ( j ) X 1 X j 1 X j 1. m. 因此，第 j 題的難度計算公式為. Pj . PH j PL j. 2 1 Pr( X ( j ) rH 1) Pr( X ( j ) rL 1) [ ]Pr( X j 1) 2 Pr( X rH ) Pr( X rL ) 且第 j 題的鑑別度計算公式為. D j PH j PL j [. Pr( X ( j ) rH 1) Pr( X rH ). . Pr( X ( j ) rL 1) Pr( X rL ). 綜合上述，其研究結論有以下六點： 13. ]Pr( X j 1).
(20) 1. 機率模式下計算試題難度與鑑別度值比傳統鑑別度複雜。 2. 可利用數學軟體，依研究操作程序解決機率模式的計算問題。 3. 傳統的難度與鑑別度不受中間群體表現的影響；而機率模式的難度與鑑別度 因有考慮全體的作答情形，故會隨中間群體答題資料變動。. 4. 一般而言，機率模式之高分組答對率會小於傳統模式高分組答對率、機率模 式之低分組答對率會小於傳統模式低分組答對率，此研究之實例分析亦呈現 該現象。. 5. 機率模式的難度與傳統的難度接近，而機率模式的鑑別度通常小於傳統的鑑. 治 政 大 不同試題之通過率相同時，傳統的難度和鑑別度未必相同，而機率模式下的 立 別度。. 6.. 難度與鑑別度卻相同。. ‧ 國. 學. 【例 1】呂金川(2008)第二章第四節範例 1. ‧. 假設一份試卷共有五題試題，試題間彼此獨立，且每一題配分皆相同，現有. 1 4 6 8 3 5 7 2. 1 1 0 1 0 0 0 0. y. al. 第二題. n. 第一題. Ch. 1 1 1 0 0 1 0 0. 例 1 之學生作答情形 第三題. 第四題. e n1g c h i 1 1 1 1 0 1 0. sit. io. 學生 編號. 表 2-5. 第五題. 答對 題數. 1 1 1 1 1 0 0 0. 5 5 4 4 2 2 1 0. er. Nat. 八名學生應試，將八位學生答對題數由高至低排序如表 2-5。. i n U 1. v. 1 1 1 0 1 0 0. 註：上表中答對該題以 1 表示，答錯該題以 0 表示 步驟一：將答對題數由高至低排列，選取前 27%作為高分組及後 27%作為低分 組，本例之高分組取答對五題以上者，即 rH 5 ，低分組取答錯一題以 下者，即 rL 1 14.
(21) 步驟二：計算每一題的通過率與整份試卷答對題數的機率生成函數. 3 4 6 第一題通過率 p1 ；第二題通過率 p2 ；第三題通過率 p3 ； 8 8 8 5 5 第四題通過率 p4 ；第五題通過率 p5 8 8 令整份試卷答對題數的機率生成函數為. 3 5 4 4 6 2 5 3 5 3 F (t ) ( t )( t )( t )( t )( t ) 8 8 8 8 8 8 8 8 8 8 1 (45 357t 1058t 2 1466t 3 545t 4 225t 5 ) 4096 步驟三：計算不含第一題之答對題數的機率生成函數 F(1) (t ). 政 治 大. ‧ 國. 立. 學. 4 4 6 2 5 3 5 3 F(1) (t ) ( t )( t )( t )( t ) 8 8 8 8 8 8 8 8 1 (9 66t 172t 2 190t 3 75t 4 ) 512. 步驟四：利用步驟二、步驟三所得的機率生成函數，計算 Pr( X rH )、Pr( X rL ) 、. ‧. Pr( X ( j ) rH 1) 、 Pr( X ( j ) rL 1) 的值. Nat. 45 357 402 4096 4096 4096. n. al. Pr( X (1) 4) . 75 512. Pr( X (1) 0) . 9 512. Ch. engchi. sit. io. Pr( X 1) . y. 225 4096. er. Pr( X 5) . i n U. v. 步驟五：計算第一題的高分組通過率 PH1 與高分組通過率 PL1. 75 3 PH1 512 1 225 8 4096. 9 3 PL1 512 0.067 402 8 4096. ；. 步驟六：利用步驟五所得結果計算第一題難度 P1 與第一題鑑別度 D1 的值. P1 . PH1 PL1 2. 0.534. ；. D1 PH1 PL1 0.933. 15.
(22) 同理，重複上述步驟計算其他試題，並將結果和傳統難度與鑑別度比較如表 2-6。 表 2-6. 例 1 的傳統模式與機率模式之難度與鑑別度比較表. 題 號. 傳統模式 難度 鑑別度. 機率模式 難度 鑑別度. 1 2 3 4 5. 0.500 0.500 0.750 0.500 0.500. 0.534 0.556 0.668 0.593 0.593. 1.000 1.000 0.500 1.000 1.000. 0.933 0.888 0.664 0.813 0.813. 施焱騰 (2008) 提出有鑒於傳統的難度( 即高低分組通過率平均) 與鑑別度( 即. 政 治 大. 高低分組通過率之差)並未明確觸及題組型試題的概念，故將機率模式引進題組. 立. 型測驗中，並探討難度指標與鑑別度指標之計算公式。機率模式下，在計算難度. ‧ 國. 學. 與鑑別度指標值時，需要用到答對題數的機率分配函數，而可以機率生成函數來 求得此機率分配。在實務上，可利用數學軟體來協助處理機率生成函數的計算問. ‧. 題。扼要說明其研究結果如下：. Nat. sit. y. 假設有 n 位受測學生，對每道試題皆有作答，且對題組型試題均依序回答，同時：. n. al. er. io. 1. 題組間作答情況是獨立的。. i n U. 2. 每一題組中，第一子題各選項人數服從多項分配。. Ch. engchi. v. 3. 每一題組中，第 j＋1 子題作答情況至多只與第 j 子題作答情況有關。 4. 在題組 i 之第 j 子題中，已知第 k 選項人數為 nijk 時，該 nijk 位學生於下一子題 各選項的選擇人數服從多項分配。 令. 1 ，當題組i中第 j子題答對 Cij ，其中， j 1 , , ri ； i 1 , , t 0 ，當題組i中第 j子題答錯. Ci ≡題組 i 中答對題數， X ≡整份試卷答對總題數 定義 Ci 的機率生成函數為 ri. GCi (t ) E (t ) ci. . m 0 di 1 diri m. ri 1. m P(Ci1 di1 )[ P(Ci , j 1 di , j │ 1 Cij d ij )]t j 1. 16.
(23) 其中，. dij 的值為 0 或 1. t m 的係數即代表答對題數 m 的機率 由於整份試卷是由數則獨立題組組成，因此，整份試卷的機率生成函數是各題組 答對題數的機率生成函數的乘積，即. GX (t ) GC1 (t ) GCt (t ) 將上式展開後的係數可求得答對題數 X 的機率分配函數。 最後推導結果為 [H ] ij. 高分組通過率 P. 立. 低分組通過率. . P ( X x[ H ] | Cij 1). P(Cij 1). 政 治 大 P P(C [ L] ij. P( X x[ H ] ) P( X x[ L ] | Cij 1) P ( X x[ L ] ). ij. ‧ 國. 學. 其中， j 1 , , ri ； i 1 , , t. 1). P ( X x[ H ] ) 可由 X 的機率生成函數之次數至少為 x[ H ] 的各項係數和獲得. ‧. P ( X x[ L ] ) 可由 X 的機率生成函數之次數至少為 x[ L ] 的各項係數和獲得. sit. y. Nat. P ( X x[ H ] | Cij 1) 可由 X 的條件機率生成函數次數至少為 x[ H ] 各項係數和獲得. n. al. er. io. P ( X x[ L ] | Cij 1) 可由 X 的條件機率生成函數次數至少為 x[ L ] 各項係數和獲得. 因此，. Ch. engchi. 第 i 題組第 j 子題的難度計算公式為 Pij 第 i 題組第 j 子題的鑑別度計算公式為. i n U. v. Pij[ H ] Pij[ L ] 2. Dij Pij[ H ] Pij[ L ]. 綜合上述，其研究結論有以下四點：. 1. 傳統難度和鑑別度並未明確觸及題組觀念，故本研究將機率模式引進題組測 驗中，並探討難度與鑑別度計算公式，希望研究結果可提供新的研究方向。. 2. 對於傳統的難度和鑑別度而言，其計算難度指標與鑑別度指標之方式可視為 無母數的統計方法；而對於機率模式來說，計算難度指標與鑑別度指標之方 式可視為有母數的統計方法。 17.
(24) 3. 機率模式下，於計算難度指標與鑑別度指標時，需要用到答對題數的機率分 配函數，而我們可以機率生成函數來求得此機率分配。在實務上，可利用數 學軟體來協助處理機率生成函數的計算問題。. 4. 傳統模式下，在不同試題之答對率相同時，對應之難度(即高低分組通過率平 均)與鑑別度(即高低分組通過率之差)指標未必相同。然而，機率模式下，兩 個非題組型試題有相同答對率時，對應之兩指標亦相同；但不同題組中之試 題有相同答對率時，對應之兩指標則不一定相同。 【例 2】施焱騰(2008)第二章第八節例 1. 治 政 大 題，題組二有兩道子題，題組三有三道子題，且每道試題均有四個選項，高分組 立. 假設有十二位學生回答一份試卷，此試卷共有三則題組，題組一有一道子. 學. 答情形依照答對題數由高至低依序排列如表 2-7。. 題組二. 題組三. 1. 2. C* C* A C*. B* B* B* B*. D* D* D* C. A* A* A* A*. D* D* D* D*. v. B* D B* B*. 6 5 5 5. D* C C C. A* A* A* A*. A D* A D*. D D D D. 4 3 3 2 1 1 1 0. Ch. engchi. er. sit. y. 2. al. i n U. 3. 5 6 7 8. C* C* C* A. B* D B* D. 9 10 11 12. A C* A A. B* D D D. C C C C. B B A* B. A A A A. D D D D. 正確答案. C. B. D. A. D. B. 答對率. 7 12. 7 12. 4 12. 9 12. 6 12. 3 12. 中 段 生 低 分 組. 答對 題數. 1. n. 1 2 3 4. 例 2 之學生作答情形. 1. io. 高 分 組. 題組一. Nat. 學生編號. 表 2-7. ‧. ‧ 國. 為答對 5 題以上(含)(即 x[ H ] 5 )，低分組為答對 1 題以下(含)(即 x[ L ] 1 )。學生作. 註：上表中「*」代表該題答對 18.
(25) 本例僅以題組三的各子題說明難度與鑑別度計算過程，其餘題目均仿照此方法。 步驟一：求整份試卷答對總題數的機率生成函數 Gx (t ) 題組一答對題數 C1 的機率生成函數為. 7 5 t 12 12. 題組二答對兩題之機率： P (C21 1, C22 1) P (C22 1 │C21 1) P(C21 1) 4 7 4 7 12 12. 題組二答對一題的機率： P (C21 1, C22 0) P(C21 0, C22 1). 政 治 大. P(C22 0 │C21 1) P(C21 1) P(C22 1 │C21 0) P(C21 0). 立. 學. ‧ 國. 3 7 3 0 7 12 12. 題組二答對零題之機率： P(C21 0, C22 0). ‧. P(C22 0 │C21 0) P(C21 0). y. n. al. 題組三答對三題之機率：. Ch. engchi. P (C31 1, C32 1, C33 1). sit. io. 因此，題組二答對題數 C2 的機率生成函數為. 4 2 3 5 t t 12 12 12. er. Nat. 5 5 5 5 12 12. i n U. v. P(C33 1 │C32 1) P(C32 1 │C31 1) P(C31 1) 3 6 9 3 6 9 12 12. 題組三答對兩題之機率：. P (C31 1, C32 1, C33 0) P(C31 1, C32 0, C33 1) P(C31 0, C32 1, C33 1) P(C33 0 │C32 1) P(C32 1 │C31 1) P(C31 1) P(C33 1 │C32 0) P(C32 0 │C31 1) P(C31 1) P(C33 1 │C32 1) P(C32 1 │C31 0) P (C31 0) 3 6 9 3 9 3 3 0 0 0 6 9 12 9 12 12 12 題組三答對一題之機率： 19.
(26) P (C31 1, C32 0, C33 0) P(C31 0, C32 1, C33 0) P(C31 0, C32 0, C33 1) P(C33 0 │C32 0) P(C32 0 │C31 1) P(C31 1) P(C33 0 │C32 1) P(C32 1 │C31 0) P(C31 0) P(C33 1 │C32 0) P(C32 0 │C31 0) P (C31 0) 3 3 9 3 3 3 3 00 0 3 9 12 12 3 12 12 題組三答對零題之機率： P (C31 0, C32 0, C33 0) P(C33 0 │C32 0) P(C32 0 │C31 0) P(C31 0) 3 3 3 3 3 3 12 12. 政 治 大123 t 123 t 3. 因此，題組三答對題數 C3 的機率生成函數為. 立. 則. 2. . 3 3 t 12 12. ‧ 國. 學. ‧. 7 5 4 3 5 3 3 3 3 Gx (t ) ( t )( t 2 t )( t 3 t 2 t ) 12 12 12 12 12 12 12 12 12 7 6 23 5 119 4 1 3 29 2 25 25 t t t t t t 144 192 576 4 144 192 576. sit. n. al. 7 5 GC1 (t ) t 12 12 GC2 (t ) . er. io. * F31 (t ) GC1 (t ) GC2 (t ) G31 (t ). 其中，. Ch. y. Nat. 步驟二：求多項式 F31 (t ) 、 F32 (t ) 、 F33 (t ). engchi. i n U. v. 4 2 3 5 t t 12 12 12. * (t ) P(C31 1, C32 0, C33 0)t [ P(C31 1, C32 1, C33 0) G31. P(C31 1, C32 0, C33 1)]t 2 P (C31 1, C32 1, C33 1)t 3 . 3 3 3 2 3 t t t 12 12 12. 故 7 5 4 3 5 3 3 3 t )( t 2 t )( t 3 t 2 t ) 12 12 12 12 12 12 12 12 7 6 23 5 119 4 29 3 25 2 25 t t t t t t 144 192 576 144 192 576 F31 (t ) (. 20.
(27) 同理，可得 F32 (t ) . 7 6 23 5 91 4 25 3 25 2 t t t t t 144 192 576 192 576. 步驟三：求 P ( X 5) 與 P( X 1) 將步驟一所得機率生成函數 Gx (t ) 中次數至少為五次的各項係數加總 P ( X 5) . 7 23 97 144 192 576. 將步驟一所得機率生成函數 Gx (t ) 中次數至多為一次的各項係數加總 P ( X 1) . 25 25 25 192 576 144. 步驟四：求 P ( X 5且C31 1) 與 P ( X 1且C31 1). 治 政 大 將步驟二所得機率生成函數 F (t ) 中次數至少為五次的各項係數加總 立 7 23 97 31. ‧ 國. 144 192 576. 學. P ( X 5且C31 1) . 將步驟二所得機率生成函數 F31 (t ) 中次數至少多為一次的各項係數加總 25 576. Nat. y. ‧. P ( X 1且C31 1) . n. al. 97 576. P ( X 1且C32 1) 0. ；. er. io. P ( X 5且C32 1) . sit. 同理可得. v i n C h ； P( X 1且CU 1) 0 engchi. 23 P ( X 5且C33 1) 192. 33. 步驟五：利用步驟三、步驟四之結果計算 P31[ H ] 、 P31[ L ] ； P32[ H ] 、 P32[ L ] 與 P33[ H ] 、 P33[ L ] P31[ H ] . P( X 5且C31 1) 1.0000 P( X 5). P31[ L ] . P( X 1且C31 1) 0.2500 P( X 1). 同理可得 P32[ H ] 1.0000 ； P32[ L ] 0.0000 P33[ H ] 0.7113 ； P33[ L ] 0.0000. 步驟六：利用步驟五之結果計算 P31 、 D31 ； P32 、 D32 ； P33 、 D33 21.
(28) P31 . P31[ H ] P31[ L ] 0.6250 2. D31 P31[ H ] P31[ L ] 0.7500. 同理可得 P32 0.5000 ； D32 1.0000 P33 0.8557 ； D33 0.7113. 同理，重複上述步驟可得其他題組之難度與鑑別度，結果如表 2-8。 表 2-8. 例 2 的傳統模式與機率模式之子題難度與鑑別度比較表 傳統模式 難度 鑑別度. 題號. 機率模式 難度 鑑別度. 政 0.50治 大0.5719. 1. 0.500. 題組二. 1 2. 0.625 0.375. 0.75 0.75. 0.7250 0.3918. 0.5500 0.7835. 題組三. 1 2 3. 0.625 0.500 0.375. 0.75 1 0.75. 0.6250 0.5000 0.3557. 0.7500 1.0000 0.7113. ‧. ‧ 國. 立. 學. 題組一. n. er. io. sit. y. Nat. al. Ch. engchi. 22. i n U. v. 0.4338.
(29) 第三章 獨立型試題鑑別度之探討 本章從個別試題得分與測驗總分相關程度的觀點，分析獨立型試題的鑑別 度。第一節為獨立型試題的基本假設；第二節以相關係數探討其鑑別度，再以點 二系列相關探討作答情形為二分變項之試題鑑別度，並驗證點二系列相關為積差 相關的特例；第三節為以相關係數模式計算獨立型試題鑑別度之範例，並將結果 與傳統鑑別度(即高低分組通過率之差)及呂金川(2008)以機率模式計算獨立型試 題鑑別度的結果作比較分析。. 3.1 基本假設. 立. 政 治 大. 若一份試卷有 m 個試題，任何一位學生應試作答時，試題之間的作答情形. ‧ 國. 學. 彼此獨立。故對任何一位學生而言，若令. ‧. Yk ＝第 k 題的得分 Y ＝該測驗總分. y. Nat. n. er. io. al. 3.2 相關係數鑑別度. sit. 則 Y Y1 Y2 Ym ，且 Y1 、 Y2 、…、 Ym 彼此獨立。. Ch. engchi. i n U. v. 對整份測驗的某一個試題而言，若測驗總分高的學生在該試題得分高且測驗 總分低的學生在該試題得分低，則可說此試題具有區別高低能力的功能，此功能 即為試題鑑別度。分析試題鑑別度時，若受試者的作答情形只有答對與答錯兩 種，即作答情形屬於二分變項之試題(例：配分相同或不同的選擇題)，則可採用 點二系列相關；若受試者的作答情形不只答對與答錯兩種，即作答情形屬於非二 分變項之試題(例：可部份給分的問答題)，則可採用積差相關係數。由於 2.1 節 已介紹積差相關統計法可以看成其他相關統計法的通式，因此，接下來將依序探 討作答情形屬於非二分變項及二分變項之試題鑑別度。. 23.
(30) 一、作答情形屬非二分變項之試題鑑別度 【定義 3.1】相關係數鑑別度 第 k 題鑑別度為「測驗總分」和「第 k 題得分」的相關係數，記為 Dk ，即 Dk = (Y , Yk ) ……………………(3.1) 由定義 3.1 發現，雖然相關係數鑑別度和傳統鑑別度同屬於樣本依賴指標， 但相關係數鑑別度充份使用每一個樣本所提供的資訊，不同於傳統鑑別度僅選取 高低分組作為代表。以下說明在獨立型試題時， Dk 可以變異數的型態呈現。 【定理 3.1】相關係數鑑別度計算公式 ……………………(3.2) 治 政 Var ( Y ) 大 Var (Yk ). Dk . m. 立. i. i 1. 學. 證明如下：. 已知 Y Y1 Y2 Ym 且 Y1 、 Y2 、…、 Ym 彼此獨立，因此 Dk (Y , Yk ). Nat. i 1. m. Var (Yk ) Var ( Yi ). n. al. . i 1. Ch. ,Y g ) chi Cove(Y n m. i. i 1. k. er. io. sit. Cov( Yi , Yk ). . i n U. v. m. Var (Y ). Var (Yk ). i. i 1. Cov(Yk , Yk ). . m. Var (Y ). Var (Yk ). (因i k時，Yi 與Yk 獨立). i. i 1. Var (Yk ). . m. Var (Y ). Var (Yk ) . y. m. ‧. ‧ 國. 即第 k 題鑑別度為「第 k 題得分變異佔總分變異比例的正平方根」。. i. i 1. Var (Yk ) m. Var (Y ) i 1. i. 其中，由定理 3.1 發現，第 k 題鑑別度之平方為第 k 題得分變異佔總分變異的比 24.
(31) 例。此外，當 Var (Yk ) 值愈大，第 k 題得分狀況愈分散，即第 k 題鑑別度愈大。 二、受試者作答情形屬二分變項之試題鑑別度 在作答情形屬二分變項時，又可進一步的將 Dk 以試題配分及試題通過率表現。 令 a ，若第 k題答對 Yk k 0 ，若第 k題答錯. 且 1 ，若第 k題答對 Zk 0 ，若第 k題答錯. 政 治 大. 同時，假設第 k 題答對的機率為 pk (即第 k 題通過率為 pk )，. 立 Yk ak Z k. 學. ‧ 國. 則. 因 E ( Z k ) pk 且 Var ( Z k ) pk (1 pk ). ‧. 故. y. Nat. E (Yk ) E (ak Z k ). ak pk. n. al. 且. Ch. engchi. er. io. ak [0 p ( Z k 0) 1 p ( Z k 1)]. sit. ak E ( Z k ). i n U. v. Var (Yk ) a Var ( Z k ) 2 k. ak2 {E ( Z k2 ) [ E ( Z k )]2 } ak2 {E ( Z k ) [ E ( Z k )]2 } ak2 pk (1 pk ) 由(3.2)式， Var (Yk ). Dk . m. Var (Y ) i 1. . i. ak2 pk (1 pk ) m. a i 1. 2 i. pi (1 pi ). 25. ……………………(3.3).
(32) 【定義 3.2】點二系列相關係數鑑別度 第 k 題鑑別度為「測驗總分」和「第 k 題答對或答錯情形」的相關係數，即. (Y , Z k ) ……………………(3.4). 點二系列鑑別度為 因 Yk 與 Z k 的共變異數為：. Cov(Yk , Z k ) Cov(ak Z k , Z k ) ak Cov( Z k , Z k ) ak Var ( Z k ) ak pk (1 pk ) 因此， Cov(Y , Z k ) Var ( Z k ) Var (Y ). 政 治 大. (Y , Z k ) . 立Cov( Y , Z ). . i. i 1. k. m. Var ( Z k ) Var ( Yi ) i 1. 學. m. Cov(Y , Z. . y. Var (Y ) i. io. sit. i 1. Cov(Yk , Z k ). aVar iv l C(Z ) Var (Y ) n ha e p (1 ngp c) h i U. n. m. i. i 1. k. pk (1 pk ) . ). m. Var ( Z k ). k. . k. er. Nat. . i. i 1. ‧. ‧ 國. m. k. k. m. a i 1. ak2 pk (1 pk ) m. a i 1. 2 i. 2 i. pi (1 pi ) ……………………(3.5). pi (1 pi ). 由上述發現公式(3.3)和公式(3.5)相同，因此對於作答情形屬二分變項且配分不同 的試題，無論由積差相關或由點二系列相關計算其鑑別度皆可得到相同結果，這 也印證了點二系列相關是積差相關的特殊情況。此外，對於作答情形屬二分變項 且配分相同的試題，公式(3.5)可進一步化簡如公式(3.6)：. 26.
(33) Dk . pk (1 pk ) m. p (1 p ) i 1. i. ……………………(3.6). i. 3.3 範例 本節將利用相關係數鑑別度公式重新計算例 1，並與傳統鑑別度(即高低分組 通過率之差)及呂金川(2008)以機率模式計算獨立型試題鑑別度作比較分析。 【例 3】(續例 1) 範例中的資料可利用統計套裝軟體處理積差相關係數之計算，或直接使用本文提. 政 治 大 第一題的鑑別度為 D立 =0.787. 供的電腦程式計算獨立型試題鑑別度，程式及其使用說明請參考附錄一。 1. ‧ 國. 學. 第二題的鑑別度為 D2 =0.638 第三題的鑑別度為 D3 =0.614. ‧. 第四題的鑑別度為 D4 =0.824. sit. y. Nat. 第五題的鑑別度為 D5 =0.824. al. er. io. 依照表 2-4 的 Garrett 積差相關係數解釋表來分析：第一、四、五題屬於「高度. v. n. 相關」，第二、三題屬於「顯著相關」。將上述結果與傳統模式及機率模式作比. Ch. engchi. i n U. 較如表 3-1，觀察本例結果發現以傳統模式、機率模式與相關係數模式計算鑑別 度，鑑別度的高低排序大致上一致，其中皆以第三題鑑別度最低。 表 3-1. 例 3 傳統模式、機率模式與相關係數模式鑑別度比較表. 題號. 傳統模式 鑑別度. 機率模式 鑑別度. 相關係數模式 鑑別度. 第一題 第二題 第三題 第四題 第五題. 1.000 1.000 0.500 1.000 1.000. 0.933 0.888 0.664 0.813 0.813. 0.787 0.638 0.614 0.824 0.824. 由於傳統模式鑑別度僅考慮高分組與低分組之通過率，以統計的觀點來看，在樣. 27.
(34) 本使用上是不夠充分的，然而，呂金川(2008)研究發現機率模式鑑別度能兼顧中 段學生表現。因此，接下來將例 1 的編號 3 及編號 5 學生(屬中間群體)作答資料 稍作修改如表 3-2，再重新以相關係數模式計算各題鑑別度，並觀察其鑑別度是 否隨中間群體作答資料改變。 表 3-2 學生編號. 第一題 第二題 第三題 第四題 第五題. 立. ‧ 國. 1 0 1* 1 0 0 0 1. 1 0 0 1 1 1 0 0. 1 0 1 1 0 1 1 1. 1 0 0 1 1 1 0 1. 1 0 1 1 1* 1 0 1. 政 治 大. 學. 1 2 3 4 5 6 7 8. 例 1 修改中間群體學生作答資料之答題情形 答對題數 5 0 3 5 3 4 1 4. 註：上表中「*」表示與例 1 作答情形差異處，即 0 改為 1. ‧. 利用統計軟體重新計算相關係數模式的各題鑑別度，並將結果與機率模式及傳統. Nat. sit. y. 模式比較如表 3-3。觀察本例結果發現，中間群體學生作答資料異動後，各題的. n. al. er. io. 相關係數模式與機率模式鑑別度皆有微幅變動，但傳統模式鑑別度並未因中間群 體資料改變而有所變動。 表 3-3. 題號 第一題 第二題 第三題 第四題 第五題. Ch. engchi. i n U. v. 例 3 中間群體資料異動對傳統、機率與相關係數模式鑑別度之影響 傳統模式 機率模式 相關係數模式 修改前的 修改後的 修改前的 修改後的 修改前的 修改後的 鑑別度 鑑別度 鑑別度 鑑別度 鑑別度 鑑別度 1.000 1.000 0.500 1.000 1.000. 1.000 1.000 0.500 1.000 1.000. 0.933 0.888 0.664 0.813 0.813. 28. 0.906 0.906 0.719 0.844 0.719. 0.787 0.638 0.614 0.824 0.824. 0.665 0.665 0.555 0.821 0.896.
(35) 第四章 題組型試題子題及題組鑑別度之探討 題組題是依據所提供之新情境和資料作答的試題類型，它能測量到學生的理 解、應用、分析或評鑑能力，一般來說，同一題組內各子題有某種程度的關連性。 由於題組題是近幾年國民中學基本學力測驗常見的試題類型，且目前各種鑑別度 定義僅針對單一試題作鑑別度分析，若將其應用在分析題組型試題鑑別度時，除 了無法計算題組本身的鑑別度之外，甚至會忽略題組內各子題之間的關連性。目 前題組鑑別度的相關研究並不多，故本文以複相關係數的觀點探討其鑑別度，提 供新的研究方向。第一節說明題組型試題的基本假設；第二節以相關係數定義題. 政 治 大. 組型試題的子題鑑別度，並將鑑別度表示成能清楚呈現子題得分、題組得分以及. 立. 測驗總分三者關係的公式；第三節以複相關分析的方法定義整則題組之鑑別度，. ‧ 國. 學. 並說明在蒐集測驗結果資料後，如何運用複迴歸分析的技巧計算題組鑑別度；第 四節以複迴歸分析的方法排除同一題組內前面各子題影響力後之子題鑑別度，並. ‧. 探求其對於該題組鑑別度的貢獻程度，其中，引進子題淨得分與淨鑑別度的概. Nat. sit. y. 念；第五節為應用本文研究結果計算題組鑑別度、子題鑑別度及子題淨鑑別度，. n. al. er. io. 並將結果與傳統鑑別度(即高低分組通過率之差)及施焱騰(2008)以機率模式計算 題組型試題鑑別度的結果作比較分析。. Ch. engchi. i n U. v. 4.1 基本假設 設一份試卷是由 m 則題組所構成，且第 1 題組有 k1 個子題、第 2 題組有 k2 個 子題、…、第 m 題組有 km 個子題，各題組包含子題數目可不同。令. Yij ＝第 i 題組第 j 子題的得分 ki. Yi Yit ＝第 i 題組的得分 t 1 m. ks. Y Yst ＝測驗總分 s 1 t 1. 29.
(36) 此外，尚有以下兩項重要假設： 1. 題組間的作答情形是獨立的，即 Y1 、 Y2 、 Y3 、…、 Ym 彼此獨立。 2. 每一題組中，第 j 子題作答情況與前面的 j－1 個子題作答情形有關。. 4.2 題組內子題之鑑別度 本節暫時先忽略同一題組內各子題之間的影響力，延續第三章獨立型試題以 「測驗總分」和「個別試題得分」的相關係數來定義題組內子題之鑑別度。 【定義 4.1】題組內子題之鑑別度. 政 治 大. 第 i 題組第 j 子題鑑別度為「測驗總分」和「第 i 題組第 j 子題得分」的相關係. 立. 學. ‧ 國. 數，記為 Dij ，即. Dij (Y , Yij ). ‧. 如同目前的各種鑑別度指標僅適用於計算單一試題鑑別度，定義 4.1 亦將同. y. Nat. 一題組內各子題視為獨立型試題來計算其鑑別度。「排除前面各子題影響力後的. er. io. sit. 子題鑑別度」與「將各子題視為獨立型試題的鑑別度」之間的差異，待本章第四 節探討子題淨得分與淨鑑別度的概念後，將於本章第五節之計算範例一併作比較. n. al. i n 說明。接下來，由定義 4.1 尚可推導出其他公式。 Ch engchi U. v. 【定理 4.1】題組內子題之鑑別度計算公式 Dij . Var (Yi ) (Yi , Yij ) ……………………(4.1) Var (Y ). 即第 i 題組第 j 子題鑑別度為「第 i 題組得分變異佔總變異比例的正平方根」與 「第 i 題組得分與第 i 題組第 j 子題得分之相關係數」的乘積。 證明如下： m. ks. 已知 Y Yst 且 Y1 、 Y2 、 Y3 、…、 Ym 彼此獨立 s 1 t 1. 因此，由定義 4.1 可推導出. 30.
(37) Dij (Y , Yij ) Cov(Y , Yij ). . Var (Y ) Var (Yij ) ks. m. Cov( Yst , Yij ). . s 1 t 1. Var (Y ) Var (Yij ) ks. m. Cov(Y. . st. s 1 t 1. , Yij ). Var (Y ) Var (Yij ) ki. Cov(Y , Y ). . it. t 1. ij. Var (Y ) Var (Yij ). 政 治 大 ki. 立Var(Y ). t 1. Var (Yi ) Var (Y ). . Cov(Yi , Yij ) Var (Yi ) Var (Yij ). y. Nat. . Var (Y ) Var (Yij ). ‧. . Cov(Yi , Yij ). io. Var (Yi ) (Yi , Yij ) Var (Y ). al. er. . Var (Yij ). 學. ‧ 國. . sit. . Cov( Yit , Yij ). v. n. 由於不同題組之間可視為獨立型試題，並且由(3.1)得知「測驗總分與第 i 題組得. Ch. engchi. i n U. 分的相關係數」與「第 i 題組得分變異數與總變異數之比值的正平方根」是相同 的，即. (Y , Yi ) . Var (Yi ) Var (Y ). 因此，(4.1)可寫成. Dij (Y , Yi ) (Yi , Yij ) ………………..(4.2) (4.2)說明了第 i 題組第 j 子題鑑別度為「測驗總分與第 i 題組得分之相關係數」 與「第 i 題組得分與第 i 題組第 j 子題得分之相關係數」的乘積。一般直觀的想 法是將「測驗總分與第 i 題組得分的相關係數」定義為第 i 題組鑑別度，但是， 31.
(38) 若以第 i 題組得分來代表該題組表現，將會使題組內各子題得分狀況被忽略。因 此，下一節將探求題組鑑別度更適切的定義。. 4.3 題組之鑑別度 在分析某一題組鑑別度時，若直接以「測驗總分與某一題組得分的相關係數」 定義該題組鑑別度，將會忽略此題組內各子題得分狀況。由於需考量題組內各子 題得分狀況，本文利用複相關分析的方法定義題組鑑別度。相關分析是討論兩組 變數間的相關性，一組稱為 x 組，另一組稱為 y 組，若 x 組和 y 組各只有一個變. 政 治 大 組有很多變數，則此兩組之間的相關稱為複相關 (Multiple Correlation)；若兩組變 立 數時，則其相關稱為簡單相關(或皮爾森積差相關)；當 x 組只有一個變數，而 y. ‧ 國. 學. 數都有不只一個變數時，量測這兩組變數間的相關就稱為典型相關(Canonical. Correlation)。由於同一題組內有多個子題，且每個子題得分不全相同，因此各子. ‧. 題得分為多個變數，屬於複相關的範疇，亦可視為典型相關的特例。. sit. y. Nat. 【定義 4.2】題組鑑別度. al. n. 記為 Di ，即. er. io. 第 i 題組鑑別度定義為「測驗總分」與「第 i 題組內各子題得分」的複相關係數，. Ch. engchi. i n U. v. Di max (Y , a1Yi1 a2Yi 2 a3Yi 3 ak i Yik i ) 其中， a1 、 a2 、…..、 aki 為任意實數。 複相關係數 Di 為一理論值，根據複迴歸分析的理論，在收集一些學生測驗 結果資料後，得到每位學生的測驗總分 Y 及第 i 題組各子題得分 Yi1 、 Yi 2 、…..、. Yiki ，將 Y 對 Yi1 、 Yi 2 、…..、 Yiki 迴歸，所得複迴歸分析的樣本複相關係數 R 即可 用來估計 Di ，此時各子題得分的權重為 a1 、 a2 、…..、 aki 的最小平方估計。接下 來，再針對複迴歸分析的複相關係數作進一步說明。. 32.
(39) 由變異數分析得知，自變項 x1 , x2 ,…, x p 對依變項 y 的解釋能力，是以迴歸平 方和 SSR 與總平方和 SSTO 之比值來量測，它表示由於自變項 x1 , x2 ,…, x p 進入模 式後，依變項 y 變異降低的比例，稱之為自變項 x1 , x2 ,…, x p 對依變項 y 解釋能力. (或解釋變異的比例)，亦稱為判定係數(Coefficient of Determination )，通常以 R 2 表 示，即. R2 1 . SSE SSTO SSE SSR SSTO SSTO SSTO. 治 政 大 之平方可視為第 i 題組各子題得分能夠解釋總分變異的比例。 立. 且判定係數 R 2 為樣本複相關係數的平方，即在題組型試題中，第 i 題組鑑別度. 由 4.2 節得知，倘若將「測驗總分與第 i 題組得分的相關係數」定義為第 i. ‧ 國. 學. 題組鑑別度，將會使題組內各子題得分狀況被忽略。究竟「測驗總分與第 i 題組. ‧. 內各子題得分的複相關係數」與「測驗總分與第 i 題組得分的相關係數」兩者之. y. Nat. 間差異性為何呢？接下來將繼續探討。. er. io. sit. 【定理 4.2】題組鑑別度的性質. Di2 2 (Y , Yi ). n. al. Ch. engchi. i n U. v. 即「測驗總分與第 i 題組各子題得分複相關係數之平方」恆大於等於「測驗總分 與第 i 題組得分相關係數之平方」。 證明如下： 由定義 4.2 得知 Di max (Y , a1Yi1 a2Yi 2 a3Yi 3 ak i Yik i ) 因此，令 a1 = a2 =…= aki =1 可得 Di2 [max (Y , a1Yi1 a2Yi 2 a3Yi 3 ak i Yik i )]2 2 (Y , a1Yi1 a2Yi 2 a3Yi 3 ak i Yik i ) 2 (Y , Yi ) 33.
(40) 然而，若以變異數分析的觀點來看，定理 4.2 闡述：若第 i 題組得分 Yi 對測驗總 分 Y 有 t%的解釋能力，則因為第 i 題組各子題得分 Yi1 、 Yi 2 、…、 Yiki 對第 i 題組 得分 Yi 有 100%的解釋能力，所以第 i 題組各子題得分 Yi1 、 Yi 2 、…、 Yiki 對測驗 總分 Y 至少有 t%的解釋能力。. 4.4 題組內子題之淨鑑別度 一般來說，同一題組內的子題間常有某種關連性，若直接以「測驗總分」與. 治 政 大 性。因此，在蒐集測驗結果資料後，本文應用複迴歸分析的方法探求排除同一題 立 「某一子題得分」之相關係數定義該子題鑑別度，將會忽略各子題之間的關連. 組內前面各子題影響力之子題淨得分與淨鑑別度。. ‧ 國. 學. 當某一題組有兩個子題時，第 1 子題鑑別度之平方為第 1 子題得分能夠解釋. ‧. 總分變異的比例，在忽略兩子題關聯性的情況下，第 2 子題鑑別度之平方是第 2. y. Nat. 子題得分能夠解釋總分變異的比例。然而，為了排除第 1 題子題得分對第 2 子題. er. io. sit. 得分的影響力，將第 1 子題得分視為自變項以及第 2 子題得分視為依變項，由於 迴歸分析能找到自變項對依變項解釋能力(或解釋變異的比例)，因此，將第 1 題. al. n. v i n 子題得分對第 2 子題得分迴歸所得之殘差，視為「排除第 1 題子題得分影響力後 Ch engchi U 的第 2 子題得分」，即第 2 子題對於「多」解釋總分變異之貢獻。。. 綜合上述原因，本節利用複迴歸分析的方法，先求得排除同一題組內前面各 子題影響力後的子題「淨得分」，再以測驗總分與子題淨得分之相關係數定義子 題的「淨鑑別度」。 【定義 4.3】淨得分 第 i 題組第 j 子題之「淨得分」為「第 i 題組第 j 子題得分 Yij 」對「前面 j－1 個 子題得分 Yi1 、 Yi 2 、…、 Yi ( j 1) 」迴歸後所得之殘差，記為 eij ，此殘差值即為第 j 子題排除前面 j－1 個子題影響力後的分數。 34.
(41) 【定義 4.4】淨鑑別度 第 i 題組第 j 子題淨鑑別度定義為「測驗總分」與「第 i 題組第 j 子題淨得分」 的相關係數，記為 Dij | i1,i 2,,i ( j 1) 。 為了想了解各子題淨鑑別度對於解釋題組鑑別度的貢獻，因此，需要引用一些複 迴歸分析的理論結果。 假設影響依變項 y 的自變項有 p 個，分別為 x1 , x2 ,…, x p ，模式設為. yi 0 1 x1 2 x2 p x p ………….(4.3) 或寫成矩陣之形式為. 治 政 大 Y X 立. 其中， Y : n 1 、 X : n ( p 1) 、 : ( p 1) 1 、 : n 1. ‧ 國. 學. 若模式內中已包含自變項 x1 , x2 ,…, x p 1 時，自變項 x p 是否仍值得放入模式內，即. ‧. 為檢定. sit. n. er. io. al. y. Nat. H 0 : p 0 H1 : p 0. i n U. v. 首先計算簡化模式(Reduced Model)(即模式內未放入 x p )的殘差平方和 SSE(R)：. Ch. engchi. SSE ( R) SSE ( x1 ,, x p1 ) n. ( yi yˆ i ) 2 i 1 n. ( yi ˆ0 ˆ1 x1i ˆ2 x2i ˆ p1 x p1,i ) 2 i 1. 再計算完整模式(Full Model)(即模式內放入 x p )的殘差平方和 SSE(F)： SSE ( F ) SSE ( x1 ,, x p ) n. ( yi yˆ i ) 2 i 1 n. ( yi ˆ0 ˆ1 x1i ˆ2 x2i ˆ p x pi ) 2 i 1. 當模式愈複雜時(在此即多加入自變項 x p )，算出的 SSE 會愈小，而這兩個平方和 35.
(42) 的差距 SSE ( R) SSE ( F ) 愈大，就表示自變項 x p 愈有用，其差距表示增加自變項. x p 到模式內之後，依變項 y 的變異降低的部份，以 SSR( x p | x1 , , x p 1 ) 表示，即 SSR ( x p | x1 , , x p 1 ) SSR ( x1 , , x p ) SSR( x1 , , x p 1 ) SSE ( x1 , , x p 1 ) SSE ( x1 , , x p ). …………………(4.4). 【定理 4.3】 在模式(4.3)的假設下 令 X ( X 1 , x p ) ，則. 政 治 大. SSR( x p | x1 , , x p 1 ) SSR(e p ). 立. 其中，. ‧ 國. 學. e p ( I P1 ) x p. P1 X 1 ( X 1X 1 ) 1 X 1. ‧. 註： x p 與 e p 可代表變項，同時也可代表觀察值所組成的向量. y. Nat. er. io. al. n. 由定理 4.3 得知，. sit. 證明：參考附錄二. Ch. i n U. v. Dij2 | i1,i 2,,i ( j 1) Y 對eij 迴歸的判定係數 . SSR(eij ) n. (Y l 1. . (l ) . engchi. Y )2. SSR (Yij | Yi1 , , Yi ( j 1) ) n. (Y l 1. (l ) . Y ). …………………(4.5). 2. 其中， Y(1) 、 Y(2) 、…、 Y( n ) 分別為 n 位受試者的總分 n. Y . Y. (l ) . l 1. n. 為 n 位受試者的總分平均. (4.5)說明了在第 i 題組中，第 j 子題的淨鑑別度平方等於其淨得分可再「多」解 36.
(43) 釋總分變異的比例，因此可視為加入第 j 子題後對於題組鑑別度的貢獻。接下來， 定理 4.4 將說明「題組鑑別度」與「各子題淨鑑別度」之密切關係。 【定理 4.4】題組鑑別度與各子題淨鑑別度之關係式 第 i 題組「題組鑑別度之平方」恰好為「各子題淨鑑別度之平方和」，即 Di2 Di21 Di22 | i1 Di23 | i1,i 2 Dik2i. | i1,i 2,...,iki 1. ………(4.5). 證明如下： 由(4.4)、(4.5)及以複相關係數作為題組鑑別度的定義可得知， Di21 Di22 | i1 Dik2i | i1,i 2,...,iki1. 政 治 大. SSR(Yiki | Yi1 , , Yiki1 ) SSR(Yi1 ) SSR(Yi 2 | Yi1 ) SSTO SSTO SSTO SSR (Yi1 , , Yiki ) SSR(Yi1 , , Yiki1 ) SSR(Yi1 ) SSR(Yi1 , Yi 2 ) SSR(Yi1 ) SSTO SSTO SSTO SSR(Yi1 , , Yiki ) SSTO 2 Di . 立. ‧. ‧ 國. 學. 其中，. y. Nat. sit. SSTO 表示測驗總分的總變異. n. al. er. io. (4.5)式可參考 C. R. Rao. (1973)所著書中的 p.311，它原本闡述的是以複迴歸分析. i n U. v. 探討一群變項之間的關係，應用在測驗領域時，正好巧妙的呈現了「題組鑑別度」. Ch. engchi. 與「子題淨鑑別度」之密切關聯。另外，此關係式不僅適用於作答情形屬於二分 變項的題組試題(例：選擇題題組)，亦可適用於作答情形屬於非二分變項的題組 試題(例：可部份給分的問答題題組)。 接下來探討子題淨鑑別度的顯著性，由(4.4)得知，檢定第 p 子題淨鑑別度是 否顯著，即檢定加入第 p 子題後能多解釋總分變異的能力是否有顯著的貢獻。從 迴歸分析的角度來看，當模式內已有 x1 , x2 ,…, x p 1 時，加入變項 x p 的貢獻是否顯 著，即為檢定 p 是否為 0。統計學家以降低變異的比例作為加入變項 x p 是否有 用的判定指標。定理 4.5 將說明檢定加入變項 x p 是否有顯著貢獻的方法。 37.
(44) 【定理 4.5】子題淨鑑別度是否顯著之檢定 在模式(4.3)且 i ～ N (0, 2 ) ， i 1, 2, , n 的假設下 考慮檢定 H 0 : p 0 H1 : p 0 當 H 0 成立時， F. R 2 RH2 [n ( p 1)] ～ F1,n ( p 1), …....(4.6) 1 R2. 其中，. 政 治 大. R 2 為模式包含自變項 x1 , x2 ,…, x p 的判定係數。. 立. 2 H. ‧. ‧ 國. 當. 學. R 為模式包含自變項 x1 , x2 ,…, x p 1 的判定係數。. F＞ F1,n ( p 1),. y. Nat. er. io. (4.6)之 F 統計量的推導過程如下：. n. al. Ch. SSE ( R ) SSE ( F ). F. e n g c1h i. i n U. v. SSE ( F ). n ( p 1) SSR( x p | x1 , , x p 1 ) . sit. 時，拒絕 H 0 ，即 H 0 是顯著的，模式中應加入 x p 。. 1. SSE ( x1 , , x p ). n ( p 1) SSE ( R ) SSE ( F ) SSTO SSTO [n ( p 1)] SSE ( F ) SSTO 2 R RH2 [ n ( p 1)] 1 R2 假設第 i 題組共有 2 個子題，若 RH2 為模式內只有第 1 子題的判定係數， R 2 為模 式內加入第 2 子題之後的判定係數，則第 1 子題淨鑑別度的平方為該子題得分可 38.
Outline
相關文件
The purposes of this research was to investigate relations among learning motivation, learning strategies and satisfaction for junior high school students, as well as to identify
In different gender、time for study、time for cram、the parents education level and household income of junior high school students , some aspects of the academic stress were
The purpose of the study aims at discussing the important factors of affecting junior high school students in aboriginal areas in terms of learning mathematics.. The research
This purpose of study was to realize, as well as the factors of influence of information technology integrated in teaching by junior high school special education teachers in
This study was conducted to understand the latest situation between perception of principal‘s leading role and school effectiveness in junior high schools, and
It aims to understand the authentic English learning adjustment of junior high school students in remote area and to compare the difference between the family background and
The purpose of this study was to investigate the current situation of multicultural literacy and intercultural sensitivity of junior high school teachers in Taichung
The participants of this case study are two eighth graders in junior high school. The math game is designed to assist in teaching volume four, chap- ter one of grade eight
