第三章 研究方法
第三節 研究工具
為配合研究進行，本研究所使用的研究工具包括婦產科學適性測驗題庫及線 上適性測驗系統，分別敘述如下(圖 3-2)：
壹、婦產科學適性測驗題庫
本研究所使用的測驗試題依醫學系五年級婦產科學的教學內容及教學目標，
製成婦產科學雙向細目表，經搜尋歷屆國家考試試題（醫師、護理）及部份專業 試題，修改後草擬出 230 題婦產科學預試試題。編製完成的試題，經過預試後，
進行試題分析，先以傳統試題分析篩檢及刪除後，選擇出優良試題，再以分析軟 體 BILOG-MG 3.0 估計試題參數及受試者能力參數，並刪除較差的試題，經上述 程序後始完成本研究所使用之「婦產科學適性測驗題庫」。
一、試題準備
本研究所使用的測驗依醫學系五年級婦產科學的教學內容及教學目標，製成
雙向細目表（表 3-1），經搜尋歷屆國家考試試題（醫師、護理）及部份專業試題，
修改後草擬出 230 題編製成婦產科學測驗。
二、進行施測
由四組不同群體的受試者進行預試，第一組為婦產科住院醫師，包括台北市 內兩所醫學中心婦產科住院醫師；第二組為醫學生及非婦產科醫師，包括台北市
婦產科學
測驗編製流程
試題反應理論 適性測驗理論
系統建置
系統評估 刪除
婦產科適性測驗題庫
線上婦產科適性測驗系統
參數估計 預試
參數重新估計 整理
測驗架構
系統設計
施測
統計分析
兩所醫學系實習醫師，花蓮某醫學系五年級醫學生及非婦產科醫師；第三組為除
表 3-1 婦產科學雙向細目表(續)
貳、線上適性測驗系統
經由文獻探討有關國內外試題反應理論及適性測驗相關理論之後，參考相關 網路化系統之建構理論，我們歸納分析出適性測驗實施流程。並依照 ADDIE 開發 模式，將線上適性測驗系統發展採為分析、設計、發展、實施、評鑑等五個步驟，
完成本研究所使用之「線上適性測驗系統」。
一、系統開發流程
本文系統以 ADDIE 模式作為開發流程，主要分為五個階段，為分析、設計、
發展、實施、評鑑等流程(圖 3-3 )。當測試後有技術問題時，再重新由分析開始檢 討進行改進，所以以虛線表示其關係。
圖 3-3 系統開發流程圖 分析
設計
發展 實施
評鑑
ADDIE 原是一種教學系統設計（ISD, instruction systems design）程序的模型，
分別代表 Analysis、Design、Development、Implementation 與 Evaluation。ADDIE 模式能提供簡單並且能呈現過程與階段間清楚的流程關係，適合本系統之開發流 程，簡述如下：
（一） 分析(analysis)：必須先建立對於系統的瞭解，進行各種(1)使用者分析、
(2)任務分析及(3)環境分析。
（二） 設計(design)：分析階段將系統的需求詳列出來，設計階段要試著發 展出足夠的細節來，讓具體的成品能夠在發展階段開發出來。
（三） 發展(development)：依據設計階段的藍圖實際地將系統組合起來。
（四） 實施(implement)：完成系統後，實際進行測驗。
（五） 評鑑(evaluation)：評估系統的運作品質與成效。
二、系統結構
系統的內部運作架構採三層式主從架構來建置。本研究系統建構在網路供應 商的虛擬主機內，主機硬體配備:雙顆 Intel Xeon CPU， 4GB SDRAM， SCSI 硬 碟，工業用伺服器，作業系統使用 Windows Server 2003。主要以 ASP.NET 為系統 開發技術。本研究所使用的測驗系統以全球資訊網為基礎環境，使用者只要能連 上網際網路並有瀏覽器，即可使用本系統。
三、系統架構
（一） 系統開發環境
本系統使用的開發語言為：ASP.NET、HTML、JAVASCRIPT。
本系統使用的資料庫為：ACCESS。
本系統使用的伺服器為：網路供應商所提供的虛擬主機、工業用伺服器。
本系統使用的伺服主機的作業系統為：Windows Server 2003。
（二） 系統功能架構圖
本文系統實做的環境為本文作者自行撰寫的數位測驗學習系統，本系統開發 後將併入測驗學習系統成為前測及後測的評量方法。在適性測驗研究中，主要分
成三大功能群組，分別是「測驗功能」、「能力值估計功能」、「能力值轉換功能」(圖
3-4)。
圖 3-4 系統架構圖----數位測驗學習系統 數位測驗學習系統
公佈欄 註冊 個人資料
測驗功能 能力值估計功能 能力值轉換功能
在「測驗功能」功能群組下，有五個測驗模組，分為三個起始測驗模組，為
圖 3-6 系統架構圖----能力值估計功能
圖 3-8 系統架構圖----受測環境 受測環境
線上測驗
作答記錄 成績計算 能力值估計
能力值換算
成績總表
四、進行施測
本線上適性測驗共發出400份邀請函，168人進入系統註冊，148人註冊成功後 進入測驗系統。其中13人沒有進行測試，另7人只進行部份測試，最後只有128人 完成整個測試過程，回收率佔所有邀請函的32%，另有4名受試者的資料因沒有辦 法收歛而放棄，故最後實得124名受試者的作答反應組型(31%)。
受試者中，第一組為婦產科醫師及住院醫師共15名(12%)，第二組為其他科醫 師共9名(7%)，第三組醫療人員佔70名(90%以上是護理人員)(56%)，第四組30名 (24%)為一般民眾。
五、系統設計
（一） 傳統測驗設計(CTT10)
傳統測驗設計有開始、計分、終止、能力值估計四部分，分別說明如下：
1.開始測驗
(1)以亂數在題庫內選擇 10 題試題(起始選題)。
(2)受試者把 10 題答案選擇後便可繳卷(全部試題都要回答)。
2.計分
(1)繳卷後，電腦便會自動計分、登錄成績及儲存試題。
(2)傳統測驗成績以答對一題為 1 分計算。
3.終止
繳卷後，傳統測驗則終止。
4.能力值估計
程式從資料庫中讀取試題參數並加以計算出受試者 CTT10 的能力值。
（二） 金字塔適性測驗設計(PYR15)
有開始、繼續、終止、估計四部分，分別說明如下(圖 3-9、圖 3-10、圖 3-11)：
1.開始測驗(圖 3-9，1、2)
(1)以 10 題傳統測驗結果作為起始點(起始選題)，分三級(A)0~3 分、(B)4~6 分、(C)7~10 分。
(2)得分為(A)組則從圖 3-10 的 301 題開始，(B)組從 302 題，(C)組從 303 題 開始。
(3)共分為 15 階層，一共測試 15 題，最後第 16 階設定為位置成績。
2.繼續(圖 3-9，3、4)
(1)選題的策略以金字塔適性測驗理論為主要依據(適性選題)。
(2)每作答完一試題，便往下一階層，直到第 15 階層為止。
(3)依圖 3-10 的金字塔適性測驗施測順序架構，以程式運作觀念，從 301、
302 或 303 題開始，作答正確題數+101(往右分支)，答錯則題數+100(往左 分支)。
(4)從第一階三試題開始開始至 15 階十七試題，需要 150 題試題，試題難易 度由簡單[1]至困難[150]，按圖 3-11 順序排列。
3.終止(圖 3-9，5)
終止條件設定為指定的試題數答完即終止測驗。
4.能力值估計(圖 3-9，6)
(1)根據金字塔適性測驗施測順序表(圖 3-10)所示，第 16 階層總共有十八個 位置，是謂位置成績，分數的計算為 1801=0、1802=(1/17)=.06、
1803=(2/17)=.12、………、1817=(16/17)=.94、1818=(17/17)=1。
(2)此外程式從資料庫中讀取試題參數並加以計算出受試者 PYR15 的能力 值。
圖 3-9 線上金字塔適性測驗施測簡易流程圖 1. 開始測驗
2. 10 題傳統測驗結果做為起始點(起始選題)
3. 15 階段金字塔適性測驗(適性選題)
4. 受試者作答完
5. 金字塔測驗結束
6. 估計能力值
傳統測驗 10 題成績 0~3 分 4~6 分 7~10 分
01 (0301)(0302)(0303) 02 (0401)(0402)(0403)(0404) 03 (0501)(0502)(0503)(0504)(0505) 04 (0601)(0602)(0603)(0604)(0605)(0606) 05 (0701)(0702)(0703)(0704)(0705)(0706)(0707) 06 (0801)(0802)(0803)(0804)(0805)(0806)(0807)(0808) 07 (0901)(0902)(0903)(0904)(0905)(0906)(0907)(0908)(0909) 08 (1001)(1002)(1003)(1004)(1005)(1006)(1007)(1008)(1009)(1010) 09 (1101)(1102)(1103)(1104)(1105)(1106)(1107)(1108)(1109)(1110)(1111) 10 (1201)(1202)(1203)(1204)(1205)(1206)(1207)(1208)(1209)(1210)(1211)(1212) 11 (1301)(1302)(1303)(1304)(1305)(1306)(1307)(1308)(1309)(1310)(1311)(1312)(1313) 12 (1401)(1402)(1403)(1404)(1405)(1406)(1407)(1408)(1409)(1410)(1411)(1412)(1413)(1414) 13 (1501)(1502)(1503)(1504)(1505)(1506)(1507)(1508)(1509)(1510)(1511)(1512)(1513)(1514)(1515) 14 (1601)(1602)(1603)(1604)(1605)(1606)(1607)(1608)(1609)(1610)(1611)(1612)(1613)(1614)(1615)(1616) 15 (1701)(1702)(1703)(1704)(1705)(1706)(1707)(1708)(1709)(1710)(1711)(1712)(1713)(1714)(1715)(1716)(1717) 16(1801)(1802)(1803)(1804)(1805)(1806)(1807)(1808)(1809)(1810)(1811)(1812)(1813)(1814)(1815)(1816)(1817)(1818)
1801~1818 為位置成績
圖 3-10 金字塔適性測驗施測順序表
傳統測驗 10 題成績 0~3 分 4~6 分 7~10 分
01 [* 70][* 72][* 81]
02 [* 67][* 71][* 80][* 84]
03 [* 63][* 68][* 73][* 83][* 88]
04 [* 58][* 64][* 69][* 82][* 87][* 93]
05 [* 52][* 59][* 65][* 74][* 86][* 92][* 99]
06 [* 45][* 53][* 60][* 66][* 85][* 91][* 98][*106]
07 [* 37][* 46][* 54][* 61][* 75][* 90][* 97][*105][*114]
08 [* 29][* 38][* 47][* 55][* 62][* 89][* 96][*104][*113][*122]
09 [* 22][* 30][* 39][* 48][* 56][* 76][* 95][*103][*112][*121][*129]
10 [* 16][* 23][* 31][* 40][* 49][* 57][* 94][*102][*111][*120][*128][*135]
11 [* 11][* 17][* 24][* 32][* 41][* 50][* 77][*101][*110][*119][*127][*134][*140]
12 [* 7][* 12][* 18][* 25][* 33][* 42][* 51][*100][*109][*118][*126][*133][*139][*144]
13 [* 4][* 8][* 13][* 19][* 26][* 34][* 43][* 78][*108][*117][*125][*132][*138][*143][*147]
14 [* 2][* 5][* 9][* 14][* 20][* 27][* 35][* 44][*107][*116][*124][*131][*137][*142][*146][*149]
15 [* 1][* 3][* 6][* 10][* 15][* 21][* 28][* 36][* 79][*115][*123][*130][*136][*141][*145][*148][*150]
容易(-3.0) 困難(+3.0)
圖 3-11 金字塔適性測驗試題分配表
（三） 電腦化適性測驗設計(CAT25)
有開始、繼續、終止、估計四部分，分別說明如下(圖 3-12)：
1.開始測驗(圖 3-12，1、2)
(1)以 10 題傳統測驗成績(起始選題)換算能力值為起始點。
(2)計算題庫內沒有使用過的試題中最大訊息量的試題為測驗試題。
2.繼續(圖 3-12，3、4、5、6) (1)能力值估計
(a)使用 Newton-Raphson 遞迴估計程序，求最大概似估計值。
(b)在估計程序中，達到自定標準ε=0.01 便停止程序。
(c)在估計程序中，如發現異常數值 (如能力值、前後估計值的差值超出 自定標準)便會自動停止程序重新估算。
否 (重新選題)
是
圖 3-12 線上電腦化適性測驗簡易流程圖 開始測驗
1. 10 題傳統測驗結果作為起始值(起始選題)
2. 開始選題(最大訊息量)
3. 受試者作答(每次一題全部 15 題)
4. 估計能力值
(Newton-Raphson iteration procedure)
電腦化適性測驗結束 5. 終止條
件滿足？
6. 選題策略 (最大訊息量) (適性選題)
(d)假如能力估計值無法收歛，則以答對題數換算能力值及重設計算參數 來重新估計。
(e)假如能力估計值數字異常(如：答題正確數多但能力值偏低或負值，答 題錯誤多但能力值偏高)，也以答對題數換算能力值及重設計算參數來 重新估計。
(2)選題
(a)選題的策略以最大訊息量為主要依據(適性選題)。
(b)以能力值(θ)計算題庫內沒有使用過而最大訊息量的試題為下一題考 題。
(c)當能力估計值無法收歛時，能力值經重新估算後，得一相對接近能力 估計值，以這能力估計值來選取最大訊息量的試題為下一題考題。
(3)重覆施測、能力估計、選題的過程，直至施測 15 題為止。
3.終止
終止條件設定為指定的 15 題試題數答完即終止測驗。
4.能力值估計
程式從資料庫中讀取試題參數並加以計算出受試者 CAT25 的能力值。
（四） 能力值的估計
在試題反應理論裡，受試者的能力估計值(θ)是以受試者的作答反應組型 (response pattern)來估計出受試者應有的能力估計值，所以對受試者施測的試題越 多，則能力估計值越準確，估計標準誤越少。
本研究受試者接受傳統隨機出題10題(CTT10)、金字塔15題(PYR15)及適性測 驗最大訊息量選題共25題(CAT25 = CTT10+CAT15)的測試，而金字塔25題(PYR25
= CTT10+PYR15)、適性測驗最大訊息量選題的試題15題(CAT15)及全部測驗試題 40題(TOT40 = CTT10+PYR15+CAT15)的能力估計值是由資料庫中組合重新運算 而得出能力估計值。
由上述可知每一受試者有六組的能力值。第一組能力值CTT10能力值為傳統式 隨機出題並作為起始選題，由題庫中隨機選出10題給受試者回答，受試者繳卷後，
經比對答案並儲存於資訊庫內，再經由程式依IRT理論計算出受試者的估計能力 值。
第二組PYR15能力值依金字塔適性理論，受試者從第一階層(起始選題)開始依 序接受15階層的試題共15題(適性選題)。受試者回答每一試題後，試題都會存於資 料庫中，測試完成後再經由程式計算出受試者的估計能力值。
第三組PYR25能力值為傳統式隨機試題(CTT10)加上金字塔測驗的試題 (PYR15)共25題由資料庫中組合，再由程式計算出受試者的估計能力值。
第四組CAT15能力值為受試者依最大訊息量選題所回答的試題共15題，由資 料庫中經程式計算出受試者的估計能力值。
第五組CAT25能力值為傳統式隨機試題(CTT10)作為起始選題，經估計能力值 後，以最大訊息量選題，受試者經重覆選題、回答、計算、選題、….直至完成15 題最大訊息量的試題為止，由程式計算出受試者CAT25的估計能力值。
第六組TOT40能力值為傳統式隨機試題(CTT10)加上適性測驗最大訊息量選
題的試題(CAT15)及金字塔的試題(PYR15)一共40題，經資料庫由程式計算出受試
題的試題(CAT15)及金字塔的試題(PYR15)一共40題，經資料庫由程式計算出受試