第五章 結論與建議
第二節 建議
依據研究結論與研究過程中所遇到的困難提出下列研究建議,以供未來類似 研究的參考。
壹、題庫方面
一、由於本研究的婦產科學細目表內容只是婦產科學的一部份,故應擴充細目表 內容的深廣度,試題數目也應增加。由於現今電腦科技及多媒體的迅速發展,
多媒體的試題在專業及實景應對有其重要性,也是未來新試題的取向。假如 能增加一些多媒體試題來豐富內容的多樣性及複雜性,可檢驗題庫的可擴充 性及信效度。
二、本研究只探討婦產科學專門科目,對於醫學領域中其他科目的研究,有很大 的研究發展空間。
三、優良專業試題題庫的開發需有充裕的經費及時間,非一般專業團體能完成。
除非團體內部有共識願意建立題庫,再咨詢測驗及電腦專家來合力建置才有 可能成功。如何增加專業測試的樣本數是類似研究的困難,與專業團體合作 取得一定數量的樣本是可行方法之一。
四、題庫的等化在醫學上不同科目的效果如何,沒有現成的資料可供參考。題庫 中不同的科目對能力的預估也是沒有可參考資料,這是未來可以發展研究的 題目。
五、電腦化適性測驗是目前最新的測驗技術,而且已經發展相當成熟,國內發展 電腦化適性測驗為考選部遠程目標,而醫事人員電腦化考試也是考選部重點 研究。國內醫事教育研究計劃近年也是重點研究。所以,電腦化考試與醫療 教育的研究在近幾年有很大的研究資源,對類似題目有興趣的研究者可再深 入探討。
貳、系統方面
一、系統功能:限於研究時間及人力,僅有 124 位受試者參與測試,雖經驗證確 實能精確估計受試者能力,但在實際施測時,仍有流量問題、資料庫管理、
如何解決無法收歛等問題尚未充分研究討論。建議未來實施適性測驗研究 者,可考慮使用本系統作為研究工具,針對本研究的研究範圍與限制,進行
其他相關研究,建置功能更完善的適性測驗系統。
二、參數:本研究採用二元計分的三參數模式進行能力估計,限於研究時間、經 費及人力,題庫參數的品質及題庫試題量對系統參數設定等問題也尚未討 論,建議未來可針對本研究的研究範圍與限制,進行其他相關研究。
參考文獻
中文部份
王寶墉(1995)。當代測驗理論。台北市:心理。
何榮桂(1997)。從「測驗電腦化與電腦化測驗」再看網路化測驗。測驗與輔導,144,
2972-2974。
何榮桂、陳麗如(1999)。適性測驗題庫之品質管理策略。國家科學委員會研究彙刊。
人文與社會科學,9(4),630-652。
余民寧(2002)。教育測驗與評量。台北市:心理。
余民寧(2009)。試題反應理論(IRT)及其應用。台北市:心理。
余嘉元(1992)。項目反應理論及其應用。江蘇省:江蘇教育出版社。
李茂能(2002)。電腦化適性測驗的過去現在與未來。台灣教育,52-61。
許擇基、劉長萱(1992)。試題作答理論簡介。台北:中國行為科學社。
郭生玉(2001)。心理與教育研究法。台北:精華。
陳英豪、吳裕益(1990)。測驗與評量。高雄:復文。
黃天祥、王維典(2005)。從外國醫師執照考試之機構與模式探討醫師專業考試組織 之應有特質。國家菁英,1(3),147-166。
劉春明、鍾金燕(2007)。國家考試電腦化測驗之推動與發展。國家菁英,3(3),
115-132。
英文部份
Ahmanan, J. S., & Glock M. D. (1981). Evaluating student progress: Principles of tests
and measurement (6th ed.). Boston, MA: Allyn & Bacon.
Anastasi, A. (1988). Psychological testing (6th ed.). New York: Macmillan.
Chase, C. I. (1978). Measurement for educational evaluation (2nd ed.). Reading, MA:
Addison-Wesley.
De Ayala R. J. (2009). The theory and practice of item response theory. New York: The Guilford Press.
DeMars, C.E. (2010). Item response theory. New York: Oxford University Press.
Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and
applications. Boston, MA: Kluwer-Nijhoff.
Huh S. (2008). Preparing the Implementation of Computerized Adaptive Testing for High-Stakes Examinations. Journal of Educational Evaluation for Health
Professions. 5:1.
Huh S. (2009). Application of Computerized Adaptive Testing in Medical Education.
Korean Journal of Medical Education. 21(2): 97-102.
Lord, F. M. (1977). Practical applications of item characteristic curve theory. Journal of
Educational Measuremen., 14, 117-138.
Lord, F. M. (1980). Applications of item response theory to practical testing problems.
Hillsdale, NJ: Lawrence Erlbaum Associates.
McCallon, E. L. , & Schumacker.R.E. (2002). Development and Maintaining and Item
Bank. ELM Metrics Inc, WWW.elmmetrics.com.
Noll, V. H., Scannell, D. P., & Craig, R. C. (1979). Introduction to eductional
measurement (4th ed.,) Boston, MA: Houghton Mifflin.
Roex A., & Degryse J. (2004) A computerized adaptive knowledge test as an assessment tool in general practice: a pilot study. Med Teach, 26(2), 178-183.
Weiss, D. J. (1985). Adaptive testing by computer. Journal of Consulting and Clinical
Psychology, 53, 774-789.
Weiss, D. J. (Ed.). (1983). New horizons in testing. New York: Academic Press.
附 錄
附錄一 問卷調查
問卷(1) 傳統測驗問卷
問題 1:你覺得這次 (傳統測驗) ,題目會不會很難?
選項:很難、有點難、普通、有點容易、很容易
問題 2:在這次 (傳統測驗) ,你有多少題目是不會做的?
選項:0~2、3~4、5~6、7~8、9~10
問題 3:在這次 (傳統測驗) ,你有多少題目是相當有把握會全對的?
選項:0~2、3~4、5~6、7~8、9~10
問題 4:你覺得這次 (傳統測驗),是否能夠測試出你的實力?
選項:可能不能夠、不能夠、不知道、能夠、可能能夠
問卷(2)
金字塔適性測驗問卷
問題 1:你覺得這次 (金字塔適性測驗) ,題目會不會很難?
選項:很難、有點難、普通、有點容易、很容易
問題 2:在這次 (金字塔適性測驗) ,你有多少題目是不會做的?
選項:0~3、4~6、7~9、10~12、13~15
問題 3:在這次 (金字塔適性測驗) ,你有多少題目是相當有把握會全對的?
選項:0~3、4~6、7~9、10~12、13~15
問題 4:你覺得這次 (金字塔適性測驗) ,是否能夠測試出你的實力?
選項:可能不能夠、不能夠、不知道、能夠、可能能夠
問卷(3)
電腦化適性測驗問卷
問題 1:你覺得這次 (電腦化適性測驗) ,題目會不會很難?
選項:很難、有點難、普通、有點容易、很容易
問題 2:在這次 (電腦化適性測驗) ,你有多少題目是不會做的?
選項:0~3、4~6、7~9、10~12、13~15
問題 3:在這次 (電腦化適性測驗) ,你有多少題目是相當有把握會全對的?
選項:0~3、4~6、7~9、10~12、13~15
問題 4:你覺得這次 (電腦化適性測驗) ,是否能夠測試出你的實力?
選項:可能不能夠、不能夠、不知道、能夠、可能能夠
問卷(4) 測驗成績問卷
問題 1:在電腦作答考試中,你比較喜歡哪一種考試方式?
選項:全都喜歡、傳統測驗、金字塔適性測驗、電腦化適性測驗、全都不喜歡
問題 2:你覺得哪一種考試方式會比較公平?
選項:全都公平、傳統測驗、金字塔適性測驗、電腦化適性測驗、全都不公平
問題 3:你覺得(哪一種考試方式)的成績是否合理?
選項:太高、偏高、合理、偏低、太低
問題 4:你覺得哪一種考試方式的成績是不合理?
選項:沒有不合理、傳統測驗、金字塔適性測驗、電腦化適性測驗、全部不合理
附錄二 題庫試題分析
總 和(Sum) 21278.00 平均每人得分(Average) 73.63 最 小 值(Minimum) 21.00 最 大 值(Maximum) 143.00 全 距(Range) 122.00 變 異 數(Variance) 860.09 變 異 數(樣本) 857.11 標 準 差(SD) 29.33 標 準 差(樣本) 29.28 偏 態(Skewness) 0.43 峰 度(Kurtosis) -0.85 平 均 答 對 人 數 1 3 7 . 2 8 受 試 者 總 數 ( N ) 2 8 9. 0 0 平 均 答 對 率 ( P ) 0 . 4 8 問 題 總 數 ( K) 15 5. 0 0 內 部 一 致 性 係 數 0 . 9 6 差異係 數 0. 59
試題分析
--- 註:「 * 」代表正確選項
題號:1
--- 選 項 1 2* 3 4 其他 ---
選項率 .10 .67 .04 .16 .03 通過率:67.474 ---
高分組 .06 .92 .01 .01 .00 難 度:0.6806 低分組 .11 .44 .07 .36 .01 鑑別度:0.4722
--- 題號:2
--- 選 項 1 2* 3 4 其他 ---
選項率 .08 .54 .19 .15 .03 通過率:54.325 ---
高分組 .01 .86 .10 .03 .00 難 度:0.5208 低分組 .17 .18 .39 .25 .01 鑑別度:0.6806 ---
題號:3
--- 選 項 1* 2 3 4 其他 ---
選項率 .29 .26 .26 .16 .03 通過率:29.412 ---
高分組 .60 .14 .13 .14 .00 難 度:0.3889 低分組 .18 .26 .33 .21 .01 鑑別度:0.4167 ---
題號:4
--- 選 項 1 2* 3 4 其他 ---
選項率 .24 .38 .22 .14 .02 通過率:38.062 ---
高分組 .21 .58 .15 .06 .00 難 度:0.4167 低分組 .21 .25 .28 .25 .01 鑑別度:0.3333 ---
題號:5
--- 選 項 1 2 3 4* 其他 ---
選項率 .02 .35 .12 .48 .03 通過率:47.751 ---
高分組 .01 .10 .00 .88 .01 難 度:0.5069 低分組 .07 .60 .18 .14 .01 鑑別度:0.7361 ---
題號:6
--- 選 項 1 2* 3 4 其他 ---
選項率 .12 .57 .16 .12 .02 通過率:57.439 ---
高分組 .03 .96 .00 .01 .00 難 度:0.6250 低分組 .14 .29 .32 .24 .01 鑑別度:0.6667 ---
題號:7
--- 選 項 1 2* 3 4 其他 ---
選項率 .24 .58 .10 .05 .03 通過率:58.131 ---
高分組 .24 .72 .03 .01 .00 難 度:0.5486 低分組 .24 .38 .25 .13 .01 鑑別度:0.3472 ---
題號:8
--- 選 項 1 2 3* 4 其他 ---
選項率 .06 .10 .74 .08 .03 通過率:73.702 ---
高分組 .03 .03 .89 .06 .00 難 度:0.6736 低分組 .15 .21 .46 .17 .01 鑑別度:0.4306 ---
題號:9
--- 選 項 1 2 3* 4 其他 ---
選項率 .13 .09 .62 .12 .03 通過率:61.938 ---
高分組 .08 .06 .82 .04 .00 難 度:0.5833 低分組 .21 .18 .35 .25 .01 鑑別度:0.4722 ---
題號:10
--- 選 項 1 2* 3 4 其他 ---
選項率 .12 .44 .22 .19 .03 通過率:43.945 ---
高分組 .04 .69 .21 .06 .00 難 度:0.4375 低分組 .21 .18 .33 .26 .01 鑑別度:0.5139 ---
題號:11
--- 選 項 1 2* 3 4 其他 ---
選項率 .11 .54 .13 .19 .03 通過率:53.633 ---
高分組 .07 .83 .03 .07 .00 難 度:0.5069 低分組 .21 .18 .29 .31 .01 鑑別度:0.6528 ---
題號:12
--- 選 項 1 2 3* 4 其他 ---
選項率 .09 .09 .57 .22 .03 通過率:56.747 ---
高分組 .01 .01 .90 .06 .01 難 度:0.6319 低分組 .25 .21 .36 .17 .01 鑑別度:0.5417 ---
題號:13
--- 選 項 1 2 3* 4 其他 ---
選項率 .21 .11 .49 .15 .03 通過率:49.481 ---
高分組 .04 .00 .93 .01 .01 難 度:0.5833 低分組 .32 .24 .24 .19 .01 鑑別度:0.6944 ---
題號:14
--- 選 項 1 2 3* 4 其他 ---
選項率 .06 .08 .70 .13 .03 通過率:69.550 ---
高分組 .00 .00 .90 .08 .01 難 度:0.6736 低分組 .15 .24 .44 .14 .03 鑑別度:0.4583 ---
題號:15
--- 選 項 1* 2 3 4 其他 ---
選項率 .41 .11 .22 .23 .03 通過率:41.176 ---
高分組 .68 .06 .14 .11 .01 難 度:0.5000 低分組 .32 .17 .25 .24 .03 鑑別度:0.3611 ---
題號:16
--- 選 項 1* 2 3 4 其他 ---
選項率 .54 .30 .08 .08 .01 通過率:53.633 ---
高分組 .71 .19 .03 .06 .01 難 度:0.5764 低分組 .44 .25 .19 .10 .01 鑑別度:0.2639 ---
題號:17
--- 選 項 1 2 3 4* 其他 ---
選項率 .13 .18 .17 .50 .02 通過率:49.827 ---
高分組 .07 .08 .14 .69 .01 難 度:0.5208 低分組 .26 .18 .19 .35 .01 鑑別度:0.3472 ---
題號:18
--- 選 項 1* 2 3 4 其他 ---
選項率 .37 .20 .26 .12 .04 通過率:37.370 ---
高分組 .60 .13 .14 .13 .01 難 度:0.3889 低分組 .18 .29 .31 .19 .03 鑑別度:0.4167 ---
題號:19
--- 選 項 1 2 3 4* 其他 ---
選項率 .17 .15 .27 .38 .03 通過率:38.408 ---
高分組 .18 .06 .14 .61 .01 難 度:0.4028 低分組 .19 .21 .39 .19 .01 鑑別度:0.4167 ---
題號:20
--- 選 項 1* 2 3 4 其他 ---
選項率 .57 .16 .17 .08 .03 通過率:56.747 ---
高分組 .60 .14 .13 .13 .01 難 度:0.4583 低分組 .32 .24 .31 .13 .01 鑑別度:0.2778 ---
題號:21
--- 選 項 1 2 3* 4 其他 ---
選項率 .28 .29 .37 .03 .02 通過率:37.370 ---
高分組 .17 .19 .63 .00 .01 難 度:0.3958 低分組 .36 .33 .17 .11 .03 鑑別度:0.4583 ---
題號:22
--- 選 項 1 2 3 4* 其他 ---
選項率 .19 .10 .17 .52 .02 通過率:52.249 ---
高分組 .10 .01 .14 .74 .01 難 度:0.4653 低分組 .29 .22 .28 .19 .01 鑑別度:0.5417 ---
題號:23
--- 選 項 1 2 3 4* 其他 ---
選項率 .18 .23 .09 .48 .02 通過率:48.443 ---
高分組 .00 .15 .00 .83 .01 難 度:0.4861 低分組 .35 .25 .25 .14 .01 鑑別度:0.6944 ---
題號:24
--- 選 項 1 2 3 4* 其他 ---
選項率 .13 .17 .28 .39 .03 通過率:38.754 ---
高分組 .03 .04 .19 .72 .01 難 度:0.4306 低分組 .22 .25 .38 .14 .01 鑑別度:0.5833 ---
題號:25
--- 選 項 1 2* 3 4 其他 ---
選項率 .05 .61 .22 .10 .01 通過率:61.246 ---
高分組 .03 .83 .13 .00 .01 難 度:0.5903 低分組 .15 .35 .29 .19 .01 鑑別度:0.4861 ---
題號:26
--- 選 項 1 2* 3 4 其他 ---
選項率 .11 .57 .17 .12 .02 通過率:57.093
---
高分組 .08 .75 .10 .06 .01 難 度:0.5278 低分組 .17 .31 .33 .18 .01 鑑別度:0.4444 ---
題號:27
--- 選 項 1* 2 3 4 其他 ---
選項率 .64 .16 .12 .08 .00 通過率:64.360 ---
高分組 .88 .01 .10 .01 .00 難 度:0.6319 低分組 .39 .33 .14 .14 .00 鑑別度:0.4861 ---
題號:28
--- 選 項 1* 2 3 4 其他 ---
選項率 .50 .37 .09 .03 .00 通過率:50.173 ---
高分組 .78 .19 .03 .00 .00 難 度:0.5486 低分組 .32 .42 .18 .08 .00 鑑別度:0.4583 ---
題號:29
--- 選 項 1* 2 3 4 其他 ---
選項率 .79 .07 .08 .06 .00 通過率:78.547 ---
高分組 .99 .00 .01 .00 .00 難 度:0.7014 低分組 .42 .21 .24 .14 .00 鑑別度:0.5694 ---
題號:30
--- 選 項 1* 2 3 4 其他 ---
選項率 .86 .06 .04 .03 .01 通過率:85.813 ---
高分組 1.00 .00 .00 .00 .00 難 度:0.8125 低分組 .63 .15 .14 .08 .00 鑑別度:0.3750 ---
題號:31
--- 選 項 1 2* 3 4 其他 ---
選項率 .10 .69 .07 .13 .02 通過率:68.858 ---
高分組 .06 .86 .03 .04 .01 難 度:0.6389 低分組 .25 .42 .13 .19 .01 鑑別度:0.4444 ---
題號:32
--- 選 項 1 2 3* 4 其他 ---
選項率 .21 .11 .57 .10 .01 通過率:57.093 ---
高分組 .25 .01 .71 .03 .00 難 度:0.5208 低分組 .32 .25 .33 .08 .01 鑑別度:0.3750 ---
題號:33
--- 選 項 1 2 3* 4 其他 ---
選項率 .17 .12 .60 .08 .02 通過率:60.208
---
高分組 .07 .01 .89 .03 .00 難 度:0.6250 低分組 .25 .21 .36 .17 .01 鑑別度:0.5278 ---
題號:34
--- 選 項 1 2* 3 4 其他 ---
選項率 .19 .59 .04 .17 .01 通過率:58.824 ---
高分組 .07 .88 .00 .06 .00 難 度:0.5764 低分組 .33 .28 .15 .22 .01 鑑別度:0.5972 ---
題號:35
--- 選 項 1 2 3* 4 其他 ---
選項率 .21 .15 .58 .05 .01 通過率:57.785 ---
高分組 .10 .03 .86 .01 .00 難 度:0.6319 低分組 .33 .17 .40 .10 .00 鑑別度:0.4583 ---
題號:36
--- 選 項 1 2* 3 4 其他 ---
選項率 .22 .47 .16 .13 .02 通過率:47.059 ---
高分組 .25 .69 .01 .04 .00 難 度:0.4583 低分組 .32 .22 .32 .14 .00 鑑別度:0.4722 ---
題號:37
--- 選 項 1 2 3 4* 其他 ---
選項率 .10 .11 .21 .56 .01 通過率:56.401 ---
高分組 .00 .10 .04 .85 .01 難 度:0.5347 低分組 .24 .18 .36 .22 .00 鑑別度:0.6250 ---
題號:38
--- 選 項 1 2 3* 4 其他 ---
選項率 .16 .28 .42 .12 .01 通過率:41.869 ---
高分組 .11 .29 .56 .04 .00 難 度:0.4097 低分組 .22 .38 .26 .14 .00 鑑別度:0.2917 ---
題號:39
--- 選 項 1 2* 3 4 其他 ---
選項率 .25 .36 .07 .30 .02 通過率:36.332 ---
高分組 .17 .61 .01 .19 .01 難 度:0.4236 低分組 .33 .24 .21 .22 .00 鑑別度:0.3750 ---
題號:40
--- 選 項 1 2* 3 4 其他
---
選項率 .20 .41 .28 .09 .01 通過率:41.176
---
高分組 .04 .79 .15 .00 .01 難 度:0.5000 低分組 .28 .21 .36 .14 .01 鑑別度:0.5833 ---
題號:41
--- 選 項 1 2 3* 4 其他 ---
選項率 .19 .27 .41 .12 .01 通過率:41.176 ---
高分組 .11 .19 .64 .06 .00 難 度:0.4653 低分組 .21 .26 .29 .24 .00 鑑別度:0.3472 ---
題號:42
--- 選 項 1 2 3* 4 其他 ---
選項率 .14 .14 .45 .25 .02 通過率:45.329 ---
高分組 .01 .13 .68 .17 .01 難 度:0.4306 低分組 .38 .21 .18 .24 .00 鑑別度:0.5000 ---
題號:43
--- 選 項 1 2* 3 4 其他 ---
選項率 .19 .38 .13 .28 .01 通過率:38.062 ---
高分組 .10 .68 .08 .14 .00 難 度:0.4028 低分組 .28 .13 .18 .42 .00 鑑別度:0.5556 ---
題號:44
--- 選 項 1 2* 3 4 其他
---
選項率 .25 .58 .15 .03 .00 通過率:57.785 ---
高分組 .33 .64 .03 .00 .00 難 度:0.5139 低分組 .29 .39 .25 .07 .00 鑑別度:0.2500 ---
題號:45
--- 選 項 1 2 3 4* 其他 ---
選項率 .16 .15 .17 .52 .01 通過率:51.557 ---
高分組 .01 .03 .01 .94 .00 難 度:0.5833 低分組 .17 .33 .28 .22 .00 鑑別度:0.7222 ---
題號:46
--- 選 項 1 2 3 4* 其他 ---
選項率 .17 .20 .17 .46 .00 通過率:45.675 ---
高分組 .08 .13 .00 .79 .00 難 度:0.5000 低分組 .29 .21 .29 .21 .00 鑑別度:0.5833 ---
題號:47
--- 選 項 1 2 3 4* 其他 ---
選項率 .18 .31 .08 .43 .00 通過率:42.907
---
高分組 .01 .18 .00 .81 .00 難 度:0.5069 低分組 .28 .28 .24 .21 .00 鑑別度:0.5972 ---
題號:48
--- 選 項 1 2* 3 4 其他 ---
選項率 .07 .76 .10 .06 .01 通過率:76.471 ---
高分組 .04 .85 .08 .03 .00 難 度:0.6667 低分組 .15 .49 .25 .11 .00 鑑別度:0.3611 ---
題號:49
--- 選 項 1* 2 3 4 其他 ---
選項率 .48 .18 .18 .15 .02 通過率:47.751 ---
高分組 .79 .07 .06 .08 .00 難 度:0.5000 低分組 .21 .25 .42 .13 .00 鑑別度:0.5833 ---
題號:50
--- 選 項 1* 2 3 4 其他 ---
選項率 .76 .09 .09 .07 .00 通過率:75.779 ---
高分組 .99 .01 .00 .00 .00 難 度:0.7083 低分組 .43 .19 .24 .14 .00 鑑別度:0.5556 ---
題號:51
--- 選 項 1 2* 3 4 其他 ---
選項率 .06 .40 .20 .33 .01 通過率:39.792 ---
高分組 .00 .57 .15 .28 .00 難 度:0.4097 低分組 .14 .25 .25 .33 .03 鑑別度:0.3194 ---
題號:52
--- 選 項 1 2 3 4* 其他 ---
選項率 .05 .19 .27 .47 .01 通過率:47.405 ---
高分組 .00 .17 .08 .75 .00 難 度:0.4861 低分組 .13 .25 .38 .22 .03 鑑別度:0.5278 ---
題號:53
--- 選 項 1 2 3* 4 其他 ---
選項率 .21 .40 .29 .09 .01 通過率:29.066 ---
高分組 .15 .26 .56 .03 .00 難 度:0.4097 低分組 .22 .36 .26 .13 .03 鑑別度:0.2917 ---
題號:54
--- 選 項 1 2 3* 4 其他 ---
選項率 .20 .14 .46 .19 .01 通過率:45.675 ---
高分組 .13 .14 .60 .14 .00 難 度:0.4444 低分組 .15 .25 .29 .26 .04 鑑別度:0.3056 ---
題號:55
--- 選 項 1 2* 3 4 其他 ---
選項率 .11 .44 .30 .14 .01 通過率:43.945
選項率 .11 .44 .30 .14 .01 通過率:43.945