• 沒有找到結果。

第五章 結論與建議

第二節 建議

依據研究結論與研究過程中所遇到的困難提出下列研究建議,以供未來類似 研究的參考。

壹、題庫方面

一、由於本研究的婦產科學細目表內容只是婦產科學的一部份,故應擴充細目表 內容的深廣度,試題數目也應增加。由於現今電腦科技及多媒體的迅速發展,

多媒體的試題在專業及實景應對有其重要性,也是未來新試題的取向。假如 能增加一些多媒體試題來豐富內容的多樣性及複雜性,可檢驗題庫的可擴充 性及信效度。

二、本研究只探討婦產科學專門科目,對於醫學領域中其他科目的研究,有很大 的研究發展空間。

三、優良專業試題題庫的開發需有充裕的經費及時間,非一般專業團體能完成。

除非團體內部有共識願意建立題庫,再咨詢測驗及電腦專家來合力建置才有 可能成功。如何增加專業測試的樣本數是類似研究的困難,與專業團體合作 取得一定數量的樣本是可行方法之一。

四、題庫的等化在醫學上不同科目的效果如何,沒有現成的資料可供參考。題庫 中不同的科目對能力的預估也是沒有可參考資料,這是未來可以發展研究的 題目。

五、電腦化適性測驗是目前最新的測驗技術,而且已經發展相當成熟,國內發展 電腦化適性測驗為考選部遠程目標,而醫事人員電腦化考試也是考選部重點 研究。國內醫事教育研究計劃近年也是重點研究。所以,電腦化考試與醫療 教育的研究在近幾年有很大的研究資源,對類似題目有興趣的研究者可再深 入探討。

貳、系統方面

一、系統功能:限於研究時間及人力,僅有 124 位受試者參與測試,雖經驗證確 實能精確估計受試者能力,但在實際施測時,仍有流量問題、資料庫管理、

如何解決無法收歛等問題尚未充分研究討論。建議未來實施適性測驗研究 者,可考慮使用本系統作為研究工具,針對本研究的研究範圍與限制,進行

其他相關研究,建置功能更完善的適性測驗系統。

二、參數:本研究採用二元計分的三參數模式進行能力估計,限於研究時間、經 費及人力,題庫參數的品質及題庫試題量對系統參數設定等問題也尚未討 論,建議未來可針對本研究的研究範圍與限制,進行其他相關研究。

參考文獻

中文部份

王寶墉(1995)。當代測驗理論。台北市:心理。

何榮桂(1997)。從「測驗電腦化與電腦化測驗」再看網路化測驗。測驗與輔導,144,

2972-2974。

何榮桂、陳麗如(1999)。適性測驗題庫之品質管理策略。國家科學委員會研究彙刊。

人文與社會科學,9(4),630-652。

余民寧(2002)。教育測驗與評量。台北市:心理。

余民寧(2009)。試題反應理論(IRT)及其應用。台北市:心理。

余嘉元(1992)。項目反應理論及其應用。江蘇省:江蘇教育出版社。

李茂能(2002)。電腦化適性測驗的過去現在與未來。台灣教育,52-61。

許擇基、劉長萱(1992)。試題作答理論簡介。台北:中國行為科學社。

郭生玉(2001)。心理與教育研究法。台北:精華。

陳英豪、吳裕益(1990)。測驗與評量。高雄:復文。

黃天祥、王維典(2005)。從外國醫師執照考試之機構與模式探討醫師專業考試組織 之應有特質。國家菁英,1(3),147-166。

劉春明、鍾金燕(2007)。國家考試電腦化測驗之推動與發展。國家菁英,3(3),

115-132。

英文部份

Ahmanan, J. S., & Glock M. D. (1981). Evaluating student progress: Principles of tests

and measurement (6th ed.). Boston, MA: Allyn & Bacon.

Anastasi, A. (1988). Psychological testing (6th ed.). New York: Macmillan.

Chase, C. I. (1978). Measurement for educational evaluation (2nd ed.). Reading, MA:

Addison-Wesley.

De Ayala R. J. (2009). The theory and practice of item response theory. New York: The Guilford Press.

DeMars, C.E. (2010). Item response theory. New York: Oxford University Press.

Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and

applications. Boston, MA: Kluwer-Nijhoff.

Huh S. (2008). Preparing the Implementation of Computerized Adaptive Testing for High-Stakes Examinations. Journal of Educational Evaluation for Health

Professions. 5:1.

Huh S. (2009). Application of Computerized Adaptive Testing in Medical Education.

Korean Journal of Medical Education. 21(2): 97-102.

Lord, F. M. (1977). Practical applications of item characteristic curve theory. Journal of

Educational Measuremen., 14, 117-138.

Lord, F. M. (1980). Applications of item response theory to practical testing problems.

Hillsdale, NJ: Lawrence Erlbaum Associates.

McCallon, E. L. , & Schumacker.R.E. (2002). Development and Maintaining and Item

Bank. ELM Metrics Inc, WWW.elmmetrics.com.

Noll, V. H., Scannell, D. P., & Craig, R. C. (1979). Introduction to eductional

measurement (4th ed.,) Boston, MA: Houghton Mifflin.

Roex A., & Degryse J. (2004) A computerized adaptive knowledge test as an assessment tool in general practice: a pilot study. Med Teach, 26(2), 178-183.

Weiss, D. J. (1985). Adaptive testing by computer. Journal of Consulting and Clinical

Psychology, 53, 774-789.

Weiss, D. J. (Ed.). (1983). New horizons in testing. New York: Academic Press.

附 錄

附錄一 問卷調查

問卷(1) 傳統測驗問卷

問題 1:你覺得這次 (傳統測驗) ,題目會不會很難?

選項:很難、有點難、普通、有點容易、很容易

問題 2:在這次 (傳統測驗) ,你有多少題目是不會做的?

選項:0~2、3~4、5~6、7~8、9~10

問題 3:在這次 (傳統測驗) ,你有多少題目是相當有把握會全對的?

選項:0~2、3~4、5~6、7~8、9~10

問題 4:你覺得這次 (傳統測驗),是否能夠測試出你的實力?

選項:可能不能夠、不能夠、不知道、能夠、可能能夠

問卷(2)

金字塔適性測驗問卷

問題 1:你覺得這次 (金字塔適性測驗) ,題目會不會很難?

選項:很難、有點難、普通、有點容易、很容易

問題 2:在這次 (金字塔適性測驗) ,你有多少題目是不會做的?

選項:0~3、4~6、7~9、10~12、13~15

問題 3:在這次 (金字塔適性測驗) ,你有多少題目是相當有把握會全對的?

選項:0~3、4~6、7~9、10~12、13~15

問題 4:你覺得這次 (金字塔適性測驗) ,是否能夠測試出你的實力?

選項:可能不能夠、不能夠、不知道、能夠、可能能夠

問卷(3)

電腦化適性測驗問卷

問題 1:你覺得這次 (電腦化適性測驗) ,題目會不會很難?

選項:很難、有點難、普通、有點容易、很容易

問題 2:在這次 (電腦化適性測驗) ,你有多少題目是不會做的?

選項:0~3、4~6、7~9、10~12、13~15

問題 3:在這次 (電腦化適性測驗) ,你有多少題目是相當有把握會全對的?

選項:0~3、4~6、7~9、10~12、13~15

問題 4:你覺得這次 (電腦化適性測驗) ,是否能夠測試出你的實力?

選項:可能不能夠、不能夠、不知道、能夠、可能能夠

問卷(4) 測驗成績問卷

問題 1:在電腦作答考試中,你比較喜歡哪一種考試方式?

選項:全都喜歡、傳統測驗、金字塔適性測驗、電腦化適性測驗、全都不喜歡

問題 2:你覺得哪一種考試方式會比較公平?

選項:全都公平、傳統測驗、金字塔適性測驗、電腦化適性測驗、全都不公平

問題 3:你覺得(哪一種考試方式)的成績是否合理?

選項:太高、偏高、合理、偏低、太低

問題 4:你覺得哪一種考試方式的成績是不合理?

選項:沒有不合理、傳統測驗、金字塔適性測驗、電腦化適性測驗、全部不合理

附錄二 題庫試題分析

總 和(Sum) 21278.00 平均每人得分(Average) 73.63 最 小 值(Minimum) 21.00 最 大 值(Maximum) 143.00 全 距(Range) 122.00 變 異 數(Variance) 860.09 變 異 數(樣本) 857.11 標 準 差(SD) 29.33 標 準 差(樣本) 29.28 偏 態(Skewness) 0.43 峰 度(Kurtosis) -0.85 平 均 答 對 人 數 1 3 7 . 2 8 受 試 者 總 數 ( N ) 2 8 9. 0 0 平 均 答 對 率 ( P ) 0 . 4 8 問 題 總 數 ( K) 15 5. 0 0 內 部 一 致 性 係 數 0 . 9 6 差異係 數 0. 59

試題分析

--- 註:「 * 」代表正確選項

題號:1

--- 選 項 1 2* 3 4 其他 ---

選項率 .10 .67 .04 .16 .03 通過率:67.474 ---

高分組 .06 .92 .01 .01 .00 難 度:0.6806 低分組 .11 .44 .07 .36 .01 鑑別度:0.4722

--- 題號:2

--- 選 項 1 2* 3 4 其他 ---

選項率 .08 .54 .19 .15 .03 通過率:54.325 ---

高分組 .01 .86 .10 .03 .00 難 度:0.5208 低分組 .17 .18 .39 .25 .01 鑑別度:0.6806 ---

題號:3

--- 選 項 1* 2 3 4 其他 ---

選項率 .29 .26 .26 .16 .03 通過率:29.412 ---

高分組 .60 .14 .13 .14 .00 難 度:0.3889 低分組 .18 .26 .33 .21 .01 鑑別度:0.4167 ---

題號:4

--- 選 項 1 2* 3 4 其他 ---

選項率 .24 .38 .22 .14 .02 通過率:38.062 ---

高分組 .21 .58 .15 .06 .00 難 度:0.4167 低分組 .21 .25 .28 .25 .01 鑑別度:0.3333 ---

題號:5

--- 選 項 1 2 3 4* 其他 ---

選項率 .02 .35 .12 .48 .03 通過率:47.751 ---

高分組 .01 .10 .00 .88 .01 難 度:0.5069 低分組 .07 .60 .18 .14 .01 鑑別度:0.7361 ---

題號:6

--- 選 項 1 2* 3 4 其他 ---

選項率 .12 .57 .16 .12 .02 通過率:57.439 ---

高分組 .03 .96 .00 .01 .00 難 度:0.6250 低分組 .14 .29 .32 .24 .01 鑑別度:0.6667 ---

題號:7

--- 選 項 1 2* 3 4 其他 ---

選項率 .24 .58 .10 .05 .03 通過率:58.131 ---

高分組 .24 .72 .03 .01 .00 難 度:0.5486 低分組 .24 .38 .25 .13 .01 鑑別度:0.3472 ---

題號:8

--- 選 項 1 2 3* 4 其他 ---

選項率 .06 .10 .74 .08 .03 通過率:73.702 ---

高分組 .03 .03 .89 .06 .00 難 度:0.6736 低分組 .15 .21 .46 .17 .01 鑑別度:0.4306 ---

題號:9

--- 選 項 1 2 3* 4 其他 ---

選項率 .13 .09 .62 .12 .03 通過率:61.938 ---

高分組 .08 .06 .82 .04 .00 難 度:0.5833 低分組 .21 .18 .35 .25 .01 鑑別度:0.4722 ---

題號:10

--- 選 項 1 2* 3 4 其他 ---

選項率 .12 .44 .22 .19 .03 通過率:43.945 ---

高分組 .04 .69 .21 .06 .00 難 度:0.4375 低分組 .21 .18 .33 .26 .01 鑑別度:0.5139 ---

題號:11

--- 選 項 1 2* 3 4 其他 ---

選項率 .11 .54 .13 .19 .03 通過率:53.633 ---

高分組 .07 .83 .03 .07 .00 難 度:0.5069 低分組 .21 .18 .29 .31 .01 鑑別度:0.6528 ---

題號:12

--- 選 項 1 2 3* 4 其他 ---

選項率 .09 .09 .57 .22 .03 通過率:56.747 ---

高分組 .01 .01 .90 .06 .01 難 度:0.6319 低分組 .25 .21 .36 .17 .01 鑑別度:0.5417 ---

題號:13

--- 選 項 1 2 3* 4 其他 ---

選項率 .21 .11 .49 .15 .03 通過率:49.481 ---

高分組 .04 .00 .93 .01 .01 難 度:0.5833 低分組 .32 .24 .24 .19 .01 鑑別度:0.6944 ---

題號:14

--- 選 項 1 2 3* 4 其他 ---

選項率 .06 .08 .70 .13 .03 通過率:69.550 ---

高分組 .00 .00 .90 .08 .01 難 度:0.6736 低分組 .15 .24 .44 .14 .03 鑑別度:0.4583 ---

題號:15

--- 選 項 1* 2 3 4 其他 ---

選項率 .41 .11 .22 .23 .03 通過率:41.176 ---

高分組 .68 .06 .14 .11 .01 難 度:0.5000 低分組 .32 .17 .25 .24 .03 鑑別度:0.3611 ---

題號:16

--- 選 項 1* 2 3 4 其他 ---

選項率 .54 .30 .08 .08 .01 通過率:53.633 ---

高分組 .71 .19 .03 .06 .01 難 度:0.5764 低分組 .44 .25 .19 .10 .01 鑑別度:0.2639 ---

題號:17

--- 選 項 1 2 3 4* 其他 ---

選項率 .13 .18 .17 .50 .02 通過率:49.827 ---

高分組 .07 .08 .14 .69 .01 難 度:0.5208 低分組 .26 .18 .19 .35 .01 鑑別度:0.3472 ---

題號:18

--- 選 項 1* 2 3 4 其他 ---

選項率 .37 .20 .26 .12 .04 通過率:37.370 ---

高分組 .60 .13 .14 .13 .01 難 度:0.3889 低分組 .18 .29 .31 .19 .03 鑑別度:0.4167 ---

題號:19

--- 選 項 1 2 3 4* 其他 ---

選項率 .17 .15 .27 .38 .03 通過率:38.408 ---

高分組 .18 .06 .14 .61 .01 難 度:0.4028 低分組 .19 .21 .39 .19 .01 鑑別度:0.4167 ---

題號:20

--- 選 項 1* 2 3 4 其他 ---

選項率 .57 .16 .17 .08 .03 通過率:56.747 ---

高分組 .60 .14 .13 .13 .01 難 度:0.4583 低分組 .32 .24 .31 .13 .01 鑑別度:0.2778 ---

題號:21

--- 選 項 1 2 3* 4 其他 ---

選項率 .28 .29 .37 .03 .02 通過率:37.370 ---

高分組 .17 .19 .63 .00 .01 難 度:0.3958 低分組 .36 .33 .17 .11 .03 鑑別度:0.4583 ---

題號:22

--- 選 項 1 2 3 4* 其他 ---

選項率 .19 .10 .17 .52 .02 通過率:52.249 ---

高分組 .10 .01 .14 .74 .01 難 度:0.4653 低分組 .29 .22 .28 .19 .01 鑑別度:0.5417 ---

題號:23

--- 選 項 1 2 3 4* 其他 ---

選項率 .18 .23 .09 .48 .02 通過率:48.443 ---

高分組 .00 .15 .00 .83 .01 難 度:0.4861 低分組 .35 .25 .25 .14 .01 鑑別度:0.6944 ---

題號:24

--- 選 項 1 2 3 4* 其他 ---

選項率 .13 .17 .28 .39 .03 通過率:38.754 ---

高分組 .03 .04 .19 .72 .01 難 度:0.4306 低分組 .22 .25 .38 .14 .01 鑑別度:0.5833 ---

題號:25

--- 選 項 1 2* 3 4 其他 ---

選項率 .05 .61 .22 .10 .01 通過率:61.246 ---

高分組 .03 .83 .13 .00 .01 難 度:0.5903 低分組 .15 .35 .29 .19 .01 鑑別度:0.4861 ---

題號:26

--- 選 項 1 2* 3 4 其他 ---

選項率 .11 .57 .17 .12 .02 通過率:57.093

---

高分組 .08 .75 .10 .06 .01 難 度:0.5278 低分組 .17 .31 .33 .18 .01 鑑別度:0.4444 ---

題號:27

--- 選 項 1* 2 3 4 其他 ---

選項率 .64 .16 .12 .08 .00 通過率:64.360 ---

高分組 .88 .01 .10 .01 .00 難 度:0.6319 低分組 .39 .33 .14 .14 .00 鑑別度:0.4861 ---

題號:28

--- 選 項 1* 2 3 4 其他 ---

選項率 .50 .37 .09 .03 .00 通過率:50.173 ---

高分組 .78 .19 .03 .00 .00 難 度:0.5486 低分組 .32 .42 .18 .08 .00 鑑別度:0.4583 ---

題號:29

--- 選 項 1* 2 3 4 其他 ---

選項率 .79 .07 .08 .06 .00 通過率:78.547 ---

高分組 .99 .00 .01 .00 .00 難 度:0.7014 低分組 .42 .21 .24 .14 .00 鑑別度:0.5694 ---

題號:30

--- 選 項 1* 2 3 4 其他 ---

選項率 .86 .06 .04 .03 .01 通過率:85.813 ---

高分組 1.00 .00 .00 .00 .00 難 度:0.8125 低分組 .63 .15 .14 .08 .00 鑑別度:0.3750 ---

題號:31

--- 選 項 1 2* 3 4 其他 ---

選項率 .10 .69 .07 .13 .02 通過率:68.858 ---

高分組 .06 .86 .03 .04 .01 難 度:0.6389 低分組 .25 .42 .13 .19 .01 鑑別度:0.4444 ---

題號:32

--- 選 項 1 2 3* 4 其他 ---

選項率 .21 .11 .57 .10 .01 通過率:57.093 ---

高分組 .25 .01 .71 .03 .00 難 度:0.5208 低分組 .32 .25 .33 .08 .01 鑑別度:0.3750 ---

題號:33

--- 選 項 1 2 3* 4 其他 ---

選項率 .17 .12 .60 .08 .02 通過率:60.208

---

高分組 .07 .01 .89 .03 .00 難 度:0.6250 低分組 .25 .21 .36 .17 .01 鑑別度:0.5278 ---

題號:34

--- 選 項 1 2* 3 4 其他 ---

選項率 .19 .59 .04 .17 .01 通過率:58.824 ---

高分組 .07 .88 .00 .06 .00 難 度:0.5764 低分組 .33 .28 .15 .22 .01 鑑別度:0.5972 ---

題號:35

--- 選 項 1 2 3* 4 其他 ---

選項率 .21 .15 .58 .05 .01 通過率:57.785 ---

高分組 .10 .03 .86 .01 .00 難 度:0.6319 低分組 .33 .17 .40 .10 .00 鑑別度:0.4583 ---

題號:36

--- 選 項 1 2* 3 4 其他 ---

選項率 .22 .47 .16 .13 .02 通過率:47.059 ---

高分組 .25 .69 .01 .04 .00 難 度:0.4583 低分組 .32 .22 .32 .14 .00 鑑別度:0.4722 ---

題號:37

--- 選 項 1 2 3 4* 其他 ---

選項率 .10 .11 .21 .56 .01 通過率:56.401 ---

高分組 .00 .10 .04 .85 .01 難 度:0.5347 低分組 .24 .18 .36 .22 .00 鑑別度:0.6250 ---

題號:38

--- 選 項 1 2 3* 4 其他 ---

選項率 .16 .28 .42 .12 .01 通過率:41.869 ---

高分組 .11 .29 .56 .04 .00 難 度:0.4097 低分組 .22 .38 .26 .14 .00 鑑別度:0.2917 ---

題號:39

--- 選 項 1 2* 3 4 其他 ---

選項率 .25 .36 .07 .30 .02 通過率:36.332 ---

高分組 .17 .61 .01 .19 .01 難 度:0.4236 低分組 .33 .24 .21 .22 .00 鑑別度:0.3750 ---

題號:40

--- 選 項 1 2* 3 4 其他

---

選項率 .20 .41 .28 .09 .01 通過率:41.176

---

高分組 .04 .79 .15 .00 .01 難 度:0.5000 低分組 .28 .21 .36 .14 .01 鑑別度:0.5833 ---

題號:41

--- 選 項 1 2 3* 4 其他 ---

選項率 .19 .27 .41 .12 .01 通過率:41.176 ---

高分組 .11 .19 .64 .06 .00 難 度:0.4653 低分組 .21 .26 .29 .24 .00 鑑別度:0.3472 ---

題號:42

--- 選 項 1 2 3* 4 其他 ---

選項率 .14 .14 .45 .25 .02 通過率:45.329 ---

高分組 .01 .13 .68 .17 .01 難 度:0.4306 低分組 .38 .21 .18 .24 .00 鑑別度:0.5000 ---

題號:43

--- 選 項 1 2* 3 4 其他 ---

選項率 .19 .38 .13 .28 .01 通過率:38.062 ---

高分組 .10 .68 .08 .14 .00 難 度:0.4028 低分組 .28 .13 .18 .42 .00 鑑別度:0.5556 ---

題號:44

--- 選 項 1 2* 3 4 其他

---

選項率 .25 .58 .15 .03 .00 通過率:57.785 ---

高分組 .33 .64 .03 .00 .00 難 度:0.5139 低分組 .29 .39 .25 .07 .00 鑑別度:0.2500 ---

題號:45

--- 選 項 1 2 3 4* 其他 ---

選項率 .16 .15 .17 .52 .01 通過率:51.557 ---

高分組 .01 .03 .01 .94 .00 難 度:0.5833 低分組 .17 .33 .28 .22 .00 鑑別度:0.7222 ---

題號:46

--- 選 項 1 2 3 4* 其他 ---

選項率 .17 .20 .17 .46 .00 通過率:45.675 ---

高分組 .08 .13 .00 .79 .00 難 度:0.5000 低分組 .29 .21 .29 .21 .00 鑑別度:0.5833 ---

題號:47

--- 選 項 1 2 3 4* 其他 ---

選項率 .18 .31 .08 .43 .00 通過率:42.907

---

高分組 .01 .18 .00 .81 .00 難 度:0.5069 低分組 .28 .28 .24 .21 .00 鑑別度:0.5972 ---

題號:48

--- 選 項 1 2* 3 4 其他 ---

選項率 .07 .76 .10 .06 .01 通過率:76.471 ---

高分組 .04 .85 .08 .03 .00 難 度:0.6667 低分組 .15 .49 .25 .11 .00 鑑別度:0.3611 ---

題號:49

--- 選 項 1* 2 3 4 其他 ---

選項率 .48 .18 .18 .15 .02 通過率:47.751 ---

高分組 .79 .07 .06 .08 .00 難 度:0.5000 低分組 .21 .25 .42 .13 .00 鑑別度:0.5833 ---

題號:50

--- 選 項 1* 2 3 4 其他 ---

選項率 .76 .09 .09 .07 .00 通過率:75.779 ---

高分組 .99 .01 .00 .00 .00 難 度:0.7083 低分組 .43 .19 .24 .14 .00 鑑別度:0.5556 ---

題號:51

--- 選 項 1 2* 3 4 其他 ---

選項率 .06 .40 .20 .33 .01 通過率:39.792 ---

高分組 .00 .57 .15 .28 .00 難 度:0.4097 低分組 .14 .25 .25 .33 .03 鑑別度:0.3194 ---

題號:52

--- 選 項 1 2 3 4* 其他 ---

選項率 .05 .19 .27 .47 .01 通過率:47.405 ---

高分組 .00 .17 .08 .75 .00 難 度:0.4861 低分組 .13 .25 .38 .22 .03 鑑別度:0.5278 ---

題號:53

--- 選 項 1 2 3* 4 其他 ---

選項率 .21 .40 .29 .09 .01 通過率:29.066 ---

高分組 .15 .26 .56 .03 .00 難 度:0.4097 低分組 .22 .36 .26 .13 .03 鑑別度:0.2917 ---

題號:54

--- 選 項 1 2 3* 4 其他 ---

選項率 .20 .14 .46 .19 .01 通過率:45.675 ---

高分組 .13 .14 .60 .14 .00 難 度:0.4444 低分組 .15 .25 .29 .26 .04 鑑別度:0.3056 ---

題號:55

--- 選 項 1 2* 3 4 其他 ---

選項率 .11 .44 .30 .14 .01 通過率:43.945

選項率 .11 .44 .30 .14 .01 通過率:43.945

相關文件