典試法修正後的幾個題庫建置與測驗編製問題

典試法修正後的幾個題庫建置與測驗編製問題

壹、緒論 典試法業經總統於 104 年 2 月 4 日修正公布，考選部即本於依法行 政之原則，積極進行相關子法修正之法制作業及規劃相關配套措施，務 使各項新制順利實施，以維護應考人之權益。 本次典試法的修法，計有下列幾個修正重點： 一、 實務界具相當資歷者，亦得擔任典試委員，參與典試工作。 二、 因應未來可能採行量尺分數或百分位數等轉換方式，使國家考試之 評分更臻於公平。 三、 考試性質特殊者，經考試院同意後，試題及測驗式試題答案得不予 公布。 四、 得公開徵求、交換或購置國內外試題，以擴大題庫試題來源。 五、 不影響考試客觀與公平前提下，踐行國家考試資訊公開，開放應考 人得申請閱覽試卷。惟不得有抄寫、複印、攝影、讀誦錄音或其他 複製行為。 六、 為照顧弱勢，增列身心障礙者應國家考試相關權益保障之法源。

惟因這些變革，牽涉到題庫建置與測驗編製的幾個相關問題。因此， 筆者擬藉此機會，拋磚引玉地提出幾個待考量問題與建議，以供考選部 在規劃相關作業與擬定配套措施時的參考。 貳、關於題庫建置標準化作業流程的幾個特色 基於國家考試的關係，負責考試業務的專責機構—考選部，必須遵 守國家法律的規定與約束，才能據以辦理每年度的國家考試業務。因此， 考選部有許多辦理考試業務的做法，就是與測驗學術理論及國際標準化 測驗實施所慣用的程序，不盡相同。 一般來說，國際上針對大型的考試或大規模舉行的標準化測驗實施 計畫，專業的考試專責機構，多半都會遵照既定的標準作業流程來建置 題庫（余民寧，2010a；何榮桂，2005；Downing & Haladyna, 2006；Embretson, 1985；Rivera, 2011；Xing & Hambleton, 2004)。無論它是依據傳統的古 典測驗理論(classical test theory, CTT)（余民寧，2011；Coaley, 2010； Crocker & Algina, 2006；Gulliksen, 1987）或當代的試題反應理論(item response theory, IRT)（余民寧，2009a；Embretson & Reise, 2000；Embretson & Yang, 2006；Hambleton & Swaminathan, 1985；Lord, 1980；Yen & Fitzpatrick, 2006）來作為發展與建置題庫的理論基礎，都還是一樣必須 遵守此標準作業流程的規範。

在此題庫建置的標準作業流程中，有一些建置方法與配套措施的特 色，是與當前考選部的做法不一樣的地方，頗值得考選部的參考與學習。 這些特色包括下列幾點： 一、 試題不公布題目與答案：在題庫建置的標準作業流程做法裡，基本 上都會要求所研發的試題，必須先經過考生樣本的預試(pilot test)及 試題分析(item analysis)作業，以獲知試題的各種參數（如：試題的 難度、鑑別度、猜測度、選項誘答力分析等指標）特性後，凡各種 試題參數滿足品質優良的收錄條件者，該試題才會被收錄納進正式 題庫裡，以作為爾後考試使用時抽題組卷的基礎。關於這一點，考 選部曾委託學者進行「各國國家考試試題公布」的學術研究（余民 寧、謝進昌、黃馨瑩，2010），並為典試法的修正提供不公布題目 與答案可能性的學理基礎（余民寧，2010b）。 二、 測驗等化設計的應用：由於被納進題庫的試題，不會是在同一時間 點建置的，因此，在進行試題預試及試題分析前，試題與試題之間 必 須 經 過 等 化 銜 接 (equating and linking) 的 規 劃 設 計 (Dorans, Pommerich, & Holland, 2007；Holland & Dorans, 2006)，才能將這些 不同時間點所編製與測試建立的試題參數，一起建立在共同的量尺 (common scale)上。如此建立在共同量尺上來的參數化題庫，才能做 到跨年度、跨考次（如果同一考科一年內舉行多次考試的話）與跨

類科（如果不同類科都舉行同一考科的考試的話）間的真實得分之 比較用途。這項用途對於決定專技人員職業證照的通過標準設定 (standard setting)而言，尤其重要（余民寧，2009b）。如此制訂在共 同量尺上的通過標準，才能確保每年度獲得職業證照的人員，其技 術水平是維持一致的、跨年度不變的，並且是可以互相比較的。這 項做法，也間接顯示出其技術服務品質是可以放之四海皆準的，不 僅可以維護其專業證照的形象，同時也保障到全民的福祉。

三、 蘊含電腦化適性測驗(computerized adaptive testing, CAT)的發展契 機：有了建立在共同量尺上的參數化題庫當後盾，若再加上研發一 套電腦化施測程序，即可將傳統行之有年的紙筆式測驗或考試方 式，澈底轉型成為由電腦負責管控，針對每一位考生，從題庫中抽 取出適合其作答的考題，然後給予施測、計分、再選題、再施測， 最後估計出考生測驗分數的系統化測驗程序，做到「量身訂製」的 考試方式，這套測驗程序即是未來可能盛行的新興考試方式─「電 腦化適性測驗」（何榮桂，1991；陳新豐，2003；鄭裕篤，2000； Van der Linden & Glas, 2000；Wainer, Dorans, Eignor, Flaugher, Green, Mislevy, Steinberg, & Thissen, 2000）。若未來的考試方式步入電腦 化適性測驗的時代，不僅可以大幅度節省考試成本、時間、人力與

物力的支出，更可以快速、有效、精確地測出每一位考生的潛在能 力，以供作未來國家或民間機構選才的重要參考依據。 四、 蘊含量尺分數(scaled scores)的轉換可行性契機：既然等化技術融入 題庫建置的過程中，那麼，所發展出來的參數化題庫，便已建立在 一個共同的單位量尺上。如此的題庫試題，一旦被抽題組卷成某次 考試使用的題目時，考試專業機構便可以根據試題參數，將考生的 原始考試得分，轉換成各種決議使用的量尺分數（王文中、陳承德， 2005；Stocking & Lord, 1983；Vale, 1986）。例如，有名的英語托福

考試成績的量尺分數轉換公式為 TOEFL=500+100θ、國際知名的學 生成就評比測驗 TIMSS 或 PISA＝250＋100θ、國內的臺灣學生學習 成就資料庫 TASA＝250＋50θ 等（其中的 θ 值，係指考生在該題庫 測驗結果所獲得的能力估計值），都是一些明顯、常見的應用例子。 把考生的考試得分（即原始分數），轉換成具有共同單位量尺的量 尺分數，不僅可以方便未來考試結果達到跨年度、跨學科、跨評分 者間的比較效益，更可以協助解決各年度因為試題難易度、鑑別度、 閱卷評分寬嚴、各組採用選試科目難度及評分誤差、各組報名人數 不一等因素，而造成錄取水平不一、錄取人數不足或錄取偏向等困 擾問題。

上述這些題庫建置標準化作業流程的特色，確實是有值得考選部的 學習與參考之處，同時也為典試法的修正，提供改進的思考方向與指引。 參、典試法修正後的幾個建議 先就以典試法 23 條的原先規定「國家考試舉行竣事，試題及測驗式 試題答案得對外公布」為例，說明此規定對考試業務推展現況所造成的 不良影響如下。 在此法條的規定下，國家考試因為要顧及考試的公平性、安全性與 保密性，試題都無法在考試前，先經過客觀的樣本預試與試題分析作業。 因為沒有經過預試的緣故，所以考選部無法事先掌握每一道試題品質的 指標，無法事先得知試題品質的實際好壞。因此試題品質僅能仰賴於命 題委員及審題委員的共同努力與專業審查的把關，但此做法僅能確保試 題具有主觀性認定的品質好壞指標，但仍缺乏試題品質好壞的客觀性指 標等資訊。並且，在規定考試後需要公布試題及測驗式試題答案的緣故， 因此也造成考試後申請試題疑義的案件逐年增多。這些事件對考選部而 言，不僅造成行政作業的負擔、行政資源的浪費，更對考試業務的精進 與改革，都不具有任何生產性與建設性的助益。 同時，在公布試題及答案的法規約束下，每年新命題的試題都不得 與近 3 年來的考題相同，因此，也造成命題內容愈來愈偏頗，試題愈來

愈趨向只測量到考生的記憶力，而不是公務人員所需要的高層次推理思 考、分析判斷、價值評鑑與問題解決的創造力，讓考試的目的已偏離國 家考試是「為國選才」的基本目的。 因此，在檢討此不良影響的現況後，醞釀出典試法修訂的必要性。 例如，該 23 條條文增加新的規定「但考試性質特殊者，經考試院同意後， 不予公布」；筆者即認為這是一項劃時代的創舉，並且具有前瞻性開拓未 來國家考試的發展契機。所以，針對此次典試法相關法條的修訂，筆者 擬借此機會，提出幾個問題思考點的建議，以供考選部在規劃後續相關 作業與擬定配套措施時的參考。 一、 所謂「考試性質特殊」者，應予以明確界定。現行典試法施行細則 第 14 條規定，「考試性質特殊，係指口試、心理測驗等考試方式及 其他經考試院同意不予公布試題及測驗式試題答案之考試。」其實， 現行施行細則的規範亦有不夠周延與缺乏前瞻性之處。因此，筆者 擬建議除此之外，亦應擴張其定義範圍到涵蓋下列幾項： (一) 各種特殊考試類科（如：公務人員特種考試外交領事人員及外 交行政人員考試等 16 種考試類科）； (二) 新型考試方式（如：電腦化適性測驗、線上作答之電腦化測驗）； (三) 進階考試階段（如：第 2 階段以後的考試）；

(situational performance items) 、 虛 擬 實 境 題 (virtual-reality performance items)等）； (五) 需納入心理測驗(psychological testing)評估的職科種類之考試； (六) 根據職能分析後應採用實作評量(performance assessment)（如： 檔案評量(portfolio assessment)、書審著作及履歷背景資料、個別 及團體口試問題等）方式進行評估之職種考科； (七) 題庫建置內容具有機密性與隱私性之考試皆屬之。 當然，如有此「考試性質特殊」之需求時，考選部除應事先公告考 試須知外，更應該同步公布可能的題型範例，以供應考人提前準備。 二、 為上述明確界定的做法，引用其他適當的法律條文，加以保障與維 護。筆者認為所有國家考試用的試題，都應該列為國家的機密文件， 並得以不對外公開或限制公開的程度，以杜絕民眾過渡濫用「知的 權利」之訴求。 根據〈政府資訊公開法〉之《第4章政府資訊公開之限制》第 1 8 條之規定「政府資訊屬於下列各款情形之一者，應限制公開或不 予提供之：……五、有關專門知識、技能或資格所為之考試、檢定 或 鑑 定 等 有 關 資 料 ， 其 公 開 或 提 供 將 影 響 其 公 正 效 率 之 執 行 者。……政府資訊含有前項各款限制公開或不予提供之事項者，應 僅就其他部分公開或提供之。」換句話說，典試法修正條文增加「但

考試性質特殊者，經考試院同意後，不予公布」之規定，其實已有 〈政府資訊公開法〉之明文保障規定；事實上，過去公布試題及其 答案的做法，即是會造成「影響其公正效率之執行者」（如：偏離 「為國選才」的目的）的後果。因此，若引用此法條的明文規定， 典試法修正後的「但考試性質特殊者，經考試院同意後，不予公布」 的不公布試題及其答案之做法，其實是不會妨害民眾「知的權利」 的。 但是，典試法修正條文並不隱含一切資訊都不予公布，若是這 樣做的話（即一切資訊都不予公布），反而是妨害民眾「知的權利」。 因此，針對每年每次考試結束後，考選部應該公布的是有關「本次 考試的標準作業程序、試題研發的技術手冊報告、該場考試的信度 與效度指標、試題的平均難度與鑑別度、通過標準的設定情形、及 違反考試規則考生的處置方式」等事項，而不是「公布試題及答案、 評分標準、命題及閱卷委員姓名、及複製閱覽試卷內容」等事項， 如此才符合〈政府資訊公開法〉第 1 8 條規定之「政府資訊含有前 項各款限制公開或不予提供之事項者，應僅就其他部分公開或提供 之」之精神。如此一來，國家考試的推行，才能逐漸回歸到題庫建 置的標準化作業流程，符合測驗專業及測驗倫理的守則與規範。

三、 量尺分數轉換之使用與公告。未來的國家考試結果，無論是測驗式 試題或申論式試題的評分結果，如果擬採用並公告轉換後之量尺分 數的話，考選部除應事先公告須知外，並應公告擬採用之量尺分數 轉換的計算公式，並且舉例說明之，以讓民眾能夠一目了然。這種 量尺分數的轉換與使用，必然有其學理上、政策上與實務上的正當 性與合理性的考量與需求，並且可以達成跨年度、跨學科、跨評分 者間之比較效益，增進考試錄取的公平性，維持每年考試錄取人數 的穩定性。考選部宜在未來的考試政策制訂與試題研發過程中，在 確定有此目的需求的前提下，提早公布使用的目的與轉換的計算公 式，此舉才能彰顯考試實務所考量的必要性與價值性，才容易贏得 民眾的支持與肯定。 四、 徵求、交換、或購買國內外試題，以充實題庫措施之建議。筆者認 為，在緊急、特殊的情況下，此措施當然可以解決燃眉之急的需求， 並快速擴充題庫試題數量。但實際上，國際上的各種考試（尤其是 國家考試或專業證照的考試），都會基於試題保密原則與試題係屬 於智慧財產保護範圍之故，即使有錢也購買不到國外的試題，所以， 此舉（即徵求、交換、或購買）並沒有辦法能夠有效的達成擴充題 庫數量的目的。

因此，長期來看，此措施並無法節省題庫建置的成本、提高試 題的品質與提高考試的信效度指標。為長遠之計，考試部還是需要 長期仰賴本土專家學者來協助設計大量的新穎試題、修法不再公布 試題及答案，以減少題庫試題量的消耗，另試題均需事先經過預 試，以建立起客觀的心理計量特質指標，同時並參酌每次考試的不 同目的與特殊需求，根據前述的心理計量特質指標，從題庫中抽題 組卷，以編製出可滿足及因應各種不同考試需求的試題卷，這才是 發展題庫政策的上上之計。 五、 「應考人不得申請複製試卷、申論式試題參考答案及典試人員資料」 之規定，應予以繼續捍衛與維護。站在測驗與評量的專業立場來看 此事，考試竣事後不公布申論式試題參考答案，其理由如下︰ (一) 公布試題及答案、評分標準、命題及閱卷委員姓名、及複製閱 覽試卷內容等之行為，都是違反測驗專業與測驗倫理的作為； (二) 上述的作為，除妨害測驗使用的專業性外，也違反測驗使用的 保密性與公正性，間接嚴重影響學校教學內容的獨立自主性； (三) 考選命題及評分之行為，具有高度之專業性及屬人性； (四) 參考答案之性質，僅係供評分時參考之用，而非絕對的標準答 案；

(五) 一旦公布參考答案，可能會徒增行政訟累，不僅徒增行政資源 的浪費，讓未來的考試命題愈趨偏離原本的考試評量目的，並 引發對後續命題品質及考試鑑別力的疑慮； (六) 會影響國家考試的榜示結果，破壞國家考試的公正形象，也會 影響民眾對國家考試公信力的觀感與信賴。 因此，基於上述理由的考量，典試法修正條文之精神，值得繼續捍 衛與維護。 肆、邁向未來考試的新時代─代結論 經由上述問題的描述可知，典試法的修正，賦予考選部在發展國家 考試題庫的做法，愈來愈符合測驗學術所主張題庫建置應該遵守的標準 作業流程；換句話說，國家考試題庫的發展建置與測驗編製，愈發趨向 遵守測驗發展的專業性與倫理性原則，讓國家考試的目的回歸到「為國 選才」的基本目的上。這是一項進步的法律修正案，頗獲學術界人士及 廣大民眾的肯定與嘉許！ 過去，考選部在發展國家考試題庫時所遭遇的困境，不外乎是在先 前法規的限制下—試題無法事先預試、無法預先得知試題品質特色、公 布試題及答案後引發試題疑義申請案件日益增多，增加行政作業負擔與 困擾、無法做到穩定每年度的試題品質與錄取水平及人數、因為考過的

試題曝光的緣故，導致優良試題無法再度使用，以致命題愈來愈偏離考 試原來的評量目的等。這些問題都曾造成辦理考試業務時的許多干擾與 負擔，並且也把國家考試困在傳統的價值思維裡許多年，無法與世界各 國的國家考試及國際上盛行的大型考試標準化作業程序的發展潮流接 軌。 現在，在典試法修正後，我國的國家考試發展，已可逐步與國際接 軌。若欲達成這項接軌行動，前瞻性規劃未來的國家考試發展方向，筆 者認為考選部可以逐年將傳統上各個考科的考題，逐漸轉型改用新設計 型式的題型（如：前述的複選題、題組題、實作測驗題、情境實作題、 虛擬實境題等）、採用新式的考試方式（如：實施線上測驗、電腦化適性 測驗等）、以及廣泛採用進階的考試階段（如：第 2 階段後考試所採用的 口試、實作測驗、心理測驗、實作評量等），以優先符合「考試性質特殊 者」的要件，並「經考試院同意後，不予公布」其試題及答案。如此一 來，可以逐漸做到全面性的考題及其答案不再公布。 接下來，在達成上述目標後，爾後的國家考試即可利用當年度考生 為樣本來進行新試題的預試工作，經過試題分析後，再把具有優良特質 的新試題保留下來納入題庫，作為爾後考試的抽題組卷依據；同時，可 根據這些參數化過的題庫試題特色，據以計算並轉換成量尺分數的使 用，以達跨年度、跨考科、跨評分者間的分數比較目的，增進並改善錄

取公平性的問題；並且，亦可據以發展出電腦化適性測驗，讓未來的考 試全面性做到數位化「量身訂製」的考試，讓考試的效率與效能大幅提 升，讓考試的評分更具信效度，以澈底取代人工作業的傳統考試方式， 落實「為國選才」的典試法修正目的（余民寧，2010a）。

參考文獻 一、中文部分 王文中、陳承德(2005)。量尺分數之比較：以醫師高考為例。國家菁英季刊， 1(1)，137-156。 余民寧(2009a)。試題反應理論(IRT)及其應用。臺北市：心理。 余民寧(2009b)。測驗等化對專技考試標準設定之啟示。國家菁英，5(4)，15-33。 余民寧(2010a)。測驗建置流程及新概念。載於國家教育研究院籌備處主編「測 驗及評量專論文集─題庫建置與測驗編製」（第 4 章，80-99 頁）。新北市： 國家教育研究院籌備處。 余民寧(2010b)。論國家考試試題是否應該公布。人事行政月刊，173，9-19。 余民寧、謝進昌、黃馨瑩(2010)。「各國國家考試試題公布之研究」研究報告。 臺北市：考試院考選部。 余民寧(2011)。教育測驗與評量—成就測驗與教學評量（第 3 版）。臺北市： 心理。 何榮桂(1991)。電腦化題庫設計的基本架構。教育研究雙月刊，20，21-26。 何榮桂(2005)。數位化題庫之概念架構。國家菁英，1(4)，149-157。 陳新豐(2003)。線上題庫之研發。中學教育學報，10，301-326。 鄭裕篤(2000)。電腦題庫的設計與發展。測驗統計簡訊，37，15-22。

二、英文部分

Coaley, K. (2010). An introduction to psychological assessment and

psychometrics. Thousand Oaks, CA: Sage.

Crocker, L., & Algina, J. (2006). Introduction to classical and modern test theory

(2nd ed.). New York: Wadsworth.

Dorans, N. J., Pommerich, M., & Holland, P. W. (Eds.) (2007). Linking and

aligning scores and scales. New York: Springer-Verlag.

Downing, S. M., & Haladyna, T. M. (Eds.) (2006). Handbook of test development. Mahwah, NJ: Lawrence Erlbaum Associates.

Embretson, S. E. (Ed.) (1985). Test design: Developments in psychology and

psychometrics. Orlando, FL: Academic Press.

Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Mahwah, NJ: Lawrence Erlbaum Associates.

Embretson, S., & Yang, X. (2006). Item Response Theory. In J. L. Green, G.. Camilli, & P. B. Elmore (Eds.) (2006). Handbook of complementary methods

in education research. (pp. 385-409). Mahwah, NJ: Lawrence Erlbaum

Associates.

Gulliksen, H. (1987). Theory of mental test. Hillsdale, NJ: Lawrence Erlbaum Associates. (Originally published in 1950 by New York: John Wiley & Sons) Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles

and applications. Boston, MA: Kluwer-Nijhoff.

Holland, P. W., & Dorans, N. J. (2006). Linking and equating. In R. L. Brennan (Ed.), Educational measurement (4th ed.) (pp. 187-220). Washington, DC: National Council on Measurement in Education.

problems. Hillsdale, NJ: Lawrence Erlbaum Associates.

Stocking, M. L., & Lord, F. M. (1983). Developing a common metric in item response theory. Applied Psychological Measurement, 7, 201-210.

Rivera, J. E. (2011). Test item construction and validation: Developing a statewide assessment for Agricultural Science Education. Career and Technical

Education Research, 36(2), 69-80.

Vale, C. D. (1986). Linking item parameters onto a common scale. Applied

Psychological Measurement, 10, 333-344.

Van der Linden, W. J., & Glas, C. A. W. (Eds) (2000). Computerized adaptive

testing: Theory and practice. Boston: Kluwer Academic.

Wainer, H., Dorans, N. J., Eignor, D., Flaugher, R., Green, B. F., Mislevy, R. J., Steinberg, L., & Thissen, D. (Eds.) (2000). Computerized adaptive testing: A

primer (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum Associates.

Xing, D., & Hambleton, R. K. (2004). Impact of test design, item quality, and item bank size on the psychometric properties of computer-based credentialing examinations. Educational and Psychological Measurement, 64(1), 5-21. Yen, W. M., & Fitzpatrick, A. R. (2006). Item response theory. In R. L. Brennan

(Ed.), Educational measurement (4th ed.) (pp. 111-153). Washington, DC: National Council on Measurement in Education.

Issues About the Item Bank and Test

Construction After the Modified

Examination Affairs Act.

Min-Ning Yu

Abstract

There were several good properties about the standard operation process of item bank construction. By the properties, the purpose of this paper was to propose suggestions for the follow-up operations and related strategies of the Ministry of Examination after the modified Examination Affairs Act. Finally, for the future direction to the new age of exams, several possible methods were proposed and suggested.

Keywords: Examination Affairs Act, item bank, test construction, test equating,