寫作測驗

口說測驗的作答方為線上輸入，題目將由題目區自動播放，學生在閱 讀完題目後，可以從作答區進行打字，學生可以依需要將寫作區加大或是 減小，再按繳交答案，系統將自動跳至下一題。在全部作答完成後，作答

的寫作題題型。

圖 6 寫作測驗圖例[12]

.7 具公平性的多份試卷

良好的英語文能力測驗系統，存在著以下列重要因素：試卷如何組成，

例如

試題庫控制試卷間試題的重複度，

防止

2

試卷內的試題呈現型式，每一試卷內的試題類別，以及難易度等的變 項應都在一定控制範圍內？故考量多媒體網路英檢測驗的公平性，每位受 測者試卷內的各種試題呈現題型(如上之說明)，應受控在一定的範圍內，

故本研究提出以試題領域分類、英語文能力指標及各試卷間試題呈現題型 為變項的選題策略，使系統產生的每一份試卷的不同試題呈現題型有相同 的題數，確保具公平性的多份試卷。

再者，考量電腦測驗，如何在有限的

再次測驗時試題和上次測驗重複度過高，亦是良好的英語文能力測驗 系統的重要因素，故本研究亦題供以考量試題重複度為變項的試卷產生系 統，其系統的設計於下一章做說明。

三、 考量試卷間試題重複度的選題策略設計與實作

類似於全民網路英檢測驗系統，欲建立多份平行測驗，試卷間試題的 重複度是影響試卷品質的重要因素，本研究針對此問題提供一個控制試卷 間試題重複度的選題策略，使系統產生的所有試卷間試題重複度能在一定 比例內。

3.1 最佳組合選題策略

選擇策略為一最佳組合問題，在 1985 年，在 R.K. Hambleton 和 H.

Swaminathan[15]的研究中提到以下五種的選題策略方式：亂數法、標準 法、中間難度法、上下法、最大訊息法，這五種演算法最大的優點是設計 簡單、執行速度快，但這五種的選題策略的優點為設計簡單，執行快速，

但所組合的試卷和目標訊息量所產生的誤差很大，並不是最佳的演算法，

故如何選擇合適的題目以縮小誤差，可以算是一種 NP-Complete 的問題，

無法求出最佳解，只能求出最適解。所以，近來國內外許多專家學者應用 不同演算法結合試題訊息量設計出挑題策略，最主要目的是從試試題庫組 合一份更接近目標訊息量的試卷。下表為國內外學者應用各演算法而設計 出的選題策略。

表 6 國內外應用相關演算法於選題策略

選題策略 作者

應用 Greedy Approach 於選題策略 應用 Genetic Algorithm 於選題策略 利用人工智慧技術於選題策略之研究

孫光天等人(1999) 孫光天等人(1999) 孫光天等人(2000) 改良式之灰色預測電腦化適性測驗選題策略 何榮桂等人(1998) 利用灰色理論於選題策略之研究 黃家輝(2001) 應用貪婪式基因演算法於選題策略之研究 姜美玲(2003)

A model and heuristic for solving very large item selection problems.

Swanson , L., &

Stocking , M.L.(1993) Two item selection algorithms for

creating weakly parallel test forms using the IRT information functions.

Wang, C. S., &

Ackerman, T. (1997).

上述的選題策略，均由每位作者提出比傳統選題策略（亂數法、標準 法、中間難度法、上下法、最大訊息法）組合一份更接近目標訊息量的試 卷。例：下圖為孫光天等人[3]提出貪婪演算法和傳統挑題策略比較表：

圖 7 貪婪演算法選題策略和傳統選題在固定題數(30 題)條件下之測驗訊 息函數曲線圖

由圖 7 可了解應用貪婪演算法於選題策略，確實可找出一份和目標訊 息量誤差更小的試卷，因試卷和目標訊息量的誤差小，所以測驗結果更能 符合測驗目的。

3.2 應用於類似全民網路英檢的選題策略

上述的演算法為從試題庫組成一份和測驗目標訊息量誤差最少的最佳 試卷，目前不適用於類似全民網路英檢同時產生多份試卷並控制試卷間的 試題重複度的考量。

全民網路英檢為多地同時的檢測系統，系統會依報考人數而產生多份 試卷，但考量電腦測驗，鄰近考生可能作弊，如何在有限的試題庫控制試 卷間試題的重複度，以防止抄襲？其解決方法：使用一個龐大的試題庫，

但實際的情況由於有限的人力及財力下試題庫內的試題數是有限的，故在 此限制情況下，本研究嘗試解決有限試題庫如何分配試題，使試卷間試題 的重複度受能控在一定比例。

3.3 研究問題及方法

3.3.1 研究問題

若試題庫中有 800 試題試，任意選 40 試題形成一份試卷，產生的試 卷數為組合問題(Ｃ800 取 40)，任兩份試卷重複題目不超過 5 題的所有試 卷數為何？

3.3.2 研究方法

嘗試應用貪婪演算法，研究在有限的試題庫試題，使系統產生的所有 試卷間的試題重複度達到適當比例所能得到最多的試卷數。

3.3.3 研究工具

台北市立某國民中學電腦教室：

z 電腦數量：３６台

z 作業系統：Windows XP Professional z ＣＰＵ ：ＡＭＤ2800+

z ＲＡＭ ：２５６ＭＢ 3.3.4 研究步驟

用 800 試題來組每份試卷 40 題，試卷間最大重複試題 5 題為例：

z STEP1 : 將試題依等差規則組成１００００份試卷(i) z STEP2 : 將第一份試卷加入目標試卷庫，i=1

z STEP3 : 將第i+1試卷和試卷庫內每一份試卷比較重複題

z STEP5 : 將試卷加入目標試卷，至STEP6 z STEP6 : 若 i<=10000 則重回STEP3，否結束。

其完整流程圖如下：

將試題依 等差規則組成

圖 8 研究步驟流程圖 3.3.5 研究例子說明

由上述步驟：

z 10000 份可得符合試卷數 303 份 重複上述步驟將開始試卷數依序增加至 z 15000 份可得符合試卷數 320 份 z 20000 份可得符合試卷數 344 份 z 25000 份可得符合試卷數 347 份 z 30000 份可得符合試卷數 347 份

將研究數據利用 EXCEL 整理成樣本試卷數對應符合試卷數折線圖，

在樣本數 25000 份試卷以上，我們的數據收斂到一個數，所以我們假設題

１００００份試卷(i)

所有符合重複度限制的試 卷在目標試卷庫

將第i+1試卷和試卷庫內 每一份試卷比較重複題 將第一份試卷加入目標

試卷庫，i=1

i=i+1;

重複題數小於５題

是

否

將試卷加入目標試卷

i<=10000 否 是

結束

庫試題數 800 題在重複題數 5 題內可得 347 份試卷。

試題重複數５題內(800題)

344 347 347

320

10000 15000 20000 25000 30000

樣本試卷數

3.3.6 試卷平均重複題數

以口說測驗為例：題庫試題數 200 題，組每份試卷題數 15 題，重複 題數最大題數為３題，由本文題出的演算法，可產生 145 份試卷，任兩份 的重數題份不超過 3 題，如下表。

表 8 試題數 200 題，重複題數最大題數為３題，產生 145 份試卷的每份試 卷試題編號

題號

試卷 編號

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 2 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 3 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 4 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 5 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 6 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 7 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 8 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 9 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 10 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 11 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 12 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 13 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 14 1 15 29 43 57 71 85 99 113 127 141 155 169 183 197 15 1 5 18 22 35 39 52 69 86 103 120 137 154 171 188 16 1 17 19 35 37 53 55 73 91 109 127 145 163 181 199 17 1 10 20 29 39 48 58 67 77 96 115 134 153 172 191 18 1 21 23 43 45 65 67 87 89 109 111 133 155 177 199 19 1 8 24 31 47 54 70 77 93 100 116 123 139 162 185

20 1 9 27 35 53 61 79 87 105 113 131 139 157 165 183 21 1 4 7 30 33 59 62 88 91 117 120 146 149 175 178 22 1 4 18 32 35 49 63 80 94 111 125 142 156 173 187 23 1 8 23 38 45 60 75 82 97 112 119 134 149 171 186 24 1 6 11 42 47 52 83 88 93 124 129 134 165 170 175 25 1 3 16 31 44 59 74 87 102 117 130 145 160 173 188 26 1 12 24 36 48 59 71 83 95 118 130 142 165 177 189 27 1 38 42 46 50 87 91 95 99 140 144 148 189 193 197 28 1 13 25 37 54 66 78 90 107 119 131 143 160 172 184 29 1 14 27 40 53 72 85 98 111 124 143 156 169 182 195 30 1 2 24 46 47 68 69 90 91 113 135 157 158 179 180 31 1 17 40 63 79 86 102 109 125 132 148 155 171 178 194 32 1 14 31 48 65 82 99 116 133 150 163 167 180 184 197 33 2 16 30 44 58 72 86 100 114 128 142 156 170 184 198 34 2 6 19 23 36 40 53 70 87 104 121 138 155 172 189 35 2 18 20 36 38 54 56 74 92 110 128 146 164 182 200 36 2 11 21 30 40 49 59 68 78 97 116 135 154 173 192 37 2 9 25 32 48 55 71 78 94 101 117 124 140 163 186 38 2 10 28 36 54 62 80 88 106 114 132 140 158 166 184 39 2 5 8 31 34 60 63 89 92 118 121 147 150 176 179 40 2 5 19 33 36 50 64 81 95 112 126 143 157 174 188 41 2 31 33 35 64 66 68 99 101 132 134 165 167 198 200 42 2 7 12 43 48 53 84 89 94 125 130 135 166 171 176 43 2 4 17 32 45 60 75 88 103 118 131 146 161 174 189 44 2 39 43 47 51 88 92 96 100 141 145 149 190 194 198 45 2 14 26 38 55 67 79 91 108 120 132 144 161 173 185 46 2 12 29 46 56 63 73 90 107 124 134 151 168 185 195 47 2 15 28 41 54 73 86 99 112 125 144 157 170 183 196 48 2 63 69 75 81 87 93 99 160 166 172 178 184 190 196 49 2 18 41 64 80 87 103 110 126 133 149 156 172 179 195

51 3 7 20 24 37 41 54 71 88 105 122 139 156 173 190 52 3 12 22 31 41 50 60 69 79 98 117 136 155 174 193 53 3 13 24 34 45 55 66 76 87 97 108 129 150 171 192 54 3 10 26 33 49 56 72 79 95 102 118 125 141 164 187 55 3 6 9 32 35 61 64 90 93 119 122 148 151 177 180 56 3 6 20 34 37 51 65 82 96 113 127 144 158 175 189 57 3 10 25 40 47 62 77 84 99 114 121 136 151 173 188 58 3 32 37 42 71 76 81 110 115 120 149 154 159 193 198 59 3 5 18 33 46 61 76 89 104 119 132 147 162 175 190 60 3 40 44 48 52 89 93 97 101 142 146 150 191 195 199 61 3 15 27 39 56 68 80 92 109 121 133 145 162 174 186 62 3 16 29 39 52 62 75 98 111 121 134 157 170 180 193 63 3 13 30 47 57 64 74 91 108 125 135 152 169 186 196 64 3 4 22 40 58 76 77 94 95 113 131 149 167 185 186 65 3 11 33 41 55 63 85 107 115 129 137 159 167 181 189 66 4 8 21 25 38 42 55 72 89 106 123 140 157 174 191 67 4 14 25 35 46 56 67 77 88 98 109 130 151 172 193 68 4 11 27 34 50 57 73 80 96 103 119 126 142 165 188 69 4 7 21 35 38 52 66 83 97 114 128 145 159 176 190 70 4 6 19 34 47 62 77 90 105 120 133 148 163 176 191 71 4 41 45 49 53 90 94 98 102 143 147 151 192 196 200 72 4 16 28 40 57 69 81 93 110 122 134 146 163 175 187 73 4 31 36 41 73 78 83 110 115 120 152 157 162 194 199 74 4 15 26 37 48 78 89 100 111 122 141 152 163 174 185 75 4 19 34 56 71 86 93 108 123 130 145 160 167 182 197 76 4 20 43 66 82 89 105 112 128 135 151 158 174 181 197 77 4 6 24 42 60 78 96 114 132 150 152 168 170 186 188 78 4 17 34 51 68 85 102 119 136 153 166 170 183 187 200 79 5 12 28 35 51 58 74 81 97 104 120 127 143 166 189 80 5 21 32 48 59 75 86 102 113 129 140 156 167 183 194 81 5 12 27 42 49 64 79 86 101 116 123 138 153 175 190

82 5 34 39 44 73 78 83 112 117 122 151 156 161 195 200 83 5 7 20 35 48 63 78 91 106 121 134 149 164 177 192 84 5 17 29 41 58 70 82 94 111 123 135 147 164 176 188 85 5 66 72 78 84 90 96 102 163 169 175 181 187 193 199 86 5 7 9 40 42 73 75 106 108 139 141 143 172 174 176 87 5 15 34 53 72 91 110 129 139 148 158 167 177 186 196 88 5 7 25 43 61 79 97 115 133 151 153 169 171 187 189 89 5 16 27 38 49 60 71 82 93 104 115 126 137 148 159 90 6 13 28 43 50 65 80 87 102 117 124 139 154 176 191 91 6 8 21 36 49 64 79 92 107 122 135 150 165 178 193 92 6 7 29 51 52 73 74 95 96 118 140 162 163 184 185 93 6 67 73 79 85 91 97 103 164 170 176 182 188 194 200 94 6 11 16 48 53 58 90 95 100 127 132 137 169 174 179 95 6 18 30 42 65 77 89 112 124 136 148 159 171 183 195 96 6 11 16 50 55 60 89 94 99 128 133 138 167 172 177 97 6 8 10 41 43 74 76 107 109 140 142 144 173 175 177 98 6 22 45 68 84 91 107 114 130 137 153 160 176 183 199 99 6 17 38 59 80 101 112 122 133 143 154 164 175 185 196 100 6 16 35 54 73 92 111 130 140 149 159 168 178 187 197 101 7 11 24 28 41 45 58 75 92 109 126 143 160 177 194 102 7 14 30 37 53 60 76 83 99 106 122 129 145 168 191 103 7 10 13 36 39 65 68 94 97 123 126 152 155 181 184 104 7 9 22 37 50 65 80 93 108 123 136 151 166 179 194 105 7 8 23 38 54 69 84 85 100 115 131 146 161 177 192 106 7 18 29 40 51 81 92 103 114 125 144 155 166 177 188 107 7 17 36 55 74 93 112 131 141 150 160 169 179 188 198 108 8 11 25 39 42 56 70 87 101 118 132 149 163 180 194 109 8 10 23 38 51 66 81 94 109 124 137 152 167 180 195 110 8 17 26 43 52 69 78 95 104 130 139 156 165 182 191 111 8 10 28 46 64 82 100 118 136 154 156 172 174 190 192

113 9 18 28 37 47 56 66 75 85 104 123 142 161 180 199 114 9 12 26 40 43 57 71 88 102 119 133 150 164 181 195 115 9 11 24 39 52 67 82 95 110 125 138 153 168 181 196 116 9 14 19 53 58 63 92 97 102 131 136 141 170 175 180 117 9 11 13 44 46 77 79 110 112 143 145 147 176 178 180 118 9 18 27 36 45 54 63 72 81 90 99 108 117 126 135 119 10 13 27 41 44 58 72 89 103 120 134 151 165 182 196 120 9 10 31 32 53 54 76 98 120 121 142 143 164 165 187 121 10 12 14 45 47 78 80 111 113 144 146 148 177 179 181 122 10 21 42 63 84 105 116 126 137 147 158 168 179 189 200 123 11 15 28 32 45 49 62 79 96 113 130 147 164 181 198 124 11 14 28 42 45 59 73 90 104 121 135 152 166 183 197 125 11 17 23 29 35 41 47 53 114 120 126 132 138 144 150 126 11 17 30 43 56 69 88 101 114 127 140 159 172 185 198 127 11 22 33 49 60 76 87 103 114 130 141 157 168 184 195 128 1 12 22 33 43 54 64 75 85 96 106 117 138 159 180 129 12 15 29 43 46 60 74 91 105 122 136 153 167 184 198 130 12 23 34 50 61 77 88 104 115 131 142 158 169 185 196 131 12 25 38 51 64 77 90 103 116 129 142 155 168 181 194 132 13 16 19 42 45 71 74 100 103 129 132 158 161 187 190 133 13 14 32 50 68 86 87 104 105 123 141 159 177 195 196 134 13 19 25 31 37 43 49 55 116 122 128 134 140 146 152 135 4 13 23 42 61 80 99 118 137 147 156 166 175 185 194 136 14 22 40 48 66 74 92 100 118 126 144 152 170 178 196 137 3 14 30 41 57 68 84 95 111 122 138 149 165 176 192 138 14 17 31 45 48 62 76 93 107 124 138 155 169 186 200 139 14 23 32 49 58 75 84 101 110 136 145 162 171 188 197 140 15 18 21 44 47 73 76 102 105 131 134 160 163 189 192 141 15 16 34 52 70 88 89 106 107 125 143 161 179 197 198 142 3 15 37 49 61 73 85 97 109 131 143 155 167 179 191 143 15 21 27 33 39 45 51 57 118 124 130 136 142 148 154

144 14 15 36 37 58 59 81 103 125 126 147 148 169 170 192 145 15 17 19 50 52 83 85 116 118 149 151 153 182 184 186

例用程式設計比較函數再驗證得此 145 卷試卷任兩份重複題數 0 至 3 題的次數：

表 9 任兩份試卷平均重複題數

任兩份重複題數 0 題 2438

任兩份重複題數 1 題 5112.5

任兩份重複題數 2 題 2364

任兩份重複題數 3 題 453.5

平均重複題數(註 1) 1.07

註 1:平均重複題數=任意兩份試卷重覆題數的總和 ÷ 比較總次數

其中，比較總次數=試卷總數(n)任取兩份的組合數，即 ² Cn

平均重複題數(normal distribution 算法)

=(2438*0+5112.5*1+2364*2+453.5*3)/10440=1.07

由上表可知依我們的選題策略所得的 145 份試卷中，任兩份試卷的重 複題數為 0 至 3 題，若以平均重複題數為考量的話，其平均重複題數才 1.07 題，是一個可接受的數值。

四、 選題及試卷產生系統之設計與實作

4.1 多媒體網路英檢架構

多媒體網路英檢評量系統架構圖如下圖，說明如下：

試題預試效正系統：由命題委員編製完成試題後，須先經驗證系統進 行驗證，以確保其相關的字頻、字表、文法構句等相關適性值，然後將其 上傳至試題庫。

適性質分析系統：同等級試題適性值的驗證與兩段式的動態調整，試 題進行預試後，收集相關之答題反應結果，即啟動 IRT(項目反應理論)分 析器的機制，立即進行分析，分別求出其相關 a(鑑別度)、b(難易度)、c(猜 測度)等適性值，透過立即性視覺化圖形呈現，便可以進行研判，進行第一 次動態調整將相關適性值回存儲至試題庫。之後再進行 CAT(電腦適性化測 驗)施測後，便可以完成第二次的適性值動態調整。

挑題及試卷產生系統：依試題領域、國中小英語文能力指標、試題呈 現方式為選題變項，選出符合試題並依重複題數高低同時產生多份試卷。

閱卷系統 ：閱讀及聽力測驗由電腦閱卷、口說及寫作以人工閱卷。

圖 10 多媒體網路英檢系統架構圖(System Architecture)

4.3 選題系統架構圖

步驟１：系統提供依選題規則為變項，利用選題規解譯器，從原始試 題庫挑出符合選題條件的試題至符合選題條件試題庫。

步驟２：將符合選題條件的試題利用試題重複度解譯器將試卷分配於 各試卷。

選題規則

選題規 原始 則解譯 器 1.測驗項目

試題庫

圖 11 選題系統架構圖(System Architecture)

4.4 資料庫結構

將利用 Microsoft Excel VBA 設計的程式所得的執行結果，匯入至 PHP 的 MYSQL 資料庫，其資料表內容如下表。

表 11 符合重數題數每份試卷試題題號資料表 same_id

欄位 型態 Null 預設值 連結到 註解

id int(11) 否 試卷編號 PK

試卷

１

試卷 ２

試卷 ３

試卷 n 2.測驗等級

3.試題規則 a.試題領域 b.英語文

能力指標 試題重複 符合選題

c.試題呈現 度解譯器 條件試

方式

題庫

……..

符合試題重複度的所有試卷

tcool_num int(11) 否 題庫試題數 ^{300 至} 1200 題

question_num int(4) 否 每份試卷題

數 40 題

same_num int(4) 否 最大重複題

數 3-8 題

exam_num int(11) 否

符合最大重複 題數的試卷編 號

tcool_id1 至

tcool_id40

int(4) 否

試卷試題對應 題庫題號

4.5 多份試卷選題流程

4.5.1 依試題呈現方式選題

考量試卷的同質性，以試題領域或英語文能力指標配合多樣式的試題 呈現方式在一定控制範圍內的多份試卷。

步驟 1 : 試卷測驗項目規劃

分別填入測驗的類別，適用等級，即可得到一份空白的試卷(無試題)。

圖 12 規劃新測驗試卷

步驟 2 : 選擇試卷產生方法 點選依試題呈現命題。

圖 13 選擇試卷選題方法

步驟 3 : 選擇選題規則

選題選題規則變項，如試題領域及英語文能力指標。

圖 14 選擇選題規則

步驟 4 : 選擇各試題呈現題型的題數

系統依選題規則挑出符合的試題數自動帶出符合規則的所有試題的呈 現方式，請輸入要產生的試卷份數及選擇每份試卷各試題呈現方式的題 數，每份試卷總題數為所選各試題呈現方式的題數總合。

圖 15 輸入試卷份數及各試題呈視方式題數

步驟 5 : 系統依上步驟的規則，產生所有試卷

系統依每份試卷試題呈現方式的題數，產生所有試卷，試卷名稱為考量試 題呈現試卷－(n)。

4.5.2 依試卷重複題數選題

提供教師依以難易度挑題，更能以試題領域或英語文能力指標配合多 樣式的試題呈現方式為限制條件，從試題庫挑出符合條件的試題，且在有 限的試題庫試題，依全民網路英檢所需的試卷數輸入試卷間最大的重複題 數，系統自動產生最多的試卷數。

提供教師依以難易度挑題，更能以試題領域或英語文能力指標配合多 樣式的試題呈現方式為限制條件，從試題庫挑出符合條件的試題，且在有 限的試題庫試題，依全民網路英檢所需的試卷數輸入試卷間最大的重複題 數，系統自動產生最多的試卷數。

在文檔中 控制試卷間試題重覆度的選擇策略 (頁 37-0)