評量相關的理論與研究

教 學 與 評 量 是 現 代 教 育 系 統 中 的 兩 大 部 分，評 量 為 教 學 的 一 項 後 續 (follow-up) 活 動，用 以 了 解 學 生 學 習 成 果，及 調 整 或 擬 定 日 後 教 學 策 略。由 於 本 研 究 的 主 要 重 點 之 ㄧ 是 針 對 所 得 的 受 試 者 答 題 資 料 進 行 統 計 分 析，本 節 將 對 測 驗 理 論 和 電 腦 化 測 驗 的 相 關 文 獻 進 行 探 討 ， 並 作 為 本 研 究 結 果 之 理 論 依 據 。

2.4.1 測驗理論

教 學 者 與 學 習 者 的 互 動，可 透 過 各 種 教 學 媒 體，運 用 適 當 的 教 學 技 巧 、 並 採 取 有 效 的 教 學 評 量 方 法 。 互 動 過 程 中 ， 測 驗 是 主 要 的 回 饋 機 制

（ 歐 滄 和 ， 2002）。 教 學 評 量 的 主 要 目 的 ， 在 於 分 析 教 學 得 失 及 診 斷 學 習 困 難 ， 作 為 實 施 補 救 教 學 和 個 別 輔 導 之 依 據 ， 評 量 通 常 以 「 測 驗 」 實 施 之 ， 隨 著 資 訊 科 技 的 迅 速 發 展 ， 結 合 網 路 與 教 育 測 量 理 論 ， 突 破 傳 統 測 驗 的 時 空 限 制，不 再 只 是 侷 限 於 紙 筆 式 的 測 驗， 而 是 可 以 讓 受 試 者 透 過 網 路 在 遠 端 接 受 測 驗 ， 達 到 評 量 的 目 的 ， 而 這 正 是 當 前 教 育 發 展 的 重 要 趨 勢 （ 陳 新 豐 ， 民 87）。 網 路 上 的 學 習 評 量 不 再 只 注 重 成 果 ， 而 是 會 同 時 考 量 學 習 者 學 習 過 程 中 的 努 力 與 進 步 情 形，以 質 化 的 觀 察 了 解 配 合 量 化 的 數 據 共 同 構 成 真 實 性 較 高 的 學 習 評 量 （ 岳 修 平 ， 民 87）。

過 去 聯 考 制 度 的 基 礎 是 古 典 測 驗 理 論 ， 而 教 育 部 於 2001 年 實 施 的

「 國 中 基 本 學 力 測 驗 」， 則 以 現 代 測 驗 理 論 為 測 驗 基 礎 。 此 學 力 測 驗 發 展 標 準 的 測 驗 評 量 模 式 ， 掌 握 試 題 的 難 易 度 、 鑑 別 度 、 猜 測 度 等 重 要 參 數 ； 再 以 這 些 參 數 為 基 礎 ， 配 合 測 驗 目 標 進 行 組 卷 、 施 測 ， 推 估 學 生 能 力 （ 陳 淑 鈴 ， 民 93）。 以 下 將 測 驗 理 論 做 一 概 述 整 理 。

2.4.1.1 古典測驗理論

古 典 測 驗 理 論 的 根 據 為 弱 勢 假 設 (weak assumption)。 其 骨 幹 為 真 實 分 數 模 式 (true score model)， 真 實 分 數 與 誤 差 分 數 之 和 即 為 觀 察 分 數 (X=T+E)。

但 古 典 測 驗 理 論 是 樣 本 依 賴 的 指 標。忽 略 了 受 試 者 能 力 的 個 別 差 異 (X=T+E)。 換 言 之 ， 其 理 論 忽 視 受 試 者 的 試 題 反 應 組 型 (item response pattern)， 而 認 為 原 始 得 分 相 同 的 受 試 者 ， 能 力 必 定 一 樣 。 此 外 ， 非 複

本 (nonparallel)但 功 能 相 同 的 測 驗 所 測 得 的 分 數 間 ， 古 典 測 驗 理 論 無 法 提 供 有 意 義 的 比 較，有 意 義 的 比 較 僅 侷 限 於 相 同 測 驗 的 前 後 測 分 數 或 複 本 測 驗 分 數 之 間 。 信 度 假 設 建 立 在 複 本 (parallel forms) 測 量 概 念 上 ， 但 是 這 種 假 設 往 往 不 存 在 於 實 際 測 驗 情 境 裡 。

古 典 測 驗 理 論 的 模 式 發 展 已 有 相 當 規 模，計 算 公 式 簡 單 明 瞭、淺 顯 易 懂 ， (X=T+E)。 因 此 ， 廣 為 測 驗 學 界 使 用 。 是 流 通 最 廣 的 理 論 。 目 前 廣 泛 使 用 在 大 多 數 的 教 育 與 心 理 測 驗 資 料 ， 以 及 社 會 科 學 資 料 的 分 析 。 但 是 隨 著 測 驗 需 求 量 的 日 益 增 加 及 型 式 多 樣 化，古 典 測 驗 理 論 漸 不 敷 需 求 ， 試 題 反 應 理 論 （ item respnse theory， IRT） 於 焉 崛 起 。

2.4.1.2 現代測驗理論

現 代 測 驗 理 論 的 根 據 為 強 勢 假 設 (strong assumptions)。其 架 構 為 試 題 反 應 理 論 (item response theory， IRT)。 所 謂 試 題 反 應 理 論 意 旨 將 試 題 難 度 與 受 試 者 的 答 題 表 現 （ 即 所 謂 試 題 反 應 ） 等 因 素 加 以 考 慮

（ Weiss & Betz, 1973）。 試 題 反 應 理 論 中 有 四 個 共 同 假 設 （ 引 自 ： 余 民 寧 ， 2001b）：

1.單 向 度 假 設 ： 測 驗 中 各 個 試 題 都 測 量 到 同 一 種 共 同 的 能 力 。

2.局 部 獨 立 性 ： 當 影 響 測 驗 表 現 的 能 力 固 定 不 變 時， 考 生 對 不 同 試 題 的 反 應 之 間 沒 有 任 何 關 係 。

3.非 速 度 性 ： 考 試 成 績 不 理 想 ， 是 因 為 能 力 不 足 ， 而 不 是 時 間 不 夠 。 4.如 果 考 生 知 道 某 一 試 題 的 正 確 答 案 ， 他 必 然 會 答 對 。

試 題 反 應 模 式 ： 目 前 試 題 反 應 模 式 以 二 元 計 分 （ 即 反 應 正 確 記 為 1，反 應 錯 誤 記 為 0）試 題（ binary scored item）的 對 數 模 式（ logistic models） 應 用 最 廣 ， 其 中 以 a代 表 試 題 的 鑑 別 度 ； b代 表 試 題 的 難 度 ； c 代 表 試 題 的 猜 測 度 ， 主 要 有 下 列 三 種 模 式 （ 余 民 寧 ， 民 81a； 許 擇 基 、 劉 長 萱 ， 民 81）：

1.單 參 數 模 式 、 又 稱 為 Rasch模 式 ： 主 要 探 討 試 題 難 度 與 學 生 能 力 的 關 係 ， 此 時 即 假 設 鑑 別 度 為 一 常 數 、 猜 測 度 為 0 。

2.雙 參 數 模 式 ： 主 要 探 討 試 題 難 度 、 鑑 別 度 與 學 生 能 力 的 關 係 ， 此 時 假 設 猜 測 度 為 0。

3.三 參 數 模 式 則 是 試 題 的 難 度 、 鑑 別 度 、 猜 測 度 與 與 學 生 能 力 的 關 係 。 試 題 難 度 值 愈 大，表 示 較 困 難，而 試 題 特 徵 曲 線 愈 陡 (steeper)表 示 試 題 具 有 較 高 的 鑑 別 度 ， 能 更 有 效 地 區 別 受 試 者 能 力 高 下 （ 引 自 ： 余 民 寧，2001c）。其 公 式 為：Ρi（θ）＝cⁱ＋（1 –cⁱ）／［１＋exp（–Ｄaⁱ（θ–bⁱ））］

試 題 特 徵 曲 線 ： 利 用 圖 示 法 來 記 錄 或 比 較 資 料 及 數 據 ， 會 比 繁 冗 的 文 字 敘 述 或 單 純 的 數 字 表 現 來 得 詳 盡 且 具 親 合 力 ， 並 且 讓 閱 讀 者 一 目 了 然 ， 採 用 試 題 特 徵 曲 線 來 進 行 試 題 分 析 （ item analysis） 便 具 有 這 種 特 性 。 而 試 題 特 徵 曲 線 之 所 以 重 要 ， 也 是 因 為 它 將 個 別 題 目 的 重 要 性 加 以 量 化 ， 由 此 便 可 藉 以 預 測 受 試 者 的 反 應 ， 及 受 試 者 的 反 應 與 其 能 力 的 關 係（ 許 天 雄、殷 志 文，民 84）。由 於 潛 在 特 質 無 法 直 接 測 量 ， 於 是 將 學 習 者 的 受 試 表 現 情 形 與 這 組 潛 在 特 質 的 關 係 ， 用 數 學 模 式 來 描 述 測 驗 的 表 現 與 不 可 測 量 的 潛 在 特 質 之 間 的 關 係 ， 此 數 學 函 數 便 叫 做 試 題 特 徵 曲 線 （ item characteristic curves， 簡 稱 ICC）， 橫 軸 為 受 試 能 力 ； 縱 軸 為 受 試 答 對 該 題 的 機 率 。 圖 形 的 位 置 、 斜 率 及 截 距 ， 分 別 代 表 著 各 個 題 目 的 難 度 、 鑑 別 度 及 猜 測 度 （ 許 天 雄 、 殷 志 文 ， 民 84）

因 此 ， 試 題 反 應 理 論 的 基 本 概 念 為 ：

1.學 生 因 能 力 (abilities)高 下 ， 而 在 某 一 試 題 上 的 表 現 ， 有 不 同 的 反 應 。

2.某 一 測 驗 試 題 上 的 試 題 特 徵 曲 線 ， 便 是 考 生 得 分 點 連 接 所 構 成 的 曲 線 。 當 試 題 越 難 時 則 其 特 徵 曲 線 越 偏 右 ； 反 之 則 越 偏 左 。 曲 線 越 陡 則 代 表 其 鑑 別 度 越 高 ， 如 圖 2 紅 色 曲 線 較 之 綠 色 曲 線 有 較 低 難 度 卻 有 較 高 之 鑑 別 度 。

3.試 卷 特 徵 曲 線 （ test characteristic curve， 簡 寫 為 TCC）， 便 是 試 卷 中 各 試 題 的 試 題 特 徵 曲 線 總 和 （ 引 自 ： 余 民 寧 ， 2001b）。

圖 2 試題特徵曲線比較圖

古 典 測 驗 理 論 的 理 論 基 礎 主 要 是 建 立 在 真 實 分 數 模 式 ， 其 主 要 工 作 是 去 估 計 測 驗 中 觀 察 分 數 與 真 實 分 數 關 聯 的 強 度 ， 目 的 是 希 望 從 受 試 者 的 觀 察 分 數 去 推 估 受 試 者 的 真 實 分 數 。

現 代 測 驗 理 論 是 以 試 題 反 應 理 論 為 基 本 架 構 ， 係 將 試 題 難 度 與 受 試 者 的 答 題 表 現 等 因 素 加 以 考 慮 ， 根 據 受 試 者 的 潛 在 特 質 ， 配 合 有 效 的 試 題 鑑 別 度 、 猜 測 度 及 試 題 難 度 之 設 計 ， 能 有 效 的 測 出 受 試 者 的 真 正 能 力。和 古 典 測 驗 理 論 不 同，現 代 測 驗 理 論 的 特 點 為 (Lord,1980)：

1.有 大 樣 本 。

2.試 題 屬 性 不 受 樣 本 影 響 。

3.提 供 個 別 差 異 的 測 量 誤 差 指 標 。

4.不 同 受 試 者 間 的 分 數 ， 能 進 行 有 意 義 的 比 較 。

5.反 應 組 型 不 同 而 分 數 相 同 的 受 試 者，現 代 測 驗 理 論 往 往 能 給 予 不 同 的 能 力 評 估 。

2.4.2 線上測驗

網 路 結 合 測 驗 理 論 發 展 線 上 教 學 評 量 系 統，是 不 可 抗 拒 也 是 不 可 避 免 的 趨 勢 （ 何 榮 桂 ， 民 86a）。 承 前 所 述 ， 網 路 線 上 適 性 測 驗 係 運 用 試 題 反 應 理 論 的 原 理，以 電 腦 進 行 施 測，其 出 題 方 式 是 針 對 受 試 者 能 力 高 低 來 決 定，由 於 每 個 試 題 對 考 生 能 力 的 估 計 都 有 功 能，因 此 可 用 較 少 的 試 題 ， 縮 短 施 測 的 時 間 ， 便 可 精 確 地 測 量 考 生 的 能 力 （ 何 榮 桂 、 郭 再 興 ， 民 85； 何 榮 桂 、 蘇 建 誠 ， 民 86； 吳 裕 益 等 ， 民 80）， 並 蒐 集 受 試 者 之 相 關 資 料，能 讓 教 學 者 了 解 學 習 者 的 最 新 學 習 成 果， 進 而 改 進 教 學 活 動 以 提 昇 教 學 效 率 。

網 路 上 進 行 之 適 性 測 驗 最 大 的 優 點 就 是 提 供 了 一 個 不 受 時 空 限 制 的 施 測 環 境 ， 在 此 種 開 放 性 的 環 境 中 ， 學 習 者 不 僅 可 適 時 、 適 地 、 適 性 的 接 受 測 驗， 老 師 也 可 根 據 其 豐 富 的 教 學 評 量 經 驗，提 供 品 質 優 良 的 測 驗 題 目，如 此 即 可 集 眾 人 之 力 不 斷 的 更 新 測 驗 系 統 的 內 容， 透 過 評 量 機 制 ， 教 、 學 雙 方 都 可 以 獲 得 資 源 共 享 所 帶 來 的 便 利 。 從 過 去 許 多 的 研 究 顯 示，電 腦 化 適 性 測 驗（ CAT）可 以 減 少 施 測 時 間、增 加 測 驗 的 安 全 性 、 有 立 即 呈 現 考 試 結 果 等 優 點 （ Bugbee, 1994）。 此 外 ， 當 「 終 身 學 習 」 的 觀 念 逐 漸 被 一 般 人 接 受 時 ， 遠 距 網 路 教 學 已 是 必 然 的 學 習 模 式 ， 相 對 的 也 彰 顯 出 遠 距 測 驗 的 必 要 性 （ 何 榮 桂 ， 民 86a； 何 榮 桂 、 蘇 建 誠 、 郭 再 興 ， 民 86）

此 外 ， 在 國 中 生 物 科 電 腦 化 適 性 測 驗 （ CAT） 研 究 中 指 出 ： 基 本 上 電 腦 化 適 性 測 驗 必 須 應 用 下 列 五 個 步 驟 ， 方 能 準 確 評 量 學 生 真 實 能 力

（ 朱 錦 鳳 ， 民 91）：

1. 題 庫 建 立 及 施 測 ； 2. 參 數 連 結 ；

3. IRT試 題 分 析 ；

4. 適 性 測 驗 程 式 設 計 及 流 程 ； 5. 效 度 評 估 研 究 。

電 腦 化 適 性 測 驗 （ CAT） 是 理 論 與 實 務 伴 隨 資 訊 科 技 的 發 展 而 形 成 的 產 物 。 至 目 前 為 止 ， 電 腦 化 適 性 測 驗 （ CAT） 的 理 論 與 技 術 均 已 十 分 成 熟 ， 一 些 常 見 的 測 驗 工 具（ 如 EST 的 托 福 測 驗 ， GRE 等 ）也 以 電 腦 化 適 性 測 驗 （ CAT） 的 方 式 施 測 （ 何 榮 桂 ， 民 88； 許 擇 基 ， 民 87）。

評 量 專 家 認 為，評 量 就 是 根 據 某 種 法 則 賦 予 人、事、物 等 一 種 符 號 的 歷 程 。 而 測 驗（ test）或 狹 義 的 考 試 ， 是 評 量 過 程 中 最 常 見 的 工 具 之 一，型 式 也 多。測 驗 或 考 試 不 外 乎 在 進 行 診 斷、預 測、成 就 評 定 等 活 動 ， 無 論 其 目 的 為 何 ， 測 驗 所 要 求 的 是 公 平 、 合 理 或 準 確 。 而 傳 統 測 驗 是 否

公 平 、 合 理 或 準 確 ， 一 般 人 似 乎 並 不 太 在 意 ， 然 而 ， 測 驗 學 家 卻 針 對 這 些 問 題 ， 不 斷 進 行 研 究 、 探 討 ， 因 而 有 多 種 測 驗 的 產 生 ， 電 腦 化 適 性 測 驗 即 是 其 一 。

此 外，教 學 評 量 是 教 學 中 主 要 的 回 饋 機 制，而 以 現 代 測 驗 理 論 為 基 礎 發 展 的 線 上 適 性 測 驗 更 使 這 種 回 饋 機 制 的 效 能 極 致 發 揮，由 於 對 於 教 學 與 評 量 關 係 深 切 的 了 解，促 使 研 究 者 提 出 結 合 傳 統 試 題 與 互 動 多 媒 體 選 擇 型 態 試 題 之 複 合 式 評 量 的 架 構，並 輔 以 問 卷 調 查。相 信 本 研 究 的 結 果 除 了 區 分 學 生 能 力 之 外，更 能 作 為 改 進 教 與 學 的 方 針 達 到 評 量 的 積 極 目 的 。