資訊素養評量的適切性分析

標 準 化 評 量 重 視 是 樣 本 的 選 取 、 施 測 過 程 的 一 致 性 與 信 效 度 的 檢 驗 。 本 研 究 以 編 製 國 小 六 年 級 學 生 資 訊 素 養 評 量 測 驗 為 主 要 目 的 ， 故 標 準 化 程 度 是 檢 驗 評 量 的 重 要 標 的 。 本 節 分 四 個 部 分 呈 現 施 測 結 果 ， 依 序 為 樣 本 的 選 取 、 施 測 過 程 的 一 致 性 、 信 度 的 研 究 與 效 度 的 研 究 。

一 、 樣 本 的 選 取 與 分 析

本 研 究 依 全 國 國 小 六 年 級 人 口 數 比 例 ， 從 全 臺 北 、 中 、 南 、 東 四 區 各 選 取 3~14 校 ， 每 校 以 六 年 級 三 個 班 級 施 測 為 原 則 ， 雖 然 受 試 班 級 來 自 研 究 者 的 人 脈 關 係 ， 但 在 取 樣 上 儘 量 朝 地 區 、 城 鄉 均 衡 的 方 向 努 力 。 總 計 分 發 正 式 試 卷 2,547 份 ， 回 收 2,369 份 ， 回 收 率 93

％ ， 可 用 的 有 效 試 卷 2,342 份 ， 可 用 率 達 99％ ， 受 試 資 料 參 見 第 三 章 第 一 節 。

本 研 究 樣 本 中 ， 男 生 共 1,181 人 ， 占 整 體 樣 本 50.43％ ； 女 生 共 1,161 人 ， 占 整 體 樣 本 49.57％ 。 研 究 者 依 據 內 政 部 地 方 行 政 區 域 劃 分 與 教 育 部 全 國 偏 遠 地 區 國 中 小 學 校 之 分 布 ， 將 本 研 究 樣 本 所 在 之 區 域 劃 分 為 直 轄 市 與 非 直 轄 市（ 包 括 縣 轄 市 和 一 般 地 區 ）兩 個 類 別 ，

直 轄 市 與 非 直 轄 市 之 人 數 比 ， 接 近 1： 1， 茲 將 本 研 究 樣 本 所 在 學 校

（ 一 ） 內 部 一 致 性 信 度

內 部 一 致 性 信 度 是 指 運 用 統 計 方 法 估 計 各 試 題 之 間 同 質 性 的 程 度 。 根 據 學 者 Devellis（ 1991）提 出 α 係 數 介 於 .60 至 .65 之 間 最 好 不 要 ；α 係 數 介 於 .70 至 .80 之 間 相 當 好；α 係 數 介 於 .80 至 .90 之 間 非 常 好 ， 本 研 究 之 國 小 六 年 級 學 生 資 訊 素 養 評 量 測 驗 以 36 題 選 擇 題 所 作 之 信 度 分 析 ， 其 Chronbach’s α 係 數 為 .86， 表 示 有 非 常 好 的 信 度 ， 亦 即 代 表 本 評 量 具 有 相 當 不 錯 的 內 部 一 致 性 。

另 外 根 據 表 4-2，顯 示 本 評 量 的 難 度 介 於 .38~.91間，若 以 各 層 面 之 難 度 分 布 來 細 分 ， 資 訊 素 養 之 難 度 介 於.57~.91 間 ， 獨 立 學 習 介 於.51~.86間，社 會 責 任 介 於 .38~.79間，難 易 試 題 分 布 在 各 層 面 之 間 ， 故 本 評 量 屬 難 易 互 見 之 考 題 。 然 而 ， 郭 生 玉 （2002 ） 曾 指 出 選 擇 題 之 難 度 ， 若 在.40~.80間 ， 是 為 可 接 受 之 試 題 ， 亦 有 學 者 主 張 若 試 題 為 四 選 一 的 選 擇 題 ， 則 試 題 的 最 佳 難 度 應 為.63（ 周 文 欽 等 ， 1995；

陳 英 豪 、 吳 裕 益 ，1996）， 而 本 評 量 難 度 平 均 為 .68， 故 本 評 量 之 試 題 於 難 度 上 偏 容 易 。

再 從 鑑 別 度 來 看 ， 本 評 量 之 鑑 別 度 介 於 .16~.58， 平 均 為 .43， 依 照 美 國 測 驗 學 者Ebel和 Frisbie(1991)所 提 出 的 鑑 別 度 評 鑑 標 準 ： 鑑 別 度 在.40以 上 為 非 常 優 良 試 題 ； 介 於 .30~.39列 為 優 良 試 題 ， 但 可 能 需 要 修 改 ； 介 於.20~.29列 為 尚 可 ， 但 需 作 局 部 修 改 。 本 評 量 除 第 3題 小 於.19； 第 2、 6、 19、 24與 34題 這 五 題 介 在 .23~.29間 ， 剩 下 的 30個 題 目 鑑 別 度 皆 高 於.3， 故 本 評 量 應 屬 優 良 試 題 。

表4-2 「 國 小 六 年 級 學 生 資 訊 素 養 評 量 測 驗 」 難 度 、 鑑 別 度 分 析 表

（ 二 ） 重 測 信 度

重 測 信 度 可 作 為 該 測 驗 穩 定 性 的 指 標 。 本 評 量 重 測 信 度 之 樣 本 選 取 ， 除 了 採 取 地 緣 性 ， 研 究 者 考 量 時 效 性 與 試 卷 回 收 可 用 率 ， 以 中 部 地 區 三 所 小 學 共294人（ 受 試 學 校 詳 細 資 料 如 下 表 4-3）為 樣 本 ， 間 隔 兩 週 後 再 施 以 相 同 測 驗 ， 求 其 重 測 之 相 關 係 數 為.79， 達 顯 著 水 準 （p<.001）； 另 外 重 測 樣 本 之 正 式 施 測 與 重 測 之 資 訊 素 養 層 面 相 關 係 數 為.71、 獨 立 學 習 和 社 會 責 任 之 相 關 係 數 各 為 .58， 亦 達 顯 著 水 準

（p<.001）， 代 表 本 評 量 具 有 不 錯 的 穩 定 性 。 表4-3 重 測 信 度 樣 本

學 校 男 女 合 計

臺 中 市 中 華 國 小 43 53 96

臺 中 縣 宜 欣 國 小 49 50 99

彰 化 縣 中 正 國 小 51 48 99

合 計 143 151 294

四 、 效 度 的 研 究

一 份 評 量 的 好 壞，除 了 講 求 其 中 的 信 度 外，其 效 度 也 不 能 忽 視 。 所 謂 效 度 主 要 是 指 該 評 量 分 數 的 正 確 性 ， 換 言 之 ， 評 量 是 否 能 真 實 而 正 確 的 測 量 其 所 欲 測 的 心 理 特 質 或 行 為 ， 決 定 該 評 量 的 好 壞 。 故 本 評 量 的 效 度 研 究 將 分 三 個 面 向 ： 內 容 效 度 、 構 念 效 度 和 表 面 效 度 來 作 討 論 。

（ 一 ） 內 容 效 度

內 容 效 度 在 檢 測 該 評 量 之 試 題 是 否 能 適 切 的 測 量 其 所 預 測 的 構 念 範 圍 。「 國 小 六 年 級 學 生 資 訊 素 養 評 量 測 驗 」 以 檢 測 國 小 六 年 級 學 生 資 訊 素 養 能 力 為 目 的，根 據 美 國 AASL 與 AECT 之 資 訊 素 養 標 準 ， 本 評 量 定 義 資 訊 素 養 能 力 涵 蓋 資 訊 素 養 、 獨 立 學 習 與 社 會 責 任 ， 等

三 層 面 。 為 檢 測 學 生 資 訊 素 養 能 力 ， 研 究 者 依 據 各 層 面 的 表 現 特 徵 設 計 各 種 類 型 題 目，以 確 保 每 一 試 題 與 所 界 定 的 構 念 有 適 度 的 相 關 。 本 評 量 試 題 先 參 考 Kent University所 編 的 資 訊 素 養 技 能 即 時 回 報 評 量 工 具 （TRAILS） 之 內 容 ， 研 究 者 再 配 合 國 情 與 課 程 內 容 ， 針 對 國 小 六 年 級 學 生 自 編 一 份 「 國 小 六 年 級 學 生 資 訊 素 養 評 量 測 驗 」，

內 容 包 含 資 訊 素 養 、 獨 立 學 習 與 社 會 責 任 三 個 層 面 ， 共 有60個 單 選 題 題 目 。 試 題 編 製 時 ， 先 、 後 分 別 由4位 任 教 國 小 5年 以 上 的 老 師 提 供 試 題 內 容 選 材 之 意 見 ； 經 試 驗 性 測 驗 後 ， 將 原 本40題 的 資 訊 素 養 層 面 刪 減 為25題 ， 獨 立 學 習 與 社 會 責 任 層 面 保 持 不 變 ， 各 10題 ， 共 45個 題 目 ； 再 由 相 關 資 訊 素 養 領 域 之 學 者 專 家 共 同 檢 視 ， 提 供 有 關 研 究 工 具 修 改 的 建 議 ， 最 後 考 量 各 項 資 訊 素 養 層 面 在 測 驗 中 所 佔 的 比 例 ， 經 兩 次 預 試 之 修 改 與 刪 題 ， 將 資 訊 素 養 層 面 改 為18題 、 獨 立 學 習 層 面9題 與 社 會 責 任 層 面 9題 ， 共 36題 。

本 評 量 之 編 製 過 程 ， 經 研 究 者 詳 列 評 量 之 目 的 、 評 量 之 範 圍 、 評 量 編 製 之 步 驟 、 評 定 專 家 之 資 格 與 樣 本 人 數 比 例 等 ， 以 邏 輯 判 斷 法 則 ， 提 高 研 究 工 具 的 內 容 效 度 。

（ 二 ） 構 念 效 度

構 念 效 度 是 指 測 驗 能 測 量 到 理 論 上 的 構 念 或 特 質 的 程 度

（Anastiasi, 1988）。在 檢 驗 以 構 念 為 中 心 的 效 度 時，必 須 明 確 定 義 該 構 念 ， 並 且 了 解 該 構 念 的 發 展 過 程 ， 再 以 外 在 行 為 表 現 求 其 相 關 程 度 （ 葛 樹 人 ，1996）。 本 評 量 在 內 部 凝 聚 性 檢 驗 上 ， 是 以 兩 種 方 式 來 檢 測 內 部 品 質 是 否 測 量 同 樣 的 資 訊 素 養 構 念 ， 一 是 以 本 評 量 之 測 驗 總 分 為 效 標 ， 求 各 項 資 訊 素 養 層 面 與 總 分 之 相 關（ 見 表4-4）；二 是 求 各 試 題 與 總 分 之 相 關（ 見 表4-5）。二 者 皆 是 以 相 關 係 數 愈 高，代 表 愈 傾 向 於 測 量 之 資 訊 素 養 能 力 構 念 。

由 表4-4資 訊 素 養 各 層 面 之 交 互 相 關 矩 陣 來 看，本 評 量 所 測 量 的 資 訊 素 養 能 力 包 括 資 訊 素 養 、 獨 立 學 習 與 社 會 責 任 等 三 項 ， 這 三 種 層 面 的 檢 測 來 自 不 同 複 雜 程 度 之 選 擇 題 ， 不 過 都 屬 於 資 訊 素 養 的 心 智 運 作 過 程 ， 因 此 各 層 面 之 間 都 是 正 相 關 ， 並 皆 達 顯 著 水 準

（p<.001）， 其 相 關 係 數 介 於 .59~.63之 間 ， 屬 中 度 相 關 。 再 看 三 項 層 面 與 總 分 之 相 關 ， 相 關 係 數 介 於.83~.91之 間 ， 屬 高 度 相 關 。 依 數 據 顯 示 ， 本 評 量 所 測 驗 的 三 種 層 面 皆 符 合 資 訊 素 養 能 力 之 構 念 ， 具 有 良 好 的 構 念 效 度 。

表4-4 資 訊 素 養 各 層 面 之 交 互 相 關 矩 陣

層面 資訊素養 獨立學習 社會責任 總分 資訊素養 - .63^*** .59^*** .91^*** 獨立學習 - .61^*** .83^***

社會責任 - .83^***

總分 -

***p＜.001 N=2,342

另 外 求 各 試 題 與 各 層 面 之 相 關 以 及 各 試 題 與 總 分 之 相 關 ， 主 要 是 試 題 內 部 品 質 的 測 驗 ， 資 料 整 理 如 下 表4-5。

由 表 4-5各 試 題 與 各 層 面 以 及 總 分 之 交 互 相 關 矩 陣 得 知，各 試 題 與 各 層 面 及 總 分 之 相 關 皆 達 顯 著 水 準 （p<.001）， 各 試 題 與 資 訊 素 養 層 面 相 關 係 數 於.27~.53之 間 、 與 獨 立 學 習 相 關 係 數 於 .28~.41之 間 、 與 社 會 責 任 相 關 係 數 於.10~.47之 間 ， 以 及 各 試 題 與 總 分 之 相 關 係 數 於.22~.54之 間 ， 所 以 試 題 與 總 分 之 間 有 其 相 關 存 在 。

表4-5 各 試 題 與 各 層 面 以 及 總 分 之 交 互 相 關 矩 陣

整 體 而 言 「 國 小 六 年 級 學 生 資 訊 素 養 評 量 測 驗 」 各 層 面 與 總 分 之 相 關 係 數 為.83~.91之 間 ， 各 試 題 與 總 分 均 達 顯 著 相 關 （ p<.001），

顯 示 本 評 量 的 題 目 皆 符 合 資 訊 素 養 能 力 之 構 念 ， 是 一 份 具 備 良 好 構 念 效 度 的 評 量 。

（ 三 ） 表 面 效 度

表 面 效 度 乃 指 測 驗 給 人 的 第 一 印 象 為 何 ， 雖 然 表 面 效 度 不 是 真 正 的 效 度 ， 但 它 會 影 響 受 試 者 的 合 作 及 作 答 意 願 ， 因 此 也 會 間 接 影 響 測 驗 的 信 效 度 （ 郭 生 玉 ，2002）。「 國 小 六 年 級 學 生 資 訊 素 養 評 量 測 驗 」 為 讓 受 試 者 對 試 題 能 有 友 善 之 回 應 ， 所 以 在 排 版 、 印 刷 上 力 求 精 緻 與 簡 單 ， 包 含 簡 明 扼 要 的 答 題 說 明 與36題 題 目 ， 如 平 時 評 量 試 卷 一 般 、 以A3雙 面 呈 現 ， 讓 受 試 者 能 一 目 了 然 、 輕 鬆 作 答 。 至 於 試 題 內 容 部 份 ， 於 評 量 正 面 之 試 題 內 容 皆 屬 資 訊 素 養 能 力 層 面 、 反 面 之 左 半 部 屬 獨 立 學 習 層 面 、 右 半 部 則 屬 社 會 責 任 層 面 ， 讓 受 試 者 邏 輯 思 考 上 不 致 混 亂 ； 另 外 ， 研 究 者 致 力 於 標 準 化 評 量 的 試 題 編 製 過 程 （ 詳 見 第 三 章 第 二 節 研 究 工 具 ）， 經 由 專 家 審 核 評 量 內 容 ， 力 求 文 字 深 度 、 適 合 國 小 六 年 級 學 生 來 閱 讀 。 所 以 本 評 量 具 有 良 好 的 表 面 效 度 ， 受 試 者 感 受 容 易 作 答 ， 自 然 樂 意 合 作 。