第四章 測試結果與討論
本章就工具測試結果進行說明。第一節為個人測試結果。第二節為系統測 試評估問卷結果與討論。
第一節 個人測試結果
本研究邀請台北市某國小三十位在職教師進行本工具的使用測試，此節將 呈現部分教師個人測試結果，亦即教師在線上自評題目填答完畢後，後續建議 工具輸出之結果，即為個人測試之結果。
研究者將於三十筆資料中，挑選兩名回答資料差距最大的測試者進行說 明，分析其測試結果，是否符合原研究者之設計。
壹、測試範例甲
本部分於資料庫中任意挑選此群體中作答層級偏高的測試者一位，進行說 明。以下將先以表格列出測試者所填答之層級及勾選優先學習的項目，之後再 列出本測試者之結果，以方便後續的比對。
一、 測試者選填之層級與優先項目
表4- 1測試範例甲之原始選填資料
題號 一 二 三 四 五 六 七 八 層級 3 4 3 3 4 3 4 4 題號 九 十 十一 十二 十三 十四 十五 十六 層級 4 4 4 3 2 4 4 3 優先項
目
第六題(多媒體)、第十一題(多媒體)、
第十三題(辦公室軟體)
二、測試者結果
圖4- 1測試範例甲之結果輸出
三、測試結果檢驗
以下所列計算規則或建議方案輸出標準，皆遵照第三章研究方法所述。
(一)六大類平均分數 1.應用資訊設備：3.5 2.資訊融入教學：3 3.多媒體：3.67 4.網路應用：4 5.辦公室軟體：3.4 6.資訊倫理：3 7.總平均：3.5 (二)雷達圖
雷達圖六大類分數分佈皆與上述平均分數吻合。當然由圖也可明顯看出此 測試者超越教師平均值甚多。
(三)訓練建議總評
1.總平均大於 3，故出現「高階程度」文字。
2.在六大類所有平均分數皆高於 3 的情況下，各文字敘述總評皆如原始設計輸 出最高階層(請參看第三章第三節，內有詳細說明)。
(四)半年訓練建議方案詳細說明
1.在應用資訊設備部分，因測試者自評題目第二題選層級四，故不輸出訓練建 議方案，因此本部分只有一個訓練方案，且配合第一題選層級三，輸出一個 高階訓練建議方案。
2.在資訊融入教學部分，測試者在第三和第四題皆選層級三的情況下，輸出兩 個高階訓練建議方案。
3.在多媒體部分，測試者選擇優先訓練包含了第六題和第十一題皆為多媒體部 分，但其中第十一題已為層級四，不輸出訓練建議方案，第六題為層級三，
所以此部分將只輸出一個高階訓練建議方案。
4.在網路應用部分，測試者皆未選擇任何優先訓練項目，故不輸出訓練建議方 案，且測試者本身在網路應用上的層級皆為層級四，可推測應不需接受訓練。
5.在辦公室軟體部分，測試者本身選擇第十三題為優先訓練項目，且該題為層
級二，故輸出一個中階的訓練項目。
6.在資訊倫理部分，第十六題測試者選擇層級三，故輸出一個高階的訓練項目。
以上為此次測試的詳細狀況，所有情況皆符合原設計之構想，工具並無出 錯，運作正常。
貳、測試範例乙
本部分於資料庫中，任意挑選在此群體中作答層級偏低的測試者一位，進 行說明。以下將先以表格列出測試者所填答之層級及勾選優先學習的項目，之 後再列出本測試者之結果，以方便後續的比對。
一、測試者選填之層級與優先項目
表4- 2測試範例乙之原始選填資料
題號 一 二 三 四 五 六 七 八 層級 2 2 1 1 2 1 2 1 題號 九 十 十一 十二 十三 十四 十五 十六 層級 2 2 2 1 1 2 1 2 優先項
目
第五題(多媒體)、第六題(多媒體)、第八題(辦公室軟體)、第十一題(多 媒體)、第十二題(辦公室軟體)
二、測試者結果
圖4- 2測試範例乙之結果輸出
三、測試結果檢驗
以下所列計算規則或建議方案輸出標準，皆遵照第三章研究方法所述。
(一)六大類平均分數 1.應用資訊設備：2 2.資訊融入教學：1 3.多媒體：1.67 4.網路應用：1.67 5.辦公室軟體：1.4 6.資訊倫理：2 7.總平均：1.56 (二)雷達圖
雷達圖六大類分數分佈皆與上述平均分數吻合。當然由圖也可明顯看出此 測試者低於教師平均值甚多。
(三)訓練建議總評
1.總平均小於 2，故出現「初階程度」文字。
2.在六大類中，除了應用資訊設備與資訊倫理平均值剛好為 2 外，其餘平均分 數皆低於 2 的情況下，各文字敘述總評皆如原始設計除了兩個中階文字敘述 外，其餘四個皆為初階文字敘述(請參看第三章第三節，內有詳細說明)。
(四)半年訓練建議方案詳細說明
1.在應用資訊設備部分，因測試者自評題目第一題與第二題皆選層級二，故輸 出兩個中階訓練建議方案。
2.在資訊融入教學部分，測試者在第三和第四題皆選層級一的情況下，輸出兩 個初階訓練建議方案。
3.在多媒體部分，測試者選擇優先訓練項目包含本部分的全部題目，包括五、
六和十一題，分別為層級二、層級一和層級二。故將輸出兩個中階和一個初 階訓練建議方案。
4.在網路應用部分，測試者皆未選擇任何優先訓練項目，故不輸出訓練建議方 案。
5.在辦公室軟體部分，測試者本身選擇第八和十二題為優先訓練項目，皆為層
級一，故輸出兩個初階的訓練項目。
6.在資訊倫理部分，第十六題測試者選擇層級二，故輸出一個中階的訓練項目。
以上為此次測試的詳細狀況，所有情況皆符合原設計之構想，工具並無出 錯，運作正常。
第二節 工具測試評估問卷結果與討論
壹、工具測試評估問卷之結果
本工具在此次測試過程中，一切功能皆如原設計預期運作。測試者在完成 工具測試後，填寫一份「工具測試評估問卷」，作為本次研究的總結與相關問題 討論的延伸。
本節將呈現該問卷的結果，如表 4-3 所示：
表4- 3「工具測試評估問卷」調查結果
題目
非常不 滿意 (1 分)
不滿意 (2 分)
普通 (3 分)
滿意 (4 分)
非常 滿意 (5 分)
平均 得分
1.線上自評工具的使 用說明。
0 (0%)
0 (0%)
7 (23%)
20 (67%)
3
(10%) 3.87 2.線上自評工具的文
字大小。
0 (0%)
0 (0%)
2 (6%)
23 (77%)
5
(17%) 4.1 3.線上自評工具操作
的簡易性。
0 (0%)
0 (0%)
2 (6%)
19 (63%)
9
(31%) 4.23 4.對於同一線上自評
題目不同層級之間 的區別度。
0 (0%)
1 (3%)
11 (37%)
17 (57%)
1
(3%) 3.6
5.線上自評工具產出 訓練建議方案的速 度。
0 (0%)
0 (0%)
0 (0%)
14 (47%)
16
(53%) 4.53
6.線上自評題目的適 合度。
0 (0%)
0 (0%)
5 (17%)
24 (80%)
1
(3%) 3.85 7.訓練建議總評的適
合度。
0 (0%)
0 (0%)
3 (10%)
24 (80%)
3
(10%) 4 8.訓練建議方案分類
方 式 ( 六 大 類 ) 的 適 宜性。
0 (0%)
0 (0%)
4 (13%)
20 (67%)
6
(20%) 4.07
9.訓練建議方案的可 行性。
0 (0%)
0 (0%)
13 (43%)
16 (54%)
1
(3%) 3.6 10.訓練建議方案說明
的清晰度。
0 (0%)
0 (0%)
8 (27%)
21 (70%)
1
(3%) 3.77 11.訓練建議方案對於
自我幫助的程度。
0 (0%)
1 (3%)
11 (37%)
16 (54%)
2
(6%) 3.63
貳、工具測試評估問卷之討論
根據上述的調查結果，可以發現所有題目的平均得分都有在三分以上，表 示此工具的發展已經具有一定的程度，但就各題的分數高低來看，仍有著不小 的差距，茲就上述各題目的得分及測試者在問卷上所回應之文字，將本工具分 成線上自評工具與線上建議工具兩部分進行討論
一、線上自評工具 (一)使用說明
此部分分數已接近四分，表示多數的測試者達到滿意程度，根據部分測試 者回應表示應該將使用說明與題目分頁放置，將會更加清楚，否則測試者很容 易忽略說明，而直接作答。
(二)文字大小
此部分研究者在設計時即考慮到，用較小的文字在網頁的編排上可能較為 美觀，但對部分測試者卻容易造成閱讀上的困難，由本題分數已達到四分以上，
表示大部分的測試者對於這樣文字的大小是可以接受的。
(三)操作簡易性
此題得分在四分以上，表示大部分的測試者皆認為此項工具的操作直覺，
並無困難。在此研究者也認為，除了先將帳號系統建置完畢外，對於電腦使用 較不熟練的教師，還需將線上測試工具所在的網址，一併幫不熟練的教師打開，
如此只剩下簡單的登入和滑鼠選填層級的過程(本研究並不要求教師留下個人 資料)，教師基本上都認為相當簡單，不需別人幫助即可完成。
(四)區別度
此題得分介於普通與滿意之間，測試者選擇『普通』及以下程度者約達四 成，顯示仍有改善的空間。部分測試者在問卷回應上表示，不同層級的敘述在 第一時間閱讀下似乎較難區別兩層級間的差異性，覺得文字應能更精簡，不同 層級間只列出不同處即可。
(五)產出速度
此題為裡面平均分數最高分的項目，究其原因應是測試者在測試過程中，
測試者主機與工具伺服器的網路連線通暢，並無產生錯誤，所以在產出速度上
都是呈現滿意的狀態。
(六)題目適合度
此題將近八成以上測試者，皆滿意自評題目符合教師數位教學準備度之主 題，但有測試者反應題目中的部分措辭，過於專業化，不熟悉資訊領域者，可 能不了解其含意。以此題滿意程度來看，不熟悉題目含意者，應算少數。
二、線上建議工具 (一)總評適合度
總評部分，測試者達到「滿意」程度已達八成，表示大部分的測試者皆認 同總評分類方式與文字敘述，皆能讓測試者快速了解自己目前所需訓練的大略 方向。
(二)建議方案分類的適宜性
超過八成以上的測試者認為，建議方案分類方式(將建議方案分為六大類輸 出)的適合性，是呈現滿意的狀態，表示測試者認為建議方案除了符合六大類標 題，也將冗長的訓練建議方案做了概略的分類整理。
(三)可行性
在此部分約有一半的測試者，認為輸出的訓練建議方案在可行性部分只達
「普通」程度滿意。有部分的測試者認為，全部的建議方案皆為文字描述，即 便閱讀後仍無法以此建議找尋到相關資訊自我訓練，所以建議研究者應在訓練 建議方案上加入相關網頁連結或圖書，讓測試者可以快速獲得參考資料，增加 訓練建議方案的可行性。
(四)建議方案的清晰度
約達七成以上的測試者，認為該訓練建議方案之清晰度達「滿意」程度，
表示測試者皆能清楚了解訓練建議方案所要表達之意涵。然而也有測試者反 應，認為說明文字雖然清楚但過於冗長，希望可以縮短訓練建議方案的文字敘 述，更言簡意賅的呈現訓練建議。
(五)自我幫助的程度
此題約有四成的測試者反應訓練建議方案對於自我的幫助只達到「普通」
程度，平均分數介於「普通」與「滿意」程度間。部分測試者反應所有的訓練
建議方案應更具體化，希望提供測試者可以直接使用的線上資源或參考資料。
也有測試者反應訓練方案部分高層級的訓練建議，已超過測試者教學所需，應 讓訓練建議方案更貼近教學者的需求。
綜合以上所述，在題目區別度、建議方案可行性與自我幫助程度的項目 上，平均滿意分數較為偏低，故在往後改進此研究工具時，將以上列項目為優 先改進之標的。而獲得較高滿意分數的項目，如：操作的簡易性等也應繼續保 持，使此工具能更加成熟且功能完整。
