系統使用回饋分析

本系統問卷調查分式，以紙本問卷與線上問卷形式進行資料調查。紙 本問卷調查期間為 2009 年 4 月 17 日至 2009 年 6 月 8 日為止，以及線上 問卷調查期間為 2009 年 10 月 27 日至 2009 年 11 月 3 日為止，共有 19 位 系統使用者填寫問卷。經調查回收有效問卷共 19 份樣本進行問卷信度分

析，其分析結果α值為.873。本份問卷共分為六個部份：第一部份為使用

Internet Explorer Mozilla Firefox

貳、系統使用之問卷滿意度統計分析

在問卷系統滿意度調查內容中，主要進行四個構面調查、分別為系統 品質、資訊品質、服務品質、和系統使用效益等滿意度調查。其各構面調 查結果如下。

一、系統品質滿意度調查結果分析

該構面調查試題共有六題，其各試題統計分析結果，以選項作答人 數、百分比、平均數、標準差共四項敘述統計說明。而該構面試題分析結 果說明以下列幾項表示：

(一) 由表 4-2 可知，有 42.1%使用者非常同意 47.4%使用同意系統操作介 面容易，整體而言多數使用者都認為系統操作介面的設計易於使用者 操作(平均數=4.32)。

(二) 由表 4-3 可知，有 10.5%使用者非常同意與 63.2%使用同意系統連線 穩 定 度 高 ， 表 示 多 數 使 用 者 都 認 為 系 統 服 務 穩 定 性 高 ( 平 均 數

=3.84)，其中有五位使用者圈選「部份同意」，也代表系統在呈現訊息 方面，具有改進的空間。

(三) 由表 4-4 可知有 36.8%使用者非常同意與 47.4%使用者同意建立檔案 說明清楚，表示多數使用者皆可經由檔案建立說明文件瞭解如何建立 測驗資料檔案 (平均數=4.21)，但仍有少部份使用者無法透過說明檔 案瞭解如何建檔，研究者認為可能是建檔步驟與限制較多。

(四) 由表 4-5 可知有 31.6%使用者非常同意與 57.9%使用者同意系統執行 反應速度，整體而言多數使用者都認為系統於處理資料反應速度皆可 接受 (平均數=4.21)。

(五) 由表 4-6 可知有 15.8%使用者非常同意與 73.7%使用者同意瞭解系統 各項功能分析目的，整體而言多數使用者瞭解相關理論意義與用途 後，使用者都可瞭解系統所提供診斷結果目的為何 (平均數=4.06)，

其中有一位使用者選擇不同意選項，可能是未完全瞭解系統理論基

表 4-5 系統品質滿意度題目四敘述統計表

(二) 由表 4-9 可知有 52.6%使用者非常同意與 42.1%使用者同意試題次序

表 4-9 資訊品質滿意度題目二敘述統計表

三、服務品質滿意度調查結果分析

表 4-14 服務品質滿意度題目二敘述統計表

四、系統使用效益滿意度調查結果分析

該構面調查試題共有四題，其各試題統計分析結果，以選項作答人 數、百分比、平均數、標準差共四項敘述統計說明。而該構面試題分析結 果說明以下列幾項表示：

(一) 由表 4-18 可知有 31.6%使用者非常同意與 63.2%使用者同意試題次序 結構圖可提供學習診斷訊息，表示多數使用者認同試題次序結構圖所 透露的訊息 (平均數=4.26)，且可利用該訊息來診斷學習成就。

(二) 由表 4-19 可知有 52.6%使用者非常同意與 36.8%使用者同意能依據不 同學習類型試題結構圖，作為個別輔導教學，表示多數使用者認同使 用 PS-P 分類學生，進而提供該學習類型學生試題次序結構圖所透露 的訊息，可供教學者根據該訊息調整教學策略，以增進教學成效 (平 均數=4.42)。

(三) 由表 4-20 可知有 36.8%使用者非常同意與 57.9%使用者同意整體學生 試題次序結構圖，能作為調整教學策略參考，整體而言使用者皆認同 學生試題次序結構圖所透露階層性與次序性訊息，作為調整教學策略 依據 (平均數=4.32)。

(四) 由表 4-21 可知有 47.2%使用者非常同意與 42.1%使用者同意多元計分 S-P 表診斷類型分析結果，能符合教學經驗診斷，表示多數使用者認 同 PS-P 表的注意係數指標與學習類型分類結果，可確實透露學習情 況，給予教師學習診斷的協助，(平均數=4.32)。

(五) 由表 4-22 可知有 36.8%使用者非常同意與 50.6%使用者同意整體而 言，系統提供服務有助於輔導教學使用，表示多數使用者認同系統所 提供診斷訊息，可作為補救教學時參考依據 (平均數=4.26)。

表 4-18 系統效益滿意度題目一敘述統計表

表 4-22 系統效益滿意度題目五敘述統計表

表 4-23 系統使用情況調查及建議敘述統計表

表 4-24 晤談教師一基本資料

性別： 男■ 女□ 服務年資：4 年 授課科目：

□數學 □自然與科技 □國語

□社會 ■其他_電腦__ (可複選)

職稱：

■組長 □級任 ■科任

□其他____________ (可複選) 授課年級：

□ 一年級 □二年級 ■三年級 □四年級 □五年級 ■六年級

表 4-25 晤談教師二基本資料

性別： 男□ 女■ 服務年資：2 年 授課科目：

□數學 □自然與科技 □國語

□社會 ■其他_英文__ (可複選)

職稱：

□組長 □級任 ■科任

□其他____________ (可複選) 授課年級：

□ 一年級 □二年級 □三年級 ■四年級 ■五年級 □六年級

本研究依據晤談項目 (可參閱附錄二) 進行訪談，其訪談問答內容如 下所示。

問題一、系統建檔操作上是否簡易？ 有需要改善的地方嗎？

教師一：測驗資料檔案格式過於煩雜，必須去輸入較多的符號，希望可 以改成只需要輸入每位學生的測驗資料就好。

教師二：用 Excel 輸入考試資料的時候，希望只要輸入成績就好，這 樣會讓更多老師想使用。

發現：兩位教師認為資料建檔，盡可能避免輸入額外資料，以造成困擾。

問題二、 系統介面操作上是否簡易？ 有需要改善的地方嗎？

教師一：在系統操作部份可以看著操作說明文件進行操作，所以在操作 上蠻簡單的，但是希望系統可以加入線上命題與施測的功 能，在線上施測後馬上可以顯示分析結果，這樣會更便利於教 師的使用。

教師二：網頁所顯示出來的介面標示都還蠻明顯的，看過使用教學 後，再對照使用手冊使用沒有問題。

發現：系統所提供說明文件與介面上所呈現提示訊息，可引導使用者正 確操作系統。

問題三、 您在使用系統過程中是否遭遇問題呢？ 是何種類型的問題？

教師一：看過現場的操作教學，所以使用系統過程中沒有遇到什麼問題。

教師二：PS-P 表的圖形沒有辦法顯示出來，出現灰色的一塊。

發現：使用系統前必須安裝軟體，可能必須建立更多提示，以免使用者 再遭遇相同問題。

問題四、 在操作過程遭遇問題時，您使用何種方式解決問題？

教師二：遇到這問題的時候，寫 E-mail 給系統管理員，我們就透過 E-mail 聯絡的方式，依照系統管理員給的網址，下載程式安裝 後，圖就可以顯示出來了。

發現：系統管理員可給予使用者最快速的問題排解管道。

問題五、 是否瞭解系統 PS-P 表分析、POT 分析、PS-P &POT 分析服務 的分析流程步驟說明？

教師一：在經過理論教導之後，是可以瞭解 PS-P 怎麼做出來的，還 有注意係數是的意思。

教師二：聽完數學理論的說明後，可以知道網頁上畫面所呈現資料的 意思，也可以知道學生的學習狀況。

發現：使用者在使用本系統之前必須要理解理論基礎，方可瞭解分析訊 息所代表之意義。

問題六、 是否瞭解試題次序結構圖的分析結果說明？ 是否需要補充分 析結果說明？

教師一：跟上一題一樣，在經過理論教導之後，也可以知道怎麼去讀 試題次序結構圖

教師二：圖形剛開始看覺得有些複雜，但聽完教學後，可以瞭解它的 意思，但希望能多寫一些有關結構圖圖怎麼去讀的說明，會比 較方便老師去看懂圖形的意思。

發現：試題次序結構訊息，對教師而言較為複雜，但若經由教導後，可 理解其意義。

問題七、 您認為此系統較適用於哪些科目進行分析？

教師一：國小所教的科目裡面，數學跟自然會有要先學這個單元後，

才可以學下一個單元的關係，所以這兩科用試題次序結構圖來 表示學生的知識結構會比較適合。

教師二：我所教的英文科目比較沒有學習的先後分別，如果用結構圖 來看學生學習表現會不適合，數學科會比較適合。

發現：認為數學與自然科技教材具有次序性關係，適合本系統進行分析。

問題八、 此系統所提供學習診斷訊息是否可作為教學上的參考？ 補救 教學的依據？

教師一：在班上比較粗心的學生，在 PS-P 表結果裡會有幾個注意係 數比較高，試題次序結構圖上面的通過率可以知道學生比較不 懂的是哪一些題目，在復習的時候可以從這些題目開始。

教師二：用來看學生是不是考試粗心，還是有哪些題目是大家比較不 懂的這方面還蠻好用的，可以當作幫小朋友復習時的參考。

發現：注意係數與試題次序結構圖對於補救教學是有幫助的。

問題九、 針對「認知診斷測驗分析即時服務系統」所提供訊息有何建議 事項嗎？

教師一：這個系統可以分析一群學生次序結構圖，不過好像都沒有針對 一個學生的次序結構圖做分析，如果想要瞭解某一個學生就沒 有辦法了。

教師二：希望可以多提供一些數學理論的說明，但不要太多數學公 式，這樣子在看這些說明時會覺得比較簡單，也會讓更多老師 想用這個系統。

發現：兩位教師建議方面不盡相同，教師一建議加入分析個人知識結構 功能；教師二建議系統加入更完善理論說明，可增加教師使用 率。

根據上述對話結果發現，經研究者將其內容整理後，以下列幾點進行 說明：

一、使用者在經由系統建檔格式教學後，對於系統所要求固定建檔格式感 到複雜，容易造成使用上的不便。使用者期望系統可提供更便利測驗 資料建檔方式，例如：只需要輸入測驗資料即可進行分析診斷，或者

提供教學者於系統編製試題，進行線上測驗，系統可根據測驗結果立 即分析診斷出學習訊息，以簡化一連串測驗及分析過程。

提供教學者於系統編製試題，進行線上測驗，系統可根據測驗結果立 即分析診斷出學習訊息，以簡化一連串測驗及分析過程。