第四章 結果與討論
第三節 感覺統合臨床觀察電腦化評量工具之信度與效 度分析
本研究所發展的感覺統合臨床觀察電腦化評量工具是以計算Cronbach’s Alpha 係數檢測信度,瞭解評量工具之內部一致性情形。在效度方面,Suzanne et al.(2006)舉出四種可能威脅分數解釋效度的來源,將之定義為構念無關之變異,
分別是:提供受試者可選擇之任務、評分者使用不相關之計分準則評分、電腦自 動計分歷程、動機。以下將分別說明感覺統合臨床觀察電腦化評量工具之信度與 本研究如何控制與構念無關之變異。
一、感覺統合臨床觀察電腦化評量工具之信度
本研究是以趴姿伸直和臥姿彎曲之重要觀測向度為評量內容,再加上整體診 斷的訊息,每位受試者經過電腦計分模式後會得到14 項(趴姿伸直六個重要觀 測向度、整體診斷和臥姿彎曲六個重要觀測向度、整體診斷)診斷得分(1:感 統功能障礙,2 是感統功能正常),就如同每位受試者接受一份 14 題的測驗,
故本研究以Cronbach’s Alpha 係數瞭解本研究所發展之電腦計分模式之一致性,
分析結果趴姿伸直分量表Cronbach’s Alpha 係數約是.70,臥姿彎曲分量表 Cronbach’s Alpha 係數約是.79,整份量表的 Cronbach’s Alpha 係數約是.76。專家 校標的趴姿伸直分量表Cronbach’s Alpha 係數約是.81,臥姿彎曲分量表
Cronbach’s Alpha 係數約是.80,整份量表的 Cronbach’s Alpha 係數約是.80。考慮 題數對於Cronbach’s Alpha 係數之影響後,並且參考專家效標之 Cronbach’s Alpha 係數,顯示本研究所發展之感覺統合臨床觀察電腦化評量工具具有良好之信度。
二、感覺統合臨床觀察電腦化評量工具之效度 (一)提供受試者可選擇之任務
構念無關之變異可能發生於受試者被賦予任務選擇權時,因受試者會選擇 自己熟悉之測驗情境,而提供選擇權不只測量到所欲測量之學生能力,也測量到 學生是否會選擇對自己有利的任務之能力 (Powers, Fowles, Farnum & Gerritz, 1992; Wainer, Wang & Thissen, 1994)。本研究中,每位受試者所被賦予之評量任 務都相同,並未提供學生選擇權,可降低此方面之變異。
(二)評分者使用不相關之計分準則評分
當評分者使用無法反應計分準則或跟所欲測量之構念不相關之特質評分 時,例如根據字體之美醜或性別評分,構念無關之變異就可能發生。本研究使用 視覺監控之方式,記錄受試者之評量表現,並搭配電腦計分降低此部分之干擾。
(三)動機
本研究中,主要是請受試者實作姿勢動作,在評量的過程中,以口頭鼓勵(你 好棒!好厲害!)及贈送小禮物之方式,提升受試者之動機。
(四)電腦自動計分歷程
電腦計分歷程之效度研究著重於比較專家評分和透過電腦自動計分兩者之 相關情形,兩者相關越高則使用電腦自動計分代替專家評分時,可能會產生與構 念無關之變異就會降低。本研究提供受試者日常生活和班級表現的相關訊息、正 式施測所拍攝的電腦影像紀錄、專家計分表、受試者觀察記錄表這四項資料給職 能治療師,使專家能有詳細的資料做出正確的判斷,建立「專家效標」,根據專 家判定的類別及本研究電腦的計分類別算出敏感度、特異度、診斷正確率, 作 為評估感覺統合臨床觀察電腦化評量工具效度之依據。表4-3-1 顯示:趴姿伸直 之診斷正確率介於83.3%~92.5%之間;表 4-3-2 顯示:臥姿彎曲之診斷正確率介 於78.9%~91%之間。表 4-3-3~4-3-4 顯示:本研究所發展的感覺統合臨床觀察電 腦評量工具在診斷趴姿伸直姿勢動作之敏感度是83%、特異度是 88%、診斷正確 率達 87%;診斷臥姿彎曲姿勢動作之敏感度是86%、特異度是 91%、診斷正確率
表4-3-1「趴姿伸直」重要觀測向度之診斷正確率
觀測向度 頭部 胸部 手部 腳部 協同性 穩定度 診斷正確率(%) 91.2 83.3 86.4 86.6 92.5 86.2
表4-3-2「臥姿彎曲」重要觀測向度之診斷正確率
觀測向度 頭部 胸部 手部 腳部 協同性 穩定度 診斷正確率(%) 91.0 78.9 86.9 87.1 87.9 87
表4-3-3 「趴姿伸直」專家診斷與本研究評量工具評量的表現類別之人數分配 專家判斷
本研究工具 感統功能障礙 感統功能正常
感統功能障礙 50 22
感統功能正常 10 157
敏感度=50/(50+10)≅ 0.83=83%
特異度=157/(22+157) ≅ 0.88=88%
診斷正確率=(50+157)/(50+10+22+157) ≅ 0.87=87%
表4-3-4 「臥姿彎曲」專家診斷與本研究評量工具評量的表現類別之人數分配 專家判斷
本研究工具 感統功能障礙 感統功能正常
感統功能障礙 67 15
感統功能正常 11 146
敏感度 =67/(67+11)≅ 0.86=86%
特異度=146/(15+146) ≅ 0.91=91%
診斷正確率=(67+146)/(67+11+15+146) ≅ 0.89=89%