本節就本研究之照樣造句評分一致性與效度,進行分析與說明。首 先討論照樣造句評分一致性:
壹、照樣造句評分一致性
照樣造句評分一致性之建立,乃為避免評分結果可能受主觀因素影 響。本研究照樣造句能力之評量規準,分為語詞替換的正確性、重複性 及反應比率三者進行,由研究者擔任甲評分員,另邀請另一資深低年級 級任教師擔任乙評分員,針對受試者答案的正確率、重複率及反應率,
在各階段隨機分別選取兩份評量資料分開進行評分者一致性考驗。本研 究之照樣造句評分一致性公式如下:
甲乙評分員一致的詞數
× 100 = 一致性百分比 甲乙一致的詞數 + 甲乙不一致的詞數 (評分者間一致性)
評分一致性統計結果如表 4-9 所示,在八次抽樣之評分一致性考 驗中,甲和乙評分員在照樣造句的重複替換比率及反應數量兩者的評分 信度均為 100%;而替換正確率之評分信度範圍介於 96%至 99%,平均 值達 98%以上,顯示本研究之照樣造句能力的評量結果具高度信度。
表 3-9 照樣造句評量單各階段評分者間一致性考驗
基線期 介入期 維持期 追蹤期
正確率 重複率 反應率 正確率 重複率 反應率 正確率 重複率 反應率 正確率 重複率 反應率
第一次 0.96 1.0 1.0 0.99 1.0 1.0 0.97 1.0 1.0 0.99 1.0 1.0
第二次 0.98 1.0 1.0 0.99 1.0 1.0 0.99 1.0 1.0 1.0 1.0 1.0
平均值 0.97 1.0 1.0 0.99 1.0 1.0 0.98 1.0 1.0 0.99 1.0 1.0
貳、效度
本研究的之效度考驗,包括內在效度、外在效度,和社會效度三者。
分析說明如下:
一、 內在效度
65
(一) 為確保本研究的內在效度,本研究以 10 週以內的實施期程,避 免受試者在實驗期間,因生理與心理的變化影響實驗的結果,將受試者 成熟因素的影響降至最低。
(二) 在實驗期間,研究者邀請家長參與觀察,並透過音樂治療親子聯 絡回饋表,持續與導師和家長保持聯繫,使其參與並得知受試者在實驗 期間的表現水準,避免因產生疑慮退出實驗,造成受試者流失而影響實 驗結果。
(三) 研究者在各階段的教學皆嚴守既定的規範,明確界定評分標準與 操作性的界定所有的介入程序,盡可能對影響實驗的因素做客觀的判斷 與控制,避免因研究者偏見而影響實驗結果。
(四) 本研究透過「照樣造句評量單」考驗學生的照樣造句變通能力是 否提升。為了讓評量單更符合欲達之目標,邀請經驗豐富的低年級級任 老師兩名,先行審閱「照樣造句評量單」,事後根據其建議修正評量單內 容,以提升測驗的內容效度。
二、 外在效度
為了提升外在效度,經立意取樣先備條件相似者參與本研究,並根據 文獻探討結果,控制受試個案的障礙等級、語文智商、閱讀理解能力及 多元智慧優勢能力。並藉由實驗階段重複的試驗與評量,提升外在效度。
三、 社會效度分析
透過社會效度檢視經實驗處理後,是否能協助受試者於社會環境中 有良好的適應。杜正治(2006)指出,社會效度具有三個層次:分別為 目標的、程序的與效果的社會效度三者。本研究之社會效度分析如下:
(一) 目標的社會效度
為建立本研究之目標社會效度,研究者在準備階段先透過訪談與前 導研究(一),與普通班級任老師及家長達成本研究的目標與共識。
研究者首先針對高功能自閉症者在國語科學習的相關問題,進行試 探性的前導研究(Pilot study)。將 25 份前導調查問卷,隨機邀請目前 就讀於台北市普通班之低年級高功能自閉症兒童之家長和級任老師,進
66
行問卷調查(如附錄一)。問卷答題內容包括在國語科的學習過程中,哪 一個項目最感困難?在國語科評量卷和國語習作的答題中,哪一個大題 作答最感困難?哪一個大題最容易出錯?在統計結果中,家長和級任老 師們不約而同的首推「照樣造句」此項目。
同時對參與本研究的兩名受試家長和級任老師進行訪談,其訪談及 統計結果與前述的前導調查結果不謀而合。兩名受試者的級任老師,也 提出低年級照樣造句對於名詞、動詞和形容詞三者的概念澄清與建立的 重要性。這些資訊讓本研究的目標社會效度臻於完備確立。
(二) 程序的社會效度
程序的社會效度之考驗,乃於實驗完成後,分別隨機抽取三種詞類 各兩次(共六次)實驗教學的錄影檔案,由研究者和修習音樂治療的研 究生且從事自閉症教學者,透過音樂治療活動評鑑雙向細目檢核表(如 附錄六),將音樂治療單元實施程序進行逐一比對檢核,並完成評分一致 性考驗。檢驗是否能臻於自閉症者的療育需求及音樂治療學派的要義,
同時建立音樂治療活動的程序社會效度。
兩名評分員之評分一致性公式如下:
甲乙評分員一致的次數
× 100 = 一致性百分比 甲乙一致的次數 + 甲乙不一致的次數 (評分者間一致性)
表 3-10 音樂治療活動評鑑雙向細目表評分者間一致性考驗 目標行為一名詞 目標行為二動詞 目標行為三形容詞
0.89 0.90 0.91 評分一致性
百分比 0.86 0.87 0.87
平均值 0.88
從表 4-10 可呈現本研究的程序社會效度,兩名評分員在六次的評分 一致性考驗的信度範圍介於 86%至 91%,總平均值為 88%。此結果顯 示本研究介入活動流程,對於音樂治療元素與自閉症療育需求,具備其
67
68
一致認同他們的「照樣造句的能力變厲害了」,且均認同「在音樂中學習,
照樣造句學習任務變簡單了」;在「已經學會使用照樣造句策略」、「能將 照樣造句策略運用於國語課的習作功課中」兩個項目,則多認為完全符 合或大部分符合;受試乙、家長和級任教師一致認為「觀察力與聯想力 有進步」完全符合其表現;然而受試甲在此項目則稍弱,平均值僅 2.67,
家長和受試甲均勾選大部分符合,級任教師則認為部分符合。
同時,受試甲、乙本人均高度肯定自己參與本活動的收穫與表現,
受試乙在訪談表中的選項全部都勾選滿分,而受試甲僅在「觀察力與聯 想力有進步」和「解決問題的方法變多了」此兩欄勾選「大部分符合」,
其他選項則都勾選最高等級「完全符合」。
受試甲的家長在訪談中並表示:「本實驗未介入前,孩子沒有信心,
害怕失敗受挫並且會拒絕思考」,在介入後發現:「孩子很喜愛這門課,
對他的聯想力很有幫助,三個詞類的替換能力明顯進步,名詞的替換數 量比較多」(訪甲媽 0109)。
受試乙的家長也在訪談中表示本實驗未介入前:「孩子對於詞彙較無 法變通及轉換,語詞的理解和認知都不足」;在介入後發現:「這些活動 可以讓他對語文學習的態度和興致較持久,除了增強他口語表達的能 力,他很喜歡把聯想出來的作品,透過演奏和表演活動與大家分享,這 樣讓他獲得很大的肯定」;「透過演唱發表與肢體即興創作分享,比起老 師不斷運用陳述的方式來說明,的確更具象的在孩子腦海中留下痕跡」
(訪乙媽 0109)。
受試甲的級任老師在訪談中提到:「以前作業本如果請他寫兩遍,他 會堅持只寫一遍且有情緒反應,現在可以愉快的接受老師的建議寫兩 遍,且配合的態度很好,變通調適能力進步了」(訪甲師 0116)。
受試乙的級任老師也在訪談中提到:「國語習作和國語評量卷的照樣 造句此大題,不論是替換速度或替換品質都進步很多,成就表現也提高 了,學習態度越趨積極和穩定」(訪乙師 0119)。
2. 其他能力的進步表現
69
受試甲、乙的級任教師、家長及受試者們均一致認為他們的「輪流 與等待的能力」及「發言與表達的能力」完全符合;受試甲和其級任教 師及家長一致認為他在「配合老師的指令與接受團體規定的能力」、「參 與團體和同學互動的技巧」屬於完全符合,受試乙的級任老師則認為「參 與團體和同學互動的技巧」僅部分符合,但整體平均則屬於大部分符合。
「比以前更喜歡學習和挑戰」、「解決問題的方法變多了」則從部分 符合到大部分符合,受試甲在「解決問題的方法變多了」此項整體平均 為 2.33,其他的平均值則均超過 3 分「大部分符合」。
此外,受試甲、乙的級任教師、家長及受試者們均一致認為他們「參 與資源班的音樂活動很快樂」;受試甲、乙的級任教師和家長均完全肯定 認同「能帶動在普通班的其他學習動機」。
受試甲的級任老師在訪談中更提到:「現在願意參與班級國語聽寫考 試了,且不會無故干擾同學」、「以往星期二的午間靜息都會起來到處走 動,並且影響其他同學的作息,現在可以接受老師建議,趴下來閉眼休 息大約 5 分鐘,並且留在座位上自行打發時間而不干擾臨座。」(訪甲師 0116)
70
71