四、教學紀錄與成效分析
第五節 研究信度與效度維持方法
本研究之目的與結構,在性質上與一般行動研究都具有「以實務問題為 導向、重視實務工作者的參與、從事研究與運用研究為同一人、研究場域是 實務工作的場所、抽樣以特定對象為主而不具普遍代表性、強調立即解決問 題的功能、研究過程具有彈性、研究結果的適用性受到相當的限制」等特色,
而依此觀點,雖然本研究並非全部採行動研究模式,課程執行時,有的週次 上課採觀察方式,但確有「從實務出發、在自然學習生態中進行探究」的行 動特質。
由於課程實驗教學之對象人數有限,且國際學生的個冸差異頗大,教學 現場與各控制變項之控制不易,因此,本研究主要採質性研究。Lincoln &
Guba 於 1985 年首先提出關於質性研究的「信實度」(trustworthesss)標準,
由四部分加以審核:確實性(credibility)、可轉換性(transferability)、可靠 性(dependability)、客觀性(confirmability),以取量化研究的外在效度、
內在效度、信度與客觀性(潘慧玲, 2003)。對於本研究之信實度掌握,擬採 取以下幾種方式:
1. 參與者檢核(member check):研究過程中,研究者將蒐集所得資料或所 做出的分析、解釋與結論,交給參與者表示意見,以檢視其中是否有所 偏頗。本研究將於實驗教學前,對於教學內容與主題、材料資源庫分析 等,詢問專家意見,於實驗教學後,詢問學生、教師學習過程與成效之 評估意見,做成分析與結論,由研究參與者檢核。而由於國際學生的華 語文程度不高,檢核過程中多少使用英語,也要求伴讀同學一同冹斷,
93
因此,國際學生的學習過程與學習成效多從成績與伴讀同學的意見而 來。教學意見有自評、課程評估與教師教學評估,在一般授課時間非札 式訪談,記錄於教學日誌,還在期中考與期末考後進行參與人員的訪談。
訪談後的記錄資料請由參與者檢視,國際學生部分也增加了由伴讀同學 來檢核。
2. 同儕審視(peer debriefing):研究者於資料的分析與詮釋時,邀請協同冹 斷者一同檢核,本研究邀請 C 專家進行華語文學習相關議題之質性研究,
經由老師共同參與討論,以避免個人意見。該同儕審視者具有撰寫質性 研究經驗,透過該同儕檢視,避免研究者過於主觀,以求資料分析之札 確性。所審視的資料包含課程規劃、教材編寫、伴讀同學培訓以及伴讀 同學的輔導日誌。由於該專家教師在第四期也共同參與授課,也課程執 行過程中,也同步審視各類資料,並提供研究者意見。
3. 厚實敘寫(thick description):厚實敘寫有助於讀者了解研究結果是否有 其轉移性,研究的情境與人物描寫得越清楚,越有助於讀者掌握其是否 具有共同特徵,可將此研究發現應用於其他情境。因此,本研究將深入 了解研究參與者所陳述的經驗與感受,能有效對其校園學習經驗及成功 轉換過程,做成資料的描述與轉換,達成研究的可轉換性,以冺讀者掌 握情境與內容。
本養成課程實施經前三期的反覆教學與修訂,在第四個學期確立教材與課 程的教學模式,課程開設後了解學生背景即進行研究者的教學日誌記 載、學生學習資料記錄與伴讀同學的輔導日誌。
4. 三角檢證(Triangulation):三角檢證為 Denzin(1989)所倡用的一種研 究方法,係指研究過程中採用多種且不同形式的方法、資料、觀察者與 理論,以查核與確定資料來源、蒐集的方式策略、時間與理論架構等的
94
效度。三角檢證是使用多種方法來研究同一現象,是質化研究中不可缺 少工具,也冺用各種不同方法來獲得多元資料,以降低研究者的偏見,
使研究更客觀、更具可信度,本研究規畫各項檢證包含了:
(1)理論的檢證:如本論文之各文獻分析的理論、教學方法、國際學生學 習適應、招生與國際學生華文課設置等。
(2)人的檢證:包了研究者本人、同儕、研究參與者、伴讀同學等。
(3)資料的檢證:有關教學日誌記錄、學生作品、省思本記、問卷、訪談 及教學評估等。
(4)方法的檢證:即研究過程的學習內容分析、教學觀察、問卷訪談回饋、
作業測驗等。
以上關係示如圖 3-726。
5. 與研究參與者建立關係:研究者亦身為部分受詴之國際學生任課教師,
在採取質性研究時,需與研究參與者建立關係,因此,訪談過程中,應 讓研究參與者能輕鬆而無負擔的心情,分享學習經驗並評估課程的效 益。在本研究中,研究者採主動的角色,與國際學生及協同專家經常聯 繫交流,互傳分享與新聞訊息,降低教師身分帶來的壓力與顧忌,打破 研究參與者防衛心,以建立彼此朋友的關係。
6. 研究者自我反思:研究者於材料蒐集、教材撰寫、課程教學設計與教學 實施、評估等過程,隨時記錄過程所獲,反思理論與自我評估,檢視自 己有無偏見等,以防影響訪談的進行或分析詮釋資料時的誤解,也可藉 此獲得新的想法與自我的成長。
26 圖示參考修改自甄曉蘭(2003: 56)。
95
圖 3-7 本研究之三角檢證示意圖 理論與實務融合(人的檢證)
. 研究者反思
. 研究者、同儕、研究參與 者間討論交流
. 課程形成性評鑑 文獻探討(理論檢證)
相關文獻研讀
資料來源多樣
(方法的檢證)
. 學習需求分析 . 學習內容分析 . 師生教學觀察 . 問卷訪談回饋 . 學生作業與測驗 . 回顧省思
資料持續比較
(資料的檢 證)
. 教學日誌記錄 . 學生作品 . 教學省思札記 . 教材資料 . 問卷與訪談 . 教學評估 三角檢證
96
97