• 沒有找到結果。

第四章 研究結果

第六節 研究結果討論

本研究的結果分成「語資鑑定初複選各測驗與其他變項的相關」、「不同鑑定通 過狀態學生之學業成就及資優行為差異」、「計分方式及切截標準的效度驗證」等三 個部分進行討論。

一、 語資鑑定初複選各測驗與其他變項的相關

此部分所謂「其他變項」指的是初複選評量中其他性質類似的測驗、對應科目 的在校成績、會考成績和資優行為特質。為討論方便,研究者分為「初選評量」及

「複選評量」分開探討。

(一) 初選評量

整體而言,初選的4 個測驗(語文性向、外語性向、國文能力、英語能力)可以 歸類為同一個因素,可能是4 個測驗之間彼此都有顯著相關(.32 < r < .77),且相關 係數的差異不大所致。因素分析的結果為初選評量「只要通過任一個測驗即算通過」

提供了效度證據的基礎。唯一的例外是103 學年度的「英語能力」測驗,因為和其 他3 個測驗相關不高(.04 < r < .07),導致該年度的初選有 2 個因素出現。透過試題 內容分析,研究者發現 103 學年度的英文能力測驗試題較另外兩年更加偏重篇章 理解測驗,字彙及文法題則偏少,或許是該年度「英語能力」測驗獨立成為1 個因 素的原因。在初選能力測驗的出題變異性大,但理論上初選四個測驗應屬同一向度 的前提下,104 學年度「通過能力測驗者,性向測驗得分也要在 115 以上」的要求 也就順理成章,但仍不排除有「能力優秀但具備中上(非頂尖)資質」的資優生被排 除在外的可能。整體而言,語資鑑定的初選命題除了103 年度的「英文能力」測驗 之外,因素分析的效度證據都支持測驗使用者對初選篩選標準的判斷與做法。

在鑑定成績對「未來語文科成績」和「資優行為表現」兩類效標的預測方面,

除了103 學年度「英語能力」測驗之外,初選評量各測驗和國文、英語科在校成績 幾乎都有中度以上相關(.30 < r < .63),且國文類測驗(如「語文性向」、「國文能力」

105

測驗)與國文成績的相關大於與英語成績的相關(英語類則不一定),最高的則是國、

英兩科之間在校成績之間的相關,提供初選評量篩選在校語文科表現優秀學生的 支持性證據。另一方面,102 學年度初選評量所有測驗與會考對應科目皆有顯著相 關(僅「語文性向」與「會考作文」除外),也是支持初選評量用於篩選語文能力優 異學生的證據。初選評量和《資優行為觀察量表》的相關程度較不穩定(.06 < r < .63),

但若撇除103 學年度,所有測驗都和該量表的全量表及「語文表達」分量表有中度 以上相關(.29< r < .63),顯示 102、104 兩年語資鑑定初選試題與資優行為表現有一 定程度的關係。

(二) 複選評量

在複選方面,複選各測驗彼此間相關極不穩定(-.47 < r < .74),與初選的相關 也呈現類似的狀況(-.52 < r < .53),但仍可大致分為「國文能力」(口語表達、國文 作文/文章改寫、照片寫作)及「英語能力」(填空重組、看圖寫作)等 2 個因素,唯

「影片理解」於104 學年度獨立成為第 3 個因素,與 103 年度的兩個因素之負荷 量也是負值,故該測驗是否適合放在「英語能力」項目下與「填空重組」、「看圖寫 作」進行加總,值得深思。

事實上,「影片理解」測驗與其他初複選相關的狀況特別值得討論。首先,該 測驗其他初複選英語測驗相關多不顯著(-.18 < r < .30),103 學年度狀況尤其特別。

該年度「影片理解」不但和初選「語文性向」、「國文能力」、複選「看圖寫作」有 顯著負相關(-.52< r < -.47),與初複選其他英語測驗的相關也全部不顯著(-.28 < r

< .16)。儘管樣本數只有 18 名,但上述的現象實非純粹機率所能解釋。研究者嘗試 藉由分析影片及紙本試題,找出103 學年度「影片理解」與其他測驗相關係數不如 預期的原因:

1. 103 學年度的題數有 10 題,102 及 104 學年度則分別為 6 和 5 題,顯見問題 並非題數不足所導致。

2. 在試題內容方面,不論影片內容是英文或其他語言,103 學年度部份所有題目

106

選項皆以英文呈現,可能造成學生閱讀題目的困難。其他年度若播放非英文的 影片,選項則以中文呈現,只有在英文影片題,選項才是英文。

3. 103 學年度的部分試題答案模稜兩可(有兩個以上選項太過相似),題目和學生 的生活經驗也較為脫節(如婚紗選擇、食物烹煮、地方風俗)。研究者猜測題目 的選材和選項設計會對提高學生猜測的機率,而非測到題目宣稱的「周邊語言 線索」敏感度。

除了「影片理解」之外,複選「照片寫作」、「文章改寫」、「國文作文」等3 個 作文測驗與其他國文類初複選測驗的關係也值得探討。在102 學年度,「照片寫作」、

「文章改寫」兩個測驗與其他初複選國文類測驗相關皆不高(-.12 < r < .30);103 學 年度的「國文作文」與其他初複選國文測驗則有中度以上相關 (.39 < r < .55);104 學年度的「國文作文」與初複選測驗的國文相關則穩定偏低(.08 < r < .28)。儘管樣 本數小(N = 18),但 103 學年度的「國文作文」測驗與其他初複選國文測驗的相關 明顯與其他兩年不同,加上該測驗與八上國文成績相關高達.51(p < .05),顯示有其 特殊意義。研究者分析可能的原因如下:

1. 102 學年度的「文章改寫」及「看圖作文」,分別為要求學生將劇本轉述為散 文、對照片進行故事發想;104 學年度則為創意性段落寫作,兩個年度都是創 意較高的題型。103 學年度的國文作文題目為傳統命題寫作題型,故所測得的 能力較為接近「語文性向」、「國文能力」、「口語表達」等初複選國文測驗,以 及學生在校國文成績表現。

2. 103 學年度「國文寫作」採整體式評分,滿分為 18 分,故考生之間的差距得 以拉大。102 學年度的「文章改寫」總分為 15 分,「照片寫作」則是僅分為 6

個等級,考生得分差距不大。104 學年度「國文作文」雖滿分也是 18 分,卻是

分成3 段,每段 6 分,考生間的差距和「照片寫作」一樣無法彰顯。

在未來表現的效標方面,複選各測驗與在校成績相關不穩定(-.36 < r < .51)。

若扣除樣本人數偏少的103 學年度(N = 18),則相關普遍偏低(-.13 < r < .42),僅 102

107

學年度「看圖寫作」、「口語表達」分別與九下國文、英語成績和九下國文成績有顯 著相關(.33 < r < .42)。複選評量與在校成績的相關偏低,可能是因為通過初選的學 生在校語文科成績皆屬頂尖,造成了複選成績與在校成績的相關縮減所致。也可能 是因為複選實作評量所測驗的題目測驗的主要是分析推理 (填空重組)、情境學習 (影片理解)、和口語表達、寫作等語文能力,和強調小範圍記憶和上課態度表現的

「在校成績」有所不同。

若改用九年級畢業生國中教育會考的「國文」、「國文作文」及「英語」三科的 精熟程度作為效標,則 102 年複選評量大部分的測驗和語文科成績就有顯著相關 (.36 < Vc < .41),這是該年度在校成績所沒有的狀況(.03 < r < .42)。在資優行為表 現部分,複選評量各測驗和《資優行為觀察量表》的「語文表達」分測驗、全量表 相關極不穩定(-.43 < r < .47)。撇除樣本較少的 103 學年度,則相關普遍偏低(-.17 <

r < .47),唯有 102 學年度「填空重組」、「影片理解」分測驗與「語文表達」分量表 和全量表相關皆達顯著(.32 < r < .47);104 學年度「填空重組」和「語文表達」分 量表相關亦達顯著(r = .33,p < .05)。

上述未來表現效標的證據顯示複選評量各測驗所測得之能力特質與國中教育 會考有相關,但是與在校語文科成績、資優行為表現的關係不若初選穩定。

最後,研究者透過區別分析,找出對「通過語資(複選)鑑定」預測力最高的測 驗,發現每個年度所得到的區別函數都有極高的區辨力,而且每年區辨力最高的測 驗都是複選的「填空重組」。由於通過初選者是否能通過複選鑑定與否端視複選成 績,且複選測驗的命題都偏向考生能力而非性向,故初選性向測驗雖然穩定度較高,

卻不是考生是否通過鑑定的最終關鍵。由於複選「填空重組」和初選「英語能力」

反映的都是考生的英語實力,故從效度的角度來看,若語資鑑定要篩選的是英語實 力佳的學生,則應予以肯定。但英語實力佳究竟是否等於語文資優?這是值得測驗 使用者思考。

108

二、 不同鑑定通過狀態學生之學業成就及資優行為差異

研究者也比較不同通過狀態(未過初選、僅過初選、通過複選)學生的在校語文 成績、會考成績和資優行為表現差異。結果發現不論是會考成績、在校成績,還是

「語文表達」分量表、「資優行為」總分,在102、104 兩個年度都有顯著差異。事 後比較的結果發現,「通過複選」及「未過初選」兩組差異顯著。反倒是103 學年 度,三組的國英兩科在校成績、「語文表達」、「資優行為」等兩項資優行為效標都 沒有顯著差異。儘管上述證據並不支持 103 學年度的語資鑑定工具能區辨受試者 的語文在校成績和資優特質,但因為該年度樣本人數不多,也有可能是抽樣誤差造 成,解釋時格外注意。

三、 計分方式及切截標準的效度驗證

為了驗證語資鑑定複選評量計分方式及通過標準的效度,研究者採用「原始分 數加權」、「標準分數加權」、「多元截斷標準」等三種方式設定不同計分法及通過標 準,結果發現不論是採用何種切截方式,篩選出的學生都很接近,且無法改善鑑定 工具的預測效度,此結果與郭靜姿(1995b)的發現頗為一致,再次證明提升效度的 關鍵在於題目本身,計分方式及標準設定只是輔助。儘管如此,研究者仍主張,將 單位不同的「原始分數」加權後相加應該被避免,因此「標準分數加權」或「多元 截斷標準」都是比較妥當的方式。

109