第三章 研究方法
第三節 測驗工具
本研究測驗工具包含認知測驗、動機測驗、與活動評估問卷,以量化分析 的方式了解學生在認知與動機上的變化,以及學生對活動的感受。其中認知測 驗與動機測驗皆歷經試題修訂、專家評估、正式施測等編製歷程,以下詳細說 明認知測驗、動機測驗、與活動評估問卷的發展過程。
(一)認知測驗
認知測驗的部分經歷初步試驗、試題修訂、專家評估、預試、正式施測等 歷程。在研究之初,目標架構還未完整確立時,研究者先發展初步前置試驗的 問題,以二維數據分析為主,利用圖表閱讀的三個階級:Reading the data、
Reading between the data、及Reading beyond the data,搭配不同的情境設計四大 題共10小題的認知測驗,以研究者當時所任教的實驗班一年級數學組學生共9人 施測,了解在尚未學習二維數據分析時學生面對這類問題的直觀想法。
例如第一大題第2小題所詢問的成績與近視的關係,有學生製作折線圖,也 有學生照大小順序重新排列,但大部分學生都不同意此說法,並利用舉反例的 方式指出不符合邏輯之處,或是以生活經驗加以判斷其真實性。從這個地方可 以發現學生對於數理邏輯與統計推論之間並沒有明確意識到其差異,用了邏輯 上判斷命題是非的方式判讀數據的相關性。另外也發現學生對於判斷此類現實 中的問題,常常受到生活經驗的影響,利用經驗模型或是直覺推測來作出判 斷,所提出的想法可能只是為了合理化自己信念的說法而已。
題目
學生回答1
學生回答2
學生回答3
再例如第三大題第2小題所詢問的廣告費用與銷售金額的關係,學生利用表 格並重新排列數據,或是以數列方式由小到大分別寫下,相對於上一個例子,
大多數學生同意本題有此趨勢,可能是因為敘述方式不同的差異,或是情境較 無涉及個人信念所導致的差異。研究者依然發現有同學,而且常常是數理能力 較高者,利用數理邏輯找尋數據上的矛盾來反駁相關性的推論。
題目
學生回答1
學生回答2
學生回答3
經過初步試驗的觀察與分析,研究者對學生在開放性統計問題上可能的迷 思概念有了進一步的想法,也更清楚在設計題目的敘述上需要注意的細節。待 本研究的目標概念確定後,研究者重新設計試題與選項,盡量不讓學生產生真 實性的連結或對個人信念無謂的堅持,使認知測驗能真正發揮檢核的作用。
以下將正式的認知測驗分為四個部分作詳細說明,測驗架構主要介紹雙向 度則採用觀察變項的類型:類別變項(categorical variable)與連續變項
(continuous variable),其中連續數據的期望值部分,因為考慮高中生憑藉既 有知識的背景可能無法自然形成此概念,故不列入觀察項目。因為前後測的題
表7
分程度,排除計算錯誤的干擾。
第四大題第2小題的選項安排參考了Shaughnessy (1992) 的機率觀點,選項 4「凱凱的預測中獎率有80%,本來就有20%機率可能會預測失敗,只能認 他的建議。」則是一種風險擴大心態 (Tversky & Kahneman, 1974),寧願冒更大 的風險只為了防止再次失敗。選項5「這次沒有中獎,所以凱凱的預測中獎率應 該是0%才對!」直接用結果比例作為中獎機率,可能在機率的定義出了很大的 問題。同列在「解讀推論與結果的不一致」的學習目標,第六大題第2小題與第
四大題第2小題皆有類似的選項安排,詳見附錄四。
到的回應,作試題修正或其他應變,如表9。 理由或算式者得0分。以SPSS 23.0統計軟體進行信度分析,結果顯示認知測驗 的Cronbach'sα 係數為 .681,尚屬於可信範圍,代表本測驗具有一定的內部一 致性信度。
表10
力、經驗探究活動、刺激學生思考及發現日常生活中的數學關係之價值觀;
(4)表現目標:學生的數學表現目標是與其他同學競爭並希望獲得老師的關 注;(5)成就目標:學生在數學學習期間對於其能力及成就之提昇感到滿足;
(6)學習環境刺激:包含課程、教師教學及同儕互動等足以影響學生數學學習 動機之環境組成。研究者根據活動內容選擇其中較為相關的三個子向度:自我 效能、主動學習策略、學習價值,再挑選其中與本研究相關的問題,並調整成 以機率與統計為內容。
研究者重新解釋調整後的三個子向度,自我效能(self-efficacy)指學生相信 自己有能力能夠在機率與統計的學習任務中表現良好;主動學習策略(active learning strategies)指學生根據先前的理解主動透過不同的策略建構新知;機率 與統計學習價值(learning value of probability and statistics)則是足以刺激學生思 考,或令學生經驗探究活動及發現日常生活中的機率與統計關係的價值觀。研 究者整理10個不同敘述的問題,包含自我效能3題、主動學習策略3題、及學習 價值4題,分別測驗機率與統計兩個部分的學習動機,故整份測驗共有20題(見 附錄一),根據因素分析結果刪為18題。項目設計採李克特五等尺度,計分方式 為非常同意5分,同意4分,沒意見3分,不同意2分,非常不同意1分,其中第 4、10、14、20題為負向題。
二、
編製過程首先在三個子向度中各挑選3題,並將每一題敘述中的「數學」改為「機 率」與「統計」兩題,故三個子向度各有6題,一半是關於機率的學習動機,另 一半是統計。研究者將敘述不通順者做一些微調,根據原本問卷中該題的前後 文,抓出原作者想要度量的關鍵語意,再以此語意類比到本問項,例如:「我在 進行機率(統計)相關的活動時,會企圖理解它」的句子語意不明,參考原問卷
「我在學習數學新知識時,會企圖理解它」的原意,將該題敘述改為「在進行 機率(統計)探索活動時,我會企圖理解其中所含機率概念」。
經專家評估後,建議在學習價值子向度加上一題和生活應用有關的敘述,
故加入一題「我認為學機率(統計)很重要,因為它可以用來解決日常生活中的 問題」,在用詞上不使用「我會應用它解決問題」,而採用「它可以用來解決問 題」,因為研究者想了解的不是學生的能力問題,而是他們對機率(統計)應用價 值的感受。
三、
測驗結果分析與修正研究者將題目順序重新調整,並分為機率與統計兩個部分,請兩位高一學 生與兩位高三學生協助檢驗測試。學生對於題意沒有太大問題,因為只有20 題,作答時間也在合理範圍,所以整份測驗沒有作任何更動。
正式施測對象為新北市社區高中一年級的四個班,已學過國中基礎數據分 析,尚未學習高中數據分析單元,共161筆資料,其中155筆為有效資料。測驗 回收後,依照同意程度給分,即非常同意為5分,同意為4分,沒意見為3分,不 同意為2分,非常不同意為1分,並將反向題4、10、14、20的分數相反計算,越 不同意分數越高,即非常不同意為5分,而非常同意為1分。
首先以SPSS 23.0統計軟體進行項目分析,在相關分析中,與全測驗相關低 於.3的項目有第10題及第20題,其相關係數分別為 .237與 .223。其餘部分並無 太大問題,故保留所有題目。接著以因素分析法來檢驗各因子試題之同質性 (邱皓政,2006),因素負荷量低於 .3的項目有第3題和第13題,分別是 .125 和 .095。根據上述項目分析及單因子因素分析各項指標的數據加以統整研判,
將第3題與第13題予以刪除。
將篩選出的18題分別以所在因子進行探索性因素分析,利用主軸因子法萃 取因素,選取固定1因子。三個因子的KMO值皆大於 .60以上,且Bartlett的球型 檢定達顯著水準(p=.000<α= .05),適合進行因素分析(邱皓政, 2010)。分別得 到三因子的解釋變異量為61.49%、69.62%、與56.22%,因素分析結果如表11所 示。
表11
同樣以SPSS 23.0統計軟體進行信度分析,結果顯示機率與統計學習動機測 驗的總Cronbach's α係數為 .926,三個因子的Cronbach's α係數分別為自我效能
(self-efficacy).864、主動學習策略(active learning strategies).931、機率與統 計學習價值(learning value of probability and statistics).909,顯示該問卷具有良 好的信度係數。
表12
各因子間相關性與各因子信度係數
註:對角線的粗體字為信度係數
A 自我效能 B 主動學習策略 C 學習價值
A 自我效能 .864 – –
B 主動學習策略 .342 .931 –
C 學習價值 .328 .846 .909
(三)活動評估問卷
本問卷架構參考楊凱琳主持的「以設計為本的『就是要學好數學』之研 究」(2018) 針對活動的情意問卷,一共分為四個因子,包含對活動的興趣5 題、對活動的投入4題、對活動的評估4題,與對未來的自信6題,共有19題。並 以內部一致性分析71個有效樣本,結果顯示四個因子的Cronbach’s α皆大
於 .9,顯示此問卷具有良好的信度。
首先研究者調整問卷中的活動名稱改為桌遊《Gotcha!》,並將內容改為統 計思維或數據分析相關字詞。接著將一些比較無關的問項刪除,例如「我希望 像桌遊《Gotcha!》這樣的活動以後可以多一點題目練習。」等4個問項。再修 改敘述不合理的問項,例如「我覺得桌遊《Gotcha!》的內容豐富。」改為「我 覺得桌遊《Gotcha!》的活動具有挑戰性。」最後留下15題(見附錄二),包含 對活動的興趣4題、對活動的投入4題、對活動的評估3題,與對未來的自信4 題。本問卷採六點量表計分,完全同意6分,很同意5分,同意4分,不同意3 分,很不同意2分,完全不同意1分。