研究方法與研究工具

為達成本研究的目的與回應研究的問題，以內容分析法分析 2001 年至 2010

年基測與學校教學評量之數學段考試題的中隱含數學認知能力，即兩者在「概念 理解」、「程序執行」、「問題解決」三個向度的分布情形。並進行卡方考驗瞭解兩 項分布差異。再對 2001 年至 2010 年之畢業生 1403 位，參加第一次基測的成績，

與其在校歷次段考成績之平均分數進行積差相關的假設考驗。最後以半結構性訪 談，訪問兩位校內數學教師，瞭解他們的段考命題的取向和對基測和校內段考試 題分析結果的看法。利用「三角檢定」，邀請兩位校內的資深教師，針對研究內 容和結果的資料，協助檢視，並提供意見，以提昇研究的信實度。

壹、內容分析法

一、內容分析法的意義

B.Berelson 於 1954 年下的定義為：內容分析是一種研究的技術，針對溝通 產生的內容作客觀的、系統的、以及量的描述（王文科，2007）。內容分析法是 以客觀與系統的態度，經由量化的技巧與質的分析，對文件內容進行研究與分析，

藉以推論這些文件明顯或潛藏意義的一種研究方法（歐用生，1991）。

當研究的主題目的確立後，即可訂定研究的單位與類目。分析單位是內容量 化時依循的標準，最常使用的單位有字、段落、主題、人物、章、課等（歐用生，

1991），本研究欲進行分析的文件為基測與校內定期評量的試題，因而以「題」

作為內容分析的單位。

類目是內容歸類的標準，其發展主要可分為兩種：一是依據理論或過去研究 結果發展而成，二是由研究者自行發展設計（歐用生，1991）。本研究是以現有 之類目加以修改以符合研究需要。一般而言，數學試題分析的研究主要是從幾個 方面進行：教學目標、教材重點、試題的信度、難易度、鑑別度等，本研究採用 的是數學認知能力分布情形，據以分析比較基測與校內定期評量試題。透過量化 的方式呈現這兩類數學科試題在「概念理解」、「程序執行」、「問題解決」三個向 度的分布情況。

研究者的目的並不是在檢視基測試題是否符應政策之宣示，而在於比較基測

試題是否影響學校教學評量試題的命題趨勢，選擇以國中基本學力測驗所界定的 數學認知能力，即「概念理解」、「程序執行」、「問題解決」三個向度，作為分析 各類考題的依據。

二、類目表的設計

做為研究工具所用之類目表，係以數學認知能力為主類目，製作成兩個類目 表：一是在其後加上 90 學年至 99 學年「基測數學試題分布」，並總計試題在每 一次類目出現的次數，以此形成「基測數學科試題認知能力分布類目表」，如表 3-1 所示；另一則是「教學評量數學段考試題分布」，以形成「教學評量數學段考 試題認知能力分布類目表」，如表 3-2 所示。

表 3- 1 基測數學科試題認知能力分布類目表 基測數學試題

分布情況

主類目

概念理解 程序執行 問題解決

學年 題號 題數 題號 題數 題號 題數 90

91 92 93 94 95 96 97 98 99

資料來源：研究者自行編製

表 3- 2 教學評量數學段考試題認知能力分布類目表

析之類目及分析單元，即使評分員不同，是否依舊能夠將內容客觀與系統的歸入

4.求研究者相互同意度

研究者相互同意度＝

−1

n

相互同意度之總和 研究者與其他評分員間

n是指評分員人數 5.求研究者信度

研究者信度＝

研究者相互同意度 研究者相互同意度 +

× 1 2

表3-3相互同意度

評分員 A B C

B 0.81

C 0.84 0.88

平均相互同意度＝0.84 信度＝ 0.94

研究者相互同意度＝0.83 研究者信度＝ 0.91

因內容分析之信度分析無法達到 100%精確，如果達 0.9 或 0.8 以上的信度，

即為本研究所接受（楊孝榮，1989）。因此，本研究所採用評分者間信度分析檢 驗，已達到內容分析的水準。

四、內容分析的效度

此效度乃針對內容分析之類目及單元，檢驗其是否有效，即類目是否周延且 切合研究之需求。本研究之類目，是依據相關文獻、書籍由研究者發展出來，因 此，以專家效度方式為主。另外，針對研究主題各類目，以專家意見諮詢表（詳 見附錄二），邀請數學領域或教學評量為專長之學者及教學經驗豐富且曾參與九 年一貫課程多元評量知能研習或培訓的教師討論修訂而成，因此，本研究工具亦 具有良好的內容效度。本研究之專家效度組合表如表 3-4 所示：

表 3-4 專家效度組合表

專家姓名 服務單位與職稱 專長領域

A 老師 台北市立希望國中數學教師 課程教學 B 老師 台北市立大仁國中數學教師 基測命題種子教師 C 老師 台北市立希望國中數學教師 數學教學輔導教師 D 老師 台北市立南方高中數學教師 多元評量、科展 本研究所使用的兩種試題認知能力類目表，邀請到曾在該校任職、參與過段 考命題，並具有教學評量相關知能與十五年以上教學資歷的四位國、高中數學教 師，針對數學認知能力的主類目的試題分類適切性，進行修正並提供寶貴意見，

如表 3-5 所示：

表 3-5 專家效度評鑑表

教師 意見

A

「程序知識與執行」較「程序執行」在數學的認知能力界定 上更為明確，強調數學方法或工具的正確操作和使用。而「概 念理解」和「問題解決」在數學的九年一貫課程發展的重要 能力，符合實施教學評量時考量的向度。

B

以「概念理解」、「程序執行」、「問題解決」較貼近數學科九 年一貫課程與國中基測的能力分布，適合以此三向度進行試 題的歸類。

C

近年來各種國際大型評量如 NAEP、TIMSS 對數學認知能力 分類的看法，與國內基測在概念上極為相近，只是在名稱使 用上有些微的差異，在研究過程中重點應注意「概念理解」、

「程序執行」、「問題解決」三者彼此間的定義與差異即可，

若在試題分類過程中有不同看法時，必須更加謹慎討論或是 尋求第三意見。

D

本研究在探究基測和段考試題在三項數學認知能力的分布 情形，以此三向度來分析試題是可行的，其中「問題解決」

是否改為「解題與思考」或許更為具體。

將四位專家意見回收彙整，再請指導教授審閱，做最後的修正，始完成兩個類目 表的編製。

五、試題分析歸類之程序

「為求試題歸類之一致性，在正式進行試題歸類之前，先邀請參與研究之數 學教師，針對本研究有關的 數學認知能力進行文獻回顧，並請各數學教師界定其 分類。再由研究者彙總各教師訂定數學認知能力之分類，並經由與各數學教師之 共同討論，訂定本研究之分類：即數學認知能力分為「概念理解」、「程序執行」、

「問題解決」。

就 90 學年度至 99 學年度（2001 至 2010 年）的第一次基測試題共 10 份，

及希望國中 90 學年度至 99 學年度各年級的各次定期評量（段考）試題 158 份，

由研究者與參與研究的二位教師，共三人，分別就各試題所屬之數學認知能力，

個別進行試題歸類，每份試題至少有兩人進行歸類。

經個別進行歸類之後，由研究者進行歸類之彙總，同時，找出歸類上出現歧 異的試題。再由研究者與二位參與研究之教師，針對歸類上出現歧異之試題進行 討論，溝通彼此的想法與意見。最後，將試題分類的結果，邀請兩位校內資深數 學教師，協助檢視，若仍有 不同看法時，則由研究者和參與研究的兩位教師，先 瞭解這兩位資深教師的想法與觀點，並重新檢視先前對 數學認知能力的定義，藉 由充分討論形成共識。

列舉以下曾發生歧異的基測試題，說明如何形成歸類的共識：

例一：

94 學年（2005 年）第一次測驗第 6 題

本題在數學認知能力方面，一教師認為應該是「概念理解」，另一教師則認為應

屬於「程序執行」，經三人討論後，並請教校內另兩位數學資深教師後，認為本 題是測驗學生是否了解分數四則運算的基本觀念，並未涉及實際計算，因此最後 一致同意將試題所屬之數學認知能力歸類至「概念理解」。

例二：

92 學年（2003 年）第一次測驗第 13 題

本題在數學認知能力方面，一教師認為應該是「程序執行」，另一教師則認為應 屬於「問題解決」，經三人討 論後，並請教校內另兩位數學資深教師後，認為本 題是測驗學生是否能將習得的能力應用在生活情境問題的解決，而不只是圖表的 檢驗判斷，因此最後一致同意將試題所屬之數學認知能力歸類至「問題解決」。 例三：

94 學年（2005 年）第一次測驗第 14 題

本題在數學認知能力方面，一教師認為應該是「概念理解」，另一教師則認為應

屬於「程序執行」，經三人討論後，並請教另兩位校內數學資深教師後，認為本 題不僅是測驗學生是否具備次數分配折線圖的基本知識，在問題中還要檢驗、判 斷答案的正確性，因此最後一致同意將試題所屬之 數學認知能力歸類至「程序執 行」。

貳、卡方考驗

就 2001 至 2010 年國中第一次基測與希望國中段考數學科試題，依九年一貫 課程的實施，分成 2001 至 2004 年，及 2005 至 2010 年兩個階段，在數學認知能 力，即「概念理解」、「程序執行」、「問題解決」三個向度的題數，佔總題數的百 分比，進行卡方考驗其顯著性。

參、相關研究法

相關研究法是指蒐集資料以決定兩個或多個可量化的變項之間是否有關係 存在，以及彼此之間的關係及於何種程度，以相關係數表示之。（王文科，2007）

本研究是以 2001 年至 2010 年之畢業生在校歷次段考成績之平均分數，與其 第一次基測數學成績為變項，探究兩者之間的關係。利用 Microsoft Excel for Windows 建立原始資料檔，並透過 Microsoft Excel for Windows 與 SPSS 電腦統計

本研究是以 2001 年至 2010 年之畢業生在校歷次段考成績之平均分數，與其 第一次基測數學成績為變項，探究兩者之間的關係。利用 Microsoft Excel for Windows 建立原始資料檔，並透過 Microsoft Excel for Windows 與 SPSS 電腦統計