順序理論

在 1970 年代，美國學者 Airasian, P.W. & Bart, W.M.發現依受試者測驗後的結 果而繪製出的試題結構圖，可以用來分析試題階層(item hierarchy)關係，於是發 展出「順序理論（Ordering Theory，簡稱OT）」(Airasian & Bart,1973)，以衡量兩 個試題或概念之間的先備條件(precondition)之次序關係(ordering relationships)。

壹、順序理論之直觀意義

Airasian & Bart(1973)以邏輯和統計的觀點發展「順序理論」，使得測驗結果 並不只是提供總分進行分析，更能檢驗兩兩試題之間假設的順序性是否存在，或 者清楚的指出試題間所具有的邏輯順序關係。換言之，「順序理論」將蒐集來的 個別受試資料，透過質性的分析，能提出證據證明兩兩試題之間具有邏輯順序關 係。

Airasian & Bart(1973：57)進一步說明兩兩試題之間的線性順序關係(a linear ordering)為何：首先假設試題A與試題B具有線性順序關係，也就是說當試題A是 試題B的先備條件時，試題A與試題B的組合反應如表 2-3。「0」代表答錯，「1

」表示答對。

表 2-3 試題A與試題B的組合反應表

反應形式

試題A 試題B 結果

0 0 合理

0 1 不合理

1 0 合理

1 1 合理

試題 B

試題 A

資料來源：出自 Airasian & Bart（1973:57）

試題A與試題B的組合反應，其得分形式(response patterns)應有(0,0)、(0,1)

、(1,0)和(1,1)。此時，因為已假定試題A是試題B的先備條件，所以，若有(0,1) 的得分形式發生，則是不合理(disconfirmatory)的現象，而(0,0)、(1,1)和(1,0) 的得 分形式是正確合理的(confirmatory)。但是，如果試題的形式為選擇題時，(0,1)的 得分形式就有可能發生，此時，可以接受(0,1)的得分形式出現的極小發生率。

現在先假設有試題

j

與試題 二試題，再以試題 j 與試題 的所有得分形式發 生比率之觀點進行討論：

k k

(

x_j =1

)

P 表試題

j

答對人數的比率。

( x

_k =1

P )

表試題 答對人數的比率。

k

(

x_j =0

)

P 表試題

j

答錯人數的比率。

( x

_k =0

P )

表試題

k

答錯人數的比率。

(

x_j =1,x_k =1

)

P 表試題

j

與試題 均答對的同時比率。

k

(

xj ^=1,xk ⁼⁰

)

P 表試題

j

答對且試題

k

答錯的同時比率。

(

xj ^=0,xk ⁼⁰

)

P 表試題

j

與試題 均答錯的同時比率。

k

(

x_j =^0,x_k =¹

)

P 表試題

j

答錯且試題

k

答對的同時比率。

則可得如表 2-4 的比率四分表（竹谷 誠，1991；郭伯臣，1996）。

表 2-4 試題

j

和試題 的比率四分割表

k

試題

k

=1

X

k

X

_k =0 合計

=1

Xj P

(

xj ^=1,xk ⁼¹

)

P

(

xj ^=1,xk ⁼⁰

)

P

(

xj ⁼¹

)

=0

Xj P

(

x_j =^0,x_k =¹

)

P

(

x_j =^0,x_k =⁰

)

P

(

x_j =⁰

)

試題

j

合計

P ( x

_k =¹

) P ( x

_k =⁰

)

1

依「順序理論」中順序性的意義，可以知道若從試題

j

到試題 會產生完全 的順序關係時，不但表示試題

k

j

比試題 容易，而且

k

P

(

xj ^=0,xk ⁼¹

)

愈小愈好。

Airasian & Bart(1973)以容忍水準(tolerance level)決定試題

j

與試題 的次序關係

，簡言之，

k

(

x_j =^0,x_k =¹

)

P 必須在容忍水準的範圍內。在實證研究中，研究者可自 行決定容忍水準的值是多少（林原宏，2005）。

因此，在「順序理論」的觀點下，令ε^*=

P ( x

j ^=0,

x

k ⁼¹

)

表違反試題

j

為試題 之下位試題的比率，當 時，即可設定試題

k

ε

ε^*<

j

為試題 之下位試題，紀錄成

。竹谷 誠（1991：203）提及通常

k

k

j X

X → ε 必須滿足0.02≤ε ≤0.04之條件。簡言 之，ε 為一閥值(threshold)，常設定介於 0.02 和 0.04 之間（郭伯臣，1996；郭伯 臣、許天維、劉湘川，2004）。

貳、順序理論之用途

Bart & Krus (1973)以順序理論的觀點與架構，來測試決定試題之間是否有階 層(hierarchy)或順序(ordering)存在。

之後，其早期的應用研究主要用來分析皮亞傑等有關認知發展理論的發展階 段之次序性。例如：Bart & Merten (1979)、Bart, Frey & Baxter(1979)和 Airasian, Bart, & Greaney(1975)以順序理論分析形式操作期(formal operative period)的階層 結構。Bart & Airasian(1974)則以順序理論進行探討，並得到支持具體操作期 (concrete operative period)為形式操作期先備條件之研究結果。

後續研究主要應用於試題階層結構研究。Chevalaz & Tatsuoka (1983)在研究 中利用三種資料對「順序理論」及「試題關聯結構分析法(IRS)」此二種分析方法 進行比較，指出「順序理論」較「試題關聯結構分析法」更能適當地表現較為複 雜的結構。郭伯臣、許天維、劉湘川（2004）更發現 OT 的演算法與其他演算法 比起來，其對樣本大小較不敏感，於是嘗試採用順序理論技術來估計試題間順序

性，以應用於建立可以節省施測時間且具診斷功能之電腦化適性測驗。

對教師而言，能經過測驗診斷出學生學習上的困難之處以及造成的因素，以 進一步修正課程和改善教學程序，是件非常重要的事(Takeya,1999:109)。「順序理 論」是種以個別試題分數為基礎，再利用圖形進行分析的模式，可以具體提供建 議給教師修正教學課程，或協助學生發現自己學習困難上的盲點。

現進一步舉例說明「順序理論」在「試題階層結構研究」上的意義。假設有 A、B兩組學生各有十位，均參加試題六題的同一測驗，若答對者得一分，答錯 者得零分，然後依學生總分由上而下排序，再以依各試題答對總分由左而右排序

。其得分情況如圖 2-2 所示：

試題編號 試題編號

③ ⑥ ④ ⑤ ② ① ③ ⑥ ④ ⑤ ② ① 7 1 1 1 1 1 1 7 1 1 1 1 1 1 3 1 1 1 1 1 1 3 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 0 1 1 0 8 1 1 1 1 1 0 8 1 1 1 0 0 0 2 1 1 1 1 0 0 2 1 0 0 1 1 0 6 1 1 0 0 0 0 6 1 1 1 0 0 0 4 1 0 0 0 0 0 4 1 1 1 0 0 0 5 0 0 0 0 0 0 5 1 0 0 1 0 0 9 0 0 0 0 0 0 9 0 0 0 0 0 0

學生編號

10 0 0 0 0 0 0

學生編號

10 0 0 0 0 0 0

合

計 7 6 5 5 4 2 ^合

計 7 6 5 5 4 2

(A) (B)

圖 2-2 A、B兩組測驗成績分布情形圖

由 圖 2-1 可知兩組測驗後，各組各試題之答對人數均相同。兩組學生總分 順序及答對者人數的試題順序都相同，亦即二組的試題難易分配與試題號碼之對 應完全一致，但如果著眼於考慮試題順序結構圖，依下列分析就會有顯著的不同

。

A組中，答對試題 1 的學生是 7 號和 3 號，他們同時也答對試題 2，此時就 有試題 2 到試題 1 的箭頭，記成 2→1。答對試題 2 的學生是 7 號、3 號、1 號和

8 號，分別也答對試題 4、5，所以就記成 4→2、5→2。答對試題 4 的學生分別是 7 號、3 號、1 號、8 號和 2 號，也全答對試題 5，記成 4↔5，另外這些學生又答 對試題 6，所以記成 6→4、6→5。答對試題 6 者為 7 號、3 號、1 號、8 號、2 號 和 6 號又都答對試題 3，所以記成 3→6。

B組中，答對試題 1 的學生是 7 號和 3 號，他們同時也答對試題 4，此時就 有試題 4 到試題 1 的箭頭，記成 4→1。答對試題 4 的學生是 7 號、3 號、8 號、6 號和 4 號，分別也答對試題 3、6，所以就記成 3→4、6→4，但是答對試題 6 的 學生中的 1 號並沒有答對試題 3，故沒有試題 3 到試題 6 的箭頭。另一方面，答 對試題 1 的學生 7 號和 3 號亦答對試題 2，答對試題 2 的學生 7 號 3 號、1 號和 2 號，亦答對試題 5，所以記成 2→1、5→2。

依上述分析，可繪製出「試題順序結構圖」。繪製方法如下：

先定義答對率為：

受試學生答對的人數 答對率＝ 受試全體學生的人數

再以答對率為縱座標，將各試題依答對率的高低，分別標至於圖上。此處要 特別留意的是，為了把上位概念試題標示在上，把下位概念試題標示在下，所以

，將縱座標改成越往下，表通過率越高。然後，將分析的結果用箭頭標示出來，

此圖即為試題順序結構圖（如圖 2-3）。此時，透過試題順序結構圖，可以發現 儘管A、B兩組的試題的答對率雖然相同，但是兩組學生的知識結構卻不同。依A 組學生對試題的反應，可發現試題形成一個單純的一元化系列，而B組的試題順 序結構圖卻顯示學生對試題的反應呈兩個系列，可發現試題 1 的下位概念試題分 屬兩個系列，即試題 1、4、3、6 系列和試題 1、2、5 系列。

由此可知，藉由試題順序結構圖，可以觀察各試題間的順序關係，並可做有 方向性的圖性判讀。以順序理論來探究「試題階層結構」時，除了知道各試題的 難易度之外，更能深入瞭解試題之間邏輯順序關係，以分析出相關的知識結構。

20

30

40

50

60

70 3

1 1

2 2

4 5 4

6

5

6

3

答對率％

(A) (B) 圖 2-3 試題順序結構圖

本研究的研究對象是較小樣本，加上「關聯詞語」間的邏輯事理關係互異，

極可能造成相關知識結構較為複雜，所以，對於施測的結果，將採「順序理論」

的觀點，以 OT 分析法，表徵出國小三年級學童的關聯詞語的知識結構，並繪製

「關聯詞語的知識結構圖」，以進一步探究國小三年級學童關聯詞語能力的知識 結構。

在文檔中 國小三年級學童國語文關聯詞語知識結構之探究 (頁 52-58)