National Taiwan Sport University Repository:Item 987654321/1421

(1)

行政院國家科學委員會專題研究計畫成果報告

多向度試題反應理論分析運動教練評鑑量表

(2)

合上述的研究成果，本研究得到的結論是：運動教練評鑑量表依據多向度試題反應理論測量模式編製最合適，但量表架構上有待進一步的研究。關鍵詞：運動教練評鑑量表；多向度試題反應理論；測量；單向度；總加評分量尺。

Abstract

This purpose of paper was to investigate how the multidimensional item response theory (MIRT) was used to develop the coach evaluation questionnaire (CEQ. Yeh & Yau, 1998). The subjects of this study were 276 athletes. Moreover, we used ConQuest （ACER）that was a computer program to analyze the data. The CEQ is a summating rating scale in 1998. The basic underlying idea derives from classical test theory, where provides the

rational for repeated, summated measurement. In 1999, Yeh & Yau advanced the CEQ by the Many-Faceted Rasch model. It produced the additive scale and the evaluation of coach. However, the basic assumption was unidimensional in the system CEQ studies. The fact was that CEQ included two factors (dimensional). Therefor, the CEQ was not the model and data fit. The CEQ constructed close to the idea of valid measures by MIRT only. The conclusion of this study was that the CEQ was the best construction with the MIRT model, but the dimensional of testing must be more research.

Ke ywo rd s ： coach evaluatio n questio nn aire (C EQ); multidim ensio nal item respo ns e th eor y (M IRT); measu rement;

(3)

(4)

(5)

(6)

月網路查詢全國博碩士論文，結果未發現有「多向度試題反應理論」的相關研究；至於國內期刊的相關研究，僅搜出壹篇，李源煌 (1997)「多向度試題反應理論之試題刻度等化」，此篇是有關於試題等化的多向度試題反應理論之簡介。國內在民國 86 年五月 28、 29 日舉辦「教育與心理測驗」教學與研究國際研討會，其中 Mei -chu Fan 博士有兩篇多向度試題反應理論的專題演講，應算是將「多向度試題反應理論」較完整的介紹到國內之先驅者。Fan (19 97 ) 在「多向度試題反應的理論和應用」論文中指出：多向度試題反應理論（ MIRT）是多元能力和測驗試題交互作用模式的方法學，二分計分法的 MIRT 模式包括線性對數模式（ McKinley & Reck as e, 19 83 ）、常態肩形模式（ McDonald, 1967）、部分補償模式（ S ympson, 1978）、一般模式（ Ackerman & Spray, 1987）等四

(7)

(8)

(9)

(10)

(11)

(12)

(13)

(14)

(15)

(16)

二、評估單向度運動教練評鑑量表（一）單向度量表估計摘要。 1.聚斂情形從表 3-2-1 可知：本研究使用單向度評分量尺模式分析資料，樣本大小為 276，設定收斂標準值為 0.005。經過了 56 次迭代計算進行精確估計，得到單向度模式的偏差為 20604.4 96，產生了 3 3 個估計參數，包含 27 道試題難度參數，單向度的平均數和變異數，以及 4 個階段參數。僅用 27 道試題難度估計參數來描述 28 道試題就足夠了，這是因為已將第 28 道試題的難度作限制，因此無須再作估計。同理可知，雖然每道試題皆有 6 個反應類別，僅需 4 個階段參數就足夠。表 3-2-1 單向度評分量尺模式估計摘要 ---The Data File was: Coach.dat

The format was: id 1-10 responses 15-42 The model was: item+step

Sample size was: 276

Deviance was: 20604.496

Total number of estimated parameters was: 33 The number of iterations was: 56

(17)

(18)

(19)

(20)

表 3-2-4 單向度評分量尺模式之階段參數估計表變項原始適合度調整適合度階段難度誤差 MNSQ T值 MNSQ T值 1 -1.215 0.033 3.43 18.0 3.03 14.0 2 -1.204 0.029 3.14 16.4 2.93 14.7 3 -0.471 0.025 2.86 14.8 2.87 14.9 4 0.957 0.028 2.59 13.2 2.72 13.1 受試者 +試題 +階段 ---4 | | | | | | | | | | | | X| | | X| | | | | | 3 X| | | XX| | | X| | | X| | | X| | | X| | | X| | | 2 XX| | | XXX| | | XXX| | | XXXX| | | XXXXXXX| | | XXXXX| | | XXXXX| | | 1 XXXXXXX| | | XXXXX| |4 | XXXXXXXXX| | | XXXXXXX| | | XXXXXXXXX|9 16 | | XXXXXXXX|8 19 23 | | XXXXXXXXX|6 10 13 21 28 | | XXXXXXXXXX|7 11 14 15 20 22 | | 0 XXXXXXXXXX|4 5 12 | | XXXXXXXX|1 3 17 | | XXXXXX|2 18 25 27 | | XXXXXX| |3 | XXX|26 | | XX| | | XX|24 | | -1 XX| | | X| |1 2 | X| | | XX| | | X| | | | | | | | | -2 X| | | ======================================================================================= Each 'X' represents 1.8 cases

=======================================================================================

(21)

(22)

(23)

三、評估二向度運動教練評鑑量表（一）ConQuest 程式二向度評分量尺定義 1.資料定義： 標題：『Two- Dimensional Ratin g S cale Mo del 』。  資料檔：『 datafile Coach .d at;』。 資料格式：『 format id 1-1 3 respo ns es 1 5-42;』。 有效編碼：『 1,2,3,4,5,6』 試題名稱資料檔：『 labels << Co ach. nam; 』共二十八題。 2.分析向度界定：兩個向度。 score (1,2,3,4,5,6) (1,2,3,4,5,6) ( ) ! items (1-5,11-28); score (1,2,3,4,5,6) ( ) (1,2,3,4,5,6) ! items (6-10); 3.分析模式：評分量尺。 mod el it em +st ep; 4. 估計設定：估計有問題時，不設警告，資料自動覆蓋。

set warnin gs=no, up d at e= yes ; 5. 設定輸出檔：參數檔、迴

歸係數檔和共變數變異數檔。

export parameters >>Coach2.prm; export reg_coefficients

>>Coach2.reg;

export covariance >> Coach2.cov; 6. 設定輸入檔：做為估計的起點，參數檔、迴歸係數檔和共變數變異數檔。 import init_parameters <<Coach1.prm; import init_reg_coefficients <<Coach1.reg; import init_covariance << Coach1.cov; 7. 設定估計：估計方法為『 Monte Carlo』，積分估計節點數 2000，收歛標準 0.0001 。

estim at e!m etho d=monteca rlo,nodes =2000,conv=. 0001;

(24)

『 Coach2.shw 』，包含結果輸出表一至表四。

show !

(25)

(26)

(27)

(28)

(29)

(30)

(31)

(32)

(33)

(34)

(35)

(36)

(37)

(38)

(39)

(40)

(41)

個，包括兩個潛在變項、二十八個誤差變項（ Error），沒有外顯的觀察變項（ Manifest）。整個線性結構公式模式包括四個矩陣：  SELECTION 矩陣是 28×58 階變異數共變數矩陣。  EQSBETA 矩陣是 58 × 58 階變異數共變數矩陣。  EQSGAMMA 矩陣是 58 × 30 階變異數共變數矩陣。  SYMMETRIC 矩陣是 30×30 階變異數共變數矩陣。（參考圖 3-3-1）表 3-5-1 運動教練評鑑量表共變結構模式的 CALIS 設定參數 ======================================================================================== Covariance Structure Analysis: Pattern and Initial Values

LINEQS Model Statement

Matrix Rows Columns ---Matrix Type---Term 1 1 _SEL_ 28 58 SELECTION

2 _BETA_ 58 58 EQSBETA IMINUSINV 3 _GAMMA_ 58 30 EQSGAMMA

4 _PHI_ 30 30 SYMMETRIC

The 28 Endogenous Variables

Manifest V1 V2 V3 V4 V5 V6 V7 V8 V9 V10 V11 V12 V13 V14 V15 V16 V17 V18 V19 V20 V21 V22 V23 V24 V25 V26 V27 V28

Latent

The 30 Exogenous Variables Manifest

Latent F2 F1

Error E1 E2 E3 E4 E5 E6 E7 E8 E9 E10 E11 E12 E13 E14 E15 E16 E17 E18 E19 E20 E21 E22 E23 E24 E25 E26 E27 E28

(42)

E1 E2 E3 E4 E5 E11 E12 E13 E14 E15 E16 E17 E18 E19 E20 E21 E22 E23

E28 E27 E26 E25 E24

E6 E7 E8 E9 E10 圖 3-5-1 運動教練評鑑量表的共變結構模式圖 I12 I11 I 4 I 3 I 2 I 1 I13 I18 I20 I24 I21 I22 I23 I19 I25 I6 I 5 I16 I17 I15 I14

I28 I27 I26

(43)

運動教練評鑑量表的共變結構模式估計情形，參考表 3-5-2，經過十五次反覆迭代，得到最佳的結果，滿足估計的聚斂標準。主要結果摘要：  Objective Function 5.0848353984 。  Max Abs Gradient Element 0.0000598543 。  Slope of Search Direction -3.516769E-8。表 3 - 5 - 2 運動教練評鑑量表的共變結構模式估計情形 ======================================================================================== Optimization Results

Iterations 15 Function Calls 27

Gradient Calls 17 Active Constraints 0 Objective Function 5.0848353984 Max Abs Gradient Element 0.0000598543 Slope of Search Direction -3.516769E-8

GCONV convergence criterion satisfied.

======================================================================================== CALIS 估計運動教練評鑑量表整體模式適合度指標的結果，參考表 3-5-3 ，重要的適合度指標：  適合度指標（ Goodness of Fit Index，簡稱 GFI ） 0.6967。未達 0.90 以上，表示整體模式適合度不良。  調整適合度指標（ GFI Adjusted for Degrees of Freedom ，簡稱 AGFI ） 0.6511 。未達 0.90 以上，表示整體模式適合度不良。 殘差均方（ Root Mean Square

(44)

0.1195 。未低於 0.05 以下，表示整體模式適合度不良。 卡方值 1398.3297。達顯著水準（ <.0001），自由度 353，卡方值除以自由度的比率 3.96 （ 1398.3297÷353＝ 3.96），也超過 2.0，表示整體模式適合度不良。 獨立模式的卡方值 5804.6 ， 97，自由度 378 ，和共變模式相比，卡方值差 4406.3 （ 5804.6 － 1398.3 ＝ 4406.3），自由度差 25（ 378－ 353 ＝ 25 ），也達顯著水準（ <.0001），表示這兩個向度有共變的關係。 班特利的比較適合度指標（ Bentler's Comparative Fit Index ） 0.8074 。未達 0.90 以上，表示整體模式適合度不良。

 Bentler & Bonett's (1980) 非常模指標（ Non-normed Index ） 0.7937 和 Bentler & Bonett's (1980) 非適合度指標（ NFI ） 0.7591 。皆未

達 0.90 以上，表示整體模式適合度不良。

 James, Mulaik, & Brett (1982) Parsimonious NFI 0.7089。未達 0.90 以上，表示整體模式適合度不良。

(45)

表 3 - 5 - 3 C A L I S 估計整體模式適合度指標的結果

==============================================================================================

Fit Function 5.0848

Goodness of Fit Index (GFI) 0.6967 GFI Adjusted for Degrees of Freedom (AGFI) 0.6511 Root Mean Square Residual (RMR) 0.1195 Parsimonious GFI (Mulaik, 1989) 0.6506

Chi-Square 1398.3297

Chi-Square DF 353

Pr > Chi-Square <.0001 Independence Model Chi-Square 5804.6 Independence Model Chi-Square DF 378

RMSEA Estimate 0.1038

RMSEA 90% Lower Confidence Limit 0.0981 RMSEA 90% Upper Confidence Limit 0.1095

ECVI Estimate 5.5157

ECVI 90% Lower Confidence Limit 5.0928 ECVI 90% Upper Confidence Limit 5.9696 Probability of Close Fit 0.0000 Bentler's Comparative Fit Index 0.8074 Normal Theory Reweighted LS Chi-Square 1676.3768 Akaike's Information Criterion 692.3297 Bozdogan's (1987) CAIC -938.6718 Schwarz's Bayesian Criterion -585.6718 McDonald's (1989) Centrality 0.1505 Bentler & Bonett's (1980) Non-normed Index 0.7937 Bentler & Bonett's (1980) NFI 0.7591 James, Mulaik, & Brett (1982) Parsimonious NFI 0.7089 Z-Test of Wilson & Hilferty (1931) 23.2317 Bollen (1986) Normed Index Rho1 0.7420 Bollen (1988) Non-normed Index Delta2 0.8083 Hoelter's (1983) Critical N 80

(46)

(47)

(48)

(49)

(50)

(51)

(52)

(53)

(54)

參考文獻

李源煌。 (1997) 。多向度試題反應理論之試題刻度等化，測驗年刊， 44(2) ， 169-194。姚漢禱。 (1997) 。評分量尺模式和 RASCH 二分模式應用在運動技能測驗上的比較，體育學報， 23， 95-106。姚漢禱。 (1998)。參加 1998 年國際高等教育體育協會國際會議報告。行政院國家科學委員會補助國內專家學人出席國際學術會議報告。姚漢禱。 (1999) 。參加第四十二屆國際體育、健康、休閒、運動和舞蹈世界會議報告。行政院國家科學委員會補助國內專家學人出席國際學術會議報告。葉憲清和姚漢禱。 (1998) 。編製運動教練評鑑量表，行政院國家科學委員會八十八年度專題研究計畫， NSC88-2 413-H-179 -001。葉憲清和姚漢禱。 (1999) 。選手評鑑運動教練的多層面 Ras ch 測量分析，行政院國家科學委員會八十九年度專題研究計畫， NSC8 9 -24 13 -H-17 9-001 。 Ackerman T. (1989). An alternative methodology for creating parallel test forms using the IRT Information function.

Paper presented at the 1989 National Council on Measurement in education annual meeting, San

Francisco.

Ackerman, T.A. (1994). Using multidimensional item response theory to

understand what items and tests are measuring. Applied Measurement in Education, 7(4), 255-278.

(55)

respo ns e mo dellin g s oft ware. ACER P ress .

Bock , R. D., and Aitk en, M. (1981). Margi nal m ax imum

likel iho od Estim ati o n o f it em paramet ers: An ap pli cation of t h e EM al go rit hm.

Ps ychom et rik a, 46, 4 43-459 . Cole, E., & Zhu, W. (19 94 ). IRT

perso n fit s tat isti cs t o diagnos e moto r fu n ct ion. Res earch qu arterl y f or ex erci se and spo rt, March 1994 Sup pl ement, A-61. Fan, M. (1997). Theor y o f

multidim ensio nal it em respo ns e th eo r y and It’s app licati on. Pap er

pres ent ed at th e i nt ernati on al of ed ucati on and ps ycho logy test ed m eet in g, Nati onal Tai wan No rm al Univ ersit y, Tai pei, Taiwan , R. O. C. 29-58.

Fl et cher, R. (199 9). Incorporating recent advan ces i n

measu rement i n s port and ex erci se ps ych olo g y.

J ourn al o f spo rt an d exerci se ps ychol o g y, 21 (1 ), 2 4-3 8. Li nacre, J .M . (19 97 ). A u ser's

guid e t o Facet s R as ch measu rement com put er program. Chi cago: MESA. Loone y, M.A. (1 997).“Home”

improv em ent: th e t as k for measu rement s peci al ists. Measu rem ent i n p h ys ical education and ex erci se sci en ce, 1(2), 1 05 -11 6. McDon ald , R.P. (19 9 9). Test

Th eor y: A Un ifi ed Treatm en t. Hills dal e, NJ : Lawrence

Erl baum As so ci ates.

Nijk amp , P., & Voo gd, H. (1 984 ). Multidi mensio nal and

(56)

Meth odo lo g y, M easu rement, and Mo dels. Bro ok fi eld , Vermo nt: Go wer P ub lishin g Comp an y.

Rush all, B.S. , & Wiz nuk, K. (19 85 ). Athl et es ' ass essm en t of t h e co ach -- th e coach ev alu ati on qu esti onn ai re. Can adi an jo urnal o f app lied spo rt s ci en ces; 10 (3 ),

157 -16 1.

Segall, D.O. (1999). General Abilit y M easu rem ent : An Appli cati on of

Multidi mensio nal Ad apti ve Tes tin g. P ap er p res ent ed at the Ann ual M eetin g of t h e Nat ion al C oun cil o n

Measu rem ent i n Edu cation (Mo ntreal, Qu ebec, Can ad a, Ap ril 2 0-22 , 1 999 ).

Specto r, P.E. (199 2). Summ atin g ratin g s cale const ruction. Sage Univ ersit y P aper Seri es on Qu antit ati ve Appl ications

in th e S ocial Sciences, 07-082.Newbur y P ark, C A: Sage.

Volo din , N.A., & Adams, R.J . (1995). Id ent if yi ng and estim ati ng a D-dim ension al item resp ons e model.

Pap er present ed at th e In t ern ational Objecti ve Measu rem ent Works hop, Universit y o f C ali fo rnia, Berkele y, C ali fo rni a. Wri ght , B. D. , & Mas ters, G. N.

(1982). R ating s cale anal ys is. Chicago: M ESA.

Wu, M. L. (1 997 ). The

devel opm ent and ap p licatio n of a fit test fo r u se with margi nal m aximum

likel iho od est imation an d generalized it em res pons e mod els. Un publish ed

(57)

(58)

(59)

附錄二

ConQuest 程式（ACER）

：

（一）

估計單向度 Rasch 測量模式

title One-Dimensional Rating Scale Model ; datafile Coach.dat; format id 1-13 responses 15-42; codes 1,2,3,4,5,6; labels << Coach.nam; model item+step; set warnings=no,update=yes; export parameters >>one.prm;

export reg_coefficients >>one.reg; export covariance >> one.cov;

estimate! method=montecarlo,nodes=2000,conv=.005; show ! tables=1:2:3:4,estimates=latent>>one.shw; itanal>>one.itn;

quit;

（二）估計二向度 Rasch 測量模式

title Two-Dimensional Rating Scale Model; datafile Coach.dat; format id 1-13 responses 15-42; codes 1,2,3,4,5,6; labels << Coach.nam; score (1,2,3,4,5,6) (1,2,3,4,5,6) ( ) ! items (1-5,11-28); score (1,2,3,4,5,6) ( ) (1,2,3,4,5,6) ! items (6-10); model item+step; set warnings=no,update=yes; export parameters >>two.prm;

export reg_coefficients >>two.reg; export covariance >> two.cov;

(60)

附錄三

SAS 程式

/*YAU-HD**YAU-HD**YAU-HD**YAU-HD**YAU-HD**YAU-HD**YAU-HD**YAU-HD*/ /* */ /* NAME: 共變結構模式在多向度測驗上的應用： */ /* 雙向度運動教練評鑑量表。 */ /* TITLE: 驗證性分析運動教練評鑑量表 */ /* PRODUCT: STAT */

/* SYSTEM: SAS WINDOWS 8.01 */ /* KEYS: 驗證性因素分析雙向度模式運動教練評鑑量表 */ /* PROCS: FACTOE CALIS */

/* DATA: 2001 年施測資料 */

/* */

/*YAU-HD**YAU-HD**YAU-HD**YAU-HD**YAU-HD**YAU-HD**YAU-HD**YAU-HD*/ OPTIONS NODATE NONUMBER PS=300;

DATA CFA1(TYPE=CORR);

(61)

(62)

(63)

0.562844862 0.557925393 0.451620004 1 . . . . . CORR v24 0.327708747 0.235269645 0.35889081 0.351508405 0.399519413 0.18706237 0.274313775 0.227573625 0.211484744 0.30635045 0.479142174 0.353103138 0.380377651 0.342330286 0.337746477 0.36578669 0.299573483 0.452690901 0.229817259 0.358618337 0.320908917 0.310229557 0.333402122 1 . . . . CORR v25 0.53398616 0.452893345 0.593401485 0.546312644 0.604584288 0.373819422 0.433424794 0.40031615 0.364346023 0.450384703 0.697431787 0.548309764 0.574961057 0.568594489 0.595959869 0.582515109 0.468246325 0.516450549 0.376506503 0.601367653 0.472614415 0.409255338 0.439564765 0.645947642 1 . . . CORR v26 0.365405217 0.318780572 0.425842138 0.341216896 0.339959539 0.205095988 0.330701226 0.326410467 0.176857657 0.330046332 0.525969429 0.4019566 0.344700853 0.376534049 0.455769806 0.452533477 0.381657624 0.447385866 0.281868246 0.383905205 0.372101226 0.408082255 0.351560357 0.527158162 0.634043474 1 . . CORR v27 0.440284635 0.385281918 0.458541844 0.464973162 0.445202039 0.341389646 0.47979193 0.485355836 0.377789171 0.416746848 0.656390419 0.525252375 0.463245865 0.525432571 0.571276634 0.522027063 0.529033784 0.549410777 0.45636633 0.637296554 0.550473944 0.395955922 0.49535754 0.506234161 0.672171371 0.648932147 1 . CORR v28 0.423690033 0.353463942 0.505198968 0.496816384 0.523907004 0.448197545 0.512926085 0.508672007 0.512390633 0.441647669 0.644152293 0.605356019 0.509801971 0.558016801 0.524998779 0.548920377 0.448858928 0.494477366 0.448109648 0.651600832 0.530880911 0.474609184 0.579378438 0.485623157 0.635727063 0.42699642 0.601980206 1 ; TITLE'編製運動教練評鑑量表 CFA 一'; TITLE2'二十八題運動教練評鑑量表(6-10, 1-5 11-28)'; PROC CALIS COV CORR RESIDUAL MOD;

LINEQS

(64)