5.3 Analysis of the results
As shown in figure 3 and figure 4, the grading trend of the average and highest score looks alike. It is said that they have a positive correlation. We can see the same positive correlation in our experiments by analyzing their structures containing the results of the proportion of social factor influences and the causal loop diagram of system dynamics.
From figure 7 and figure 8, the result of our experiments displayed that the average and highest score have identical proportion of social factor influences. The
causal loop diagrams of system dynamics of them are not completely the same because they are still different statistics of grading, but they have some common social factor influences with the relationship of the positive correlation. Moreover, it is shown that the two social factors: Evaluation and Scale influence less in both of the grading of the average and highest score. This explained the negative correlation between the grading and the evaluation we verified by the statistics previously (See Figure 15). Another negative correlation we verified by the statistics (See Figure 16) between the grading and the class scale is also proved in our experiment. Although it is shown obviously only in College of Electrical Engineering & Computer Science and College of Engineering, the samples of the two Colleges occupy the 2/3 of total samples. We proved the negative correlation between the grading and the class scale by the 2/3 of total samples.
Fig. 15 Some evaluations we previously verified by the statistics
Negative correlation between the grading and the evaluation we test by ANOVA previously. ANOVA shows that the negative correlation between the grading (different definitions of grading in our model, See Appendix) and the evaluation is significant we
highlight with a red frame.
Fig. 16 Another negative correlation we verified by the statistics
Negative correlation between the grading and the class scale we test by ANOVA previously. ANOVA shows that the negative correlation between the grading (different definitions of grading in our model, See Appendix) and the class scale is significant we
highlight with a red frame.
6 Conclusions
The primary aim of our model is to find what and how social factors influence the teachers’ grading by using the system dynamics methodology. We inducted the common social factors from a variety of records about the teachers’ grading in real data, run simulations to find the structure based on the social factors, verified the effectiveness of our model, and analyzed the power of influences those social factors cause. We successfully reproduced the grading dynamics under the four social factors:
Substitution, Popularity, Evaluation, and Scale.
To comprehend the influences that affect teachers’ grading is significant to the people in the school who make grading rules and it can be used as reference materials of the educational guiding principle. If the policymakers want to make some changes to improve the grading status, it is better for them to know the grading structure in the past in order to do something efficiently. If we shift from this event orientation to focusing on the internal system structure, we can improve our possibility of improving grading performance. This is because system structure is often the underlying source of the difficulty. Unless policymakers correct system structure deficiencies, it is likely that the problem will resurface, or be replaced by an even more difficult problem. There are lots of kinds of influences to take effect upon teachers’ grading. This study provides a social aspect to know the social influences behind the general regulations we can see.
However, finding the reasons which influence the grading behavior, it is not that easily to change the grading behavior. How to control and change these factors for months and years to the influences of teachers’ grading is an essential issue. Besides,
there are still some social factors affecting the grading we did not mention and discuss.. Answers to these research questions would help fine-tune the design principles outlined in this study.
附錄
附錄 A 資料
建立模型的資料庫資料欄位
原始資料
索引號 學年 學期 開課學院 開課系所 教師學院 教師系所 教師代碼 永久課號 新定義選別 教師評鑑 課程分數
根據原始資料之統計量
人數 平均 人數 最高分
Pass 的人數
Pass
的比率 標準差
A_clas s
A_class rate
Pass mean
NoPass
mean pass_counter 人氣成長值
附錄 B 研究假設與統計驗證
Mean N Std. Deviation
ANOVA Table
10473.97 1 10473.972 250.033 .000
433941.4 10359 41.890
444415.4 10360 (Combined)
Between Groups Within Groups Total
平均 * 必選
Sum of
Squares df Mean Square F Sig.
Measures of Association
.154 .024
平均 * 必選
Eta Eta Squared
教師逐年的平均分數雖無明顯上升趨勢，但選修課比必修課的成績高這樣的
Mean N Std. Deviation
ANOVA Table
4877.073 11 443.370 10.439 .000
439538.3 10349 42.472
Squares df Mean Square F Sig.
Measures of Association
年第二學期起，則採用全面網路問卷的政策1。
1.000 .995** -.658** -.111**
. .000 .000 .000
11451 4187 11451 11451
.995** 1.000 -.673** -.150**
.000 . .000 .000
4187 4187 4187 4187
-.658** -.673** 1.000 .141**
.000 .000 . .000
11451 4187 11451 11451
-.111** -.150** .141** 1.000
.000 .000 .000 .
11451 4187 11451 11451
Pearson Correlation
Correlation is significant at the 0.01 level (2-tailed).
**.
表六88年第二學期以後
1 不過，教師還是可以選擇在課堂上做書面的問卷，因為多數教師發現，在課堂上的填答者是常
來上課的學生，對老師的印象可能較好，而網路上則比較可能出現亂答的現象。
Correlations
1.000 .995** -.664** -.112**
. .000 .000 .000
14648 5495 14648 14648
.995** 1.000 -.685** -.153**
.000 . .000 .000
5495 5495 5495 5495
-.664** -.685** 1.000 .197**
.000 .000 . .000
14648 5495 14648 14648
-.112** -.153** .197** 1.000
.000 .000 .000 .
14648 5495 14648 14648
Pearson Correlation
Correlation is significant at the 0.01 level (2-tailed).
**.
假設四：正在修課學生數（班級規模）
Correlation is significant at the 0.01 level (2 il d)
**.
附錄 B 實驗之補充說明 平均與最高分：
首先我們根據資料繪出五個學院連續八學期平均分數及最高分的動態(見圖一至 圖五)。
圖一 人社學院
圖二 管學院
圖三 工學院
圖四 理學院
圖五 電機資訊學院
雖然資料分析的結果中，C 大五個學院的評分都並沒有特別偏高的趨勢，但 單從評分小幅度不規律的上下震盪，還不足以作為評分趨勢的代表，所以我們進
一步繪出最高分曲線趨勢的走勢圖來輔助觀察解釋平均評分的走向，統計中顯 示，評分在平均這個面向沒有反映出偏高的行為，同時我們觀察最高分這個面向 也沒有反映出偏高的行為，並且五個學院的評分與最高分都呈現正相關，這樣的 結果足夠說明教師的評分起伏是整體的，最高分的提升或下降並不會大幅的增加 平均分數的改變。
我們分別找出 C 大五個學院平均及最高分系統動態回饋結構圖(圖六至圖十 五)，從實驗結果來看，各社會因素對於評分的影響結構可依學院在校內的性質 分成兩種：人社學院及管理學院在 C 大屬於文組，有相似的社會因素影響結構；
電機資訊學院、理學院與工學院在 C 大屬於理工組，他們的社會因素影響結構也 差不多。 再個別分析這五個學院，每個學院平均與最高分這兩個回饋結構的基 本架構類似，但依平均及最高分這兩個不同定義統計量的特質，其因素間的互相 影響則受其社會面力量以獨特而些微不等的架構顯示。
圖六 圖七
圖八 圖九
圖十 圖十一
圖十二 圖十三
圖十四 圖十五
Appendix D 系統動態之系統思考
系統思考
系統思考(Systems Thinking)的方法提供我們一種讓我們對困難且複雜的 問題更好理解的工具，它是一套思考的架構，可幫助我們認清整個變化型態，以 及確認問題背後真正的形成，使我們能夠有效的掌握變化，而且也能夠解釋複雜 的情境。系統思考面對問題能觀照全貌，綜合審慎考量其間各項因素之互動關 係。它已經有超過 30 年的使用歷史(Forrester 1961)而且目前整個概念建立的相 當完整。然而，這些方法需要我們換個角度來觀察整個系統組織，特別是將我們 的注意力移動到觀察每個獨立的事件及他們的結果，並且將整體的系統組織看成 是由許多互動的部份所組成的。
圖16 尋找高層的影響力
Figure 16 and this discussion of it are based on class notes by John Sterman of the MIT Sloan School of Management.
我們使用term system來表示互相關聯互相依賴形成一個獨特模式的群組集 合。
在使用系統方法我們採取主要的ㄧ個觀點，系統內部結構所產生的問題常常 是比外部影響系統的事件來的重要。
圖一指出，許多人試著以展示在一群事件的集合中一個事件如何影響其他的 事件，或是當深入研究一個問題時藉著顯示一個特定的事件在長時間行為模式中 所扮演的角色，來解釋其性能。在＂事件影響事件＂的困難度下，我們很難有效 的改變我們所不想要的結果，這是因為我們發現原來原因背後其實還有其他原因 影響著。舉例來說，如果一個新產品不賣(這個事件屬於一種問題)，所以我們的 結論是也許因為業務員並沒有很努力的去大力促銷它(這個事件則代表著造成問 題的其中一個原因)。接下來，我們就會想知道為什麼業務員並沒有很努力的去 大力促銷商品(這又變成了另外一個問題！) 我們可能會下另一個結論有關於這 個新的問題是由於業務員其他業務過於繁重(這是造成新問題的因素)。而且找尋 原本問題之答案的狀態還沒有結束，我們幾乎還可以依照同樣的程序繼續一直追 問下去，因此更難決定從如此不斷追朔出來的問題與事件中找出如何將情況改變 成為我們所期待的。
如果我們將的注意力焦點移動到觀察內部的系統架構，我們改可以增加我們 在改善效能上的機率，這是因為系統架構通常就是難題下的源頭。除非我們更正 系統架構的缺點，真正的問題才有可能浮現，否則反而會替換成另一個更難解的 問題。
附錄 E 模型的實作
53-78 0.3
>30 且 <40 1.4
36 替代性對替代性的影響 -1,0,1
加總，給統計參考用)
附錄 F 通識課程分析
現在 C 大的課程分類中通識課屬於「通識課程委員會」，屬於一個院級機構 了，所以我們特別將 C 大通識課程再依各開課系所去掉替代性這個因素，獨立出 來探討。以下分別為人文社會學院、電機資訊學院、工學院、理學院及管學院(見 圖一至圖五)。
圖一 人社學院
圖二 電機資訊學院
圖三 工學院
圖四 管學院
圖五 理學院
替代性屬性值(課程選別)不容易更改，也就是短時間內不易受到影響而隨意 更動其職。當去除掉替代性這個因素來觀察通識課程，從原本以替代性、人氣、
規模、評鑑的四個絕對因素來觀看其餘三個因素對於教師評分間互相的相對影 響，我們沒有發現在四個因素影響下明顯地以領域區分範圍。三個因素影響評分 的相對大小的比較如下：
人文社會學院
人氣 > 規模 > 評鑑 電機資訊學院
人氣 = 規模 > 評鑑 工學院
規模 > 評鑑 >人氣 管學院
評鑑 >人氣 > 規模 理學院
評鑑 >人氣 > 規模
本實驗所跑出的結果是以原本的模型直接不考慮替代性因素的參數組合趨近 於實際資料值，直接使用程式跑模擬接果會發現誤差比四個因素影響的誤差稍微 多一些。
Reference
Brookhart, S. M. (1993). ‘Teachers’ grading practices: Meaning and values.’ Journal of Educational Measurement, 30(2), 124-142.
Chicago Board of Education. (2000). Chicago Public Schools Instructional Intranet Assessment Page. [Online]. http://intranet.cps.k12.il.us/Assessments
Craig, W. K.(1998). System Dynamics Methods:A Quick Introduction. College of Business Arizona State University.
Enger, S. K. and Yager, R. E. (2001). ‘Assessing Student Understanding in Science: A Standards-Based K-12 Handbook.’ California: Corwin Press, Inc.
Erik R. L., Ann van Ackere, Kim W. (1997). ‘The growth of service and the service of growth: Using system dynamics to understand service quality and capital allocation.’
Decision Support System 19, 271-287.
Forrester, J.W. (1961). Industrial Dynamics, Mass: MIT Press.
Guskey, T. R. (2001). ‘Helping standards make the grade.’ Educational Leadership, 59(1), 20-27.
Hall, K. and Harding, A. (2002). ‘Level descriptions and teacher assessment in England: towards a community of assessment practice.’ Educational Research, 44, 1, 1-16.
Halverson, R., Kelley, C. and Kimball, S. (2004). ‘Implementing teacher evaluation systems: How principals make sense of complex artifacts to shape local instructional practice.’ In C. Miskel and W. Hoy (Eds.) Theory and Research in Educational Administration, Volume 3.
Hong-Mei, Cheng. (Dec., 2002). ‘分析科學習作評估示例.’ Volume 3, Issue 2, Article 1.
Jacobsen, C. & Bronson, R. (1995). ‘Computer Simulations and Empirical Testing of
Sociological Theories.’ Sociological Methods and Research, 23(4), 475 - 506.
Mahadevan, B. (2000). ‘Business Model for Internet-Based E-Commerce: An anatomy.’ California Management Review, 42 (4).
Milanowski, T. and Heneman, H. G.. (2001). ‘Assessment of Teacher Reactions to a Standards-Based Teacher Evaluation System: A Pilot Study.’ Journal of Personnel Evaluation in Education.
MIT System Dynamics in Education Project (SDEP). http://www.sdep.wa.edu.au/
Richardson, G. P. and Pugh III, A.L. (1981) . ‘Introduction to System Dynamics Modeling with DYNAMO.’ The MIT Press, Cambridge, MA.
Tung B. & Claudia L. (1996). ‘Supporting cognitive feedback using system
dynamics:A demand model of global system of mobile telecommunication.’ Decision Support System 17, 83-98.
Whitley, D. (1993). A Genetic Algorithm Tutorial, Computer Science Department, Colorado State University.