• 沒有找到結果。

360度回饋法應用於自我效能的評議與研究

壹、正確性上

儘管成員能經由 360 度回饋獲得更多瞭解優缺點的寶貴資訊,但當評 鑑來源多源化,也意謂著結果與評鑑前自我概念有差距時可能產生影響。

一、影響因素與偏誤

360 度回饋有效性之影響因素,有評量者的人格特質、認知變數及內在 因素(Cafferty & Meglino, 1984;Dipboye, 1985;Lee & Park, 1986;Sims &

Motowidlo, 1986),也與受評者的態度、後續行為息息相關(Hazucha et al.,1993;Kluger & DeNisi, 1996;Waldman & Atwater, 1998):1.人格特質。

Nilsen 與 Campbell(1993)依據具穩定性的不同測量工具(如 Campbell leadership Index、Executive Success Profile),和 Kaplan(1993)指出不同角度 觀察者會有不同人格特性解釋,主管、同僚、學生匿名填寫問卷,比工作 效能更關心人格與態度,其中「自我效能」影響力相當大,會透過認知過 程而影響評量(Varma, DeNisi & Peters, 1996)。2.喜好會影響評量者觀察 (Isen, Shalker, Clark, & Karp, 1978),即寬鬆偏誤,迴避負面評價與拒絕改 變,甚至與薪資等結合,會影響對不公平的期望及合法性的困難等(Kane, Bernardin, Villanova & Peyrefitte, 1995)。雖評量者在評量表現無關喜好 (Zajonc, 1980),但過程中有較高模糊性時,如對特質上的愛好遠比任務上 的正確評量認知重時(Cardy & Dobbins, 1986;Dpboye, 1985; Kumar &

Beyerlein, 1991;Feldman, 1981;Park, Sims & Motowidlo, 1986;Tsui & Barry, 1986;Varma et al., 1996;Waldman & Thornton III, 1988),或為了保有與成員 的關係(Kingstrom & Mainstone, 1985),情感因素影響會較大。改善方法為 每個回饋來源都需有相同機會與差異性,並給予輔導科實習教師信任感,

否則效果會忽視或打折扣。3.自他評一致性程度,包括主管-自評、同儕-自評、下屬-自評等正負向回饋,依照 Yammarino 與 Atwater(1997)界定的 一致性分類,與「目標設定」、「控制」及「自我一致性」等動機理論指 出(Atwater et al., 1995;Johnson & Ferstl, 1999),高估者(即自評分數高於他

評分數)的進步最顯著;但「一致高」(自評與他評分數一致)與「低估」

(即自評分數低於他評分數)領導效能表現較優(劉岡憬,民 87);另外,

高估者在第二次自評時傾向較低的評量;Van Velsor 等人(1993)以自我評 量、自我覺醒差異,確認低估者與高估接近事實免於曲解;低估者及一致 低者在評量正確性知覺上顯著高於高估者,不同自他評一致性程度受試雖 有差異存在,然而在行為改變意圖上卻否(徐崇文,民 89;紀原欽,民 90)。

4.自我肯定與對評量來源能力的知覺,在推行時成員的態度是很重要的,

會決定是否接受評鑑系統與結果(紀原欽,民 90;蔡慶堂,民 92;劉麗華,

民 89;360-degree feedback.com)。研究指出對評量者評鑑能力的信任是影 響受評者態度的最大因素(劉麗華,民 89;Salam & Sabrina., 1997),人通 常會依據回饋來源決定是否改變,尤其是主管建議較會去改(Nowack, 1993);其次為與同事的關係,尤其跨部門同事的回饋較為一致,主管層級 接近的得分高,部屬的看法較為分歧,而主管與部屬看法的相關性均呈負 相關(蔡慶堂,民 92;鄭秀姿,民 90),如受評者若具挑戰性、鼓勵學生 獨立性行為,則被主管評量較低分,但被學生評較高分。一般而言,擔任 360 度回饋評量者最好具備有:(1)高效能,(2)邏輯思考,(3)服務導向,

(4)彈性,(5)搜集資訊,(6)主動積極,(7)有效影響說服,(8)人際關係,

(9)資訊分享與學習,(10)尊重。亦即中小學教師在做評量時,非貿貿然施 行,而是需專業訓練觀察什麼與如何做(Lepsinger & Richard, 1997),和單獨 評分者不能強烈地影響結果。此外,組織支持、受評者性別也會對態度造 成影響(紀原欽,民 90;蔡慶堂,民 92),還有責任知覺、情境限制等皆 相關,又以「程序公平」對於態度的解釋變異量為最高。因此實施 360 度 回饋時出現的問題與常犯的錯誤有(Moses et al., 1993;表 2-4-1):1.可 能根據一般人格特質來做評量而非實際狀況。2.評量者不具備足夠的素養 去有效評量。3.沒有參考架構做為判斷依據。4.根據過去績效評量的記憶 來做觀察。5.工作分析的資料收集結果過度信任導致誤差。

吳雅娸(民 92)對月暈效果等偏誤設計量表,相關議題包括了樣本大 小、評等者的訓練、成員的熟悉度、完成時間,信效度,高階的支持,公 平性,溝通及機密性;讓評量者參與程序有自主性、參與感,才會提供較 真實的評量,且 360 度回饋最重要的觀點是比較不同來源評量的差異,如

果某來源分數較其他高或低很多,便透露很重要的資訊,當無法收集所有

360度回饋研究信度常用的是Cronbach’s alpha內部一致性,但抽樣誤差 會發生;此外亦可用t-test;第三種方法是找出多元評量者之間相同程度,

例如相關係數0.7就被認為具可信度,而效度是(0.7)2=0.49。

(一)自評與他評比較:

教師的自我評鑑易流於主觀或受個人特質影響,比起主管評量有更多 的寬鬆偏誤或低估,尤其以決策目的與價值結合時,使效度受到懷疑 (Marsh,1984),Marsh (1982)大規模調查81個不同學科的319位教師,並進行 教師自評和學生評鑑,發現分析出的因素相近,分量表一致性也很高。但 Centra(1972,1973)顯示教師自我與學生評鑑的相關只有.21與.20;Doyle與 Crichton(1978)只有r=.47;在團體間透過5種衡量在同儕與主管間相關係數 來得高,但也只有.32~.52,在自我—主管評量中相關係數從.16~.30;自我—

同儕從.06~0.30,在成對評量很少一致性;Willians與Levy’s(1992)在自我—

主管.26;Hazucha、Szymanski與Birkeland(1994)指出自我—主管在19個構面 (人格特質適應性)上是.16,大部份在.20~.30;Harris與Schanbroeck(1988) 後設分析是.62,自我—主管是.35,自我—同儕是.36;Nilsen與Campbell(1993) 指出自評高於其他人的評量標準值.30,Harriss與Sohyau(1998)認為自評標 準值高於主管評量.50,而高於同儕評量.25。評量者能力與意願對於正確評 量是有影響力的,同事、部屬與成員工作中互動程度不一,會影響對工作 能力的評量(London & Beatty, 1993)。

(二)他評之間比較:

1. 同儕與主管:集中現象出現,Willians與Levy’s(1992)證實為.26。

2. 同儕與學生:Centra(1975)曾比較任教同科目的同儕和學生評鑑 結果相關係數是.78,而不同科目相關卻只有.20,顯示不同科目教師不熟悉 彼此專業知識,造成評鑑困難;Guthrie (1949)、Maslow與Zimmerman (1956)、

Blackburn與Clark (1975)等人研究同儕評鑑和學生評鑑的相關係

數.30~.63;Doyle與Crichton(1978)是.47;Marsh、Overall與Kesler (1979)顯 著相關r=.49,但平均數未達顯著差異。

3. 主管與學生:Costin (1971)請依利諾七學系主任和學生分別評鑑 助教的教學表現相關係數是.49;Cook與Leeds (1974)對四到六年級學生和校 長評鑑教師是.39。

徐正輝(民92)運用於預官發現主管-部屬、主管-同儕間,和360度 回饋總分與多數效標皆達顯著相關(相關係數.33~.51)。Wilkerson、Manatt、

Rogers與Maughan(2000)運用教師自評、校長與學生評量,三團體問卷為具 信效度與鑑別度的李克特量表,學生成就問卷為現有工具,發現學生評量 可有效衡量教學效能(Jiroves, Ramanathan, & Alvarez, 1998),和學生成績高 度相關(Frey, 1973;Costin, 1978)。在效度方面,Centra(1993)後設分析41份研 究,學生評量內部一致性達到r=.80之上,與受訓練觀察員結果相似;

Feldman(1976)顯示r=.43;Cohen(1981)後設分析法41篇文獻亦同;Overall 與Marsh發現課程結束時與畢業一年後的結果相關仍達.83;以中原大學商 學院課程評鑑調查36位教師、71科目、4288學生發現學生分數會客觀顯示

教師教學績效(吳肇銘等,民84)。Blackburn與Clar(1975)發現學生評鑑和同 儕、行政人員評鑑的相關較高,都是可行的回饋來源(引自謝淑芬,民92;

表2-4-2)。

表2-4-2 行政評鑑、教師自評、同儕互評、學生評鑑的相關性 各種評鑑的相關係數 行政評鑑 教師自評 同儕互評

教師自評 .10 1.00 .28 同儕互評 .63 .28 1.00

學生評鑑 .47 .19 .62

資料來源:三百六十度回饋應用於我國國中、國小教師績效評量之可行性研究,謝淑芬,

民92,私立元智大學管理研究所碩士論文,未出版,桃園縣。

三、減少來源誤差的方法

360度回饋整體而言有些衝突矛盾,亦有解決方法:

(一)目標方面:360度回饋信條是發展比績效目的來得好。矛盾-績 效評量系統事實上在經濟與組織政策有實際的意義。解決法-1.鼓勵使用者 以發展目的輕鬆看待。因為績效評量會因友誼或競爭,產生機率為1/24無 效的回饋,百分比增加更為快速,可再使用安全機制,如訓練評量者、匿 名,注意評量誤差。2.讓回饋於只有受評者看得到,允許可對問題得到更 多特定且額外的資訊。3.主管對受評者鼓勵說明,並將回饋當做長遠績效 管理計劃。

(二)回饋資料來源:360度回饋假設為-1.多元資訊來源可使範圍更 廣、揭露更多不同面向;2.匿名評量的回饋會較誠實且有效。矛盾-更多的 資訊未必有較好回饋,因自我認知使資訊造成偏差;且匿名評量會產生評 量誤差,如月暈、寬鬆和傾向中間值。解決法-1.減少月暈偏差方面,可使 用面談法正面廣泛敘述中得到差異;最常見是算出平均數及標準差;每位 評量者知道號碼,但團隊只看得到分佈圖,可避免過高或低的評量;增加 評量者人數,提供潛在評量者有機會修正誤差(須在評成員之前);使用奧 運裁決平均計分法或尺度法,如Fox等人(1994)發現一致使用非平衡式的尺 度可減少寬鬆與月暈偏誤,並用口頭敘述算出5.7、5.6代表有效;要求與相 似年紀與經驗的人做社會比較,雖會增加寬鬆偏誤,但有激勵架構,如SAS

測驗指出受評者後測將會降低。2.當評量過程中提供長串、可定義、可觀 察的構面特質敘述較可靠,可減少寬鬆誤差,使品質得以改進(Kowns, F. &

Colbbck, 1978;Wohlers & London, 1989)。3.訓練評量者且增加觀察時間,

會誠實評量減少誤差,因可提供更多有關資訊,如沮喪的人在自評較正確 (Abramson & Martin, 1982; Alloy & Abramson, 1982),但組織氣候若充滿政 治性且信任低,寧可用發展觀點看(引自謝淑芬,民92)。

(三)資料蒐集:分野有:1.數量與品質,2.開放式或量表式問卷,

3.針對特定的或廣泛的行為項目,4.使用合併的方法。矛盾-針對日常行為 發展出的量表式回饋問卷很容易取得,可計算出分數與找出行為項目構 面,但未必與工作場所評量項目相符合,甚至產生誤導結果。解決法-1.回 饋工具要包含績效面向;2.在工具中結合一般與特定事項的考核。特定行 為乃是透過工作分析的程序,不須細項分析,可用相關行為分析法補足;

亦可獲得受評者支持,參與學習完成評量,至於評量誤差都可顯示。

(四)回饋的評量者:用在決策過程時是一連串管理上的挑戰,決定

(四)回饋的評量者:用在決策過程時是一連串管理上的挑戰,決定

相關文件