同儕提名法在圍體活動中評鑑初中階主管之應用

全文

(1)應用心理研究, 第 10 期, 2001 夏, 97-133 頁. 同儕提名法在團體活動中評鑑初中階主管之應用（1）李俊明. 張裕隆. 政治大學心理系本研究的主要目的在於針對主管發展一套同儕提名評鑑工具，並進一步探討其信度與效度以及內部機制與影響因素。研究者首先針對某證券公司之初階與中階主管進行工作分析，並根據重要管理能力設計活動與評鑑工具。研究者並藉由自編考核表、該公司現有的主管考核資料、部屬滿意度調查結果、以及追蹤活動後兩年內晉升次數等來代表受評主管的工作績效，並據以探討同儕提名評鑑工具與主管人員工作績效之間的關係。結果顯示：同儕提名法評鑑工具的評分者間信度甚高，肯德爾和諧係數為.28-.62，均達.01 以上顯著水準，評分者內信度的中位數亦達.81；至於效度方面，以考核表總分、優於部門同仁、晉升潛力、領導能力、忠誠度、過去三年考績、部屬滿意度、兩年內晉升次數等為效標變項，針對初階與中階主管進行迴歸分析，效度係數中位數分別為.67 與.56。此外，為進一步瞭解同儕提名法之內部機制與影響因素，研究者綜合調查結果與追蹤晤談資料，嘗試提出一個模式來加以說明。最後，研究者提出本研究之限制、後續研究方向、及企業實務應用等之建議。關鍵詞：同儕提名、核心才能、主管評鑑、團體活動台灣近幾十年來創造經濟奇蹟的重要因素，正是因為我國具有高素質及豐富的人力資源，然而今天我們面臨更劇烈的國際競爭與挑戰，如何有效地運用與管理人力資源便更形重要，而在人力資源管理與發展各項工作中，如何甄選與晉用適任的主管人員是最重要且最有效益的工作之一（Mintzberg， 1988）。一般主管人員甄選工具包括智力測驗、性向測驗、人格及興趣測驗、晤 - 97 -.

(2) 應用心理研究第 10 期. 談、工作樣本、專家判斷、情境演練、傳記式問卷、自我評量、推薦信、評量中心法以及同儕評鑑等，其中傳記式問卷、評量中心法以及同儕評鑑是信度、效度較佳者（Robertson & Iles，1988）。評量中心法雖然有許多的優點，如良好的信度、效度、提昇組織認同、兼具訓練與甄選功能等，但是其所需的發展與執行的成本（財物與時間）相當地高。因此，在台灣地區雖有中鋼、中石化等少數的組織引進此一技術，但在執行與後續研發上，亦都面臨若干的難題（林邦傑，1996）。另外，張裕隆（1997）指出，從「提昇國家競爭力」的觀點思考，若能協助國內企業發展一項有效的管理才能評鑑工具，而又不需要花費大筆的經費，就能達到與「評量中心」相同（甚或超越）的效果，則相信對於台灣經濟的競爭優勢乃至國家整體競爭力的提昇，定會有所助益！ Reilly 與 Chao（1982）、Schmitt，Gooding，Noe 與 Kirsch（1984）、 Hunter 與 Hunter（1984）等人曾對一般常用的甄選工具分別進行整合分析（Meta-analysis），由這三組研究者的研究結果可以發現，同儕評量之效度甚至優於評量中心法（Schmitt & Noe，1986）。此外，Finkle（1976）、 Thornton 與 Shore （ 1992 ）評量中心的研究結果發現：在模擬演練（simulational exercise）此一活動中，採用同儕提名（peer nominations）所獲得的同儕提名分數比「評量中心」的總分更能預測晉升、加薪等效標。所以 Thornton 與 Shore（1992）以及 Kane 與 Lawler（1978）指出，同儕評量法若能進一步加以研究發展，將是非常具有潛力的甄選工具之一。綜合而言，同儕評量法在國外有相當不錯的研究結果，然而國內並無這方面的相關研究，因此，本研究之目的乃在於探討同儕提名法的信效度，以及應用於國內企業主管人員甄選（陌生團體）與晉升（彼此熟識）的適切性，並進一步探討其內部機制，與影響其效果的可能因素，以提供國內學術界進行研究，與企業組織有效運用時之重要參考。. 同儕提名法的意義與效果 Muchinsky（1986）指出：同儕評量（peer assessment）是指應徵者相互評量的一種程序，並將評量之結果做為人事甄選的依據。同儕評量常用的方法有三：（1）同儕提名（peer nomination），係指每位成員根據與工作有關 - 98 -.

(3) 同儕提名法在團體活動中評鑑初中階主管之應用. 的每一向度提名在團體中表現特別優秀的一定比率的人選；（2）同儕評分（peer rating），係指每位成員根據工作向度，運用評定量尺將團體中的每一位成員予以評分；（3）同儕評比（peer ranking），是指每一成員根據一個或多個工作向度，對團體中的所有成員依其表現的優劣加以排序（張裕隆， 1996；Kane & Lawler，1978；Latham & Wexley，1994）。同儕評量中的同儕提名法曾在美國軍中進行一系列相關研究，結果顯示出此一方法具有相當良好預測領導能力的效果。例如 Hollander （1965）在軍官學校所進行的研究結果顯示，同儕提名對於軍中的生涯成功（career success）具有.70 的預測效度。Williams 與 Leavitt（1947）指出，同儕提名對軍職的生涯升遷具有 .36 的預測效度，至於再測信度則為 .78 。 Amir ， Kovarsky 與 Sharron（1970）研究結果發現，利用新兵基本訓練時進行同儕提名，而後繼續追蹤，結果顯示同儕提名的結果與生涯晉升的相關係數達.60 至.70 之間。其他研究結果亦顯示，同儕提名的結果與管理效能有顯著相關（Roadman，1964；Weitz，1958）。Mayfield（1970）的研究發現，同儕提名與壽險管理人員的績效達顯著相關；Mayfield（1972）亦發現，壽險業務人員在訓練課程中的同儕提名結果與年資和銷售業績分別達到 .29 與 .30 的顯著相關，這些評量是在 18 天的訓練課程結束之後加以進行，然而它（同儕提名）卻可以預測一年後的業績與年資這兩項的效標。Chang（1995）運用同儕提名的方式預測壽險主管的團隊銷售業績，結果發現，多元相關係數為.72，亦即可以解釋 52% 的效標變異量。 Kraut（1975）曾比較同儕提名與「訓練人員評量」對於主管人員的預測效度，結果發現在訓練課程中所獲得的「同儕評量」的結果，可以有效地預測管理人員未來的成功表現，至於「訓練人員評量」的結果則較不具預測力，並且不能增加效度。因此，他建議一個有效的「管理人才資源系統」應善加運用同儕提名的方法，去儘早發掘具有潛力的優秀管理人才，進而加以培育，尤其是那些被他們上司忽略的優秀管理人才。. 同儕提名的內部機制與重要影響因素長久以來，造成同儕提名法高效度現象的「內部機制」一向少有文獻加 - 99 -.

(4) 應用心理研究第 10 期. 以探討。針對同儕評量高效度現象的解釋，Hollander（1965）曾質疑可能是友誼、信度、觀察機會、內隱人格理論等方面的偏誤所造成，但是 Kraut （1975）在校正上述可能偏誤後，發現同儕評量仍具有高的預測效度。Reilly 與 Chao（1982）整合分析的結果顯示，傳記式問卷與同儕提名法是既有主管人員甄選工具中最經濟有效的兩種工具，但是同儕評量法的內部運作機制存有諸多疑義，並未被研究者與使用者所詳細瞭解。然而，Mumford（1983）檢索相關文獻後發現同儕評量法的內部運作機制可以用友誼理論（friendship）、心理計量的考量（considerations of psychometric）、觀察機會理論（observation opportunity）、內隱人格理論（implicit personality）與社會比較理論（social comparison theory）等來加以解釋，茲分別討論如下： 1.友誼理論根據此一理論的說法，同儕提名的高效度現象是因為：同儕提名的分數與效標資料（例如主管評量的分數或在組織中的晉升）同樣受到人緣（ popularity ）的影響。然而此一說法並未獲得相關研究的支持。例如 Hollander （ 1965 ）和 Waters 與 Waters （ 1970 ）等人收集友誼提名分數（friendship nominations），並將其影響自同儕提名分數與效標分數中去除，卻未減損同儕提名的預測效度，而其他學者的研究亦顯示人緣不能解釋同儕提名的效度（Carlson，1972；Love，1981）。 2.心理計量的考量根據 Carlson（1972）使用多位評量者和標準化的評估會造成團體表現的分佈範圍出現減縮或觀察誤差被抵銷，因而信度增加；而信度增加，間接影響效度增加。雖然沒有任何相關文獻能反駁此一說法，但是信度增加並不意味著效度一定會增加。 3.觀察機會理論根據 Hollander（1956）指出，由於同儕彼此之間有較多的、直接的接觸，因此有助於彼此之間深入的觀察，進而促使同儕能做出更穩定而有效的評量。直觀上，此一理論似乎說明了一些事實。然而，這些預期並未獲得相關研究的支持。Hollander（1965）、Freeberg（1969）、Lewin，Dugno 與 Akula（1971）等人的研究結果皆發現，即使是短至一個小時且有若干限制的互動情況下，同儕依然具有充分的觀察機會，而可以做出有效、穩定的評量。Lewin，Dugno 與 Akula（1970）利用觀看錄影帶的方式，形成另外一個 - 100 -.

(5) 同儕提名法在團體活動中評鑑初中階主管之應用. 「觀察者」的同儕團體，結果指出基本上此一團體所做的評量結果，與真實同儕的評量結果非常類似，亦具有高的預測效度。 4.內隱人格理論 Passini 與 Norman（1966）指出人們使用一些共通的內隱特質來評量同儕團體成員，例如一般人對軍人的印象是服從性高與忠誠，由於評量時的相關訊息被記錄與被提取都是依據此一「內隱人格」在運作，而這一組特質具有相當的共通性與若干程度的有效性，所以同儕提名當然具有一定的效度與信度。此一假說不但可以解釋 Passini 與 Norman 研究的結果，對發展有效同儕提名的判斷決策僅需短時間觀察的現象，也提出一種具有解釋力的說明。然而 Hollander（1965）認為此一假設不能說明同儕提名的一些現象，例如為何正向提名比負向提名更具有顯著的效度？而同儕提名在預測具體效標為何比抽象效標更有效？此外，此一假說對 Klimoski 與 London（1974）、Kraut （1975）和 Waters 與 Waters（1970）等研究中的發現，同儕提名法在跨觀察者（cross-observer）與跨職位（cross-job）因素結構上有差異的現象，也不能提出有力的解釋。 5.社會比較理論第五個觀點是由 Mumford（1983）自己所提出，他嘗試藉由社會比較理論來解釋同儕提名的內部機制。他提出許多研究證據來駁斥前面四種觀點的不適用性，並以建構社會比較理論做為同儕提名內部機制的證據。Mumford 綜觀相關文獻發現一致的觀點有：（1）同儕要有機會觀察與工作績效標準有關的行為；（2）評量者觀察時的焦點多放在與工作相關的技能上；（3）成員愈能掌握所欲評量的特質能力，預測效度愈佳；（4）評量者去評估工作相關技能的動機愈強時，愈有效度。Mumford 解釋：在同儕中，成員們要表現優秀所需的技能是相似的，他們會根據重要的工作能力來評量其他同儕的表現，進而作為評判自己表現好壞的依據。 Festinger 與 Brehm（1954）指出，社會比較理論有三大要點：（1）人們有去正確評估自己意見與能力的傾向；（2）當缺乏直接具體的評判標準時，人們藉由與他人比較來評估自己；（3）人們會較喜歡用與自己相似者來進行比較。自 Festinger 提出社會比較理論此一概念至今四十餘年間，後繼研究者發現人們不只比較意見與能力，實際上也比較情緒、人格、收入等各方面（Schachter，1959），同時依據個人的目標與抱負水準的不同，往往會進行 - 101 -.

(6) 應用心理研究第 10 期. 不同類型的比較與歷程。Jellison 與 Arkin（1977）的研究結果顯示，個體會尋找其他需要合作或競爭的對象的知識技能的相關訊息，用以做為個人獲取酬賞或避免懲罰的評判依據，而社會比較歷程所獲得的這些評估性訊息，正是個人用來獲取酬賞或避免懲罰的評判依據，此一社會比較歷程會因被進一步被增強中介變項（ reinforcement contingencies ）和內在需求（ instinsic desire）的持續而被強化。綜合上述，使用社會比較理論確實能對同儕評量的動態性歷程與高效度提出許多合理的解釋與說明。Mumford（1983）整理出以下七點來支持社會比較理論的解釋：（1）著重於觀察工作表現成功所需之重要才能會增進同儕評量法的信度與效度。（2）對影響成功工作表現所需之才能予以清晰定義會增進同儕評量的信效度。（3）增加同儕對不同領域成功工作表現所需之知識與經驗，將會導致同儕評量更具有區辨性的預測力。（4）被觀察的情境與評量者的實際工作情境愈類似愈會增進同儕評量的信效度。（5）當同儕不會因做出正確評判而出現不利於自己的後果時，愈會增進同儕評量的信度、效度。（6）因為人們傾向維持正向的自我評價，所以當身處高成就導向、競爭性的情境時，大多數成員將更不容易維持正向的自我評價；此一現象所造成的結果是：同儕評量過程較容易招致成員們的負向情緒反應與對此一過程的負向評價。（7）當給予酬賞時，上述六種現象將愈趨顯著。雖然 Mumford（1983）提出社會比較理論，嘗試藉此來說明同儕提名的內部機制與歷程，但可惜未有後繼的相關研究進行深入探討。因此研究者若能釐清友誼、觀察機會、月暈效果等決策因素對同儕提名決策歷程的影響，並提出適當的模式來解釋說明同儕提名內部機制歷程，不但將有助學術界之研究者進一步了解並使用同儕提名法，亦可協助實務界人士廣泛運用此一有效的甄選工具。. 同儕提名在主管人員甄選與晉升上的運用一般而言，同儕提名在人事甄選與工作績效評估上具有良好的信度與效度（ Lawler，1967；Klimoski & London，1974； Kraut ，1975；Waters & Waters，1970；Kane & Lawler，1978；Reilly & Chao）。綜合相關文獻結果發現，同儕提名在成員彼此熟悉的情況下，其評量的結果具有良好的信度與 - 102 -.

(7) 同儕提名法在團體活動中評鑑初中階主管之應用. 效度，可做為內部晉升的依據。雖然有若干研究（ Hollander ， 1965 ； Freeberg，1969；Lewin，Dugno & Akula，1971）顯示，同儕成員在短至僅有一小時的團體互動觀察中，同儕提名就可以做出具有一致性的判斷與決策，但是這些研究並未提供有關效度的資料。此外，在甄選領域中，不但尚未有研究者將同儕評量法使用於外部的甄選情境之中，即便是同一公司內不同部門的低熟悉度團體亦甚少有研究者進行相關研究。若有相關實證研究支持同儕提名在新形成的同儕團體亦具有良好的信效度，則同儕提名法將更具有實用的價值。另一方面，在「評量中心」的研究中，有研究者嘗試要求參與模擬演練活動的受試者以同儕提名方式相互評量，結果發現同儕提名與「評量中心」的總評分具有顯著的高相關，甚至有些學者認為同儕提名是評量中心常用的幾種評鑑方式中最經濟、最有效益的一種方法（Finkle，1976）。Thornton 與 Shore（1992）的研究發現評量中心模擬演練活動的同儕提名分數在預測可被測量的具體效標（例如晉升次數、業績額度、薪資調幅、職等）上，皆達顯著水準；但是與主管評量的主觀效標（例如工作績效評估）則多未達顯著水準。上述研究結果正反映早先 Hollander 等人（1965）的說法：同儕評量比主管評量能更正確地反應員工的實際工作表現。另外，從「評量中心」相關研究（Thornton & Shore，1992）中，可以發現在評量中心的一些活動如無領袖團體討論（ Leaderless Group Discussion）、籃中作業（In-Basket）等，往往要求受試者表現一些可被觀察的行為，以作為評審員（assessors）評判的依據；但是因為在該項活動中，受評人員（ratee）實際參與並經歷整個團體互動過程，而非僅是外在觀察，因此若進行同儕提名，往往可提供比評分者更為正確而有效的評量。由上述評量中心的相關研究發現，同儕提名法經由與模擬演練等團體活動結合，具有發展成為適用於一般甄選情境的有效篩選工具之潛力。回顧過去，同儕提名法之所以沒有被發展成甄選工具的主要原因是：同儕提名具有高信度、效度的基礎是由於同儕成員彼此間非常熟悉，有充分互相觀察、了解、互動的機會；所以當成員並不互相熟悉時，彼此缺乏互動機會來觀察與了解，因此可以預估的是同儕提名法將失去了它作用的原動力。但是在經由與模擬演練活動結合，正可以提供成員間互動觀察的機會，以做為進行同儕提名決策的基礎，進而擴大同儕提名的應用性。 - 103 -.

(8) 應用心理研究第 10 期. 在同儕提名法與團體活動結合上，如何經由活動的設計以提供團體有充分的機會去觀察成員彼此間的人際技能、組織計劃等重要管理能力，是非常重要的。活動設計不但應針對工作分析的結果加以特別設計規劃活動內容外，同時也應考量 Mumford（1983）所指出的幾項重要建議：（1）評定向度必須清晰的加以定義，（2）提供同儕成員充分的互動與觀察，（3）成員必須具有觀察到各個不同評定向度行為之機會，（4）模擬情境與真實工作情境愈相似愈好，（5）同儕不用擔心評量結果回饋所招致的負向結果，（6）提昇成員客觀評量的動機。此外，就實務的角度而言，同儕提名法可以滿足企業界在短時間內從應徵團體中篩選出優秀而適合者的需求，且此一篩選工具易於實際執行與統計分析。因此同儕提名此一篩選工具，將特別適用於台灣中小企業林立的企業型態，或符合在一些大型組織中欲從各地子公司的初中階主管遴選晉升優秀幹部的需求。所以，無論從學術的角度，或從實務的需求考量，同儕提名法皆有其研究與應用的意義與價值。綜合而言，本研究之目的在於探討以同儕提名方式應用於「主管人員甄選與晉升」的適切性，以及信效度的分析，並進一步運用「深度訪談」（depth interview）的方式進行研究，以深入了解同儕提名的相關影響因素與其內在機制。因此，本研究的主要目的有二：（1）探討同儕提名法的信度與效度，以及應用於主管人員甄選與晉升的適切性。（2）探討同儕提名法的影響因素與內部機制歷程。. 研究方法研究樣本本研究的合作公司是一家證券業之大型綜合券商，其初、中、高階主管逾兩百人，在與該公司進一步洽談後，決定將研究重心放在該公司初階與中階主管部分，此部分主管約有近一百人。本研究的樣本分為六部份：（1）工作分析調查樣本，（2）工作分析晤談樣本，（3）預試樣本，（4）正試樣本，（5）追蹤訪問樣本，（6）預測效度樣本。茲分述如下：. - 104 -.

(9) 同儕提名法在團體活動中評鑑初中階主管之應用. 1.工作分析調查樣本為了解合作公司各階層主管人員的重要管理能力，研究者針對該公司全體初、中、高階主管發出 138 份調查問卷，有效回收問卷共計 86 份。 2.工作分析晤談樣本為了解合作公司「績優」與「表現不佳」主管人員的關鍵事例，並進一步釐定工作分析問卷所得到的「各階層主管人員重要管理能力」，遂針對合作公司各階層主管分別進行 1.5 至 2 小時的深入訪談。總計訪問該公司高階主管 7 人，中階主管 5 人，初階主管 4 人，共計 16 位。 3.預試樣本為確定所設計的「團體活動」之互動觀察機會是否恰當，共計舉行四個預試團體，總人數為 38 人；預試樣本包含兩大類，一為企業界人士，共 16 人；二為政大心理系大四學生 22 人。 4.正試樣本針對合作公司內部的初、中階主管（合計 110 位）共進行 8 次團體活動，雖然該公司要求全員參與，但礙於公司實際營運狀況，或主管個人因素無法配合，因此能夠全程參與的實際有效樣本人數為 75 人；其中，初階主管有效樣本 41 人，男性 22 人，女性 19 人；而中階主管 34 人，男性 18 人，女性 16 人。 5.追蹤訪問樣本為釐清同儕提名的內部決策歷程與影響因素，研究者於每次活動結束後一週內隨機抽樣訪問參與活動者，男女各 13 人，共計 26 人次，每人次單獨訪問 40-60 分鐘。 6.預測效度樣本為釐清同儕提名能否預測未來工作表現，研究者特於活動結束後，繼續追蹤兩年內這些主管於企業內晉升職等的次數，然而，期間由於同業競相挖角，以及主管個人生涯規劃（如留學、轉業等）因素，因此正式樣本有所流失，總計追蹤初階主管 26 人，中階主管 22 人。. 研究程序本研究之程序計分成四個階段： - 105 -.

(10) 應用心理研究第 10 期. 1.階段一：準備期（1）選定研究對象本研究在選擇研究對象時，鑑於樣本數的需求，與參與活動中需於三小時內對其他同儕成員進行評量，且需考量合作公司的需求與意願，遂首先考慮需常常面臨領導、人際、與溝通技能等工作的主管人員為第一優先。其次為避免熟悉度或友誼等因素的影響，並增加將研究結果用於推論外部甄選情境時的適用程度，研究者遂與此一在全省具有近二十個據點之綜合券商進行研商（該券商 2000 年據點已拓展至 36 個），舉行管理才能強化營，希望合作公司將全省初階與中階主管分梯、分組地來參與本研究的同儕評量活動。（2）進行工作分析本研究的工作分析流程分成三部分︰a.發出「工作分析調查問卷」﹔b.進行「工作分析晤談」﹔c.舉行專家會議確認該公司各階層主管人員的重要管理能力。在專家會議討論之後，由於考量該公司高階主管在執行此一活動上有其配合上之實際困難，因此決定活動僅針對初、中階主管進行。（3）擬定評定向度及效標在工作分析確定該公司主管人員的重要特質能力後，研究者召開另一次專家會議，會議成員包括學術界人士與合作公司人事部主管（中階主管一位，初階主管兩位）。經會議討論後，決議進一步將工作分析所獲得的主管人員重要管理能力整合成活動評定向度。其活動評量向度分別為：a.初階主管：工作熱忱與效率、主動學習、人際影響、問題解決、價值信念、壓力忍受、與團隊合作等；b.中階主管：問題解決、人際影響、激勵與培養部屬、個人驅力、計劃與組織、衝突管理與團隊建立、與價值信念等。在確定初階與中階主管人員的評量向度之後，為確定評量向度是否適合該公司的組織需求，研究者與該公司副總級以上高階主管人員 19 人進行另外一次專家會議，在會議中針對評量向度與向度定義進行詳細討論與修訂。此次會議後，研究者整理與會專家所提出的修訂意見，釐定出本研究活動所使用的主管人員管理能力向度與定義。在效標選擇方面，本研究中所使用的效標主要來源有兩部分：a.合作公司提供，包含過去三年考績、部屬滿意度﹔b.新編考核表：研究者針對各階層主管之管理才能及定義編製新的考核表，內容包括管理能力與目標達成兩部份，此外，基於該公司為培養接班人的實務需求，亦針對受評人之領導能 - 106 -.

(11) 同儕提名法在團體活動中評鑑初中階主管之應用. 力、晉升潛力、優於部門同仁比例、與組織忠誠等進行評估；此一新編考核表包含自評、直屬主管評，再由高兩階層的主管（或總經理）加以審核；c. 研究者連續追蹤參與活動人員兩年內升等的次數（例如襄理升副理或經理升協理等職級的改變即為本研究所謂的「升等」）。（4）提出研究假設本研究在工具發展與評定向度選取考量上，以實際的訪談結果為主，而以文獻回顧所得的結果為輔，並在綜合專家意見之後，針對該公司初、中階主管人員分別歸納出七個活動評定向度。由於這些評定向度來自工作分析所得，因此研究者預設「在活動中各評定向度分數愈高者，其工作表現亦愈佳」。 2.階段二：設計與發展同儕提名活動（1）編製同儕提名的評分表格根據相關團體活動研究（Thornton & Shore，1992）指出：在活動中的評量向度不宜過多，且最好不宜超過 7 個向度；而 Mumford （1983）指出當評定向度意義愈清晰具體，評量者愈能做出正確的提名決策。因此本研究在編製評分表格時，提名向度為 7 個，且各向度提供簡單的定義，以提高評量的正確性。研究者為避免少數受試因個人決策能力不佳或採取特殊的策略而未能正確客觀提名，遂特別將提名表格設計成兩部分，第一部份要求填答人各向度提名 3 人，第二部分則是請填答人針對同儕成員在活動中的整體表現進行總評。利用第一部份與第二部分的分數求相關，以檢驗個人內的決策是否一致，當個人內的決策不一致時，研究者於進行活動後的追蹤晤談時，再予以個別訪談。（2）發展團體活動研究者根據專家的意見，擬定初步的評量向度，然後根據這些向度發展團體活動，以發展符合本研究工具所需之活動。至於活動設計則參考 Mumford（1983）所提出的幾項重要建議，例如：a.評定向度必須清楚的定義，b.提供同儕充分互動與觀察的機會，c.模擬情境與真實工作情境愈相似愈好，此外，本研究活動之設計亦運用成人學習心裡，例如活動進行由淺入深，由簡單到複雜，以降低參與者之緊張焦慮，且活動內容本身儘可能與評量向度加以結合，以及評量表格之設計以容易觀察、紀錄與評量為原則，以減輕評量者之心理負擔。 Hollander （ 1965 ）、 Lewin ， Dugno 與 Akula - 107 -.

(12) 應用心理研究第 10 期. （1971）曾指出團體互動時間至少需一個小時以上，評量者方可以做出有效而穩定的評量。本研究考量成員彼此不熟悉，且處於非明顯競爭狀態，為了提供成員充分的互動觀察機會，整個同儕互動時間約為 2 小時至 2.5 小時。活動基本設計包含三個單元，第一個單元是心理暖身，以語句完成測驗為活動主幹，成員輪流發言，活動時間約 40 分鐘；第二個單元是模擬遊戲，要求成員以塑膠吸管建造一座高塔，活動約 40 分鐘；第三個單元則為無領袖團體討論，討論內容為該公司實際案例，共進行約 40 分鐘。（3）進行預試預試共舉行四個梯次，並於進行團體活動後，分別晤談與會成員。晤談的目的有三：a.釐清成員進行提名決策時，受到那些因素所影響﹔b.成員經歷三個團體活動後，是否有充足的互動以做出提名決策﹔c.釐清團體成員的內在決策歷程。（4）修改同儕提名活動與表格在完成預試之後，先由研究者進行相關的統計分析與資料整理，然後根據預試資料與專家們的意見，由研究者針對同儕提名活動與表格進行修改，例如延長或縮短各單元活動時間、場地的佈置等。 3.階段三：進行同儕提名活動（1）正試施測正試針對合作公司的初、中階主管共進行四梯次 8 組的團體，預計 94 名主管人員參與，實際全程參與的有效樣本人數為 75 人，每梯次約為 20 人，每一活動小組約為 10-12 人。（2）隨機挑選受試進行深入訪談本研究另一個目的在於釐清同儕提名的內部決策歷程與影響因素，所以在每一次團體結束後一週內，由研究者隨機挑選若干名受試，利用同儕活動提名決策訪談問卷，進行深入訪談，以了解一般成員提名決策之心理歷程。訪談人數共計 26 人，每人次單獨訪問時間為 40-60 分鐘。 4.階段四：信度與效度分析（1）同儕提名分數加權轉換本研究參照 Thornton 與 Shore（1992）、Kane 與 Lawler（1978）、與 Hollander（1965）的做法，在一個 12 人的團體中，每位團體成員將可以提名 3 人（不包含自己）。根據 Hollander 等人的研究資料顯示，負向計分部份並 - 108 -.

(13) 同儕提名法在團體活動中評鑑初中階主管之應用. 不能增加解釋變異量；另外，正負向分數可互相抵銷的的計分方式，可能會造成同一分數所代表的意義其實截然不同。因此，後續研究者皆認為此一計分方法需進一步商榷。因此，在本研究的加權分數處理上，將採取正向計分模式，依被提名的優先順序，分別給予 3 分、2 分、與 1 分，未被提名者一律給予 0 分。（2）信度分析本研究信度分析，以肯德爾和諧係數（ Kendall coefficient of concordance）來加以檢驗。研究中所將進行的評分者間信度有兩種，一種是評審員的評分者間信度，另一種則為同儕的評分者間信度。（3）效度分析本研究使用 Pearson 積差相關（Pearson product-moment correlation）統計方式，來進行效標關聯效度的考驗。本研究的效標除了合作組織所提供的績效考核資料（包括過去三年考績與部屬滿意度）外，並針對組織忠誠度、晉升潛力、優於部門同仁比例、領導能力、與活動評量向度等編製效標問卷，以提昇本研究之應用性。根據研究假設之預測，受試在評定向度所得之同儕提名分數愈高者，其效標分數也應將愈高。效標關聯效度可以分成同時效度和預測效度兩大類，兩者間的區別在於施測時間和效標蒐集時間關係上的不同。本研究除了檢驗同時效度外，研究者特於兩年後收集該批參與活動主管的晉升次數來進行預測效度的分析。（4）內部機制分析本研究除了檢驗同儕提名法是否為一具有信度與效度的評鑑工具外，另一研究重心是瞭解活動者在參與同儕活動時的認知歷程。為進一步了解同儕提名法的內部機制，研究者除了進行影響因素的問卷調查外，更隨機抽取樣本進行活動後的追蹤晤談，整理出影響同儕提名決策的相關因素，並嘗試針對同儕提名的內部機制提出探索性的解釋模型，以說明在同儕評量中，活動者的認知歷程。. - 109 -.

(14) 應用心理研究第 10 期. 研究結果信度分析 1.評分者內部一致性分析為檢驗團體成員在進行同儕提名時是否認真提名，研究者在設計提名表格時，特別將表格分成兩個部份。第一部份是請評分者針對 7 個評量向度，每個向度提名 3 人﹔第二部份則是請評分者針對每一個成員予以評分，分數範圍為 0-100。研究者在資料回收後，針對第一部份的提名總分（加權轉換後的分數）與總評進行相關檢驗（詳細資料請參閱表 1）。雖然同儕提名會因為不能提名自己，而造成信度係數出現下滑（drowdown）現象，但是由表 1 資料顯示：同儕評量的個人內部一致性（中位數為 .81）稍低於評審員的個人內部一致性（中位數為 .91）。至於少數個人內一致性低於.50 與 X 記號者（表示該作答者的總評給所有人分數一致，無法計算相關係數）的成員，研究者全數加以追蹤晤談，發現其主要原因在於團體中有同部門人員及自謙效應所致。 2.評分者間一致性分析由肯德爾和諧係數的檢驗分析發現：中階與初階主管的八組團體中，其評分者間信度達.001 以上顯著水準者有 7 組，達 .01 有一組（詳見表 2），在評審員評量部份，肯德爾和諧係數達 .01 顯著水準有一組，達.05 顯著水準有 6 組。由此可知經歷團體活動互動之後，成員們對彼此確實達成一致、穩定的評量。. 效度分析 1.各向度與效標間之相關本研究以考核表總分、優於部門同仁比例、晉升潛力、領導能力、忠誠度、過去三年考績、與部屬滿意度、以及升等次數等 8 個變項為主管人員的工作績效指標，分別檢驗本研究七個評量向度之效度。初階與中階主管的結果分別列於表 3 與表 4。. - 110 -.

(15) 同儕提名法在團體活動中評鑑初中階主管之應用. 表1. 評分者內部一致性分析表同儕提名信度係數. 人數. 評審員提名百分比. 人數. 百分比. .90 以上. 20. 27. 16. 70. .80 - .89. 16. 22. 5. 22. .70 - .79. 15. 20. 1. 4. .60 - .69. 7. 9. .50 -.59 .50 以下. 4. 6. 1. 4. 5. 7. X. 8. 12. Mdn. .81. .91. SD. .17. .10. N 75 X 記號表示作答者給所有人的「總評」分數一致，導致無法計算相關係數. 表2. 23. 評分者間一致性分析表. 類. 組. 別. 別. W. 同儕提名 Χ2. N/df. W. 評審員提名 Χ2. N/df. 初. 第一組. .46. 41.00***. 10/9. .83. 14.98. 2/9. 階. 第二組. .52. 46.79***. 10/9. .85. 22.96*. 3/9. 主. 第三組. .48. 52.71***. 11/10. .78. 23.46*. 3/10. 管. 第四組. .28. 25.36**. 10/9. .81. 21.93*. 3/9. 中. 第一組. .39. 27.78***. 9/8. .77. 18.52*. 3/8. 階. 第二組. .62. 55.70***. 10/9. .77. 20.85*. 3/9. 主. 第三組. .44. 28.38***. 7/6. .77. 13.92*. 3/6. 管. 第四組. .47. 26.54***. 8/7. .88. 18.53**. 3/7. * p< .05 ** p< .01 *** p< .001 N 表示各組評分人數，df 表示自由度. （1）就初階主管而言，各評定向度均與多個效標達顯著相關綜合而言，初階主管各提名向度間與各效標間呈中等至高程度之相關，中位數分別為.52 與.47，至於各評量向度則與多項效標達顯著相關，且中位數為.47，而在八項效標中，合作公司所提供的「過去三年考績」指標，是蒐集員工過去三年考績分數平均而得，然而由於受到各部門主管評分標準不一，與評分過於偏高與集中等因素之影響，僅「價值信念」與其達顯著相關，至於其他向度則皆未達顯著相關。由表 3 可知就初階主管而言，各同儕提名向度，如工作熱忱與效能、主動學習、人際影響、問題解決、價值信念 - 111 -.

(16) 應用心理研究第 10 期. 表3. 初階主管評定向度與效標之相關效標向度. 1. 考核表 2. 優於部 3. 晉升 4. 領導 5. 忠誠 6. 過去 7. 部屬 8. 升等. 評定向度. 總分. 門同仁. 潛力. 能力. 度. 考績. 滿意度次數. 1.工作熱忱與效能. .74***. .54***. .64***. .59***. .37*. .18. .59**. .39*. 2.主動學習. .61***. .42**. .46**. .47**. .46**. .06. .23. .25. 3.人際影響. .69***. .48**. .61***. .62***. .43**. .07. .65**. .36. 4.問題解決. .69***. .56***. .69***. .51**. .33*. .10. .77***. .43*. 5.價值信念. .47**. .52**. .49**. .35*. .25. .32*. .44. .44*. 6.壓力忍受. .49**. .34*. .54***. .47**. .47**. -.03. .12. .39*. 7.團隊合作. .61***. .48**. .47**. .47**. .34*. .18. .09. .51**. 8.同儕提名總分. .79***. .61***. .71***. .64***. .48**. .16. .55*. 41. 41. N. 41. 41. 41. 37. .47**. 19. 26. * p< .05 ** p< .01 *** p< .001. 表4. 中階主管評定向度與效標之相關效標向度. 1.考核表 2.優於部. 3.晉升. 4.領導. 5.忠誠. 6.過去. 7.部屬. 評定向度. 總分. 潛力. 能力. 度. 考績. 滿意度次數. 1.工作熱忱與效能. .43*. .41*. .35*. .31. .32. -.09. .67**. .44*. 2.主動學習. .42*. .05. .23. .35*. .17. .13. .29. .41*. 3.人際影響. .34*. .03. .10. .35*. .13. .06. .28. .36. 4.問題解決. .29. .02. .14. .30. .12. .05. .35. .47*. 5.價值信念. .57**. .22. .48**. .42*. .28. .12. .50*. .38. 6.壓力忍受. .38*. .28. .29. .42*. .26. -.09. .30. .39. 7.團隊合作. .23. -.04. .28. .18. -.08. .15. -.05. .41*. 8.同儕提名總分. .54**. .20. .38*. .46**. .25. .06. .53*. .44*. N. 門同仁. 33. 33. 33. 33. 33. 24. 19. 8.升等. 22. * p< .05 ** p< .01 *** p< .001. 、壓力忍受、團隊合作、同儕提名總分等，與多項效標（如考核表總分、晉升潛力、領導能力、與升等次數等）達顯著相關，由此可見，本研究初階主管同儕提名法的效度頗佳。（2）就中階主管而言，除個人驅力、價值信念外，各評定向度均與多個效標達顯著相關綜合而言，中階主管各同儕提名向度之間，以及各效標變項之間呈中等至高程度之相關，中位數分別為.55 與.47，至於各評量向度（如人際影響、問題解決、計畫與組織）則與多個效標（如考核表總分、晉升潛力、領導能力、 - 112 -.

(17) 同儕提名法在團體活動中評鑑初中階主管之應用. 升等次數等）達顯著相關，中位數為.29，且如同初階主管一般，合作公司所提供的「過去三年考績」指標，同樣因為主管評分主觀的影響，因此，沒有任何評量向度與之達到顯著相關。. 逐步迴歸分析研究者進一步針對不同效標，以各評量向度的分數為預測變項，利用多元逐步迴歸分析法，分析同儕提名法的效標關聯效度。詳細結果如表 5、表 6。以下就初階主管與中階主管分別予以呈現： 1.就初階主管人員而言，以問題解決、壓力忍受的預測力較佳（1）考核表總分：進入迴歸方程式的評量向度有兩個，即工作熱忱與效能、主動學習，效度係數為 .78，總解釋量為 59%。（2）優於部門同仁比例：進入迴歸方程式的評量向度有一個，即問題解決，效度係數為 .56，總解釋量為 30%。（3）晉升潛力：進入迴歸方程式的評量向度有兩個，即問題解決、壓力忍受，效度係數為 .73，總解釋量為 51%。（4）領導能力：進入迴歸方程式的評量向度有兩個，即人際影響、壓力忍受，效度係數為 .67，總解釋量為 42%。（5）忠誠度：進入迴歸方程式的評量向度有兩個，即主動學習、與壓力忍受，效度係數為 .55，總解釋量為 26%。（6）過去三年考績：沒有任何向度進入迴歸方程式。（7）部屬滿意度：進入迴歸方程式的評量向度有一個，即問題解決，效度係數為 .76，總解釋量為 56%。（8）兩年內升等次數：進入迴歸方程式的評量向度有兩個，即團隊合作與問題解決，效度係數為 .53，總解量為 24%。本研究初階主管八個效標的逐步迴歸方程式中，進入方程式的預測變項為一至二個，分別可以解釋 24%至 59%的效標變異量，由此可知本研究同儕提名的評量結果確實能預測初階主管的績效表現。 2.就中階主管人員而言，以計畫與組織的預測力較佳（1）考核表總分：進入迴歸方程式的評量向度為計畫與組織，其效度係數為 .57，總解釋量為 30%。 - 113 -.

(18) 應用心理研究第 10 期. 表5. 初階主管迴歸分析結果效標. 1.考核表總分 2.優於部門同仁比例 3.晉升潛力 4.領導能力 5.忠誠度. 預測變項. β. 工作熱忱與效能. .59. 主動學習. .29. 問題解決. .56. 問題解決. .56. 壓力忍受. .28. 人際影響. .51. 壓力忍受. .27. 主動學習. .32. 壓力忍受. .33. R. Adj. R2. F. .78. .59. 29.98***. .56. .30. 18.28***. .73. .51. 21.50***. .67. .42. 15.25***. .55. .26. 8.11**. 6.過去三年考績 7.部屬滿意度 8.兩年內升等次數. NS 問題解決. .76. 團隊合作. .43. 問題解決. .29. .76. .56. 23.99***. .53. .24. 7.98**. * p< .05 ** p< .01 ***p< .001，N=41. 表6. 中階主管之迴歸分析結果效標. 1.考核表總分. 預測變項. β. R. Adj. R2. F. 計畫與組織. .57. .57. .30. 14.79***. .56. .27. 6.94**. 人際影響. .80. 個人驅力. -.55. 3.晉升潛力. 計畫與組織. .48. .48. .21. 9.37**. 4.領導能力. 計畫與組織. .42. .42. .15. 6.60*. 2.優於部門同仁比例. 5.忠誠度. NS. 6.過去三年考績. NS. 7.部屬滿意度 8.兩年內升等次數. 人際影響. .67. 個人驅力. .42. 人際影響. .25. * p< .05 ** p< .01 *** p< .001，N=19-33. - 114 -. .67. .41. 13.73**. .49. .22. 9.42**.

(19) 同儕提名法在團體活動中評鑑初中階主管之應用. （2）優於部門同仁比例：進入迴歸方程式的評量向度有兩個，即人際影響、與個人驅力，其效度係數為 .56，總解釋量為 27%。（3）晉升潛力：進入迴歸方程式的評量向度有一個，即計畫與組織，效度係數為 .48，總解釋量為 21%。（4）領導能力：進入迴歸方程式的評量向度為計畫與組織，效度係數為 .42，總解釋量為 15%。（5）忠誠度：沒有任何評量向度進入方程式中。（6）過去三年考績：沒有任何評量向度進入方程式中。（7）部屬滿意度：進入迴歸方程式的評量向度有一個，即人際影響，其效度係數為 .67，總解釋量為 41%。（8）兩年內升等次數：進入迴歸方程式的評量向度有兩個，即個人驅力與人際影響，效度係數為 .49，總解量為 22%。本研究中階主管的八個效標迴歸方程式中，進入方程式的預測變項為一至兩個，方程式分別可以解釋 15%至 41%的效標變異量，由此可知本研究同儕提名的評量結果確實能預測中階主管的工作表現。. 內部機制分析本研究另一項研究主題是針對「同儕提名的內部機制」進行探索性分析。茲將研究結果分述如下： 1.影響同儕提名決策的重要因素本研究經過預試活動的晤談，研究者整理出影響同儕提名的因素有：（1）活動中的行為表現；（2）過去既有的印象﹔（3）活動中的直接互動﹔ （4）第一印象﹔（5）投契﹔（6）團體互動﹔（7）自己表現﹔與（8）提名策略等，而在正試時，研究者整理預試訪談所得到的重要同儕提名決策影響因素，編製成意見調查表的第二部份（共 10 題，可複選）以進行量化的研究。詳細調查結果請參閱表 7。由表 7 可以發現：成員在活動中的表現（89%）是影響提名決策的最主要因素，此外，特別活躍（63%）、直接互動（53%），要平均地提名每一人（17%）、平常對他的印象（16%）、人緣好壞（13%）、與表現得比我好或壞（12%），同一部門（5%）、喜歡與我唱反調（1%）、和與我心目中偶 - 115 -.

(20) 應用心理研究第 10 期. 表7. 影響提名的重要因素人數. %. 1.活動中的行為表現. 67. 89. 2.在團體中特別活躍. 47. 63. 3.活動中與他互動量的多寡. 40. 53. 4.要平均地提名每一人. 13. 17. 5.平常對他的印象. 12. 16. 6.人緣好壞. 10. 13. 7.表現得比我好或壞. 9. 12. 8.同一部門. 4. 5. 9.活動中喜歡與我唱反調. 1. 1. 10.與心中的偶像表現相似與否. 1. 1. N=75. 像相似（1%）等，亦為影響提名決策的因素。此外，研究者在進行內部機制的追蹤晤談分析時發現：在不易直接觀察的評定向度上，同儕在互相評量時，容易出現「月暈效果」。舉例來說，一位整體表現良好的人，雖然他在「價值信念」此一向度的表現並不突出，或難以評量，但是同儕們在提名時會傾向將他其他向度的表現類化到此一向度，而給予較高的評價。綜合晤談與調查結果，研究者認為影響同儕提名的影響因素計有：活動中的行為表現、在團體中特別活躍、在團體中的直接互動、表現比我好或壞等、過去既有印象（過去經驗）、第一印象、月暈效果、與提名策略等。 2.同儕提名的內部機制本研究在整理活動意見調查、同儕提名個人內一致性等資料後，研究者於每次活動結束後一週內進行該梯次團體成員追蹤訪談，每梯次隨機抽樣訪談人數 5-7 位，每人約一小時，總計訪談 26 人次。研究者在綜合本研究之晤談紀錄、活動意見調查、文獻資料後，針對同儕提名決策歷程嘗試提出圖 1 的同儕提名內部機制模式來加以解釋。在圖 1 中，研究者依活動發生序列將參與活動者的認知歷程分為互動前、互動中、與互動後等三個階段，茲分述如下：. - 116 -.

(21) 同儕提名法在團體活動中評鑑初中階主管之應用. 指導語—能力定義舊有主管人員基模. 互動前. 主管人員基模. 第一印象. 內在認知歷程. 活躍程度直接互動量. 個人內在歷程. 同儕能力評量歷程社會. 動機行為表現. 比較. 過去經驗. 觀察. 活動策略. 行為標準. 分析. 歷程. 月暈效果. 紀錄. 互動中. 個人提名策略. 同儕能力評估. 同儕能力評量. 資料整合. 個人提名決策. 同儕提名決策. 圖1. 同儕提名之內部機制. - 117 -. 互動後.

(22) 應用心理研究第 10 期. （1）互動前互動前階段包括從活動者報到後至同儕活動的指導語階段。在指導語階段，研究者主要工作是告知同儕團體成員關於主管人員的重要能力有那些，並詳述各個能力的定義。此一階段的目的是讓與會團體成員形成一「良好主管人員之基模」，並根據此一標準在活動中觀察、紀錄、分析、與提名團體的其他成員。此外，本研究發現在互動前階段，研究者確實有效地讓受試們接受一組新的主管人員基模，但這組優秀主管基模，會受過去既有基模的影響，而且每個人將此一基模內化為自己心中評量同儕能力的標準的程度也不盡相同。（2）互動中前一階段係讓與會人員清楚瞭解優良主管人員的要件，並據此一組管理才能定義形成一組較具體的管理能力基模，然後同儕團體成員根據此一基模為基礎來進行後續的團體活動。在活動中成員除了自身必須參與活動力求表現外，團體成員也必需用這一組「能力定義」來作為觀察、紀錄、與分析其他成員的標準。研究者綜合晤談資料後，發現「互動中」階段的內在機制可以細分成三個部份：a.同儕能力評量歷程；b.個人內在認知歷程；與 c.社會比較歷程。茲分述如下： a.同儕能力評量歷程所謂「同儕能力評量歷程」是指個人在團體互動中，經由觀察與分析，對其他成員形成一種「能力評估」的過程；此一歷程主要是發生於個人根據觀察別人的行為表現，以推估別人具有某種能力的程度，並根據此一「推估」作為最後提名時的重要依據。在研究者追蹤的 26 位受訪對象中，絕大多數的受訪者皆明白表示有運用「觀察—分析—記錄」此一歷程機制，來幫助自己評量同儕團體成員的能力。換言之，成員們藉由觀察、紀錄、與分析同儕團體成員的行為反應，在活動一段時間後，很容易便對較突出的少數成員形成一組較穩定的「同儕能力評估」，且在接下來的活動中，會去進一步驗證這一組「能力評估」是否正確；此外，在較長的團體互動之後，成員們也會對其他較不活躍的成員分別形成能力評估。基本上，此一機制歷程是一個不斷進行的過程，也就是成員在對其他同儕在不斷觀察、紀錄、分析後，會不斷形成新的「能力評估」. - 118 -.

(23) 同儕提名法在團體活動中評鑑初中階主管之應用. 時；而形成「能力評估」後，又會再去蒐集資料去支持或否決此一「能力評估」，直到這一組「能力評估」穩定下來為止。 b.個人內在歷程相對於上述個人向外觀察所進行的「同儕能力評量歷程」，成員個人內部也進行了研究者稱為「個人內在歷程」的機制。「個人內在歷程」主要作用是監控自己在活動中的行為表現，再將主管基模內化為活動評量標準後，個人會有一套行為標準來要求自己的表現，並激發不同程度的動機水準，甚至採用不同的活動策略。研究者發現：許多活動中表現優秀的成員，不但會將「指導語」階段的「能力定義」內化成一組個人關於主管的「基模」，並根據此一「基模」在活動中形成一組對自己在同儕活動中表現的「自我要求」，而這些自我要求，其實就是對自己活動中的「行為標準」，這些「行為標準」不但會影響到個人參與活動的動機高低；甚者，有些人更進一步在活動中或提名時採取一些特別的「策略」，以幫助自己符合「自我要求」。根據研究者的晤談結果，可以發現：（a）活動中的表現傑出者，往往有較具體的「自我要求」，並愈會去表現出自己的能力；（b）成員會為了符合「自我要求」，有時候會採用特別的「策略」，而此「策略」又可細分成「活動策略」與「提名策略」兩種。「活動策略」指的是成員在「活動中」階段，會經由學習團體成員的優秀行為，轉而增進自己在團體中的表現品質，或爭取較多的「團體領導者角色」的機會；而「提名策略」的主要影響則是發生在「互動後」階段，成員會基於特殊的個人動機而採取不同的提名策略，並因而不能公正客觀地提名，此一部份將在下一階段再詳細說明。 c. 社會比較歷程 Mumford（1983）指出：「同儕評量」之所以具有高信度與效度現象，是因為「社會比較機制」，研究者發現在本研究中，「個人表現」與「同儕表現」之間的關係，可用「社會比較理論」來加以解釋；也就是說，藉由不斷去觀察、分析、評估團體其他成員在活動中的行為表現，並將這些評估資訊與自己表現相互比較，參與者可以知道自己在團體中有較明確的能力定位，並藉此一比較結果來自我顯揚或自我增進。在「活動中」階段，成員一開始乃是身處於一相當陌生的團體，而成員們被要求根據「評量向度」作為活動標準，於是以此一組「主管能力基模」 - 119 -.

(24) 應用心理研究第 10 期. 來作為來衡量他人與自己，並進一步根據此一組「基模」進行向上比較（自我增進）與向下比較（自我顯揚）等社會比較歷程來幫助自己在團體中定位。藉由此一比較歷程，成員不但可以瞭解在自己目前身處的團體中，自己該在團體中扮演什麼樣的角色；更可進一步藉由這些訊息來決定自己在團體中應該有什麼樣的行為表現水準。（3）互動後在「互動後」階段，活動者主要是根據自己在活動中的觀察與活動紀錄來進行提名決策，然而，有少數成員會基於個人的目的而採取一些提名策略。在訪談過程中，有鑑於使用特別提名策略者往往不會誠實說明原因，因此研究者往往是訪談前就挑選一些反應與其他同儕評量結果和評審員結果特別不同者，進行深入訪談。在訪談中，訪員的一般反應「…我就是根據他們在活動中的表現提名，也不會多想什麼，如果有比較不清楚的就翻一翻紀錄看一下…」。然而針對一些提名反應較特別者，研究者皆將其納入追蹤晤談名單，他們對自己與其他人有所不同的提名反應的解釋說明有：「…因為其他人好像都不太說話，而我的性子比較急，想到什麼就說什麼，所以覺得不太好評，另外，大家都是主管，所以表現都不錯，所以每個人都有提名，然後我覺得每個人都是 99 分，還有一分可以繼續努力…」（初階一梯），「…這幾個人在活動中比較沒有機會表現，所以不太好分別他們這些人能力的高低，所以這幾個人就都給 80 分，因為至少有 80 分才可以當主管嘛！你說是不是呢？…」（中階一梯）。此外，研究者也藉由「你們這一組好像有些人認為 F 與 G 的「問題解決」、「人際影響」等能力很好，但是你並未提名他們，能不能請您說一說您的看法？」等形式的問題來詢問一些沒有提名其他成員認為優秀者的成員（反應明顯與眾不同），而他們的回答是：「我是覺得還不錯啦，但是只能提名三人嘛，所以沒有提名他們！」（中階一梯），「…因為我跟 A 有合作過，知道他能力相當好，只是那一天比較安靜，所以提名時提名他比較多…」（中階二梯），「…可能是因為我與 A、B、C 三人比較投契，然後他們也都表現不錯，所以這三個人提名比較多…」（初階二梯）。綜合來說，經過團體互動後，與會個人除了對團體成員形成一組「同儕能力評估」，也可能會因應個人的內在認知決策，而決定是否採行特別的「個人提名策略」。在競爭愈激烈的團體中，鶴立雞群的最優秀者往往因不 - 120 -.

(25) 同儕提名法在團體活動中評鑑初中階主管之應用. 欲得罪人，或覺得其他成員表現並無突出之處，而陷入提名的困境之中，因此有人便採用「一視同仁」的提名策略，平均地提名每一位成員。此外，當競爭激烈時，有時候成員也會採取「刻意忽略」的策略，故意不提名對自己成為「本日之星」的最大威脅者，進而提名表現稍差的同儕成員。個人在「同儕能力評估」與「個人提名策略」的「資料整合」後，最後便進行「個人提名決策」。在決策時，成員往往也會受「月暈效果」、「投契」、「過去經驗」等因素的影響，而在某些較不確定的向度上，較容易傾向提名整體表現較優或對其印象較佳的團體成員。. 討論同儕提名法的信度與效度本研究係針對企業主管人員編製同儕提名評鑑工具，並進一步檢驗其信度與效度。鑑於同儕提名法是以整個團體的提名決策資料來作為預測指標，因此研究者在檢驗甄選工具信度時，必須先確認利用「同儕提名表格」所蒐集到的資料是否一致穩定。首先，必須檢驗個人內的提名決策是否一致；其次，必須確認小組內的提名決策是否一致。如表 1 所示，個人內的同儕提名決策一致性係數在.50 以上者，高達全體樣本 84%（若將誤答者扣除，更將高達 91%）；此外，團體整體的「個人內一致性係數」中位數亦高達 .81；相較於國外學者 Hollander（1956）的.77-.88，由以上資料來分析：參與本活動的受試在進行同儕提名時皆相當認真投入。在檢驗「小組內的提名決策一致性」部分，由表 2 的資料顯示：小組成員間提名一致性的肯德爾和諧係數在.28-.62 之間，皆達.01 以上顯著水準；因此，根據此一結果可以支持各組所形成的提名決策是穩定與一致的。另外，在效度方面，本研究的結果大致與 Hollander（1965）、Mayfeild （1970；1972）、Thornton 與 Shore（1992）等人的研究結果相符。根據多元逐步迴歸分析的結果顯示，在初階主管部分，針對八個不同效標，以「考核表總分」的效度最高（詳見表 5），效度高達.78。在中階主管部分，針對八個不同效標，以部屬滿意度的效度最高（詳見表 6），係數高達.67；此外在初階主管的七個逐步迴歸方程式中，七個方程式的效度係數皆在.53 以上，更 - 121 -.

(26) 應用心理研究第 10 期. 有三個效度係數值在.73 以上，可以解釋的變異量皆高達 51%以上；在中階主管的六個逐步迴歸方程式中，有六個效度係數在.42 以上，更有三個效度值係數在 .56 以上。Thornton 與 Shore（1992）以活動性、說服力、表達能力、曖昧忍受、獨創力、受人喜愛等變項預測其評量中心總分，其效度係數分別為.37、.39、.42、.32、.28 與.18。Mayfeild（1972）的研究在預測一年後的留職率與銷售業績為.29 與.30。Hollander（1965）海軍官校 639 人的研究中，以主管評量、軍校結業成績和三年後軍涯記錄為預測效標，其效度係數分別為.35-.45，.23-.72，.33-.39；而本研究之效度係數絕大多數均較上述為高，由此結果顯示，本研究之同儕提名法的效度相當良好。綜合而言，根據本研究的效度結果資料可以推論：運用同儕提名法來蒐集團體對成員的各向度評價，以形成的評量結果是相當具有預測力的。此一研究結果支持 Mumford（1983）提出「在標準觀察機會下，同儕提名將是最有效的主管人員甄選方法之一」的說法。研究者針對本研究結果之所以具有高效度的現象，認為可能有以下的原因解釋：（1）進行質量並重的工作分析；（2）專家的參與協助；（3）活動設計切合實務需求；（4）預試的實施與修訂；（5）組織的重視與投入。. 同儕提名法的內部機制 Hollander（1965）、Mayfield（1972）、Thornton 與 Shore（1992）等人都提出研究證據說明同儕提名法的評量結果具有良好信度與效度，然而為何同儕提名法具有良好信度與效度？Mumford（1983）認為：同儕提名法具有高信效度與「社會比較歷程」密不可分，因為當成員身處於陌生團體中，會進行社會比較歷程蒐集資料瞭解環境，以便幫助自己在團體中找到清楚定位。雖然 Mumford（1983）提出「社會比較歷程」乃是造成同儕提名法具有良好信度與效度此一現象的重要機制，但是卻一直缺乏進一步的相關研究。本研究的探討焦點之一正是釐清同儕提名法的內部機制，研究者經由「量」（意見調查表）與「質」（追蹤晤談）並重的方式，除了找出影響內部機制的相關因素，並提出一套同儕提名法的內部機制模式來加以解釋。研究者依時間順序將內部機制歷程簡單區分成「互動前」、「互動中」、與「互動後」三個階段，「互動前」階段主要是幫助團體成員建立一 - 122 -.

(27) 同儕提名法在團體活動中評鑑初中階主管之應用. 套「主管人員基模」，讓成員使用共同參照架構（frame）來進行活動；「互動中」階段則是提出經由「社會比較歷程」串連「個人內在歷程」與對團體成員的「同儕能力評量歷程」兩者所產生的訊息之認知模式，來說明個人在同儕活動中的整體認知歷程；「互動後」階段主要是描述成員於填答「同儕提名表格」時的認知機制。此一三階段的同儕提名內部機制模式，說明了同儕提名法之所以具有高信度與效度，乃是經由建立共同評量架構、有效的觀察與分析成員活動表現、與客觀評量所造成的結果。研究者綜合內部機制「量」（意見調查表）與「質」（追蹤晤談）的研究結果，提出之同儕提名內部機制模式，不但與 Mumford 的說法有所呼應，且亦可對同儕提名具有高信效度的現象提出解釋。然而，研究者發現以下幾個因素會影響內部機制的運行，並進一步造成評量結果信度與效度的滑落。茲分述如下： 1.成員間熟悉度在研究者的後續追蹤晤談中，發現「熟悉度」確實在「互動中」與「互動後」階段造成一些影響，然而其影響似乎並不如預期嚴重。因為研究者在活動指導語的說明時，即強調以「活動表現」作為提名的依據，所以對受試而言，熟悉度真正會對提名產生作用的地方，往往是在資訊不足的向度，其中以「價值信念」此一向度特別容易發生。此外，研究者發現一有趣現象，若團體中有兩位成員來自同一部門，則除非同部門同事特別卓越，否則團體中若兩位成員表現相若的情況下，同一部門的人往往為了「避嫌」，常會提名非同一部門的團體成員。因此，熟悉度對同儕提名內部機制的真正影響作用，仍有待後續研究進一步加以深入探討。 2.相關活動經驗研究者發現另一影響同儕提名內部機制的原因是活動者的相關背景經驗。在正試團體中，有兩位同仁曾有參與「評鑑中心」的經驗，他們在追蹤晤談中表示：基於以前經驗，在「互動前」階段的指導語部分，即特別詳細閱讀研究者提供的管理能力向度與定義，並在「互動中」階段，特別以這些能力定義來做為自我激勵的標竿，不但會要求自己在這些方面的行為，並藉由觀察學習活動中他人的優秀行為，進一步改善自己在活動中的表現與評價，且努力爭取發言權與領導者角色。換言之，少數成員基於過去團體經驗，在活動中表現得特別突出，而他們的突出表現有時會帶動團體的競爭， - 123 -.

(28) 應用心理研究第 10 期. 讓團體的互動更趨熱絡，增加評量結果的信度與效度；然而，雖然過去相關的團體經驗造成該成員活動表現較佳，但是當活動表現與既有印象明顯不符合，彼此熟悉的成員寧願相信日常表現而非活動表現，當此一現象產生時，則該團體評量結果的信度與效度將明顯受到影響而下降。此一多個因素互動而影響內部機制的現象，實需更多的相關研究進一步探討，以釐清此一現象。 3.參與動機研究者在晤談過程中發現：參與動機不但會影響「互動中」階段的行為表現，也會影響「互動後」階段的提名策略。當成員愈重視評量結果時，除了會力圖於活動中表現自己的潛力，也較容易於評量時採取有利於自己的提名策略。有鑑於此，如何一方面提高成員活動參與動機，另一方面讓成員不會基於有利於自己之考量而採取不公正的提名策略，也正是後續研究者值得進行研究的議題。. 研究限制本研究之目的，在於發展一套適用於主管人員的同儕提名評量工具；以及探討同儕提名的內部機制歷程。雖然本研究結果之信效度頗佳，可以提供後續各項研究與實務上之參考與應用；然而本研究仍有以下幾項限制。 1.研究工具的適用性（1）適用對象本研究的適用對象以金融服務業之管理人員為佳，且在使用同儕提名的工具時，應考量合作企業的特殊文化、需求等狀況；舉例而言，因為管理的人員對象與數量不同，許多製造業的初階主管實際面臨的管理問題，往往較類似於服務業的中階主管而非初階主管。另外，正如 Muchinsky（1986）所強調「工作分析」對甄選工具的重要性，研究者亦建議在設計相關同儕團體活動與評鑑表格之前，應確實進行工作分析，以有效提升該評鑑工具之信度與效度。（2）適用情境本研究工具有效的前提有二點：a.團體成員願意參與活動並表現出自己的真實能力；b.成員間彼此能夠公正客觀的提名。因此，本研究的適用情境 - 124 -.

(29) 同儕提名法在團體活動中評鑑初中階主管之應用. 最好是成員彼此間的熟悉度低且成員彼此相互競爭，換言之，外部甄選新進主管人員或跨部門的內部晉升的情境，應是同儕提名工具的適用時機。（3）適用目的本工具的最佳使用目的研究者認為應是用於「甄選」，其中更建議用於「甄選流程」中的「篩選」階段。因為同儕提名法的評量結果乃是由團體整體成員互相評量所得到的決策，所以團體的組成對於成員的評量結果有直接的影響。（4）適用管理能力本研究的管理能力與定義完全是根據合作公司的工作分析與組織需求所發展而來，並且擬定能力定義時，儘量採取行為導向的描述，因此後續研究者在引用上，需考量本工具的管理能力向度對該企業組織的適用問題。良好的工作分析與組織分析不但可以顯著地提升評鑑工具整體的「內容效度」與「表面效度」，並能進一步提高與會人員的參與意願，因此進行良好「量」與「質」並重的工作分析實是人力資源管理中極為重要的關鍵所在。 2.活動的類似性與熟悉度本研究中，研究者根據工作分析結果設計了相關的團體活動與同儕表格，最後並建立一套具有良好的信度與效度的甄選工具。但是若成員參加過類似的活動，則可預期的是：（1）研究工具的表面效度將大為降低；（2）熟悉工具的成員在團體中，其活動表現將可能優於團體其他成員。有鑑於此，後續研究發展的另一挑戰將是如何發展題庫，以避免成員因熟悉活動而影響評鑑結果，進而降低本工具的信度與效度。 3.效標與主管人員工作表現的釐清一般而言，尋找能充份代表主管人員工作表現的效標變項，往往是研究主管人員相關人力資源議題時所面臨的最大挑戰。在本研究中，研究者嘗試藉由自編的考核表、過去三年考績資料，與部屬滿意度等指標來反映一位主管人員的真實工作表現。基本上，研究者所採用的效標變項仍以主觀評價為主，研究者建議後續研究者採取客觀量化效標來進行研究。 4.時間與財務成本由於詳盡的工作分析、整體的活動設計與標準化的活動執行是本研究工具效果良好的基本前提；因此，各項成本（包含時間與財務）也是欲推動同儕提名法甄選工具的企業組織必需加以考量的因素，尤其當企業沒有工作分 - 125 -.

(30) 應用心理研究第 10 期. 析資料時，想發展完整的整套甄選系統，往往需從工作分析開始，再進一步發展活動與提名表格，然後實際執行，到最後統計分析與撰寫使用手冊等，整個過程大約需時四個月到半年。然而，相較於評鑑中心而言，本研究工具可算是成本（無論是時間及費用）低、而又簡單有效的甄選方法。. 後續研究建議研究者如欲進行相關同儕提名團體活動類型的甄選工具發展時，最好先進行「量」與「質」並重的詳盡工作分析，以釐清該組織的管理能力架構；然後再針對合作公司的管理能力架構發展適當的團體活動與同儕提名表格。另外，如 Muchinsky（1986）所言，工作分析資料也可以作為選取「效標」的根據；工作分析資料不但可用作擬定「主觀效標」的依據，也可用來釐清主管的「客觀效標變項」。誠如 Hollander（1965）和 Mumford（1983）所指出，同儕提名法具有良好信度與效度的基本條件是：「團體成員之間有充分的互動機會讓彼此能夠互相觀察、分析、與評估」。因此，研究者建議：成員互相觀察、評估的標準「能力定義」應該要具體、容易觀察，以幫助成員容易在活動中使用此一標準來進行觀察、分析、與評估。有鑑於同儕評量內部機制的探討文獻相當稀少，僅散見於 Mumford （1983）、Thornton 與 Shore（1992）等文章中，而瞭解同儕評量的內部決策機制，實是釐清同儕提名法具有高信度與效度現象的重要關鍵。本研究藉由「深入訪談」的方式探討同儕評量的內部機制決策流程，並提出一初步的互動決策模式，嘗試藉由此一模式來解釋同儕提名活動的內部機制歷程。然而此一同儕提名內部機制的解釋模式仍有許多不足之處，例如第一印象，活躍程度等，如何影響評量結果，皆有待後續研究進一步的加以探討、釐清、與驗證。同儕活動設計的重點在於讓成員能根據團體成員的互動，針對各個能力向度，分別提名活動在中各向度表現優良的成員。因此，研究者認為同儕活動的評定向度不但定義要清晰具體，也不宜過多，應在七個以下，否則在團體活動設計上，應相對地加長互動的時間與活動內容，讓團體成員有更多更充分的互動機會。 - 126 -.

(31) 同儕提名法在團體活動中評鑑初中階主管之應用. 尋找適當的效標以量化管理人員的工作表現，一直是發展主管人員甄選工具所面臨的重要挑戰之一。本研究在選取效標時，以「360 度回饋」的概念來量化主管人員實際的工作表現。研究中用來量化主管人員工作表現的績效指標有兩類：（1）「上對下」的績效指標：包含「過去三年考績」和考核表兩種由主管評定；（2）「下對上」的績效指標：主要是利用部屬滿意度來呈現。然而，如何更全面的選取主管人員實際工作表現的效標，實需要後續研究多加以考量。研究者建議在選取主管效標時，除了可利用「主管評量」、「部屬評量」、與「同事評量」等方式來蒐集效標資料外，也可根據「組織分工」的概念，讓下游的客戶（包含內部與外部客戶）來評量上游產品提供者的工作績效，研究者藉由蒐集此種類型的效標資料，將可以更全面地評量主管的真實工作表現。一般而言，效標可以概分成「主觀效標」與「客觀效標」，本研究中，受限於合作企業的資料提供方式，研究者所採用的效標多傾向於「主觀效標」。基於效標資料客觀性的考慮，研究者在自編考核表時，嘗試以提供定錨點的方式來編製主管人員的效標問卷，以蒐集更客觀公正的效標資料。研究者建議後續研究在選取效標時，除了可以考慮蒐集多元的「客觀效標」如目標達成率、業績等；此外，在「主觀效標」方面則可增加測量題數和測量次數（例如間隔半年的再測），以增加效標的區辨性與穩定性，使研究結果不致因效標之測量而受到影響。本研究同儕提名法的發展流程，與一般甄選工具相似，因此可以提供學界相關研究之參考。本研究工具乃針對特定樣本來發展，因此在運用上以針對該合作組織為最佳；但是，有鑑於同一行業間的組織分工與主管人員的職責有相當高的重疊性，並且主管管理能力有相當大的共通性，所以應可以在適當修改活動內容、評鑑向度後，有效擴大本同儕提名工具的適用範圍。. 實務應用本研究結果發現「壓力忍受」與「問題解決」是對初階主管最有影響的兩項能力，在各個迴歸方程式中，「優於部門同仁比例」、「晉升潛力」、與部屬滿意度等三個迴歸方程式中均包含「問題解決」能力；而「晉升潛力」、領導能力、與「忠誠度」則包含「壓力忍受」能力。由於「壓力忍 - 127 -.

(32) 應用心理研究第 10 期. 受」與「問題解決」對初階主管工作表現有重要的影響，因此，研究者建議在外部招募與內部晉升初階主管時，應特別著重這兩方面的能力。其次，「主動學習」、「工作熱忱與效能」、與「人際影響」也是需要加以考量的重要因素。本研究結果顯示：「計畫與組織」是對中階主管工作表現最具有影響的因素，在迴歸方程式中，「考核表總分」、「晉升潛力」、與領導能力等三個方程式均包含「計畫與組織」能力。此外，「人際影響」能力也出現在「優於部門同仁比例」、和部屬滿意度等兩個迴歸方程式中，對中階主管也有相當的影響，因此研究者建議企業在內部晉升或外部增員中階主管時，應特別著重「計畫與組織」與「人際影響」等兩項能力。雖然本研究兩階層主管的七個向度皆能有效預測主管人員的工作表現，但是企業可以視甄選的目的與需要，在選定所需要的效標之後，挑選最佳的迴歸方程式，以找出最具有預測力的向度組合，如此一來就可以運用最少的向度，達到最佳的預測效果，進而為組織挑選出最適合的主管人員。本研究發展的評鑑工具具有良好的信度與效度，因此研究者建議此一工具應搭配各公司既有的甄選工具與現行的招募甄選流程，經由完善的規劃，使本評鑑工具花揮其最大的效益。基本上，同儕提名法乃是一套適用於篩選的有效工具，不但可適用於外部甄選，更可經由與企業組織的訓練課程結合，做為組織內部晉升與接班人計畫等的重要參考。雖然本研究的主要目的是發展甄選主管的同儕提名工具，然而在發展、執行此一甄選系統時，可以利用工作分析、實施活動、與統計分析資料等進一步發展相關的人力資源管理活動。茲分述如下： 1.發展主管考核工具在確立管理能力定義後，除了發展甄選工具外，更可以進一步將此一組「主管人員能力定義」用於發展主管的「績效考核表」；而此一考核表不僅可以作為本研究的效標，也可提供該合作公司未來主管管理才能發展的重要參考。 2.甄選評量員如何甄選、訓練「評量員」一直是「評鑑中心」系統所面臨的難題之一，然而經由使用同儕提名法的方式，我們不但可以知道那些是優秀的評量. - 128 -.