特徵材料對「內隱聯結測驗」的影響:以內隱自尊的效度檢驗為例

(1)

行政院國家科學委員會專題研究計畫成果報告

計畫類別：個別型計畫

計畫編號： NSC92-2413-H-011-002-

執行期間： 92 年 08 月 01 日至 94 年 01 月 31 日執行單位：國立臺灣科技大學通識學科

計畫主持人：黃金蘭

報告類型：精簡報告

處理方式：本計畫可公開查詢

中華民國 94 年 4 月 29 日

(2)

行政院國家科學委員會專題研究計畫成果報告

特徵材料對內隱連結測驗的影響：以內隱自尊的效度檢驗為例

The effect of material attribute on implicit association test

計畫編號：NSC 92-2413-H-002-028 執行期限：92 年 8 月 1 日至 94 年 1 月 31 日

主持人：黃金蘭台灣科技大學通識學科

中文摘要

利用內隱聯結測驗（Implicit Association Test，簡稱 IAT，Greenwald, McGhee, & Schwartz, 1998）測量態度、信念與感受，是近年來相當熱門的研究方法之一。整體而言，IAT 是一個相當具有彈性的實驗程序，可依照不同的研究主題更換實驗材料，而且所獲致效果量頗大。然而，不同材料是否會影響 IAT 的效果量？

IAT 分數能否作為內隱態度之指標？持正反意見之研究散見於文獻中。欲將 IAT 作為內隱態度的個別差異測量指標，研究者有必要對 IAT 分數的意涵進行效度的檢驗。本研究以自尊為主題，針對不同材料所獲致 IAT 指標所代表的意涵，亦即其心理實質性，進行系統性探究。實驗一對 IAT 指標建立效標效度檢驗。實驗二將比較以 IAT 所得的內隱自尊指標與自我的各項構念間（如自我清晰度、自我意識、自我效能、依戀型態等）的關係。實驗三在個別受試者的層次建立屬於受試者所特有的正負向特質作為材料進行 IAT。實驗結果發現雖然材料特性對 IAT 的差異分數不會產生顯著影響，對於 D 值則有影響，極端組顯著高於居中組（實驗二）；此差異在實驗一中則僅在特質詞的情況下發現。但是橫跨三個實驗，不論使用何種材料都未能得到與效標及其他自我構念間的穩定相關。此結果顯示，IAT 作為內隱自尊的個別差異測量的工具，其有效性仍值得商榷。

關鍵詞：內隱連結測驗、內隱自尊

Abstract

It has becoming more and more popular using the IAT (Implicit Association Test, Greenwald, MCGhee, & Schwartz, 1998) to measure attitudes, believes, and feelings. IAT is a very flexible experimental procedure. It could study various psychological subjects simply by changing the experimental stimuli.

Though a simple procedure but yet

amazingly produces significant effect sizes.

However, could IAT be really a valid index of implicit attitude? The evidence has been controversial. Thus, the current study aims at providing validity examinations for the IAT as a measure for implicit attitude. The current research included three experiments. The first experiment intended to establish its predictive validity using various

psychologically adjustment indices as criteria.

The second experiment compared implicit self-esteem index with other popular indices of self concepts, such as self-clarity,

self-consciousness, self-efficacy, attachment style etc. Experiment three further modified the IAT procedure to include individual level personality attributes as experiment stimuli.

The results showed that the experimental stimuli did not have significant impact on the IAT difference score. The effect was shown on the D value where the extreme group scored significantly higher than the middle group. However, this effect could only be observed using attributes as stimuli in the experiment 1. Across all three experiments in the current study, regardless of material used, IAT neither correlated reliably with any

(3)

validity criterion, nor with the other indices of self concept. These results raised doubts about using IAT as a valid measure of the implicit self-esteem.

Keywords: implicit self-esteem, implicit association test

研究背景與目的

心理學對於態度或信念的測量大多透過填答研究者所編制之問卷，所得的測驗分數作為態度或信念指標。然而自評式測驗常被批評會受到社會讚許（social desirability）的污染，受試者填答的選項反映了社會價值而非純粹的內在真實狀態。

而且，影響人類的行為與判斷的因素不一定都能夠為個體所覺察並透過自我報告的方式測得，有些是透過認知的自動式激發運作所影響的（Greenwald & Banaji, 1995）。因此，一些態度信念的間接測量應運而生。一九九八年，Greenwald、

McGhee 與 Schwartz 發展「內隱聯結測驗」

（Implicit Association Test，簡稱 IAT）作為內隱認知的個別差異測量之工具，近年來被許多研究者所採用。Greenwald 及其同僚（Greenwald et al, 1998；Greenwald &

Nosek, 2001）假設，在認知表徵系統中倘若兩個概念之間有高聯結關係，那麼如果作業安排使得此兩概念共有相同的反應，

將會比兩個低聯結的概念作相同反應來得容易。IAT 就是以此一假設為基本理念所設計出的實驗程序。他們認為 IAT 提供了一個以測量概念之間的聯結強度來間接測量態度或信念的方法。IAT 最大的優點在於施測容易而且其效果量（effect size）相當大（Nosek, Banaji, & Greenwald,

2002a），極適合作為個別差異的測量工具，相對的，使用促發作業有時則會得到較小而不穩定的效果（參照余思賢，

2002）。

IAT 技術在近五年被廣泛應用在各類的態度、信念、刻板印象等的間接測量上，

例如內隱自尊（Greenwald & Farnham,

2000；Kitayama & Uchida, 2003）、宗教偏見（Rudman,et al., 1999）、年紀偏見

（Rudman et al, 1999；Nosek, Banaji, &

Greenwald, 2002a ）及學科的性別偏見

（Nosek, Banaji, & Greenwald, 2002a, 2002b）。也有些研究者將 IAT 應用在研究社會焦慮、恐懼症或者是憂鬱症患者的適應上（de Jong, 2002; de Jong, Pasman, Kindt,

& van den Hout, 2001; Germa, Segal, Sagrati,

& Kennedy, 2001）。

在對於 IAT 的廣泛應用風潮中，也有一些學者對於 IAT 是否真能測得個體的內隱態度（或信念）提出質疑。這些論點包括：IAT 並不單純測量態度，而是由刺激的熟悉性等多種因素所決定的（Brendl, Markman, & Messner, 2001）；即使對於沒有先前的偏見經驗，也可以測得 IAT 效應

（Ashburn-Nardo, voils, & Monteith, 2001）；IAT 測得的是環境所提供的聯結經驗而非個體所認可（endorse）的態度，

而且 IAT 分數與後續的選擇行為不具關連性（Karpinski & Hilton, 2001）。

特徵材料的影響

Greenwald 與 Farnham（2000）分別採用情感詞或特質形容詞做為材料，發現測量內隱自尊的 IAT 效果量不受刺激材料特性的影響。DeHouwer（2001）曾指出 IAT 決定於目標概念的正負性，個別正例材料的使用目的在於形成所屬類別的整體概念，個別材料本身的正負向特性並不影響 IAT 量。Fazio 與 Olson（2003）也認為雖然同樣是隱式測量，但 IAT 與促發

（priming）的運作方式不同，前者是在類別層次的測量而後者則是作用在個別項目刺激上。然而，Kitayama 與 Uchida（2003）

發現使用 IAT 測量日本人的隱式自尊時，

採用自己／朋友或者是自己／他人作為分類之對比概念所得到的隱式自尊有顯著的差異。Rudman、Greewald、Mellott 與 Schwrtz

（1999）使用不同類型的正負向詞作為特徵概念的例子探討年紀的偏見，其中一類是沿用 Greenwald 等人（1998）所使用的一般正負向評價詞（如成功，毒藥等），

(4)

另一類則是與年紀刻板印象相關的特質形容詞，其中包括與年輕相關的特質形容詞

（如敏捷，大膽等）以及與老年相關的特質形容詞（如緩慢，健忘等）。他們發現兩類刺激得到的 IAT 平均值分別為 233 及 510，雖然兩者都得到穩定的偏好年輕的刻板印象，但其中又以與年紀有關的特質形容詞組所得到的 IAT 效應更大，兩者在效果量上幾乎有兩倍的差異。Steffens 與 Plewe(2001)則發現對女性受試者而言，如果正向特質概念的正例採用符合典型女性特質的刺激，則「女性」與「正向（或愉悅）」的聯結較容易。上述研究結果說明了個別材料特性會影響 IAT。究竟刺激材料對於 IAT 的影響是什麼？筆者有必要做進一步的澄清。

在以中文詞為材料的 IAT 研究中，余思賢（2002）使用一般的正負向評價詞（如笑容、圓滿、寂寞、生病等）為材料測量隱式自尊，結果發現台灣大學生亦有顯著正向的內隱自尊，但在分數的分配上得到正偏的分配。然而，陳學志（2003）改用極端的正負向評價詞（如真愛，甜蜜，強暴，性病，腫瘤等）作為材料則得到負偏分配的正向內隱自尊。由上述分析也可發現使用不同的刺激材料對於 IAT 效應的測量是有相當大的影響。我們認為陳學志

（2003）的研究所發現極端的評價詞所獲得較大的效果量，極可能是由於負向詞材料的特性所致，極端的負性形容詞如屍體、性病、蛔蟲等，相對更不容易用來做為與自我相關的描述或感受，因此產生自我與負向評價概念聯結的困難（如我—強暴），而非自我與正向聯結強度高所致。

倘若果真是此因素的影響，那麼以極端評價詞作為的材料，既使得到較大的 IAT 效果量，是否適宜將之作為內隱自尊的指標？仍值得深思。過去研究多在探討不同刺激材料是否會影響 IAT 的測量值大小？

然而，IAT 絕對量的大小並不一定能代表作為內隱測量的效度高低之指標。換言之，欲將 IAT 作為內隱態度測量的指標，

筆者認為更重要的是者有必要對不同材料所得之 IAT 分數的意涵進行效度的檢驗。

本研究以自尊為主題，針對不同材料所獲致的 IAT 分數所代表的意涵，亦即其心理實質性，進行系統性探究。假若 IAT 真的能測量內隱的自尊，它應該能夠預測心理健康與身心適應。據此推論，實驗一將對針對 IAT 分數建立效標效度檢驗。實驗二將比較以 IAT 所得的內隱自尊指標與自我的各項構念間（如自我清晰度、自我意識、自我效能、依戀型態等）的關係。

在自尊的測量上，特徵概念的材料若選擇評價性的特質形容詞作為材料，應該更容易觀察到自我與特質形容詞的正負性之聯結強度。過去 IAT 研究多在整個實驗層次建立一套刺激材料，實驗三將在個別受試者的層次建立屬於受試者所特有的正負向特質作為材料進行。如此應能更貼切地測量到個體對自我的整體感受。

實驗一

本實驗操弄正負向特徵詞的種類及強度探討其對內隱自尊 IAT 測量與其效標關連度之影響。本實驗操弄刺激詞類別，分為情感詞（如腫瘤，開心等）與評價詞（如樂觀，虛偽等），以及評價詞強度，分成極端組（如正向：真愛、甜蜜､舒服等，

負向：強暴、性病、腫瘤等）與居中組（如正向：放心、敬重、尊貴等，負向：垃圾、

畏懼、疤痕等），前者採受試者間操弄，

後者則為受試者內變項。除了特徵詞材料不同之外，其餘的實驗方法盡量與

Greenwald 等人（1998）及陳學志（2003）

所使用的方法相同。此外，受試者在完成 IAT 之外，均需進行外顯自尊及一些預測效標的填答。

研究方法：

參與者：本實驗共採用 80 名台灣科技大學學生參與實驗。他們都是修習「心理與人生」（相當於普通心理學）課程的學生，參與實驗可獲得加分。其中有一名參與者的資料檔毀損，一名參與者的平均反應時間異常的長，不納入分析。此外，兩組 IAT 測量中至少有一次的錯誤率高於 20％，不列入分析。依此原則處理，兩組

(5)

IAT 各有 73 名參與者的資料列入正式分析。

實驗材料：

內隱自尊測量（IAT）：在目標概念正例之刺激部份，將由每位實驗參與者進入實驗室後填寫個人資料取得，其中包括：姓名、性別、系級、生日、星座等 10 個項目。另外選取並製作一組假設性的無關他人的相對應資料。特徵概念正例之刺激部份，則以塗沅澂（2002）所建立之正負向詞彙常模為依據，分別就評價詞與情感詞，選取其中正向評量值最高及負向評量值最低的詞彙各 10 個做為極端組之刺激，正、負向評量值落在中間的詞彙作為居中組之材料。除了上述原則之外，刺激的選取亦考量語意間盡量不重疊。IAT 的進行使用實驗軟體 Superlab 撰寫實驗程式，該軟體可以達到 1 毫秒的精確計時，

相當適用於測量反應時間之實驗。

外顯自尊測量：此部份的自尊測量包括 Rosenberg 之自尊量表，單題的自我感受溫度計（feeling thermometer）測量，受試者需在一標定為 0 到 99 垂直線上標出覺得自己屬於一個溫暖的人的程度，以及五題的自我語意區辨（semantic differential），

分別針對 5 個向度（包括美／醜，好／壞，

愉快／不愉快，誠實／不誠實以及棒／糟糕）進行符合程度的 7 點量表評量。除此之外，還加上測量作答偏差（或社會讚許）

的 BIDR（the balanced index of desirable responding）量表。

效標量表：此部份的量表將選取測量心理健康與身心適應之量表。其中包括正負向情感（PANAS）、柯式性格量表中的焦慮與抑鬱分量表、生活品質問卷以及 SCL90R 等。

實驗程序：

本實驗採個別施測方式進行。實驗參與者進入實驗室後，被要求填寫一份個人基本資料。實驗者在其中選取相關的訊息作為自我相關概念之正例材料，並將之輸入 IAT 之電腦程式中。資料輸入完後，實驗者即向參與者說明 IAT 的施測方式及作業要求。確定其瞭解 IAT 的程序之後，即

進行內隱自尊之 IAT 測量。

本實驗使用之 IAT 採取七個階段的方式進行。第一階段為目標概念區辨。請受試者針對螢幕呈現的每一個刺激詞判斷該詞是與自我相關或無關，並以不同手別按鍵反應（例如判斷為自我相關則以右手按鍵，自我無關則為左手反應），如此反覆進行 20 個嘗試。緊接著進入第二階段的聯結特徵的正負性概念區辨。針對每一個刺激詞的語意代表或引發正向感受或負向感受進行分類，並以不同手別按鍵判斷，此階段亦包含 20 個嘗試。第三階段則為關鍵性的初始合併作業的練習階段，刺激詞包含前兩階段出現的自我相關或無關的基本資料及正負向詞各半，受試者需對每一個呈現的刺激進行區辨分類。區辨及按鍵原則與前兩個階段所習得的相同，本階段共有 20 個嘗試。第四階段則與第三階段相同，材料則包含第一與第二階段的所有材料，本階段共有 40 個嘗試，其反應時間將列入正式分析。接著則進入第五階段的反轉區辨階段，此階段呈現的刺激與第二階段相同，受試者亦需對刺激形容詞作正負向判斷，差別在於按鍵手別的反轉，如此亦反覆進行 20 個嘗試。之後進入第六階段的反轉合併作業練習，依據第一階段與第四階段的分類與按鍵原則，對呈現的每一個刺激進行區辨。此階段包括 20 個嘗試。

最後則是與第六階段相同的正式反轉合併作業，本階段共有 40 個嘗試，其反應時間將列入正式分析。

受試者分就極端組與居中組進行兩次的 IAT，先後順序由受試者間採取對抗平衡。兩個 IAT 進行完後，則請受試者填寫外顯自尊（除 Rosenberg 自尊測量受試者在課堂上已填寫）。與其他效標量表的問卷。

填寫完後，整個實驗即結束。

結果

IAT 分數部分。首先，就 IAT 指標部分，分別依照 Greenwald 等人（1998）的算則（本研究經描述統計資料發現並無明顯的偏態分佈，故不做 log 轉換，而以原始分數為指標，以下簡稱 IAT4），以及

(6)

Greenwald 等人（2003）發展的新算則（以下簡稱 D）計算。表一呈現各實驗所得的 IAT 效果量值。其次，分別將此二分數為依變項，進行刺激材料型態與正負向強度的二因子變異數分析，其中前者為受試者間變項，後者為受試者內變項。結果發現，

以 IAT4 為指標，並沒有得到任何顯著性效果。但以 D 為指標，則得到顯著的二階交互作用效果，F(1,70) = 4.735, p < .05。進一步進行單純單純主要效果得到，對情感詞而言，採用極端或居中強度的詞，並無顯著差異；在特質詞方面，則得到極端詞的 D 指標 0.77 顯著大於在居中詞的 0.60，

F(1,70) = 6.898, p < .05。

表一：實驗一與實驗二在各情況所得的 IAT 效果量值

IAT4 D

極端居中極端居中實驗一

情感詞 177.2 195.3 .607 .612 特質詞 207.3 217.6 .773 .601 實驗二

情感詞 355.7 292.2 .750 .657 特質詞 283.7 274.0 .652 .589

與效標之相關。其次，分別就情感詞與特質詞的極端與居中詞所得之 D 與 IAT4 指標與效標變項進行簡單相關分析。其中效標變項包括經由正負向情感（PANAS）、

柯式性格量表中的焦慮與抑鬱分量表、生活品質問卷以及 SCL90R 等測驗所計算出之分數。結果發現除了零星的顯著相關之外，並沒有得到一致性型態的相關組型。

基於考慮α膨脹問題，本研究並不對該等零星相關做進一步解釋。相對的外顯自尊測量則與效標變項得到穩定良好的顯著相關（.24 到.73）。

實驗二

以 IAT 測量自尊是建立在「連結」的假設之上，也就是計算個體將自己與正向的特質或形容詞連結的相對容易程度。就這樣的程序來看，內隱自尊所量測到自尊

應當屬於個體對於自己的整體感受，並非侷限於特定或單一領域的自我評價。內隱自尊與眾多的自我相關概念之間的關連性，目前幾乎還沒有具體的討論與驗證，

也因此對於內隱自尊的特性依舊無法獲得適當的釐清！我們以為，對於內隱自尊此一概念，在構念上也應該進行與相關自我概念之間的一致或差異性的實徵研究，以對其特性作進一步的釐清。

實驗二針對幾個目前在文獻中對於自我的結構的幾個較為主要的指標進行測量，例如，自我複雜度（Self-complexity；

Linville，1985，1987）、自我區隔度

（self-compartamentalization；Showers，

1992）、自我清晰度（self-clarity；Campbell，

1990）、以及自我意識（self-consciousness；

Fenigstein，Scheier，及 Buss，1975）等，

並且探討它們與內隱自尊的關連。

研究方法：

參與者：本實驗共採用 64 名台灣科技大學學生參與實驗。他們都是修習「心理與人生」（相當於普通心理學）課程的學生，參與實驗可獲得新台幣 100 元作為酬賞。兩組 IAT 測量中至少有一次的錯誤率高於 20％，不列入分析。依此原則處理，

極端組 IAT 有 61 名參與者的資料，居中組 IAT 有 59 名參與者的資料列入正式分析。

實驗材料：本實驗所採用的實驗材料大致與實驗一的相同。唯一的差別在於效標量表的種類。本實驗所使用的量表還包括：自我效能、自我意識、自我清晰度。

自我複雜度與自我區隔度的測量則依照 Linville（1985，1987）採用的卡片分類方式進行。

其餘外顯自尊的測量以及實驗程序，

均與實驗一相同。唯一要特別說明的是，

在 IAT 的測量中，實驗一採用 Greenwald 等人（1998）的方式，如果受測者按錯鍵，

刺激材料會繼續出現在螢幕上，直到按下正確反應鍵為止。由於實驗一並未得到穩定的效標相關，且所得到 IAT 差異分數偏低。研究者懷疑上述的安排，可能會影響到實驗的流暢性，因此，本實驗改採不予反應回饋的方式。不論是否為正確反應，

(7)

均直接進入下一個嘗試。

結果：

IAT 指標部分。分別將 IAT4 與 D 指標為依變項，進行刺激材料型態與正負向強度的二因子變異數分析，其中前者為受試者間變項，後者為受試者內變項。結果發現，以 IAT4 為指標，並沒有得到任何顯著性效果。但以 D 為指標，則得到臨界顯著的強度效果，F(1,55) = 3.73, p = .06。極端組的 D 指標高於居中組。

與效標之相關。分別就情感詞與特質詞的極端與居中詞所得之 D 與 IAT4 指標與效標變項進行簡單相關分析。其中效標變項包括自我效能、自我意識、自我清晰度。自我複雜度與自我區隔度等分數。結果發現除了零星的顯著相關之外，並沒有得到一致性型態的相關組型。基於考慮α 膨脹問題，本研究並不對該等零星相關做進一步解釋。

實驗三

過去在 IAT 研究多在整個實驗層次上建立一組特徵概念之正例作為材料，所有受試者均採用相同的刺激材料。然而，在內隱自尊的測量上，黃金蘭（2003）發現刺激材料的類型對於內隱及外顯自尊的相關組型有相當大的影響。相關文獻也發現特徵概念的正例若與受試者符合度增加，

則可加快反應時間（Steffens & Plewe, 2001）。據此，我們推論使用特質形容詞作為特徵概念的正例應該更能貼切地測量到個體對自我的整體感受。然而，如果仿照過去 IAT 在實驗層次上尋找刺激材料，

我們很難找到一組大家所共有的特質作為材料。因此本研究以特質形容詞作為特徵概念的正例，而且在個別受試者層次上建立特徵概念的正例材料。

研究方法：

參與者：本實驗共採用 55 名台灣科技大學學生參與實驗。他們均是透過網路徵求的自願參與者，他們參與實驗可獲得新台幣 100 元作為酬賞。 IAT 測量錯誤率高於 20％，不列入分析。依此原則處理後，

共有 54 名參與者的資料列入正式分析。

實驗材料：本實驗所採用的實驗材料大致與實驗二的相同。唯一的差別在於特徵概念正例的選取。本實驗是請受試者針對實驗者所提供的特質評價詞表（使用塗沅澂，2002 所建立之正負向詞詞庫），分別選取符合自己的正、負向特質各 10 個作為特徵材料。

在本實驗中，每位受試者僅需做一次 IAT，其餘實驗程序與實驗二相同，外顯自尊與效標量表的測量，則與實驗一相同。

結果：

IAT 指標部分。本實驗所得到 IAT4 與 D 指標分別為 312.8 與 0.79

與效標之相關。分別 D 與 IAT4 指標與效標變項進行簡單相關分析。其中效標變項包括經由正負向情感（PANAS）、柯式性格量表中的焦慮與抑鬱分量表、生活品質問卷以及 SCL90R 等測驗所計算出之分數。結果並無顯著相關。相對的外顯自尊測量則與效標變項得到穩定良好的顯著相關（.24 到.65）。

綜合討論

本研究透過三個實驗探討 IAT 作為內隱態度測量的適用性，檢驗其效度。結果發現雖然材料特性對 IAT 的差異分數不會產生顯著影響，對於 D 值則有影響，極端組顯著高於居中組（實驗二）；此差異在實驗一中則僅在特質詞的情況下發現。此結果顯示 D 值是一較為敏感的指標。但是橫跨三個實驗，不論使用何種材料都未能得到與效標及其他自我構念間的穩定相關。此結果顯示，IAT 作為內隱自尊的個別差異測量的工具，其有效性仍值得商榷。然而，黃金蘭（2003）使用台灣大學學生作為研究對象，卻發現以居中組的情感詞做為材料所得到 IAT 差異分數，可以有效預測幸福感，柯氏性格量表憂鬱分量表，SCL90R 綜合指標。比較兩研究之差異包括下列幾點（1）本研究使用台灣科技大學學生作為研究對象，（2）本研究在材料操弄上分類原則雖然與黃金蘭（2003）的

(8)

相同，但在材料字詞上卻略有不同（在總計 40 詞中，有 7 個詞不同（3）本研究採用七階段的 IAT 程序，黃金蘭（2003）則省卻第三與第六的合併練習階段。究竟是何者因素造成兩研究之差異？抑或是 IAT 本身就是一個不穩定的測量，則有待進一步澄清。

參考文獻

余思賢（2002）。內隱與外顯自尊對自尊需求的影響。私立中原大學心理學研究所碩士論文。

陳學志（2003）。以內隱聯結測驗

（IAT）測量國人自尊的可行性研究。投稿中。

塗沅澂（2002）。個體對同性戀所持態度之外顯測量與內隱測量比較。私立輔仁大學心理學研究所碩士論文。

黃金蘭（2003）。特質詞種類對內隱連結測量的影響。國科會博士後研究工作報告。

Ashburn-Nardo, L., Voils, C. I., &

Monteith, M. J. (2001). Implicit associations as the seeds of intergroup bias: How easily do they take root? Journal of Personality and Social Psychology, 81, 789-799.

Brendl, C. M., Markman, A. B., &

Messner, C. (2001). How do indirect

measures of evaluation work? Evaluating the inference of prejudice in the implicit

association test. Journal of Personality and Social Psychology, 81, 760-773.

Campbell, J. D. (1990). Self-esteem and clarity of the self-concept. Journal of

Personality and Social Psychology, 59, 538-549.

De Jong, P. J. (2002). Implicit self-esteem and social anxiety: differential self-favouring effects in high and low

anxious individuals. Behaviour Research and Therapy, 40, 501-508.

De Jong, P. J., Pasman, W., Kindt, M.,

& van den Hour, M. A. (2001). A reaction time paradigm to assess (implicit) complaint- specific dysfunctional beliefs. Behaviour Research and Therapy, 39, 101-113.

De Houwer (2001). A structural and process analysis of the Implicit Association Test. Journal of Experimental Social Psychology, 37, 443-451.

Fazio, R. H., & Olson, M. A. (2003).

Implicit measures in social cognition research: Their meaning and use. Annual Review of Psychology, 54, 297-327.

Fenigstein, A., Scheier, M. F., & Buss, A. H. (1975). Public and private

self-consciousness: Assessment and theory.

Journal of Consulting and Clinical Psychology, 43, 522-527.

Gemar, M. C., Segal, Z. V., Sagrati, S.,

& Kennedy, S. J. (2001). Mood-induced changes on the Implicit Association Test in recovered depressed patients. Journal of Abnormal Psychology, 110, 282-289.

Greenwald, A. G., & Banaji, M. R.

(1995). Implicit social cognition: Attitudes, self-esteem, and stereotype. Journal of Personality and Social Psychology, 102, 4-27.

Greenwald, A. G., & Farnham, S. D.

(2000). Using the implicit association test to measure self-esteem and self-concept.

Journal of Personality and Social Psychology, 79, 1022-1038.

Greenwald, A. G.., & Nosek, B. A.

(2001). Health of the implicit association test at age 3. Zeitschrift fur Experimentelle Psychologie, 48, 85-93.

Greenwald, A. G., McGhee, D. E., &

Schwartz, J. L. K (1998). Measuring

individual differences in implicit cognition:

the implicit association test. Journal of Personality and Social Psychology. 74, 1464-1480.

Greenwald, A. G., Nosek, B. A., &

Banaji, M. R. (2003). Understanding and using the implicit association test: 1. An improved scoring algorithm. Draft

Karpinski, A., & Hilton, J. L. (2001).

Attitudes and the implicit association test.

Journal of Personality and Social Psychology, 81, 774-788.

Kitayama, S., & Uchida, Y. (2003).

Explicit self-criticism and implicit

self-regard: Evaluating self and friend in two culture. Journal of Experimental Social

(9)

Psychology,39,476-482.

Linville, P. W. (1985). Self-complexity and affective extremity: Don’t put all of your eggs in one cognitive basket. Social

Cognition, 3, 94-120.

Linville, P. W. (1987). Self-complexity as a cognitive buffer against stress-related illness and depression. Jounal of Personality and Social Psychology, 52, 663-676.

Nosek, B. A., Banaji, M. R., &

Greenwald, A. G. (2002a). Harvesting implicit group attitudes and beliefs from a demonstration web site. Group Dynamics:

Theory, Research, and Practice, 6, 101-115.

Nosek, B. A., Banaji, M. R., &

Greenwald, A. G. (2002b). Math = male, me

= female, therefore math≠me. Journal of Personality and Social Psychology, 83, 44-59.

Rudman, L. A., Greenwald, A. G.., Mellott, D. S., & Schwartz, J. L. K. (1999).

Measuring the automatic components of prejudice: flexibility and generality of the implicit association test. Social Cognition, 17, 437-465.

Steffens, M. C., & Plewe, I. (2001) Items’ cross-category associations as a confounding factor in the Implicit Association Test. Zeitschrift fur

Experimentelle Psycholgie,48, 123-134.