訪員訓練計畫與督導制度在調查研究中的評估與應用

行政院國家科學委員會專題研究計畫 成果報告

訪員訓練計畫與督導制度在調查研究中的評估與應用

研究成果報告(精簡版)

計 畫 類 別 ： 個別型 計 畫 編 號 ： NSC 94-2414-H-004-010- 執 行 期 間 ： 94 年 08 月 01 日至 96 年 07 月 31 日 執 行 單 位 ： 國立政治大學選舉研究中心 計 畫 主 持 人 ： 劉義周 計畫參與人員： 博士班研究生-兼任助理：蕭怡靖 處 理 方 式 ： 本計畫可公開查詢

中 華 民 國 96 年 11 月 05 日

行政院國家科學委員會專題研究計畫

□

_{□期中進度報告}

ˇ

成 果 報 告

訪員訓練計畫與督導制度在調查研究中的評估與應用

計畫類別： 個別型

計畫編號： NSC 94-2414-H-004 -010

執行期間： 94 年 08 月 01 日至 96 年 07 月 31 日

計畫主持人： 劉義周

共同主持人： 陳陸輝

計畫參與人員： 鄭夙芬

成果報告類型(依經費核定清單規定繳交)：ˇ精簡報告

處理方式：提供公開查詢

執行單位：政治大學選舉研究中心

中 華 民 國 96 年 08 月 28 日

訪員訓練計畫與督導制度在調查研究中的評估與應用

中文摘要

訪員是調查訪問中蒐集資料工作的中心角色，國內外之研究結果都顯示訪員 效應會影響研究的外在效度（樣本代表性）及內在效度（資料正確性）。訪員效 應的產生，與訪員本身的人口學變項特質、訪員的態度、訪員的能力及訪員的口 語特質有關。訪員的人口學特質及口語特質雖然無法更改，但部份口語特質卻是 可以經由訓練而得到改善，或者經由對訪員與受訪者人口學特質上的配對 （matching）而減低人口學特質的影響程度。至於訪員的態度及能力則可以透過 訓練課程而獲得或改善，而督導制度的運作則可確保訪員正確執行標準化調查訪 問原則；因此，為了減少訪員所造成的誤差，學者們普遍建議應由訪員訓練及督 導制度著手。 對於訪員訓練及督導制度，相關的研究集中在於訪員訓練課程的內容應包含 哪些項目及其成效、訪員訓練時間長短對訓練成效的影響、督導制度建立及運作 的方法，然而對於所建立之訪員訓練課程及督導制度的運作，是否達到了預期的 成效，卻甚少見到相關的研究。本研究擬以焦點團體討論的方法，由實際參與訪 問工作的訪員及督導們的角度，對訓練課程及督導制度作評估，並提出修正之建 議。我們希望透過此一研究，能夠確實瞭解訪員在訪問過程中遭遇的困難以及對 訓練課程的需求，並檢討督導制度實施方式及成效，以建立更完善的訪員訓練課 程及督導制度，從而提昇調查訪問的品質。 關鍵詞：調查訪問、訪員訓練、訪員效應、督導制度、焦點團體

Abstract

Interviewer plays the most important role in the data collection procedure.

Researches indicate that interview effect affects external validity and internal validity of survey research. The cause of interviewer effect might relative to interviewer’s demographic characteristics, vocal characteristics, interviewer’s attitude and

interviewer’s skill and ability. Most of the interviewer’s demographic characteristics and vocal characteristics are inherent, but it is possible to improve interviewer’s speaking speed, intonation pattern, accent, competent and confident by training, or reduce the effect of demographic characteristics by matching. The method of improving interviewer’s attitude, skill and ability is interviewer training, whereas supervision is to make sure the interviewers follow the rule of standardized survey interview. Therefore for the person who concerned with reducing interviewer- related error, the place to focus is on interviewer training and supervision.

This research will evaluate interviewer training program and supervision by

conducting focus group. Participants will be interviewer and supervisors. Our research will be focus on:

1. collecting information of the difficulties which interviewer encounter, 2. knowing the merit and weakness of training program

3. knowing the merit and weakness of interviewer supervisory system, 4. receiving suggestions from interviewers and supervisors

Our final goal is to establish more effective interviewer-training program and supervisory system, thus we are able to assure the survey quality by reducing interviewer-related error.

Keywords：survey research, interviewer training, interviewer effect, supervision,

「

訪員訓練計畫與督導制度在調查研究中的評估與應用

」

報告內容

前言

調查研究中，不論採用何種訪問方式，資料品質與調查執行過程有相當密切 的關係，唯有正確的執行程序與方法，才能儘量預防可能產生的誤差，從而產生 品質良好的資料。近來學者們強調以全面性品質管理來保障調查資料的品質 （Lyberg et al. 1997）。對訪員執行訪問過程的重視，即是對資料品質的保證。訪 員在執行訪問時可能的誤差來源，不僅是來自訪員本身的問題，還與執行程序中 訪員訓練的成效、督導制度的實施、問卷內容的設計、行政管理的措施等有所關 連，而訪員的錯誤通常都是由不標準化的訪問程序而來。

研究目的

本計畫以焦點團體研究法，訪問實際執行訪問工作的訪員，以他們親身的經 驗，評估訪員訓練課程、督導制度、問卷內容、行政措施的實施成效及提供建議， 同時也藉此發掘執行過程中可能造成訪員執行訪問時偏差產生的原因或情況等 相關問題，並提供有效可行之解決方法，做為改進執行程序之依據。

文獻探討

從國內外的研究中發現，在調查研究中對訪問結果的影響來自訪員的，可能 包括：訪員本身的人口學背景，如性別、種族、教育程度……等（Schuman & Converse, 1971; Fowler & Mangione, 1990; Kane & Maculay, 1993）;訪員的態度: 如 應 對 禮 貌 或 對 訪 問 困 難 度 的 預 期(Esbensen & Menard,1991; Singer & Kohnke-Aaguirre,1979);訪員的能力：如溝通能力或減少拒訪的能力(Johnson & DeLamater,1976); 口語特質：如音質、聲量大小或說話速度等(Oksenberg &

Cannell,1988)。 這些雖然是訪員可能會對研究結果產生影響的可能因素，但並不等於訪員所 造成的偏差。訪員造成的偏差包括：從訪員與受訪者的互動所造成的：例如因處 理不當被拒訪、不會處理第三人干擾、糾正受訪者等等；訪員技巧所造成的：未 按問卷題目問答(改變問卷題目)、沒有保持中立立場、沒有適當的追問(probing)、 引導(leading)受訪者、未詳實記載答案、未給受訪者答題的說明等等；測量工具 所造成：例如問卷設計不當等。（Collins，1980; Stokes & Yeh,1988;鄭夙芬,2000） 這些偏誤對研究可能影響樣本的代表性也可能影響資料的正確性。其中，事後加 權等方法是補救樣本代表性偏差的解決方式（洪永泰，1996），不過，運用事後 加權必須考慮的問題是：就是那些不願意受訪的人為什麼不願意參與調查訪問？ 他們是否具有一些有別於參與訪問者的特質？參與及不參與調查訪問的這二群 人間的政治意見及態度是不是也存在著顯著差異？研究顯示：參與連續訪問的受 訪者與流失樣本之間，在政治態度、政治興趣與政治參與上，存在著顯著差異的 （陳陸輝，1999）。因此，若是參與訪問者與不參與訪問者之間存在著顯著的差 異，則我們所獲得的訪問資料，能否據以推論母體，是一個相當值得探討的主題。 願 意 參 與 訪 問 的 人 與 不 願 意 參 訪 問 的 人 ， 在 人 口 學 變 項 上 的 確 呈 現 差 異 （Brehm，1993:38），而受訪者本身的政治興趣、政治參與情形及政治知識，也 都會影響接受訪問的意願（陳陸輝，1999）。至於訪員的特質對訪問也有所影響， Oksenberg & Cannell（1988:267）指出，說話速度較快、音量較大、腔調標準、 聽起來稱職、有自信、以及在開場白的關鍵字上降低聲調的訪員，被拒訪的比率 較低。但另外有一些研究也指出：影響人們參與調查訪問與否的決定，與受訪者 的社經背景、研究設計以及與訪員的互動關係等因素有關(Groves & Couper, 1998:29)；Brehm（1993:88）的研究更顯示受訪者對訪員及調查研究的感覺是影 響受訪者是否接受訪問的主要原因。

就訪員與資料正確性的關係而言，縱使研究者有再好的抽樣設計或問卷設 計，但訪員在執行時，卻沒有按照標準化的要求進行，甚至因疏忽或故意而扭曲

了問卷設計的原意，則研究者之前所做的所有努力，包括正確的抽樣與問卷設計 都枉然。有許多的證據顯示訪員是調查研究中偏差的重要來源（Fowler & Mangion,1990），因此，對訪員執行訪問過程的重視，可以說是對資料品質的保 證。Cannell & Oksenberg(1988:475)曾指出訪員的誤差是一種「看不見的錯誤」 (invisible error)，這些誤差與訪員職務的主要內容─運用相關技巧以得到答案有 關，訪員在訪問過程中未依照標準化調查訪問原則進行訪問，包括未按題目讀 題、未保持中立立場、未適當追問、未詳實記錄答案及給予受訪者答題說明等； Groves & Couper(1998)則指出有經驗的訪員通常比較能夠以改變自己行為的方 式來突破與受訪者的負面互動情況，但卻往往因而較偏離標準化調查訪問的原 則，如改變問題的讀法，試圖讓受訪者理解題意。另外一些研究也指出，這些誤 差所造成的錯誤，對受訪者的答案產生嚴重的影響或扭曲，從而影響了資料的正 確性（劉義周，1996；鄭夙芬，2000）。

如何減少因為訪員而對研究產生的影響，是從事調查訪問者必須深思的問 題。Flower & Mangione（1990）認為減低訪員的誤差，不在於選擇有特定特質 的訪員，而在於對訪員訓練及督導。訪員訓練的重點在於教導訪員標準化調查訪 問的原則與方法，以及訪問的技巧，並且還必須讓訪員認識自己在訪問中所扮演 的角色及所應完成的工作，而且能夠確實執行之。督導除了監督訪員的工作情 況，還必須提供即時的回饋，確保訪員在訪問過程中正確地執行標準化調查訪問 原則及方法；鄭夙芬（2000:33）也指出編寫詳細的訪員訓練手冊，對訪員訪問 工作的進行具有相當的幫助；而訪員訓練的課程本身只是訪員訓練的開始，對訪 員的訓練必須是訪問過程中持續性的工作，唯有持續發現訪員錯誤，並及給予即 時的回饋，方能真正解決問題及有效控制訪問品質。劉義周（1996:55）建議以 強化訪員訓練制度、編制詳實訪員訓練教材、健全督導作業及適當的行政安排等 方法，來減少訪員的誤差。 學者們對於減少訪員誤差的建議大部份與訪員訓練及督導制度有關，相關的 研究集中在於訪員訓練課程的內容應包含哪些項目及其成效、訪員訓練時間長短

對 訓 練 成 效 的 影 響 、 督 導 制 度 建 立 及 運 作 的 方 法 （Flower & Mangione, 1990:107-119; Gorves & Gouper,1998:266；鄭夙芬, 2000：33），為從事調查研 究的機構及研究者提供了建立訪員訓練課程及督導制度的參考，然而對於所建立 之訪員訓練課程及督導制度的運作，是否達到了預期的成效，卻甚少見到相關的 研究。因此本研究希望由實際參與電話訪問工作的訪員及督導們的角度出發，由 他們以親身的經驗對訓練課程及督導制度作評估，並提出修正之建議。

研究方法

本研究從參與電話訪問的訪員及督導的角度，探討訪員在電話訪問進行過程 中所可能遭遇之問題及困難，並請訪員及督導對現有之訓練課程進行評估，以做 為改進訓練課程之依據。主要探討的問題在於： 1.訪員最常遭遇的困難； 2.現行訓練課程是否足夠解決在訪問中可能面對的大部份問題； 3.現行訪員訓練課程優缺點之評估； 4.現行督導制度優缺點之評估； 5.對現行訪員訓練課程及督導制度的建議 資料蒐集是以焦點團體討論的方式進行。採用此項研究方法之主要原因在於 焦點團體研究方法的優點在於針對特定之議題，透過團體討論的方式，由參與者 提供研究者較具深度之研究資料。 由於訪問經驗是影響訪員表現的重要因素，本研究依研究對象及政大選舉研 究中心訪員的分級方式，做為焦點團體的分組方式，針對初級訪員（20 小時以 下）、中級訪員（20－40 小時）及資深訪員（60 時以上）等三個不同等級的訪 員召開討論會；同時，為了蒐集更詳盡的資料，每一級訪員都分別邀請兩 組來參與討論。本研究所召開的焦點團體及人數如下表所示：

日期 組別 參與人數 2005 年 11 月 29 日 初級訪員I 9 2005 年 12 月 14 日 初級訪員II 10 2006 年 3 月 1 日 中級訪員I 6 2006 年 3 月 2 日 中級訪員II 6 2006 年 5 月 23 日 資深訪員I 6 2006 年 5 月 25 日 資深訪員II 7 本研究本研究將所有訪員焦點團體的討論結果全部轉成逐字稿加以分析，由 討論中確實瞭解訪員在訪問過程中遭遇的困難以及對訓練課程的需求，並檢討督 導制度實施方式及成效，以建立更完善的訪員訓練課程及督導制度，從而提昇調 查訪問的品質。

研究結果與討論

1. 訪員最常遭遇的困難 就訪員最常遭遇的困難而言，我們發現主要在於「拒訪」、「台語問題」、 「戶中抽樣不易執行」、「很難說服年長者受訪」、「難以保持中立」及「受訪 者離題太遠太久」等問題。 2.對現行訓練課程優缺點之評估與建議 政大選舉研究中心的訪問課程包括兩個階段，第一階段是兩小時的「調查 訪問原理簡介」及「訪問技巧說明及問題處理」；第二階段是正式上線前的「薪 資及工作守則」及「電腦操作程序」課程，時間約一個小時，此一課程的設計涵

蓋調查研究的理論、訪問的技巧、工作的技能以及訪員的權益及規範。另外，在 每次不同主題的訪問前，還有約一小時的「研究計畫簡介」、「問卷題目說明」 及「問卷台語導讀」課程，以讓訪員熟悉每次的訪問主題及問卷內容。訪員們大 部份都滿意所提供的訓練課程，尤其是初級訪員對於訓練課程記憶猶新，大都認 為這些課程大致可以讓他們應付訪問中的狀況。不過許多資深訪員提到，訪問的 經驗及個人的努力，才是提昇訪問技巧及提高訪問效率的主要方式。他們認為透 過經常的訪問，所提供的經驗是磨練耐力及訪問技巧的最好方式，而且他們也會 透過詢問督導、學習他人的訪問方法及思考解決問題的方式，來增進自己的訪問 技巧。在討論的過程中，訪員們也經常互相交換自己的經驗及訪問技巧，一些經 驗及技巧也值得編入訓練課程。 訪員們認為比較不足的部份，則是每次不同主題的訪問前的「研究計畫簡 介」、「問卷題目說明」及「問卷台語導讀」課程。我們在與訪員的討論中也發現 「調查訪問原理簡介」的課程，也是訪員訓練相當重要的一環。 3.現行督導制度優缺點之評估與建議 對於攸關訪問品質的督導制度，督導訪員們基本上對於督導制度大都持相 當正面的評價，也很肯定大部份督導的態度，顯示督導與訪員間的互動，並未因 為督導者與被督導者的立場問題而導致緊張的關係。但我們也發現不同等級的訪 員也有不同的感受。資深的訪員提到以前的督導在態度上較為嚴格，常讓當時還 是新手的他們，必須同時面對工作不熟悉的壓力及受訪者拒訪的挫折，許多人都 曾因而萌生退意，他們也指出督導的態度是許多訪員不願繼續工作的主要原因， 不過他們都相當肯定現在的督導能以鼓勵代替責罵的方式；較資淺的訪員雖然表 示會對於督導的監督相當緊張，但也都很肯定督導們的和藹態度。訪員們也提到 督導許多人性化管理的作法，也讓他們有被重視的感覺，讓他們不會僅把訪問當 作一種工讀，而能對機構產生認同。 然而較值得注意的是，訪員們也提到督導間的不標準化問題，亦即不同的督

導可能會有不同的工作程序、對問題有不同的處理方式，甚或在問卷的台語語讀 法也不相同，因而讓訪員有時會無所適從，對於督導間有不標準化情形產生時， 訪員們提到的解決方法，就是依不同的督導而自我調整。由於督導也是訪問品質 的重要把關者，督導的不標準化，也會對訪問品質造成損害。督導問題也是本研 究要探討的問題之一，訪員的意見直接反映督導的訓練也有再加強的必要。 4.其他意見與建議 在訪員的焦點團體討論中，除了發現訓練課程及督導制度的一些問題 外，訪員也對訪問工作的一些其他層面問題，例如問卷設計問題、戶中抽樣程序 及方式、訪問時間、訪員管理及機器設備問題等提出意見及建議。訪員們普遍認 為問卷題目太多、太長、太難及台語不好唸等問題，是造成拒訪及影響受訪者作 答品質的主要原因。另外，也由於訪員們在討論中提出的疑問，我們才得以發現 戶中抽樣方式及執行時的一些瑕疵。訪員就工作的程序及管理提出的建言，也有 助於幫助我們理解訪員在工作環境的一些問題。例如訪員們提到他們會相當在意 自己的工作表現，彼此也會有所競爭，因而希望獎懲制度能夠更加公開透明，讓 他們有努力的方向與目標。

研究成果自評

調查研究法是一種以經驗性方法蒐集研究資料的研究方法，其成功的要素， 除了理論的應用外，還必須結合實務的操作。本研究嘗試將研究的角度由研究者 的設計與認定，轉為由訪員的實務經驗，來檢視訪員訓練課程、督導制度與行政 措施的執行成效。而以焦點團體研究法作為蒐集資料的方法，在本研究中是一相 當可行的研究途徑。從訪員的焦點團體討論所蒐集的研究資料，不僅相當豐富， 同時也發現一些理論上的問題，在實務的經驗中得到驗證。更重要的是，訪員們 就訪問經驗所提供的意見與具體建議，對於改進訪問執行過程，以提高訪問效率 及資料品質，也有相當的貢獻。

參考書目

洪永泰 1996 「抽樣調查中樣本代表性的問題」，調查研究，第 1 期：7-37。 陳陸輝 1999 「『固定樣本連續訪問法』樣本流失問題之探討」，選舉研究，第六卷 第一期：175-203。 劉義周 1996 「測不到的誤差：訪員執行訪問時的偏誤」，調查研究，第２期：35-58。 鄭夙芬 2000 「政治類調查研究中訪員錯誤類型之研究」，選舉研究，第七卷第二期： 143-191。 Brehm, John.

1993 The Phantom Respondents. Ann Arbor: University of Michigan Press. Cannel, Charles and Lois Okenberg

1988 “Observation of Behavior in Telephone Interviews.” In Groves, Robert M., Paul P. Biemer, Lars E. Lyberg, James T. Massey, William L. Nicholls II, and Joseph Warkberg(eds.) Telephone Survey Methodology. New York: John Wiley & Sons. pp. 475-495.

Collins, Martin

1980 “Interviewer Variability: A Review of Problem.” Journal of the Market

Research Society 22(2): 77-95.

Esbensen, Finn-Aage and Scott Menard

1991 “Interviewer-related measurement Error in Attitudinal Research: A Nonexperiemental Study.” Quality & Quantity 25: 151-165.

1990 Standardized Survey Interviewing: Minimizing Interviewer-related Error.

Applied Social Research Methods Series; Vol. 18. Newbury Park, California:

Sage Publications, Inc. Grover, R. M. and M. P. Couper

1998 Nonresponse in Household Interview Survey. New York: John and Wiley & Sons.

Johnson, Weldon T. and John D. DeLamater

1976 “Response Effects in Sex Surveys.” Public Opinion Quarterly 40:165-181. Kane, Emily W. and Laura J. Macaulay

Oksenberg, Lois and Charles Cannell

1987 “Effects of Interviewer Vocal Characteristics on Nonresponse.” In Groves, Robert M., Paul P. Biemer, Lars E. Lyberg, James T. Massey, William L. Nicholls II, and Joseph Warkberg (eds.) Telephone Survey Methodology. New York: John Wiley & Sons. pp. 257-269.

Schuman, Howard, and Jean M. Converse

1971 “ The Effects of Black and White Interviewers on Black Response in 1968.”

Public Opinion Quarterly 35:44-68.

Singer, Eleanor, and Luane Kohnke-Aguirre

1983 “Interviewer Expectation Effects: A Replication and Extension.” Public

Opinion Quarterly 43:245-260.

Stokes, Lynne and Ming-Yih Yeh

1988 “Searching For Causes of Interviewer Effects in Telephone Survey.” In Groves, Robert M., Paul P. Biemer, Lars E. Lyberg, James T. Massey, William L. Nicholls II, and Joseph Warkberg (eds.) Telephone Survey