行政院國家科學委員會專題研究計畫 期中進度報告
問題為基礎的學習對學生學習方式改變的評估研究(1/2)
計畫類別： 個別型計畫 計畫編號： NSC92-2516-S-002-009- 執行期間： 92 年 08 月 01 日至 93 年 07 月 31 日 執行單位： 國立臺灣大學醫學院家庭醫學科 計畫主持人： 梁繼權 共同主持人： 王維典，呂碧鴻 報告類型： 精簡報告 處理方式： 本計畫可公開查詢中 華 民 國 93 年 5 月 5 日
行政院國家科學委員會補助專題研究計畫期中進度報告
問題為基礎的學習對學生學習方式改變的評估研究（1/2
）
計畫類別：5 個別型計畫 □ 整合型計畫
計畫編號：NSC92－2516－S－002－009－
執行期間： 92 年 8 月 1 日至 93 年 7 月 31 日
計畫主持人：梁繼權副教授
共同主持人：王維典資深講師、呂碧鴻副教授
計畫參與人員：
成果報告類型(依經費核定清單規定繳交)：5精簡報告 □完整報告
本成果報告包括以下應繳交之附件：
□赴國外出差或研習心得報告一份
□赴大陸地區出差或研習心得報告一份
□出席國際學術會議心得報告及發表之論文各一份
□國際合作研究計畫國外研究報告書一份
處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、
列管計畫及下列情形者外，得立即公開查詢
□涉及專利或其他智慧財產權，□一年□二年後可公開查詢
執行單位：國立台灣大學醫學院家庭醫學科
中 華 民 國 九 十 三 年 五 月 五 日
中文摘要
問題為基礎的學習是醫學教育改革中重要的教學方法改革，目前已被國際之醫學教 育界廣泛接受，除北美、歐洲等醫學先進的國家外，非洲與亞洲國家亦紛紛採用。 我國除台大醫學院在民國 81 年率先發展 PBL 教學，其他各醫學院亦陸續加入 PBL 課程，在大家都十分熱衷 PBL 教學之際，有學者卻批評目前已有的研究並未有足夠證 據顯示出 PBL 教學的成效。已有的研究大多顯示學生對 PBL 的滿意度高於傳統教學 方式，McMaster 大學的追蹤研究顯示 PBL 教學所培養的醫師較能趕上醫學的進步。 因此，在成本效益的考量下，PBL 是否能培養出有終身自我學習能力、知識理解、批 判思考、良好溝通能力、重視團隊合作的醫師，便成為不少人懷疑的問題。 為了澄清對 PBL 的學習效果疑慮，除了長期追蹤 PBL 培養的醫師表現外，短期的 研究方法是針對 PBL 的學習理論基礎作理論的實際驗證。 台大醫學院實施 PBL 教學之初，因種種課程上的因素限制，PBL 課程的設計與 McMaster 及 Harvard 等大學之設計不同，因此更有必要針對台大的 PBL 課程，作學習 效果之研究分析，以作為改進的參考。 本研究分兩年執行，第一年主要是研究工具的發展。為瞭解台大 PBL 的學習狀況 並與國外相關研究作比較，我們選用 Sherbrooke 大學所發展的 Tutotest 作中文版的問 卷編修，Tutotest 問卷是評估學生的 PBL 學習技巧、團隊工作效能、溝通能力與自我 學習，原問卷有良好的信、效度。中文版 Tutotest 具有良好的內容效度，CVI 為 0.86。 內部一致性信度在全問卷之 Cronbach’s α 值為 0.95；『團體效率』向度之 Cronbach’s α 值為 0.92；『溝通與領導技巧』向度之 Cronbach’s α 值為 0.89；『科學的好奇心』向度 之 Cronbach’s α 值為 0.74；『同儕尊重』向度之 Cronbach’s α 值為 0.85。與原 Tutotest 比較『科學的好奇心』向度之 Cronbach’s α 值較低，而『同儕尊重』向度之 Cronbach’s α 值則較高，需進一歩了解。兩週再測信度的相關係數為 0.85，比原問卷高，顯示中 文版可能更為穩定。第二種研究工具是概念圖(concept mapping)，原是 Novak 等人所創，目的是瞭解學 習者的思考架構、外顯知識、新知識與原有知識的連結。本研究參考 West 等人的研究， 利用概念圖作為評估學生學習 PBL 後，對知識的認知架構與未接受 PBL 學生有何不 同。概念圖繪製流程與評分方法仍在進行中。
關鍵詞：問題為基礎的小班教學、教學評估、概念圖
英文摘要
Problem-based learning is an innovation in medical education. The implication of PBL in medical education was spread from North America to worldwide. However, the application of the PBL curriculum was vary in different medical school so that the generalization of the effects of PBL to different curriculum is questionable. Many PBL evaluation studies revealed that student were highly appreciated PBL learning experience. A
follow-up study on medical graduates from McMaster University revealed that physicians with PBL experience could catch up with up-to-date medical guideline more than physicians with PBL training. A recent meta-analysis study revealed that there was no strong evidence to support the expected effects of PBL. More studies are needed to proof the educational effects of PBL especially from the theoretical level whether PBL can foster life-long self-direct learning, meaningful learning, critical thinking, interpersonal communication, and cooperation.
The proposed study will be carried in two years. In the first year, two major evaluation instruments will be developed: the Chinese version of Tutotest and concept mapping test.
Tutotest is a 44 items questionnaire developed to evaluate the ability to master the PBL method, effectiveness in group work, communication skills, and evidence of self-directed learning. It was found to be a standardized reliable and valid instrument that can significantly improve the evaluation of students’ skills and attitudes during tutorials. In this study, Tutotest will be translated into Mandarin and back to English. The Chinese version was sent to six experts for content validity analysis. The CVI was 0.86. It implied that the questionnaire has good content validity.
The Chinese version will be tested in a group of medical students and retest again after 2 weeks. Forty-four valid questionnaires were collected and 28 students completed a retest two weeks later. Cronbach’s α of the whole questionnaire was 0.95. Cronbach’s α of the four dimensions were 0.92, 0.89, 0.74, and 0.85 respectively. The Chinese version has a lower internal reliability in the “scientific curiosity” dimension but higher internal reliability in the “respect to colleague” dimension than the original Tutotest. The 2-week retest reliability of the Chinese version was 0.85 which was much higher than the original version. Concept mapping (cognitive mapping) is a tool for visualizing the interrelationships between concepts in an integrated, hierarchical manner. Based on assimilation theory, concept maps facilitate deep understanding, illustrate hierarchical relationships and relationships among concepts. The standardized procedure for the drawing of concept maps was under development.
前言
以問題為基礎的學習（Problem-based Learn, PBL）是於 1950 年代起源於 Case Western Reserve 大學；1960 年代末期 McMaster 大學在醫學教育上發揚光大。目前已被 國際之醫學教育界廣泛接受，除北美、歐洲等醫學先進的國家外；非洲與亞洲國家亦紛 紛採用。PBL 的目的是利用臨床個案來協助基礎醫學的學習，同時養成學生的理解與問 題解決能力，加強知識的獲得、保留與使用，並可以拉近基礎與臨床醫學間的間隙，免 除傳統醫學教育中，基礎與臨床醫學分開學習的弊病。PBL 是以病人問題作為學生學習 的重心，在學習過程中，學生先遇到一個病人的問題，利用臨床理解能力去解決問題， 並對所學習到的作歸納整理，因此，問題本身便是促進學生自我學習的動力，學生透過 主動的參與及討論，與教師回饋的指引下獲得新的醫學知識。而教師的責任只是促進、 引導與支持學生自發的學習，而非授課與直接提供答案。 PBL 的學習理論源於對人類學習與記憶的研究。據認知心理學的研究，PBL 符合 三種學習功能：(1)在與實際使用時類似的情境學習可以加強知識的應用。(2)獲得解決 問題的一般原理與模式。(3)舉一反三，將問題解決的技巧應用到其他問題的解決上。 在 PBL 中，新知識的學習是經過下面的過程：(1)激發已有的知識來促進新知識的處理。 在認知心理學有一個定理，就是對某事物的以往知識是決定學習該事物的重要因素。 Bransford 發現即使擁有某些知識，若無經過激發過程，對新知識的回憶能力仍然不良。 (2)在學習過程中，細心的整理研究可以增加日後記憶的提取，細心整理研究可以經由 下列方式，如：討論、作筆記、回答問題和使用知識去解答問題等達成。(3)與事實配 合可以促進知識的提取。促進回憶的方法是提供與學習事物相似的情境。同樣地，如果 希望醫學生在面對病人時能夠把自己以往所學的使用出來，在學習時就必須塑造類似的 情境，而 PBL 就是以臨床問題作為實際應用與知識間的橋樑。 台大醫學院在 1993 年開始醫學教育改革的時候，當時 PBL 不單在國內是全新的觀 念，在其他相鄰的亞洲國家亦鮮少類似的經驗。有鑑於我國醫學教育的背景、學生特性、 與改革開始時所遭遇到的種種限制；在訂定 PBL 課程與教學方法上便採用與 McMaster 大學之 PBL 課程略有不同的教學方式。由於台大在 PBL 的課程設計上是與整合式課程 相輔相成，因此必須配合整合式課程每週的課程內容。加上當時很多老師對 PBL 不了 解甚至有很多疑慮，同時其他課程在上課時數的排擠作用，PBL 課程每週只能安排兩個 小時。故每個討論單元必須在一次上課中完成；教案設計上便減去了第一階段中澄清問 題與找尋學習目標的工作，改由老師給予預定的學習問題。這種學習方式雖可以使 PBL 學習單元與每週的整合課程儘量配合，但相對的影響了學生在分析問題與自我決定學習 目標的能力。為了補救上述的缺點，我們把每週 PBL 上課的最後時間留作下週問題的 討論，雖然時間很短，但亦可以預先釐清學生對討論問題的一些疑點，作為自我學習的 依據。這種與原先 PBL 設計不同的教學方式是否可以達成 PBL 所希望達到的效果，或 是我國學生比較能適應目前的教學方式，是必須加以證明的。
研究目的
一、 針對台大醫學院 PBL 課程的實施狀況設計合適的學習評估方法。 二、 根據 PBL 的學習理論評估目標學習行為的達成情況。 三、 建立相關的評估工具與流程。 四、 探討學習評估對學生整體成績的預測效度(predictive validity)及與其他學習相關因 素包括教師教學方式、教材、整體課程滿意度等的相關關係。五、 提出國內類似課程評估的建議。
文獻探討
Colliver 整理 1992 至 1998 在 8 本醫學教育研究最常發表的雜誌，找出比較 PBL 與傳統教學差異的文章共八篇進行 meta-analysis，作者發現這些研究都無法提出有力的 證明，顯示 PBL 比傳統教學對學生有較佳的學習成果。為何會導致上述結果，Colliver 認為有下列的可能原因：第一、學習的情境理論認為在 A 的情境下學習，在 A 的情境 下較能回憶與應用，Colliver 懷疑 PBL 與傳統學習的學習情境其實沒有太大的差異，而 且兩者和將來行醫時應用的情境都不同。第二、過去知識的活化可以幫助學習新的事 物，使之與過去知識連結以方便以後知識的提取。Colliver 認為如果傳統課程學生與 PBL 學生花同樣多的時間去學習的話，兩者在知識活化的效果上便可能會沒有差異。此外， PBL 的另一個目的是養成終身自我學習能力，但只有一篇研究發現 PBL 學校的畢業生 在行醫時較其他傳統教學學校畢業生能應用高血壓的最新治療標準，但由於 PBL 教學 學校多為在心血管研究領域知名學校，因此 Colliver 對於結果存保留的態度，最後， Colliver 認為 PBL 的效果研究仍然不足。 Colliver 的論文在學術界引起一番爭論，Albanese 稍後發表文章提出不同的觀點， 他認為 Colliver 對於“effect size”的要求太高，教育效果的改變有限，不可以用太高的 “effect size”來衡量，醫學生是一群十分獨特的群體，在經歷重重考驗才能進入醫學 院，他們是傳統教學法所製造出來的頂尖產品，因此 PBL 教學可能產生多大的改變， Albanese 是保持保守的態度。另一方面，目前醫學院之體制是為了傳統式教學而設計 的，一個 PBL 教學課程建立在傳統的體制上使得效果不易在短期內彰顯。在教學效果 的評估上，Albanese 認為用國家考試的結果來評估 PBL 的效果是不當的，因為它們是 為了傳統式教學的評估而設計的。Albanese 指出 PBL 並非如 Colliver 所言缺乏有力的理 論基礎，除了情境理論外(Albanese 同意這是 PBL 比較薄弱的地方)，其他如訊息處理理 論 (information-processing theory) 、 合 作 學 習 (cooperative learning) 、 自 我 決 定 理 論 (self-determinative theory)、控制理論(control theory)等都是 PBL 的理論基礎。作者最後 指出就算 PBL 對於增加醫學知識與技巧沒有助益，最少可以為學生與老師營造一個較 佳、較人性化的學習環境。McMaster 大學的 Norman 與 Schmidt 對 Colliver 對 PBL 的評論做出回應，他們認 為學習情境是很難去用實驗方法去控制的，大部分的研究都受到干擾變項的影響，他們 亦認為 Colliver 並沒有把重要的與知識活化的研究放進他的研究之中。Norman 與 Schmidt 進一步指出利用藥物研究的大型臨床試驗方法來做教育研究是不當的，因為教 育研究無法達到「盲目介入」(blinded intervention)，而且無法獲得單純的結果，而且不 能確保每一個受試者都獲得相同「劑量」的介入，作者認為目前必須進行更多的學習理 論層面及計畫層面的研究評估，而非用目前的研究結果去否定 PBL 的價值。 國內有關 PBL 的研究並不多，在研究的深度上仍在起步階段，因此在進一步推廣 PBL 教學的時候，需要更多的研究來作為課程設計與執行時的參考。過去的教學評估， 尤其是 PBL 課程的評估部分，為課程的滿意度評估(呂碧鴻等 1998，陳震寰等 1998， 賴玉玲等 2000，陳思光等 2000)、可行性評估(陳震寰等 1998，賴玉玲 2000，陳玉琨 等 2001)、課程的整體評估(梁繼權等 1997，梁繼權等 1999)、評估工具的研究(高美英 等 1997)、教師培訓計劃的評估(梁繼權等 1997)、教學方式評估(梁繼權等 1998)、學 生在小組學習的表現評估(謝明憲等 1999，潘愛琬等 2000)。
縱觀國內外有關 PBL 的研究，在學習理論的驗證研究十分缺乏；由於 PBL 學習的 最終成果不易証明，因涉及太多變項及研究限制，而且成果亦難以在短期內顯現，故有 關 PBL 在學習理論的驗證便十分重要。我們在希望獲得最終的成果之前，必須要確認 PBL 是否真能造到它所希望達到的學習能力。
研究方法
本研究依研究的需要分兩年執行，本年度的研究工作如下： 1. 研究工具的編制與前測 一、PBL 學習效果的評估工具 有關 PBL 學習效果的評估工具不多，中文的、有跨文化驗證的更少，所 以相關的研究工具發展是進行研究的首要工作；也可以提供日後其他類似研究 使用。由於每個學校的 PBL 課程在內容設計與進行方式都有差異，國內與國 外的差異更大，因此對於 PBL 的評估最好能做到國內與國外的比較，以了解 彼此間在學習效果上是否會有明顯的差異。基於上述原因，國外現有的研究工 具成為本研究的優先考慮。經過文獻找尋後，我們發現 Sherbrooke 大學的 Tutotest 在問卷的理論架構、信效度表現與所評估的內容最符合本研究的需要。Tutotest 為 Sherbrooke 大學為評估 PBL 所編製的工具(Hebert & Brave, 1996)，目的是評估學生在 PBL 中培養的態度與能力，包括掌握 PBL 學習技巧、 團隊工作的效能、溝通能力與自我學習四項。理論架構是參考 Flanagan 的 〝Critical-incident〞技巧，只選擇對於某些目標有關的可觀察到的事件與行為。 原問卷有 44 個題目，回答分為「很少或沒有」、「有時」、「常常」、「經常」四 分評量，亦可選擇「無意見」。原問卷的因素分析依 eigenvalues 大於 1 的標準 共獲得 4 個因素，共可解釋 82％的變異量，內部一致性分析依因素 1 至 4 分 別為 0.98、0.93、0.91 與 0.77，再測之相關係數為 0.46，Tutotest 結果與教師 一般評分的相關為 0.64，與學生的筆試成績的相關為 0.39。 本研究將翻譯 Tutotest 成為中文，再反譯回英文，比較翻譯後的差異；並 修改明顯不適用的地方編制成中文的 Tutotest 問卷。問卷經專家作文字修改與 內容效度評估後開始進行前測。前測方法是以選取 50 名曾經接受 PBL 教學的 實習醫師為對象，經研究者解釋研究目的與問卷填寫方法後施測，施測 2 週後 再進行重測，結果經題目分析、內部一致性分析，再測信度與因素分析後作進 一步修改成第一版中文 Tutotert 問卷。 二、學生的認知結構與理解能力評估工具的編制 在 PBL 的學習理論中，知識在記憶層面的結構、學習者對知識的理解與 批評能力是 PBL 的訓練重點。因此本研究利用概念圖嘗試評估學生學習 PBL 後，知識的階層結構與理解知識的能力。概念圖(Concept mapping)，或稱認知 圖(cognitive mapping)是由 Novak 等人所創(Novak 1972)，目的是瞭解學習者的 思考結構與外顯知識(externalize knowledge)同時希望驗證 Ausbel’s 的階級記憶 理論(hierarchical memory theory)，瞭解學習者在學習新知識時是如何與舊知識 作連結。
所謂概念圖是將某事件的重要概念用圖示來表示出來，Danseran 認為概念 圖有三個特徵：階級結構、連結和群聚。所謂階級結構是指下層概念是包含在 上層之內，連結代表某一概念會引致另一個概念，群聚代表某些概念共有的特
性。上述有關概念的性質都可以用概念圖表達出來，概念圖的基本假設是人在 學習新事物時，對新事物所賦予的意義是受到原來的知識影響，與原知識產生 連結並獲得一個定位，當我們繪畫概念圖的時候，便會將概念與其間的關係表 達出來。 概念圖常常用作一種輔助學習或教學的方法，概念圖可以增進理解的學 習，幫助學習者整理大量的知識，瞭解知識間之相互關係與整體性，同時促進 學習者進一步思考。概念架構是批判性思考與問題解決的基礎。亦有學者利用 概念圖作為協助教學內容的編制。有關利用概念圖作為評估工具則較少。West 等人嘗試利用概念圖作為學習評估的工具，對 21 位住院醫師做研究、測驗概 念圖的計分方法的信、效度，初步結果顯示其評分方式具有可接受的再測信 度，並可以顯示住院醫師接受指導前後概念的差異。 三、測驗流程的建立 參考文獻中概念圖的繪製方法，編制概念圖的繪製流程、說明與指導語， 再選擇 24 位醫學系 5 年級學生為測試對象，選擇一個常見的疾病如頭痛，在 上課時安排半小時時間讓學生繪製概念圖。依繪製結果評估學生是否瞭解正確 的繪製方法。接著將同學分為三組進行焦點小組訪問，瞭解繪製概念圖的困難 與學生的思考路線是否能在概念圖表現出來。依據焦點小組分析結果修改概念 圖說明與指導語，並訂出適當的繪製時間，相關資料的提供等，制訂概念圖繪 製的標準程序。 參考 West 等人對概念圖評分的計分方法制訂一個標準化的評分方式，邀 請 6 位臨床老師作評分老師，分為兩組，每組分別對學生繪製的概念圖獨立評 分，評分結束後進行老師的焦點小組討論，瞭解評分時所遇到的困難，並檢討 評分方式加以改進。對兩組老師的評分結果進行評分者間一致性分析(interrater reliability)，依據分析結果重新修改評分方法，再由 6 位臨床老師評分直至獲 得理想的評分者間一致性（r＞0.5），及老師在評分過程中不會發生評分的困難。
結果
PBL 學習效果的評估工具的編制 1. Tutotest 中譯本的製作本研究採用加拿大 Sherbrook 大學 Hebert R.等人所發展的 Tutotest 為主要研究工 具，並己取得 Hebert 教授的書面同意作 Tutotest 中譯本的授權（附件一）。本研究先 由研究者將 Tutotest 翻譯成為中文，並與多位同仁討論修正，再由另一位熟諳中英 文的同仁將中譯本反譯為英文，再比對兩者差異作中譯本的修正；獲得初版中文 Tutotest。 2. 內容效度評估 初版中文 Tutotest 問卷的內容效度乃根據六位專家對測量目標的適合程度作評 估。對問卷中每一題問題回答適合或十分適合佔所有問題的平均比率，計算出內容 效度指數(Content validity index, CVI)。結果，六位專家所評量的 CVI 為 0.86。 3. 初版中文 Tutotest 的心理計量分析(Psychometric test)
版軟體進行統計分析。其結果如下： (1) 再測信度分析 醫學生在填寫完問卷兩週之後，隨機選取 28 位學生進行再測信度分析。分析方 法乃比較兩次填答問卷的總分間之相關強度；以皮爾遜相關作統計。結果，兩週再 測信度的相關係數為 0.85。 (2) 內部一致性信度分析 本問卷共有題目 44 題，分為四個向度。第一個向度是團體效率，共有 23 題， Cronbach’s α 值為 0.92；第二個向度是溝通與領導技巧，共有 13 題，Cronbach’s α 值 為 0.89；第三個向度是對科學的好奇心，共有 4 題，Cronbach’s α 值為 0.74；第四 個向度是同儕尊重，共有 4 題，Cronbach’s α 值為 0.85。問卷整體的 Cronbach’s α 值 為 0.95。 (3) 題目分析 在第一個向度之中，所有題目的 Item-total 相關都超過 0.4；在第二個向度之中， 所有題目的 Item-total 相關都超過 0.5；在第三個向度之中，所有題目的 Item-total 相 關都超過 0.4；在第四個向度之中，有三個題目的 Item-total 相關都超過 0.7，但有 一題為 0.5。除了第 19、26、28、32、33、39、40、41、42、43、44 十一題為偏峰 分佈外，其餘各題皆十分接近常態分佈。而 40-44 題剛好是同儕尊重的題目，是否 有社會常規式的回答值得關注。 學生的認知結構與理解能力評估工具的編制 本研究中有關概念圖與測驗流程的工作仍在進行中，預計依原定進度完成。
討論
Tutotest 中譯本的製作已初步完成，內容效度經六位專家學者評定，CVI 為 0.86， 具有不錯的內容效度。但由於國外的 PBL 方式與我們有所不同，故會對內容效度產生 影響。本研究原計畫修改部分題目內容，但在考慮與國外資料比較時而暫時不作更改； 留待將來獲得更深入的了解後再作修訂。 在問卷信度測量方面，四個向度的內部一致性信度分別為 0.92、0.89、0.74、0.85 和原英文問卷比較（0.98、0.93、0.91 與 0.77），第三個向度（對科學的好奇心）的 Cronbach’s α值較低，但第四個向度（同儕尊重）的 Cronbach’s α值則較高，是否因中美學生特質 影響結果必須進一步觀察較大規模的資料。 中譯本的兩週再測信度的相關係數為 0.85 比原問卷的 0.46 高出很多，再測的穩定 性更有利於介入研究時結果的判讀。由於目前仍在繼續收集問卷資料，待個案數更多時 應可獲得更穩定的結果。 題目分析中發現有些偏峰分佈的題目，由於集中在第四個向度，懷疑學生回答時受 到社會常規的影響，有待下年度同時由小班老師作學生的評分，再比較彼此評分的差異 來檢驗我們的假說。參考文獻
1. Leung KK, Wang WD, Chen CY, Hsieh BS. 1997. Evaluation of medical education reform at National Taiwan University college of Medicine. J Med Education;1:21-30.
2. 高美英、李宇宙、呂碧鴻、施子薇、李明濱：小班教學「團體學習量表」的探討與評 估。醫學教育 1997；1：397－410。
3. Leung KK, Wang WD, Chen CY, Hsieh BS. 1997. Evaluation of faculty development program. Journal of Medical Education, 1: 436-43.
4. Lue BH, Leung KK, Lee MB, Lee YJ, Hsieh BS. 1998. Evaluation of courses using small-group tutorial. Journal of Medical Education, 2: 386-97.
5. 陳震寰、郭英調、蕭光明等：問題為基礎學習小班教學可行性之先驅研究。醫學教育 1998；2：398－408。
6. Leung KK, Lee YJ, Lue BH, Hsieh BS. 1998. Evaluation of teaching styles among small group tutors. Journal of Medical Education, 2: 18-26.
7. Leung KK, Lue BH, Lee MB, Hsieh BS. 1999. Evaluation of small-group problem-based learning. Journal of Medical Education, 3: 164-72.
8. 謝明憲、李明濱、呂碧鴻、李宇宙、謝博生：以焦點團體方式評估小班教學之成效。 醫學教育 1999；3：259－266。 9. 陳思光、張心涪、江俊斌、王若松、藍萬烘、謝季全：問題導向團隊式牙科放射線學 教學之三年評估。醫學教育 2000；4：155－162。 10. 賴玉玲、季麟揚、李士元：牙醫學教育採用小班教學課程的效果評估。醫學教育 2000；4：163－173。 11. 潘愛琬、陳詞章、曾美惠、鍾麗英、陳美津、江愛華：應用問題導向教學模式於職 能治療課程之效果。醫學教育 2000；4：329－339。 12. 陳玉琨、陳震寰、潘競成、楊安航、江宏、何橈通：問題導向學習在病理教學之可 行性。醫學教育 2001；5：324－337。
13. Blake JM, Norman GR, Keane DR et al.: Introducing progress testing in McMaster University’s problem-based medical curriculum: psychometric preperties and effect on learning. Acad Med 1996;71:1002-1007.
14. Albano MG Cavallo F, Hoogenboom R et al.: An international comparison of knowledge levels of medical students: the Maastricht progress test. Med Educa 1996;30:239-245.
15. Thomas RE: Problem-based learning: measurable outcomes. Med Educa 1997;31:320-329.
16. Hebert R, Phil M, Bravo G: Development and validation of an evaluation instrument for medical students in tutorials. Acad Med 1996;71:488-494.
17. Kassebaum DG: The measurement of outcomes in the assessment of educational program effectiveness. Acad Med 1990;65:293-296.
18. O’Neill PA, Willis SC, Jones A: A model of how students link problem-based learning with clinical experience through “elaboration”. Acad Med 2002;77:552-561.
19. Schmidt HG, van der Molen HT: Self-reported competency ratings of graduated of a problem-based medical curriculum. Acad Med 2001;76:466-468.
problem-based learning tutorials. Med Educa 2002;36:272-278.
21. Remmen R, Scherpbier A, van der Vleuten et al.: Effectiveness of basic clinical skills training programmes: a cross-sectional comparison of four medical schools. Med Educ 2001;35:121-128.
22. O’Neill PA, Morris J, Baxter CM: Evaluation of an integrated curriculum using problem-based learning in a clinical environment: the Manchester experience. Med Educa 2000;34:222-230.
23. Finch PM, The effect of problem-based learning on the academic performance of students studying podiatric medicine in Ontario. Med Educa 1999;33:411-417.
24. Colliver JA: Effectiveness of PBL curricula. Med Educa 2000;34:959-966 (letter).
25. Norman GR, Schmidt HG: Effectiveness of problem-based learning curricula: theory, practice and paper darts. Med Educa 2000;34:721-728.
26. Colliver JA: Effectiveness of problem-based learning curricula: research and theory. Acad Med 2000;75:259-266.
27. Albanese M: Problem-based learning: why curricula are likely to show little effect on knowledge and clinical skills. Med Educa 2000;34:729-738.
28. West DC, Pomeroy JR, Park JK, Gerstenberger EA, Sandoval J: Critical thinking in graduate medical education: a role for concept mapping assessment? JAMA 2000;284:1105-1110.
29. All AC, Havens RL: Cognitive/concept mapping: a teaching strategy for nursing. J Adv Nurs 1997;25:1210-1219.
30. Janice B: Concept mapping: navigating the learning process. Nurs Educa 1998;23:35-41. 31. Roberts CM, Sucher K, Perrin DG, Rodriguez S: Concept mapping: an effective
instructional strategy for diet therapy. J Am Diet Assoc 1995;95:908-911.
32. Edmondson KE: Concept maps and the development of cased for problem-based learning. Acad Med 1994;69:108-110.
33. 王維典：以認知圖提升醫學生問診能力。 醫學教育 1998;2:264-272。
34. 王 澄 霞 、 謝 昭 賢 ： 以 認 知 圖 評 量 「 酸 雨 」 STS 教 學 的 學 習 成 就 。 師 大 學 報 1997;152:1814-1820。
35. Novak JD: Concept mapping: an usual tool for science education. J Res Sci Teach 1990;27:937-949.
