有聲思考法的應用

有聲思考法的應用

國立晝北教育大學數學暨賀詞教育學系由顏睛榮@副教授

閑言

問題解決是一種內在的心理活動，如何將此一內隱活動外顯出來，向來為心 理學家研究的重點。有聲思考(

think-aloud

)又稱放聲思考，在間題解決歷程的 研究當中常被使用，基於有聲思考法在教育上常常用來蒐集實驗個體的思鱷認知歷 程及其相關之內隱知識，因此在教育領域的質性研究上其有舉足輕重的地位。是以 本文擬針對口語報告、有聲思考法的意義、有聲思考法的優缺點、實施有聲思考的 程序及應注意的事項、原案分析以及相關研究等進行介緝，希望藉此拋磚引玉，提 供有聲思考研究上的參考。 106 告 中等教育伍拾捌卷草肆期

-=

~ -四"

、­

-問 帽­ 唔，闕­ ，..“崗" 旬，倒帥"

-

--“-唔-倒閉 司"闕，“­

-“.

-恤.

=

--醋 ，闕，圈， 團"“闕， 正-間

--酬 ，關闕，

一

二ZZ 品，闕­ -﹒酬

-

-圓"

--

_-

.-間 團"闕-“

--開關" 闖關闢顱， --酬 且 F一咱­-攬顧圈 -繭， 二-酬

---.‘一

一

-

『聲單

一

向 國"

一

…

戶 戶-­

…

-

-甜--喝

一

--“

…

• 一 嘗

一

話雪 P

--.“ 闕

-s -FmF 國 增加 A 主豆、 「冒金五書且正h 室主

.

ι-l it口-'f~口 在質性分析研究當中，口語報告 (verbal report) 常被用來蒐集實驗者的認 知思維歷程;口語報告可透過內省法、回溯法與有聲思考法獲得，內省法係鼓勵受 試者解釋其感受與經驗，進而推論解題的歷程，此法要求受試者事前接受訓練， 由細節中分析自己的反應。內省法的資料是由受試者對解題歷程的解釋所獲得， 因此，極易造成理由化 (rationalization) 的缺失，此外解題歷程中，由於介入內 省，難免干擾到思考的進行，不易蒐集真實的思維歷程。 回溯法則待實驗進行之後，藉由詢問或回想的方式，以口語述說處理時的認知過 程。回溯法乃要求受試者完成一項或全部任務時，描述所用的策略，此法所蒐集的資料 是由受試者從記憶的思維中獲得，是以此法的缺點與內省法相同，也容易流於理由化， 而且此法對當前知識與過去知識產生混淆，形成推論上的瓶頸(王昭明. 1996) 。 ﹒由於內省法與回溯法，對解題的思維歷程均有缺失與限制，為了反應受試者真 正的思維歷程，有聲思考法逐漸被多數教育與心理學家採用。

貳、有聲思考法的意義

有聲思考法是由研究者提供一種問題情境，讓受測者嘗試解決此問題情境，並 提醒受測者必須在思考問題的同時說出其思考的詳細過程，也就是要求受測者必須 A叩st，2007 Seco柚yE也叫on ~107 毫

有畫畫恩考j去的應用

用邊做邊說的方式，將內心的思維歷程全部以嘴巴說出來，研究者再利用這些資料

進行分析(曾俊豪， 2005) 。有聲思考一般用於過程追蹤 (process tracing) 、

知識獲取 (knowledge acquisition) 、模式規畫 (model formulation) 、決策行

為 (decision making) 以及電腦系統介面使用性 (usability issues) 相關議題上

(蔡福軒， 2004) 。由於有聲思考法亦常被使用於解題研究當中，該研究是指受 測者在問題解決的同時，大聲說出腦海中的思維步驟，因此，可以適度引出解題的 複雜內在心理歷程。

有些學者認為有聲思考法可能會增加記憶負擔，並潛藏推論及理由化的危機

(Nisbett

&

Wi1son

,

1977

)然而， Ericsson 及 Simon (1980) 則認為有聲思 考法所蒐集到的資料係與思考同步，時間不允許受試者多作思考，且僅涉及短期的 記憶內容，是以，此法較前述之內省法與回顧法可信而具效度。 Rowe

(1985)

亦認為有聲思考法並末增加記憶負荷，而且還可減少受試者記憶內容混淆，整體而 言，有聲思考法對解題不致產生負面的影響。

參、有聲忠考法的優缺點

有聲思考法之口語報告，受到當代解題研究者的重視，其原因如下: 1.人工智慧研究結合原案分析的方法，由人類解題的原案分析中所抽離出來 的原則，可利用電腦程式證明並成功地建立解題的模式及策略 (Newell

&

Simon

,

1972 )

2.Piaget的認知發展心理學研究中清楚地顯示，使用「臨床式的探究 J

(clinical

investigation) 可以做為科學研究的基礎。 3.從觀察學生的解題歷程中，吾人可以對人類解題的思考有更深入的體驗與瞭解。 4.量研究法的限制，由於量的實驗變項較難控制，易使研究結果導致誤差。

有聲思考法的優點如下(吳和章，

1995 ; Nielsen

,

Clemmensen

,

&

Yssing

,

2002; Schoenfeld

,

1985)

1.可以記錄無法以視覺觀察之受測者內在認知活動。 2.實驗樣本不需太多，從少數受測者當中，可以獲取大量的質性資料。 3.有促進理解表現的效果。 4.參與者容易學習與配合。 5.思考與口語同步，可以降低理由化。 6.即時口語可減少記憶負荷。 |章-108 告 中，教育伍拾捌巷草肆期

7. 由於回溯法易受研究者主觀解釋與推論的影響，有聲思考法在此方面較佳。 至於有聲思考法的缺點如下(曾俊豪，

2005)

1.實驗者介入對受測者認知產生壓力與負擔。 2.邊做邊說會讓受測者感到不習慣，使得資料的搜集產生誤差。 3.當受測者面臨困難'1育境時，導致口語無法完全反映思維歷程。 4.有聲思考法並不適用於客觀表現之量測上。 5. 由於邊做邊說的關 f系，將導致受測者的實驗速度降低。 6. 由於邊做邊說的關係，將增加受測者處理的錯誤機率。

肆、資施有聲思考的程序及應注意的事項

Ericsson及Simon

(

1993) 認為實施有聲思考的程序可包含如下: 1.紀錄受測者的口語資料，透過錄音錄影將受測者之實驗處理過程錄起來 o 2.進行資料分類，將受測者的口語資料分類整理，辦棄無關的資料。 3.將口述的資料進行編碼與分析。 實施有聲思考時，應注意下列要點(鍾瑞國、康鳳梅，

1997 ; Ericsson

&

Simon

,

1980; Rowe

,

1985)

1.受測者須具備適當的口語表達能力，能將腦海中的思考歷程說出來。 2.受測者須具備適當的後設認知能力，能知道自己的思考狀態。 3.實驗之前應讓受測者瞭解有聲思考法的實施要點與步驟。 4.實驗實施之前，應安排受測者事先練習的機會，使其熟悉實驗的程序與情境。 5.實驗進行當中，觀察者或研究者盡量不要催促受測者，以免讓受測者產生不安。 6.實驗進行當中，觀察者或研究者盡量不要過度提示，或提示語勿過於冗長，以免 干擾受測者使其分心，因而導致實驗失真。 7.有聲思考法並非獨一無二的方法，是以當資料蒐集不全時，可以配合事後唔談等 其他方法。

ftî 、原案分析

實施有聲思考時，研究者可利用錄影、錄音或現場筆錄的方式，將受試者的操作 步驟、想法、計畫等逐字記下，錄音、錄影的內容，則需轉成文字內容，再據此推論 Au闕.2007 抽吋y [，恤枷1 至 109 告

有聲思考法的應用 其認知過程與行為，此稱之為原案分析 (protocol

analysis)

(顏晴榮， 200 1)。原 案是指解題者在執行某項任務時，藉由錄音、錄影資料轉換成文字資料後，對解題者 所從事的活動及時間順序等描述，原案分析旨在掌握解題過程。當研究者收集解決問 題的原案時，研究者除了蒐集解題者的答案外，更重要的是解題者到底做了什麼事情 以獲得答案，例如糟圖、檢修電路、蒐集資料，解題者以何種程序來進行。是以，解 題的「有聲思考原案 J

(think-aloud

protocol) 或口語原案 (verbal

protocol)

，是 解題者被要求以有聲思考的方式說出解答一個問題或執行心中的任何想法，不管此想 法是如何的瑣碎，將其口述的內容錄音後所轉錄成的文字資料。由於原案分析可提供 更多解題者對工作的本質及解題能力的訊息，是以原案分析後其資料的完整性，是一 般書面的做答方式所無法比擬的 (Hayes

& Flower,

1981) 。

至於原案資料的適切性方面， Ericsson和 Simon (1980) 的研究分析中提 出了理論與實證基礎，他認為原案的口語資料，在使用上並不會與科學的本質相 互衝突，原案分析像其他標準實驗設計中的行為一樣具可觀察、可記錄及可分析 的特性。由於科技的進步，將口頭陳述錄音下來，再逐字轉換成文字，已可保留 口頭資料的客觀性與清晰性。近年來由原案分析資料所建立的電腦模型驗證成 功，證明原案分析是研究解題行為的有力工具，而原案分析也具有相當的客觀性

(objectivity)

(林宏一，

1990 ; Camacho,

1986) 。 原案分析轉錄資料方面，從錄音、錄影中所觀察到的行為轉錄成量化的文字 資料。轉錄之前需將欲蒐集的資料嚴謹地定義在分頭架構中，轉譯過程需經客觀 地詮釋資料。轉譯工作宜由兩位以上的評分員來執行，其信度考驗(

interrator

reliability)

，需達 0.9 以上。當資料轉譯完成後，需經由分析才能獲得有意義的原 案(朱湘吉，

1994 ; Brown

&

Burton,1987 ; Rowe,1985)

透過有聲思考法，實驗者得以將受測者執行任務時其內在認知資訊處理過程 資料化，經由分析口語資料化的結構，將口語內容轉化為正式的編碼資料，此時 研究者便可導入各種相關的理論與建議，進行闡釋與陳述(戚樹誠、李俊賢、蔡 華華、陳宇芬， 2002) 。由於有聲思考可以抽引出問題解決的複雜結構，並且可

以確認隱藏在解決問題之下的內在象徵機制 (internal

symbolic mechanisms)

以原案分析可以探索解決者之控制、評估及完成目標之過程。有聲思考足以反應

人額的其實行為，極適用於問題解決歷程之研究 (Ginsburg

et a1.,

1983; Ericsson

&

Simon,1980; Newell

&

Simon， 1972) 。在質性研究的領域中，有聲思考法常

被用來蒐集人的內在心智活動、思維歷程等資訊，有聲思考法與原案分析需相輔相 成，兩者缺一不可。

陸、有聲思考法的相關研究

國內外實施有聲思考法的相關應用研究極多，本節擬以閱讀與寫作、數學、護 理、電腦、故障診斷、程式設計、科學教育及體育等領域之相關研究範例進行探討。 (一)閱讀興寫作

Walker

(2005) 認為有聲思考可以有效提升閱讀能力及閱讀理解能力。

Lynn

(2006) 為了提昇閱讀能力，針對幼稚園至八年級學生，利用有聲思考教導 文章的理解策略，研究結果顯示實施有聲思考成效良好，而且很受學習者的歡迎。

Jennifer

(2004) 利用有聲思考與原案分析來改善成年人閱讀的理解監控策略及 熟練的閱讀能力。

Shapiral

(2006) 選擇阿拉伯及以色列小孩進行寫作策略的唔談，並利用有 聲思考探討寫作的程序，結果兩組在寫作策略並無不同，寫作分數的表現亦無差 異。 Braaksma 、 Rijlaarsdam 、 Bergh 、 Berbadette:fDBerdanatte (2004) 利用有 聲思考搜集8年級 (N=52 )學生的寫作歷程，並安排學生進行優良作品的學習。

(二)數學

Sarver

(2006) 為了探討特殊題目的數學解題及後設認知，選取 6 位 7

年級學生，分高中低三組，每組 2 人參與有聲思考實驗，解題歷程區分閱讀

( read

)、理解(

understand

)、分析 (analyze) 、計畫(

plan

)、探索 (explore) 、執行 (implement) 、驗證 (verify) 等 6 個階段，並將解題行為

歸納為擬訂 (orientation) 、組織( organization) 、執行( execution) 、確認

( verification

)。此外，研究報告亦呈現數學學習態度及信念等結果。

Pativisan

(2006) 針對參與數學奧林匹亞競賽甄選的 5 位泰國數學資優學 生，實施有聲思考及事後唔談實驗，將解題行為區分理解、計畫、執行、確認四個 階段，發現學生解題時，在應用數學知識與解題策略當中，均來回重複出現此四個 階段的行為。此外，這些學生也應用自我評估敘述 (self-evaluation

statements)

來監控及評估自己的解題，研究顯示發現學生數學解題成功與下列有關:具備挑戰 性的數學知識、願意嘗試多種解題方法、樂於回憶與思考先前的知識與經驗、解題 信心、父母與教師的支持。 (三)護理

Kihlgren a.

(2006) 利用有聲思考蒐集看護孩童的臨床決策及資訊處理模 式，以有聲思考探討護士的實務決策，所有看護皆出現運用假設推論之決策模式， 並且利用反向推理 (backward

reasoning)

有聲恩考法的應用 Offredy與 Meerabeau (2005) 利用有聲思考蒐集護理人員對病人的各種不 同病情進行的決策歷程，選擇 6 位病人進行實驗，探討 11 位護理人員決策的認知過 程，透過大量的討論以及蒐集的文獻，作為決策架構的依據，並以基模理論解釋 6 位病人的反應，研究結果認為資料處理與有聲思考法，極適合於蒐集決策資訊，而 且也適合當作教學的工具。 (四)電腦

Kymes

(2005) 利用有聲思考探討線上學習之理解策略，以及探討學生在網 路上資料蒐集行為的影響因素，使用有聲思考與原案關聯|笠，以有聲思考策略協助 學生使用線上資源成功。

Miura 、 Fujihara和 Yamashita (2006) 以心理學的觀點，探討利用搜尋引擎 在 www上資料檢索的行為，利用有聲思考獲得學生資料檢索行為、思考過程以及 瀏覽活動，研究目的旨在學習www網際網路資料檢索的能力。 (五)融障診斷

May

(2005) 以電腦專家與生手，透過有聲思考蒐集電腦故障診斷的認知歷 程與行為表現。 Estes (1996) 研究發展一個心理測驗架構，此架構透過工作分 析、有聲思考及概念構圖等評估，訓練學生的故障診斷能力。

Rowe

(1994) 提出四種心智模式 (mental model) 的評估方法，其中以有 聲思考的故障診斷 (think

aloud while

troubleshooting) 評估法，以 19 位美國空 軍飛機修護員為實驗對象，接受心智模式的測驗，每位技術員接受稍有難度的故障 診斷實驗，發現階梯結構訪談 (the

laddering structured

interview) 及概念關聯 測試 (the

concept relatedness

ratings) 兩種評估方法，導引故障診斷的完成。 Rowe認為專業技術領域的發展不能脫離心理學，如心智模式測量技術等研究。

(式)程式議討

由於程式除錯能力對程式設計者而言相當重要。 Tsau

( 1996

)為了蒐集 學生程式的偵錯能力，從四方面著手:除錯認知 (debugging

knowledge)

除錯程序 (debugging processes) 、除錯技能(

de bugging

skills) 、除錯策略

(debugging

strategies) 。以 6 位大二學生為生手 -6 位大四學生其中階 -6 位講

師當作熟手。 18 位參與 Quick

Basic

(QB) 程式語言診斷的有聲思考實驗，程式

中預設 9 個錯誤點，其中 3 個語法上的錯誤 (syntactic error) 、 3 個語意上的錯誤

(semantic

error) 、 3 個邏輯上的錯誤 (logical error) 。經由錄音錄影及原案分 析結果，獲得如下結論:

1.大學生偵錯程式的過程中，並未遭到語法及語意上錯誤的瓶頸。

2.大學生較難找出邏輯上的錯誤。 3.大學生對於程式的語法、語意及邏輯上的偵錯過程並沒有很大的不同。 4.學生沒有能力理解 QB解譯器所提供的訊息。 5.學生缺乏排除程式邏輯錯誤的技能。 6.學生的偵錯策略一成不變。

Rezel

(2003) 為了探討程式設計的策略，選擇大學生教導 VB程式語言，分 兩組進行實驗:一組為訓練組 (training

group)

(N=19)

，接受目標導向的自我

解說訓練策略 (targeted

self-explanation strategies)

;控制組 (contro1

group)

(N=20) 則接受有聲思考，未接受任何學習策略，所有學生接受 3 種題目進行程 式設計與撰寫，資料分析結果顯示，兩組在程式設計的完成方面並無顯著性的差 異。先前的程式設計經驗才是導致程式設計成功的因素，從錄音帶的原案分析中獲 得:成功組的運用策略較頻繁。

Ruthruff

(2005) 等人以有聲思考探討程式設計者的偵錯過程，從設計者的 交談互動當中，提昇程式設計的除錯能力。 研究軟體工程的認知歷程，有助於軟體的理解與改進 o

Xu

(2006) 為了軟體 工程的認知歷程，發展以原案為基礎的交談法 (dialog-based protocol) 與自我引 導的學習理論 (self-directed

learning theory)

，其中以原案為基礎的交談法是以 兩位程式設計者在實施程式設計時，以有聲思考的方式進行。自我引導的學習理論 則植基於建構學習論 (constructivist

learning

theory) 與布魯姆的分類法(

b100m

taxonomy) 。藉此實驗探討程式設計者的認知活動 o

(七)科學教育

Singh

(2006) 在電磁學課程，利用有聲思考讓學生說明對稱性 (symmetry) 、電場 (e1ectric field) 與電通量 (electric flux) 的理解概念，以

及此部份的學習困難所在，針對高年級大學生及畢業生進行研究，發現大學生在此

方面的學習有很大的困難。

Cui

、 Rebello與 Bennett (2006) 利用半結構式的有聲思考唔談法 (semi

-structured think aloud

interviews) 探討微積分知識遷移至物理課程之問題解決歷

程，研究結果顯示:教學需加強微積分知識與物理問題的關連性。 (八)體育

C1ark

(2006) 為了瞭解小孩學習游泳的思考過程，選擇年紀約8歲的 22位小 朋友，在8 天的游泳課中，接受有聲思考實驗，經由原案分析後，了解每位小朋友 的游泳過程，藉以評估瞭解游泳技能的進步情形。 Aug叫 2007 S自甜的 E恥恥實 113芝在 喝部

有聲思考法的應用

渠、結語

為避免有聲思考法因監控因素等操縱不當產生不正確的資料，導致錯誤或負面 的推論，多位學者都建議應再輔以其他方式，如唔談、問卷或測驗等。 有聲思考法與唔談法並用可收互補之效。有聲思考法蒐集的資料係屬內在思維 歷程，實驗進行中難免受到實驗參與者的口語表達能力，以及轉譯人員認知上的誤 差，或者其他因素造成資料的失真或遺失，因而造成實驗信度的降低。為了彌補此 缺失，通常輔以事後唔談法配合。除了唔談法之外，一些問卷或測驗亦可彌補有聲 思考法之不足，使研究者能進一步瞭解受試者的問題解決思維歷程，確實蒐集到應 有的資料，使研究更臻完美。

參考文獻

王昭明(1 996) 。國學解題策略之分析研究。臺北市:全華。 朱湘吉(1 994) 。原案分析法簡介，教學科技興媒體.14' 49-53 • 吳和堂(1 995) 。簡介有聲思考法在閱讀上的應用。高市文教. 54 ' 48-50 。 林宏一(1 990) 。國中學生數學解題行海之分析研究。國立彰化師範大學科學教育研究所碩士論文， 未出版，彰化縣。 曾俊豪 (2005) 。空間能力、觀角以及情竊國黨對 3D電腦遊威玩家於尋路行為中認翔實據分配之影 響。國立交通大學傳播研究所碩士論文，未出版，新竹市。 戚樹誠、李俊賢、蔡華華、陳宇芬 (2002) 。口語協定分析在決策研究的應用，商管科按季刊. 3 (1) '59-69 。 蔡福軒 (2004) 。虛擬輿實體原型於產品使用性間越確認之比較，以MP3隨身聽為例。國立臺北科技 大學工業工程與管理研究所碩士論文，未出版，臺北市。 鍾瑞國、康鳳梅(1 997) 。提昇五專學生解決工程製圈中正投影試圖問題能力之研究。國科會研究報 告( NSC-85-2516-S且 003-002-TG) 。彰化縣:國立彰化師範大學。 顏晴榮 (200 1)。據電整合電路系篩故障檢修行為之分析研究。國立臺灣師範大學工業教育研究所博 士論文，未出版，臺北市。

Braaksma

,

A. H. ; Rijlaarsdam

,

G.; Bergh

,

H.; Bernadette

,

H. W.

,

& Berdanatte

,

H. A. (2004).

Observational learning and its effects on the orchestration of writing processes. Cognition and

lnstruction. 22(1λ1-36.

Brown

,

J. S.

,

& Burton

,

R. R. (1987). Reactive leaning environments for teaching electronic

troubleshooting. In W. B. Rouse (Ed.), Advances in man-machine systems research (pp. 65-98).

Greenwich, CN: JAI Press.

Camacho, M. (1986). Analysis of the performance of experts and navice while solving chemical

equi1ibrium problems. Dissertation Abstracts lnternational, 44, 2979A.

Clark

,

S. E. ; Stemar峙， D. M.

,

& Martini

,

R. (2006). The thought processes underlying se!f

-as-a-model interventions: An exploratory study. Psychology of Sport & Exercise. 7(4),381-386.

Cotton

,

D.

,

& Gresty

,

K. (2006).Reflecting on the think-aloud method for evaluating e-learning.

British Journal of Educational Technology, 37 (1), 45-54.

Cui, L. ; Rebello, N. 丘，& Bennett, A. 丘，(2006). College students' transfer from calculus to physics.

AIP Conference Proceedings, 818 (1), 37-40.

Ericsson, K. A., & Simon, H. A. (l980).Verbal reports as data. Psychological Revie\仍 8 久 215-252.

Ericsson, K. A., & Simon, H., A. (1993). Protocal analysis: Verbal reports as data. Cambridge, Mass:

MIT Press.

Estes, F. (1996). Evaluating behavioral and cognitive task analysis methods for the design

of training for technical troubleshooters. Ed.O., University of Southern California, 144 . AAT

9636708.

Faye M. G. C. (2006). Effects of a metacognitive reading program on the reading achievement and

metacognitive strategies of students with cases of dyslexia. Reading Improvement. Chula 的sta.

43(2), 77.

Ginsburg, H. P. et al., (1983). Protocol methods in research on mathematical thinking. In H.P.

Ginsburg (Ed.), The development of mathematical thinkinι riando(pp. 7-47). Florida:

Academic Press, Inc.

Hacke仗，忌，& Parmanto, B. (2006). UsabiJity of AcceSS for Web Site Accessibility.

Hayes, J.R., Flower, L. (1981). Uncovering cognitive processes in writing: An introducfion to

protocol analysis. Paper presented at the annual meeting of the American Educational Research

Association.

Jennifer B. (2004). Think-aloud protocol and adult learners. Adult ßasic Education. Auburn: Fall

2004.14(3),153.

Kihlfren a.(2006). Nurses' decision making. Academic Search Premier Paediatric Nu月'ing， 18(9),

10.

Kymes, A. (2005). Teaching online comprehension strategies using think-alouds. Journal of

Adolescent & Adu1t Literacy, 48(6), 492-500.

Lynn,A. S.(2006). Think-Aloud mysteries: Using structured, sentence-by-sentence text passages to

teach comprehension strategies. The Reading Teacher. Newark, 59(8), 764.

May, A. O. (2005). Assisting users: An investigation into the computer consulting process. Ph.O. ,

The University of North Carolina at Chapel Hill, 108 pages; AAT 3200816.

Miura, A. ; Fujihara，扎，& Yamashita(2006). Retrieving i日formationon the World Wide Web:

effects of domain specific knowledge, K. AI & Society, 20(2), 221-231.

Newell, A. 土， & Simon, H. (1972). Human problem solving. Englewood Cliffs, N.J. : Prentice-hall.

Nisbett, R. E., & Wilson, T. 0.(1977). Telling more than we can know: Verbal reports on mental

processes. Psychological Revie\巧 84， 231-259.

Nielsen, J. ; Clemmensen, T., & Yssing, C.(2002) Getting access to what goes on in people' heads?

Reflection on the think-aloud technique. Retrieved March 10, 2005, from http://portal.acm. org/ citation.cfm?id=5720 3 3.

Offredy, M., & Meerabeau, E. (2005). The use of 'think aloud' technique, information processing

theory and schema theory to explain decision-making processes of general practitioners and

nurse practitioners using patient scenarios. Primary Health Care Research & Development,

6(1λ46-59.

Pativisan,S.(2006) Mathematical problem solving processes of Thai gifted students, Electronic

Theses and Oissertations.

Ruthruff, J. R.;Prabhakararao, S.; Reichwein, J.; Cook, C.;Creswick，丘，& Burnett, M.(2005).

A啥叫， 2007 Se叫盯 Education ~， 11 5 ，Ei頁

有聲思考法的應用

Interactive. visual fault localization support for end-user programmers. Journal of Visual

Languages & Computing. 16 (1/2). 3-40.

Rezel. E. S. (2003). The effect of training subjects in self-explanation strategies on problem solving success in computer programming. Ph.D.. Marquette University. 161 pages; AAT 3093148.

Rowe. A.L. (1994).Mental models of physical systems: Examining the relationship between

knowing and doing. Ph.D.. Rice University. 112 pages; AAT 9514224. Rowe. 日.A. (1985). Problem solving and intelligence. Hillsdale. N

Schoenf跆el岫d.A. H. (1985). Mathematical Problem Solving. Orlando. Florida: Academic Press.

Si時h. C. (2006)Student understanding of symmetry and Ga臼s's law of electricity. American Journal of Physics. 74 (10). 923-936.

Shapi悶. A.. & Rachel. H. L. (2006). Opening Windows on Arab and Jewish Children's Strategies

as WritersLanguage. Culture and Curriculum 18(1). 72-90.

Tsau. S. R. (1996). College students' diagnostic capabilities in computer programming. Ph.D.. The University of Wisconsin - Madison. 314 pages; AAT 9636605.

Walker. B. (2005). Thinking aloud: Struggling readers often require more than a model. R凹的ng

Teache九 58(7). 688-692.

Xu. S. (2006). Cognitive aspects of software engineering processes. Ph.D.. Wayne State University. 194 pages; AAT 3210999.