行政院國家科學委員會補助專題研究計畫 成 果 報 告
期中進度報告
高溫超導科學競賽網站使用者之效能評鑑
計畫類別: □個別型計畫 整合型計畫
計畫編號: NSC 93-2515-S-006-008-; 94-2515-S-006-005-; 96-2515-S-006-004
執行期間:93 年 10 月 01 日至 96 年 12 月 31 日
計畫主持人:于富雲
計畫參與人員:廖淯任、連雅玲、陳玉欣、黃湘涵、陳昱呈
成果報告類型(依經費核定清單規定繳交):□精簡報告 完整報告
本成果報告包括以下應繳交之附件:
□赴國外出差或研習心得報告一份
□赴大陸地區出差或研習心得報告一份
□出席國際學術會議心得報告及發表之論文各一份
□國際合作研究計畫國外研究報告書一份
處理方式:除產學合作研究計畫、提升產業技術及人才培育研究計畫、
列管計畫及下列情形者外,得立即公開查詢
□涉及專利或其他智慧財產權,□一年□二年後可公開查詢
執行單位:國立成功大學 教育研究所
中 華 民 國 96 年 12 月 20 日
中文摘要
鑑於「評鑑」歷程與結果對高溫超導競賽活動教育網站有直接的幫助,並對未來超導體 學習活動於教育情境之運用與推廣有輔助作用,研究者以不同評鑑角度與理論,研擬三 年計畫。第一年的研究重點在於針對建置中的教學網站進行使用者評估,以瞭解此教學 網站對學習活動的輔助角色與效能。第二年的研究重點在瞭解使用需求評估之設置點,
期瞭解教育網站多所依循之教學設計模式中,將需求評估設定於教育網站設計初階的得 當性。第三年研究焦點為瞭解教育網站評鑑點之不同對評鑑結果的影響,並建立一「學 生答題與題目分析即時線上查詢系統」,以作為瞭解學生使用高溫超導線上測驗行為與 成效的分析工具。本研究以該年度高中生高溫超導磁浮創意競賽活動之參與者為研究對 象,主要採取問卷調查法,第二年同時利用panel study設計,以瞭解同一批學員前後需 求變動的現象。三年一系列相關研究主要發現包括:(一)本研究團隊所建置之高溫超 導教學網站確能提供多元與即時的訊息、豐富的教學內容及溝通交流的管道,輔助參賽 學生學習。雖然建置的討論區使用頻率稍弱,但參酌科技適切性與內在動機等理論,此 使用模式反而凸顯尊重學生自我選擇權與控制權以發揮不同工具建置的媒體使用概 念,故建議未來評鑑者能同時看重學習者之使用行為與決策歷程,以對媒體科技不同功 能之設置有較全面的了解與審斷。(二)學習者使用教學網站前與後的需求在部分題目 上確有顯著差異,且絕大多數皆呈現使用前需求高於使用後需求的現象。根據本研究發 現,建議教育網站建置者考量學習者在使用教學網站過程需求變動的現象,並採納動態 需求評估概念,以修正部分教學網站設計模式,使其發揮網站之教育輔助目的。(三)
以高溫超導特定主題與內容為網站評鑑標的物時,在功能完備性與學習輔助性上未有顯 著不同的評鑑結果;然而,在針對網站整體性評估,尤其是多媒體向度上,在功能完備 性與學習輔助性之不同評鑑角度則有顯著差異的評鑑結果。使用者對多媒體功能評估 上,較容易反應個人非教育類之媒體使用經驗,而對教育網站之動畫、影片、聲音等功 能完備性有顯著低於學習輔助性評價的現象。
關鍵字:教育網站、需求評估、網站評鑑
Abstract
Considering that data from continuous evaluation not only yield constructive feedback that help refine the developed website, provide evidence supporting the efficacy of incorporating the developed website for promoting students’ mastering of superconductor, and offer suggestions as to the various integration models and roles that the developed website can be of assistance, a series of evaluation studies were proposed in the 3-year project. Users’
perspectives on the efficacy of the developed website were the focus of the first year’s study.
The main focus of the second year’s study was to examine the necessity of re-assessing users’ needs during the development stage. The main focus of the 3rd year’s study was to examine any significant differences between participants’evaluative ratings towards the website in terms of its facilitating effects for learning versus its functionality comprehensiveness. In addition, a web-based test item and students’answer analysis system was developed. A survey research method was the main research method. High school students signing up for the Annual High Temperature Superconductor Tournament participated in the study. Major findings include: (1) For the most part, participants valued and perceived the developed website as facilitative of their learning. Despite the average usage of BBS is not as frequently among team-members as originally expected, in light of technology appropriation theory and intrinsic motivation theories, this kinds of behavior patterns further suggested the importance of investing the element of self-determination and self-control within participants. (2) Significant differences were found in learning needs between before and after use of instructional website in several dimensions. Learners tended to over-estimate their needs before interacting the website. (3) The facilitating effects of multimedia were significantly higher than those of its functionality comprehensiveness. Obtained results indicated that students used their past website surfing experiences as point of reference and tended to hold a higher expectation toward the embedded multimedia features. Suggestions and implications for website developers and evaluators were rendered.
Keywords:needs assessment, educational website, web evaluation
目錄
一、第一年報告內容:研究背景、研究方法、結果、討論與結論……1
二、第二年報告內容:研究背景、研究方法、結果、討論與結論……6
三、第三年報告內容
A. 實證研究:研究背景、研究方法、結果、討論與結論………14
B. 學生答題與題目分析系統………22
四、參考文獻 ………26
五、計畫成果自評 ………28
一、 第一年計畫報告內容
(一)研究背景
為加強高中生對高溫超導體特性之認識、提供高中生與教師對高溫超導磁浮創意競 賽活動進行方式之瞭解、加強參與學員彼此間互動之管道、促進反思與社會模仿學習之 機會等目的,參考多媒體電腦暨網路特性之相關文獻,本研究團隊自89 年開始著手設 計與建置一超導磁浮多媒體電腦教學之網站。將近三年的經營,就內容面而言,本計畫 建置之網際網站與多媒體展示系統目前涵蓋的教學主題包括:超導體演進與理論、超導 體之製作過程、超導體應用實例、超導體最新發展、超導體未來展望、競賽之意義、規 則與獎勵辦法等等。為有效推廣與延續高溫超導科技的新知識,教學內容的呈現上多強 調「互動式網路多媒體教學」或影片,期發揮多媒體、動態媒體之優勢,將複雜深奧之 理論,以較生動活潑之方式展現,提供有興趣之學生與教師有關超導體的相關資訊。此 外,為增加參賽學員小組內、參賽學員小組間、學員與專家間之互動,進一步實踐無時 空限制之社會建構學習效益,本網站也加入網路討論區與留言板之功能。此類溝通互動 功能的建置,主要是期促使深度討論與研究心得交流的學習文化,鼓勵發問與求助、協 助等反思、利他行為等習性養成。再者,為達到觀摩與廣宣之目的,本系統著重複賽得 獎作品資料的整合,以及佳作作品3D 模型與製作之動畫展現。最後,為加速資格審查 與參賽文件資料的交換與紀錄保持,本網站近年來新增加了線上報名、線上測試、文件 上傳、專家線上評鑑等功能。整體而言,本計畫下所建置之網際網站與多媒體展示系統 企求能達到提供多媒體全感官之學習經驗、吸引與維持學生之注意、激發學生學習動 機、營造個別化之教學與回饋、創造主動之學習空間、提升多元與多樣的溝通管道、加 強學習效果等等功能。
為輔助學生快速獲取「超導體」相關知識,提升參與學生對研究主題之學習興趣,
雖然本計畫參酌網路媒體相關文獻已建置了一多媒體展示系統與教學網站,所提供的討 論區內目前即有200 個討論主題,1318 篇討論文章,然而,礙於過去研究人力之不足,
有關系統使用效能性之評估與分析則尚未有相關研究之進行。
有鑑於評鑑歷程與結果對學習系統之發展與規劃有建設性的幫助,對未來超導體學 習活動於各教育階段推廣的輔助作用,研究者第一年度計畫主要針對建置中的教學網站 進行使用者評估,期瞭解此教學網站對學習活動的輔助角色與效能。
(二)研究方法
為了評估高溫超導教學網站的使用情況,本研究採問卷調查法,於2005 年3 月第 四屆決賽時於會場發放,讓132 位進入決賽者分別填寫。問卷內容為一份33 題之自陳 式七點量表加上三題開放性問題,主要目的為了解的以下兩個議題:
1. 網站的助益性
由於本網站屬於教育網站,建置主要目的即為輔助學員參與活動進行學習,為讓使 用者評估本網站內各功能與訊息提供對其學習的助益性,故以現有網站架構為區塊,分 為「最新消息」、「競賽簡介」、「超導教學」、「超導討論」、「網路資源」、「意 見連絡」、「創意筆記」和「網站整體性」等部分,根據功能與內容多寡,包含不等的
題數。題目包括:最新消息區有助我對活動參與注意事項的瞭解;認識超導競賽區有助 我瞭解超導磁浮的發現與起源等背景資料;超導教學區有助我瞭解超導體特異現象的重 要概念;超導教學區有助我學習超導體實驗程序與操作的重要資訊;超導教學區內之常 見問題集有助我掌握超導體實驗、操作上常見的問題與建議,避免一些常犯的錯誤,有 利學習;超導討論區搜尋功能有助有關超導體相關知識的學習;超導討論區有助於小組 內計畫的規劃與安排;歷屆競賽資訊區競賽歷程參考資料與紀錄有助我學習;意見留言 區專家回應有助我學習;利用網路筆記本紀錄小組實驗過程與發現有助我學習;影片內 容有助我學習超導相關知識;架構、組織有利我學習超導相關知識等。
2. 偏好之溝通方式與原因
共有三題,分別為「參賽以來,你最常使用哪些方式與小隊溝通討論(面對面、電 話、電子郵件、即時通訊系統、本網站之討論區、其他網站之討論區)?」、「參賽以 來,你使用共同討論區的情形大致為何(從未使用過、很少使用、偶而使用、常常使用)?」
以及「參賽以來,你使用小隊專屬討論區的情形大致為何?」。各題選項後,皆請學生 針對他們答案再說明原因。
(三)結果
扣除掉無效問卷,本問卷之回收率達97%。以下依學習助益性、不同溝通工具之偏 好與原因、討論區使用情形與原因等三部份,分別呈現資料分析結果。
1. 網站助益性
問卷量表33 題中僅有三題贊同程度未超過半數以上,其中幾近半數題目(15題)的贊 同程度比例更高達2/3 以上。三題未超過半數以上贊同程度皆屬於超導討論區的題目(超 導討論區提供小組另一個溝通的管道,有助於與小組內學員對超導相關議題的討論 (49%);超導討論區有助於與其他小組的互動與溝通(49%);超導討論區有助於團體共識 的達成(46%)。進一步以單組T 檢定各區塊以及各題目(以4 為平均期望選項),結果發現 所有檢定都達統計顯著水準,顯示填答者普遍認為本網站各功能與內容提供有助於個人 學習活動。
2. 不同溝通工具之偏好與原因
根據學生偏好不同溝通方式結果顯示,面對面溝通為最優先選擇的結果,電話為次 優先的選擇,即時通訊系統為再次優先的選擇。進一步分析學生對不同溝通方式偏好的 原因,大致可歸源以下幾個原因([]內是學生填寫原因的次數):
(1) 便利性[76]指最方便的溝通方式。學生填答如:大家都在同一所學校,且剛好 又是同班同學,碰面的機會實在是太多,所以面對面的溝通方式較方便省時;用電話可 以不用跑來跑去,也可以一邊做其他的事,一邊解決問題;由於不可能常常聚會,直接 在線上的即時通訊系統討論,非常便利。
(2) 溝通正確性[29]意味著能無誤的傳達每個組員之間的意見,在協調上不會失 真。學生的意見如:有些較具時效性的事情,面對比較不會有傳話失真或曲解;文字比 較難溝通,而且我們這組五人之間的住家又離的比較遠,所以幾乎都是用手機聯絡;電
話只聽聲音有可能會誤解,有失真實性。
(3) 立即性[28]指溝通時能獲得最節省時間的辦法。學生填答意見有:因為速度快,
當面溝通比較好溝通,不會有困難,而且有問題可以當面解決,也可立即畫下想法,再 改進;用電話是在家要即時溝通,省去開電腦時間,且立即性高;即時通訊必須在有網 路及夠快的打字速度下,才可能順利討論,所以較不討論。
(4) 時空限制性[25]指溝通方式不受時間或空間的限制,能隨時隨地溝通,如:電 話和即時通是沒有共同時間而用的工具;由於我們是跨校組隊,聯絡上不如預期的方 便,故會確定大夥兒時間皆允許的時候開會討論…則決議每週六晚間7:30上yahoo 即 時通開會討論;在家中,便以電話、即時通與討論區較多。
(5) 多元性[18]指透過溝通可以獲得多元的意見,或是溝通方式除了以口語表達意 見之外,還能透過文字、圖片等形式來集思廣益,如:面對面討論就像腦力激盪,一起 集智引發創意;電話討論只侷限於兩個人,效果較不好;電子郵件大多是用來傳送無法 口頭說的資料、圖片、網站;即時通可把設計圖像給對方,再線上做修正,必要時又可 上網查資料。
3. 討論區使用情形與原因
共同討論區的設置是為了提供學生、專家之間交流的管道,資料分析發現有43%的 學生選擇偶爾使用,32%選擇很少使用,17%則是從未使用過,只有8%的學生選擇常 常使用。此外,本網站還設置了小隊專屬討論區,經過統計發現:57%的學生從未使用 過,26%的學生很少使用,14%的學生偶爾使用,只有3%的學生常常使用。根據填答 者所提供之原因,大致歸納出以下幾點:
(1) 使用習慣性[74]指學生溝通的習慣,如:我們都用即時通或直接見面比較快;
因為我們自己在yahoo 有建立家族;我們若有問題,比較直接的解決方法就是請問老師 或教授;討論區雖然方便,但在我們有問題時,我們通常先自己去查書,或者去查網路,
也可能去問我們的指導老師,也就因此很少去使用討論區;大討論區通常由組長去查 看;用討論區討論很奇怪,根本不知道在和誰說話。
(2) 便利性[47],如:因為大家有時時間無法配合,而聚會討論也不易,所以就可 藉此討論區來交換意見、分享心得,也讓所有組員知道彼此的進度;因為都是同班同學,
在學校中討論就很方便了;使用討論區有很多不方便的地方,無法馬上進行回答,且我 們並非每天上網去看有誰去留問題,我們以面對面方式進行討論,快速又方便;本身的 成員就是同班同學,每天都會見到對方,所以我們有問題會直接找對方談,而放學回家 後,便利用電話來與對方聯絡,再次,如果有一些文件或圖片需要互傳的話,再用網路 傳e-mail,因為可以面對面溝通,加上使用其他更為便利的方式,所以從未使用討論區。
(3) 科技支援性[37]指電腦素養、網路頻寬及允許使用度,如:因為我們家是窄頻,
上網很不方便,自己又是個電腦白痴,一看到電腦就ㄧ個頭兩個大;家裡電腦父母不希 望太常使用,再說家裡電腦也慢的要死,父母又不給去網咖,再學校電腦到了下課十分 鐘則是人山人海,所以只能偶爾使用。
(4) 多元性[18]指能了解其他人進度,獲得多元意見,如:時常使用討論區,看看
大家參賽的狀況,公佈的內容,教授、學長們所提供的建議…心裡也較不會有踩空的感 覺,就像是一直保持在狀況內;可以知道其他組在想什麽,進度到哪。
(5) 更新度[15]指討論區回應問題或更新消息的速度,如:因為最新消息的公佈大 多不太清楚,只好再討論區中看看是否有更進一步的消息;內容很少更新,有人問問題 不一定有人回應。可見更新速度影響使用度。
(6) 問題解決度[12],如:我們所遇過的問題,大部分解決的方法都曾貼在討論區 之中;因為很多問題都是很難找認識的人解決,所以用討論區成為求解的一個方法”。
不使用的人則認為:有些問題是即時性的,具有迫切性的,不能在討論區獲得最詳細的 訊息。
(7) 操作容易度[10]指申請和使用的容易度,如:申請不方便,且實用性不 高;對於申請專屬討論區的方法不是很瞭解。
(四)討論
1. 網站功能與內容對學習之助益性
如前所述,本研究量化統計發現全部的題目都達顯著,進一步分析,可發現本網站 建置符合當初設計之準則,分別簡述於下:
(1) 最新消息區與認識超導競賽區確有輔助競賽活動辦理的功能:根據最新消息區 統計,學生對於比賽規則、活動注意事項及最新消息都達顯著(p<.05),表示透過最 新消息區有助於他們對高溫超導競賽的了解,輔助整個活動的進行。此外,在認識超導 競賽區裡,學生也認為此區有助於了解超導磁浮的發現源起與本競賽意義(p<.05),
在參與活動過程中,較能了解本競賽與其他科學競賽迥異之處,進而認同本競賽舉行的 意義,有助於競賽推廣與辦理。
(2) 超導教學區的多元教學方式有助於高溫超導知識的學習:超導教學區的所有題 目都達顯著(p<.05),每一題的贊同百分比介於63%~79%之間,表示超導教學區有助 於了解超導相關知識。超導教學區擁有多元的教學方式,包含文字、圖片、動畫和影片,
讓學生能自我學習,不論在了解塊材相關知識或超導實驗程序上都很有幫助(達顯著)。
另外,提供專家演講的影片,提供多元學習管道,多數學生認為確有助於超導新知的吸 收,以利競賽的進行。
(3) 超導討論區為一良好溝通平台,提供專家與同儕互動有利於學習:超導討論區 的所有題目和整體檢定都達顯著,表示在討論區提出問題和回應問題皆有助於疑惑釐 清,是一良好的溝通管道,且因為討論區保留了歷屆比賽資訊,搜尋歷屆討論資料更能 讓學生能依其需求尋找有用的資訊,輔助創意作品的完成。總上所述,學生認為本區所 提供之專家互動與同儕交流有助於小組內創意的激發、競賽規畫以及團體共識的達成(p
<.05),提供多元學習輔助,是良好溝通平台。
(4) 網路資源區提供大量連結,有助學生獲得更多學習輔助:所有題目都達顯著,
表示此區能給予學生超導相關網站以及創造力的相關資訊,透過大量的連結,學生能學 習到更多知識,獲得不同領域專家的輔助,對競賽的規畫有所幫助。
(5) 歷屆競賽資訊及意見留言區提供前人經驗與專家建議,有助於超導知識的學
習:所有題目皆達到顯著,表示歷屆競賽資料能提供豐富的前人經驗,有助於競賽知識 的學習,而意見留言區能直接與專家互動,有助於疑惑的釐清,以利競賽順利進行。
(6) 網路筆記本能提供反思管道,有助於學生創意歷程的保留:網路筆記本是小組 用來記錄創意歷程的工具,在學習助益上皆達到顯著,表示確能提供學生反思管道,經 由不斷整理、反覆思考完成構思,有助於競賽規畫與執行。
(7) 網站設計有助於高溫超導知識的學習:本區所有題目皆達顯著,表示網站的整 體設計和教學方式都有助於學習,不管是動畫和影片,或是文字說明和組織架構,都能 清楚傳達網站的設置的目的,學生透過網站能習的更多元的知識。
2. 不同溝通方式偏好與使用
根據填答者勾選結果與填寫之原因,可以發現學生在選擇溝通方式與討論區使用上 多歧異,不同選擇各有原因。此結果驗證科技使用是一種個人自我建構的歷程,而非科 技設計者設置的歷程。近年來媒體分析學者多以科技適切度(technology appropriation)
的角度,分析不同媒體的選擇使用,強調科技選用是經由使用者所建構出來的指標,使 用者會因其興趣、需求來評估(Carroll, Howard,Vetere, Peck, & Murphy, 2002)。
在不同溝通方式的選擇上,參與競賽的學生認為面對面是最好的選擇,因其具有便 利性、正確性、立即性、多元性等功能,但其他如電話、即時通訊或討論區也具有類似 的功能,甚至比面對面溝通還不受時空限制,能隨時隨地討論。探究學生選擇溝通方式 的原因,試以動機觀點解釋之。Atkinson(1957, 1964)認為個體行為的展現來自需求、
期望與價值的結合,學生期望討論時能快速並達成共識,考慮各自的特殊情境需求後(如 同校、同班),選取最便利使用的討論方式。事實上,如果科技便利、能贊同及支持真 實活動,或滿足其風格需求,人會傾向嘗試或評價它(Carroll et al., 2002)。從本研究 討論區的使用情形來看,學生在遇到嚴重問題或是想了解其他小組進度是會選擇使用共 同討論區,而小隊討論區則在組員非同校的情況下使用較為頻繁,然而,若當初所預期 達成的目的未達成(例如:問題回應速度慢,其他小隊使用頻率亦不高,甚至無法隨心 所欲使用電腦或網路,造成溝通上的不便),學習者是會審慎各因素之價值,選擇最適 合自己的溝通方式(Carroll et al., 2002)。最後,參酌自我決定內在動機觀點,同樣強 調學生多樣性的選擇權(Deci & Ryan,1987),所以遑論網站建置之功能,都應該允許 學生自我選擇最適合的溝通方式,以達到良好的效果,使學習歷程順利推展。
(五)結語
本研究立基於目標導向的網站設計原則與評鑑方法,經由資料分析發現,本研究團 隊所建置之高溫超導教學網站確能提供多元與即時的訊息、豐富的教學內容及溝通交流 的管道,輔助參賽學生學習。雖然建置的討論區使用頻率稍弱,但參酌科技適切性與內 在動機等理論,此使用模式反而凸顯尊重學生自我選擇權與控制權以發揮不同工具建置 的媒體使用概念,故建議未來評鑑者能同時看重學習者之使用行為與決策歷程,以對媒 體科技不同功能之設置有較全面的了解與審斷。
二、 第二年計畫報告內容
(一)研究背景
隨著科技的進步,促進網路的便捷性,網路使用人口迅速增加。在網路便利性的情 況下,擁有無時空限制、多媒體訊息呈現、無平台限制、可隨時更新、即時性、非同步 性、資源共享、知識多元呈現的特性,國內外都建置了不同類型的教育網站,以輔助學 習,提供學生更適切的學習方式。由 Google 鍵入「教學網站」進行搜尋,不分繁體或 簡體網站,可找到近乎五千六百多萬筆的相關資料,可見教學網站數量之龐大。
網站建置歷程中,多以系統化教學設計模式為學理依據,一開始強調分析教學問題、
工作和學習者需求或特色等要素,再設置具體的行為目標和建置網站功能,讓學習者得 以掌握教學網站的使用方向,再藉由評鑑功能了解學習成果和修正教學網站的缺失(陳 正昌等譯,1996; Rosenberg, 1982; Kemp, 1985; Branch & Gustafson, 1997)。細部分析系 統化教學設計模式涵括要元與步驟,尤其是需求評估與評鑑要元之關係,發現模式間有 三大不同取向,第一種是評鑑階段包括重新評估學習者的需求,如 IDI 模式、Rosenberg 模式、The Smith and Ragan 模式和 ADDIE 模式;第二種是在學習評鑑之後,只針對教 學課程和教學環境等要素重新評估,未再度分析學習者需求,如 IPISD 模式、Dick 和 Carey 模式;第三種雖將學習者需求置於循環模式的中心,但未特別強調重新評估的概 念,如 Kemp、Morrison 和 Ross 模式。截至目前,教學領域尚未有實證研究針對「學 習者需求重新評估」的必要性進行探討,故學習者需求是否在過程中變動的情形尚未受 到關注。
學習者需求變動情形可以從商業領域中需求變動相關研究和科技挪用性理論來解 釋。新近科技挪用理論的相關研究發現,學習者會評估其興趣或需求來使用或選擇科技 工具,越與需求一致,採納性和使用度較為提升;反之,當科技與需求不相吻合時,使 用者進行需求的自我調整,甚至改變科技原先的設計功能,促使使用上落差的平衡,所 以科技的使用是一種個人自我建構的歷程,需求在過程中會產生變動(Carroll, 2004;
Carroll, Howard, Peck & Murphy, 2002)。此外,從商品研發的文獻裡發現,顧客的需求 是非固定、持久穩定的狀態,顧客可能改變原本的需求偏好或需求順位,轉而重視非原 先預期的需求。動態需求評估的相關實證研究也發現顧客需求有前後改變的現象(王鳳 生、陳思慎、鄭育仁,2005;楊智元,2001;溫淑戀,2003;戴家豪,2002;Berendt, Gunther
& Spitkermann, 2005; Bettman, Luce, & Payne, 1998;Dietrich, 2004; Earnhart, 2004;
Marston, Loomis & Klatzky, 2004; Kramer, 2003)。舉例言之,溫淑戀研究行動電話顧客滿 意度和忠誠度的關係,得知高中(職)生使用行動電話前的預期以及使用後的感受有所落 差,原先最需求的考量要素被其他要素取代,造成需求順位改變的現象。Berendt、Gunther 與 Spitkermann 研究電子商業行為之隱私權,發現受試者宣稱的隱私偏好與實際展現行 為 並 不 一 致 , 研 究 者 依 據 受 試 結 果 將 受 試 者 分 為 隱 私 基 本 主 義 者 (privacy fundamentalist)、邊緣關注者(marginally concerned)、個人資料關注者(identity concerned) 和特色關注者(profiling averse)等四個團體,後兩者在初步研究時表示願意揭露隱私資料
(如:姓名、電子郵件、興趣和嗜好等),但在實際行為上他們卻常保留住址,相對於 揭露度不高的團體,如隱私基本主義者,在實際行為上揭露度卻很高。此研究結果顯示,
隱私偏好評估結果與之後的偏好行為表現不一致。根據此研究發現,原作者建議未來市 場開發者需不斷評估使用者需求,以因應顧客需求變動的現實面。另外,Dietrich 研究 時間價值和運輸花費同樣發現,實際偏好行為和假設偏好行為之間有不一致的情行,即 先前評估的需求與之後的偏好需求有差異,進而發現需求是變動,並提出研究者需要利 用統計調整以彌平之間存在的差異現象。
綜合言之,從商品研發相關研究中發現,顧客的需求前後並不是固定不變的,亦即 並非需求在初始測試之後就能完全定型不再變化;反之,受試者常會隨時因情境或實際 需求而改變其偏好,所以需求分析的歷程應該不是僅停留在產品研發、設計的前置點,
而是應要在之後有再評估、比對的設計,以確保任何發展中的產品能解決問題,達成目 標。雖商業環境已意識到需求變動的可能與再評估的必要性,然而,教育體系下系統化 教學模式中確不乏學習需求是固定不變的假設。部分常用模式中雖有評鑑機制設計,但 多僅針對教學方法、內容等面向,並無將學習者需求可能變易的狀況考量進去,而做再 檢視、再評估的規劃(如: Dick 和 Carey 模式)。有鑑於此,本研究想探討使用者對 教育網站學習需求是否有變動的現象。
(二) 研究方法
本研究情境為配合「高中生高溫超導磁浮創意競賽」活動所建置之高溫超導磁浮創 意競賽教學網站(www.HiTcworld.org)。如圖一所示,高溫超導教育網站架構主要分為 幾大區塊,分別為:
(一)最新消息區:會依照日期放置競賽相關訊息並提供最新的超導體實驗影片,
讓參與學生了解目前競賽的最新情況。
(二)競賽簡介區:提供本競賽舉辦的歷程與緣由,並放置歷屆競賽成果照片與相 關新聞報導。
(三)超導教學區:傳達各種高溫超導知識與操作高溫超導體實驗的步驟,提供高 溫超導體目前的應用狀況,並設置常見競賽問題的專區,以利學生查詢,分為教學課本 (textbook),主要介紹與超導體相關的知識和物理常識;超導歷史簡介(history),介紹超 導體和高溫超導體的發現淵源;線上實驗室(Lab)則是利用影片說明高溫超導體的實驗程 序;超導體的應用範例(example)提供了許多高溫超導體在實際生活中的應用;超導專家 演講影片(ShowRoom)提供高溫超導研究專家的演講片段,讓與賽學生更了解高溫超導 體;超導常見問答區,提供歷屆競賽以來學生最常遇到的問題,並附上詳細解說。
(四)超導討論區:本區的設置目的在於提供參賽學生同步溝通的管道,並保留第 一屆到第四屆的討論資料與搜尋功能,方便過去討論資料以及常遇問題與解決方法的尋 找。主要分為老師專用討論區、綜合討論區和小隊專屬討論區,本研究兩次問卷設計以 綜合討論區和小隊專屬討論區為基礎。
(五)網路資源區:提供豐富的超導體網站聯結,包含創造力與發明以及超導體相 關主題網站與參考書籍,讓學生可以自行學習。
(六)歷屆資訊區:採時間順序保留各屆消息,方便資訊的追蹤,讓參賽者了解歷 屆比賽流程的規劃原則,並提供前幾屆競賽的學習歷程紀錄範本(包含創意過程系統整 理紀錄以及聚會討論的會議紀錄)。
(七)意見連絡區:提供本計畫下具物理、材料塊材專長教授和參與本計劃之科工 館研究員的電子郵件,讓學生可直接與專家以非同步的方式聯繫,解決所遇到的問題。
圖 1 高溫超導磁浮創意競賽網站架構
本研究採 panel study,利用問卷讓參與學員填答。問卷內容主要依據上述高溫超導 磁浮網站架構和內容而設計,分為七大部分,唯考量學習歷程的重要性,故特別將「學 習歷程紀錄工具」獨立為另一個區塊,再加上整體網站設計,總共九大架構設計七點量 表。本問卷分兩次前後施測,讓填答者根據非常不重要、不重要、有點不重要、無意見、
有點重要、重要、和非常重要等不同等級做勾選,以了解學習者感知網站所提供的功能 與訊息之重要性程度。當學習者認同的重要程度越高,表示其需求越強烈。為確保問卷 內容語句的清晰度與明確性,利用前一屆決賽場景,本問卷於 2005 年 3 月舉行預試,
讓所有參賽者個別填寫問卷,並依學生建議做適當之修正。
配合本屆初賽活動進行,第一份問卷於 2005 年 7~8 月採郵寄方式寄出,主要是收 集學習者對高溫超導磁浮創意競賽網站不同功能與內容之使用前需求,於七月和八月份 於台北、台中、高雄所舉辦的三場教育訓練中回收,共回收 687 份,扣除掉無效問卷後 為 674 份,有效問卷回收率達 79%。配合決賽活動進行,第二份問卷於 2006 年 3 月決 賽進行前一週以郵寄方式寄予參賽學生,並於 3 月 5 日決賽現場回收,共發放 201 份,
扣除掉決賽棄權與退賽僅剩 175 人,回收份數 147 份,回收率達 84%,且全部皆為有效 問卷。採郵寄寄發問卷的原因主要有二︰一、並非每個參賽學生都能參與教育訓練,故 先以郵寄方式寄給每個參賽學生,再由各隊小組長統一收齊後繳交,可確保所有參賽者 都填寫過問卷;其二學生有充分時間思索問卷問題,並視需要可隨時瀏覽高溫超導磁浮 創意競賽教學網站。
為了解進入決賽之學生使用高溫超導磁浮創意競賽網站後對網站的需求是否有落 差的現象,分析資料主要是比對進入初賽與決賽的同一批參賽者(共 114 人),利用 t 考驗進行研究假設(教學網站使用前需求重要性和使用後同向度需求重要性有顯著差 異)差異性分析。為了將整體的錯誤率α控制在某ㄧ水準,使各個區塊比較題目的結果 更具考驗力,利用龐費洛尼 t 考驗法,依據各區塊比較題數分別切割α值。根據不同網 站區塊,本研究計有九大假設,分別為:
1 「最新消息區」使用前的需求重要性和使用後的需求重要性有差異。
2 「競賽簡介區」使用前的需求重要性和使用後的需求重要性有差異。
3 「超導教學區」使用前的需求重要性和使用後的需求重要性有差異。
4 「超導討論區」使用前的需求重要性和使用後的需求重要性有差異。
5 「網路資源區」使用前的需求重要性和使用後的需求重要性有差異。
6 「歷屆資訊區」使用前的需求重要性和使用後的需求重要性有差異。
7 「意見連絡區」使用前的需求重要性和使用後的需求重要性有差異。
8 「創意筆記區」使用前的需求重要性和使用後的需求重要性有差異。
9 「整體網站設計」使用前的需求重要性和使用後的需求重要性有差異。
(三)研究結果
從表 1 來看,最新消息區只有「高溫超導磁浮的最新知識」一題達到顯著( p
<.013),且使用前平均需求(6.39)高於使用後平均需求(6.03),此結果可部分支持假設 1。
從表 2 來看,競賽簡介區兩比較題都未達顯著,無法支持假設 2,即「競賽簡介區」使 用前需求和使用後需求沒有差異。從表 3 來看,超導教學區十題題目中有六題達到顯著
( p<.006),其平均數皆是前測大於後測,表示使用教學網站前學生較需求超導體相關 知識、實驗操作資訊和模擬超導實際效應的動畫遊戲,支持本研究假設 3。由表 4 來看,
超導討論區中只有ㄧ題達顯著(p<.004)且「各小隊專屬的線上討論空間」平均數是使 用前(5.71)大於使用後(4.84),表示學生使用教學網站前較需求線上專屬的討論空間,
此結果支持假設 4。從表 5 來看,網路資源區的兩比較題目都達顯著(p<.025),且前 測的平均數都高於後測的平均數,其結果支持假設 5。由表 6 來看,歷屆資訊區全部的 比較題目都未達顯著,無法支持假設 2-6。由表 7 來看,意見連絡區的比較題目達到顯 著( p<.05)且後測平均數(6.02)高於前測(5.36),顯示學生認為專家的回應功能使 用後比使用前更重要,支持本研究假設 7。由表 8 來看,創意筆記區的兩大比較題目都 未達顯著,無法支持本研究假設 8。由表 9 來看,整體網站設計除了「容易的網頁連結」
和「具吸引性的畫面設計與色彩運用」之外,其餘都達顯著差異(p<.005),且前測的 平均數都高於後測的平均數,表示學生使用教學網站前認為高溫超導教學網站具有動 畫、影片、架構組織等要素較為重要,但使用後,相對之,這方面需求降低,支持本研 究假設 9。
表 1「最新消息區」使用前的需求和使用後同向度的需求重要性檢定(N = 114)
表 2 「競賽簡介區」使用前的需求和使用後同向度的需求重要性檢定(N = 114)
表 3 「教導教學區」使用前的需求和使用後同向度的需求重要性檢定(N = 114)
表 4 「超導討論區」使用前的需求和使用後同向度的需求重要性檢定(N = 114)
表 5 「網路資源區」使用前的需求和使用後同向度的需求重要性檢定(N = 114)
表 6 「歷屆資訊區」使用前的需求和使用後同向度的需求重要性檢定(N = 114)
表 7 「意見連絡區」使用前的需求和使用後同向度的需求重要性檢定(N = 114)
表 8 「創意筆記區」使用前的需求和使用後同向度的需求重要性檢定(N = 114)
表 9 「整體網站設計」使用前的需求和使用後同向度的需求重要性檢定(N = 114)
(四)討論與結論
本研究主要是探討學習者使用教學網站前後需求是否有變動,採用 t 考驗和龐費洛 尼 t 考驗法,依不同區塊分別進行檢定,結果發現:最新消息區、超導教學區、超導討 論區、網路資源區、意見連絡區和整體網站設計區塊下部份功能或資訊有需求落差的現 象;其中除了意見連絡區呈現使用後需求顯著高於使用前需求外,都是使用前需求顯著 高於使用後需求,以下依據顯著結果依區塊簡要說明。
最新消息區 t 考驗結果發現只有「高溫超導磁浮的最新知識」一題達到顯著( p
<.013),且使用前的需求高於使用後的需求。推論原因可能是競賽活動初始學生對於高 溫超導的相關知識尚未完備,高中課程也沒有此方面的知識提供,因此可能較需倚賴教 學網站獲取高溫超導磁浮的最新知識,然而,經過教育訓練課程以及決賽階段,學生對 高溫超導的相關知識相對之下已較俱全,以致使用後需求明顯降低;反之,「比賽規則 的說明」、「活動參與注意事項的說明」和「活動訊息的即時公告」都是決賽前後需要的 相關要素,所以使用前和使用後需求並無顯著差異。
超導教學區 t 考驗結果發現六題達到顯著,且平均數皆是使用前大於使用後,表示 使用前學生對超導教學區的需求較使用後來得顯著重要。此現象,研究者認為可能源於 不同活動歷程對不同知識類型需求的不同所致。簡要分析之,由於高中課程並未觸及高 溫超導課題,而超導體相關敘述性知識和程序性知識皆屬於參與競賽者核心基礎知識,
故活動初期學習者對此兩類知識之需求自然都高;然而,進入決賽後,活動強調模型之 實作與操作歷程,相對之,敘述性知識的訊息就不較程序性的知識來得迫切,而造成使
用前和後需求差異的現象。明言之,偏向程序性知識之「超導體實驗程序與操作的相關 資訊」、「有關超導體線材、塊材與科技可能應用的情境介紹」和「超導實驗常見問題的 彙整」等需求無顯著前、後差異現象,而偏向敘述性知識之「超導體特異現象的相關資 訊」、「臨界溫度、臨界電流密度、臨界磁場強度等超導體基礎知識的相關資訊」、「超導 體材料的相關資訊」、「專家學術演講以補強超導體方面的知識」等則有需求變動現象。
超導討論區 t 考驗結果只有「各小隊專屬的線上討論空間」達顯著(p<.004),呈 現使用前需求高於使用後需求的現象。從其他收集資料推知,因為學生面談即可達到討 論效果,加上科技支援不足、其他使用習慣,如 msn、yahoo 即時通訊等影響,進而可 能造成學生進入決賽後對小隊專屬討論區需求降低。
網路資源區 t 考驗結果發現全部比較題目都達顯著(p<.025),且學生使用前對於 創造力與發明以及高溫超導等議題相關網站連結比使用後來得更需要。此現象可能是競 賽活動之前,學習者相關知識較為欠缺,所以很需要高溫超導教學網站所提供的功能和 內容,但是學生進入決賽後先備知識已較充足,所以需求比使用前來的低,進而出現需 求前後落差的現象。
意見連絡區 t 考驗結果顯示,使用前和使用後需求差異達到達到顯著( p<.05),
且使用後較使用前更需求專家的回應。研究者推論原因,可能是學習者進入決賽後,在 製作高溫超導模型上遇到難以解決的問題,又考量小組內競賽相關資料不能外漏的問 題,以免影響日後創意競賽成績,所以轉而倚賴進一步與專家之互動,以獲得更多資訊 與指導,裨利其參賽模型能順利製作完成。
整體網站設計 t 考驗中,除了「容易的網頁連結」和「具吸引性的畫面設計與色彩 運用」之外,其餘如「具吸引性的動畫內容」、「具吸引性的影片內容」、「具教育性的影 片內容」、「清晰的影片畫面呈現」、「適當搭配的影片聲音與畫面」、「聲音清楚的影片」、
「簡潔、清楚的文字內容解說」和「清楚的網站架構與組織」都達顯著(p<.005),且 都是使用前的平均數都高於使用後的平均數。
由本研究結果可知,學生在使用教學網站前的需求和使用後的需求出現落差現象。
近年來在商業領域所發現之需求前後變動現象,本研究結果發現在教育網站建置中有同 樣的情形,亦即使用者對網站不同功能與內容需求使用前後確有顯著改變。研究者認為 學生一開始參加高溫超導競賽的階段,由於學校課程並無高溫超導教相關課題教導,故 此方面之知識較不足,故網站所提供的功能和訊息成為重要的參考媒介,需求會較高,
但是進入決賽後,學生超導體相關陳述性知識隨之增長,此外,順應決賽強調模型的產 出,學習者轉而關注競賽創意的激盪和模型的製作,故相對之下對其他敘述性知識的需 求較不高,進而造成進入決賽後的學習者需求與活動初始階段之需求相比明顯出現落 差。本研究發現,只有在「意見連絡區」方面,由於進入決賽的學習者在製作模型過程 中遇到很多問題,考量小組創意保密和問題解決性,非常需要專家的輔助,故反而出現 較競賽活動之前更需求的結果。
由本研究分析結果可知,學習者對教育網站需求確有前後變動的現象,就教學網站 常採用的系統化教學設計模式來看,呼應了學習者需求在評鑑之後應被重新評估的概念
(如 IDI 模式、Rosenberg 模式、The Smith and Ragan 模式和 ADDIE 模式)。從商業領 域顧客需求變動文獻強調,顧客需求偏好並非穩定不變,其在決策過程中可能會改變原 本需要,轉而重視其他的需求(王鳳生、陳思慎、鄭育仁,2005:3-6;Kramer, 2003),
相關需求變動實證研究也發現,顧客的需求時常變動,並非持久穩定的狀態,顧客可能 改變原本的需求偏好或需求順位,轉而重視非原先預期的需求 (楊智元,2001;溫淑戀,
2003;戴家豪,2002;Berendt, Gunther, & Spiekermann, 2005;Bettman, Luce, & Payne, 1998;Dietrich, 2004)。本研究結果支持近年在商業領域所強調之需求變動概念,由於學
習者在未深入使用教學網站前與使用後的需求出現不一致的現象,部分系統化教學模 式,如 IPISD 模式、Dick 和 Carey 模式以及 Kemp 等模式未納入學習需求重新評估的概 念應被修正,應將學習者需求變動納入教學模式調整歷程裡。
根據本研究發現,建議未來教育網站建置者依循系統化教學設計模式時,應考量學 習者需求變動的可能,於網站功能與內容建置歷程中,納入反覆評估學習需求的步驟。
此外,建議系統化教學模式將學習者需求視為固定的概念應修正,應善加利用電腦即時 資料處理與分析的優勢,動態評估學習者不同需求之分佈與變動情形,以期建構更完善 與符合學習者需求的教學網站,擴大效益。
三、 第三年計畫報告內容
A. 實證研究
(一)研究背景
隨著科技的進步,促進網路的便捷性,網路使用人口迅速增加。根據 Internet World Stats 2007 年 3 月最新統計資料,全世界網路使用人口高達 1,114,274,426 人,其中亞洲 使用人口最多(約佔 35.8 %),從 2000 年到 2007 年成長率為 248.8 %(如圖 1, 2 所示)
(World Internet Users and Population Statistics, 2007)。根據 Netcraft Web Server 所做調 查,截至 2006 年 12 月為止,全世界網站突破一億之數量關卡(105,244,649),2006 年 全球就增加 3 千萬以上的網站數(3.09 千萬),遠超過 2005 年單年一千七百五十萬的成 長量;2007 年光是四月份一個單月就有 4.4 百萬個網站建置,而 2007 年一月至五個月 共增加 1.28 千萬網站建置(Netcraft Web Server, 2007),由圖 3 更可見近幾年來網站使用 人口與網站增加的顯著趨勢。
圖 1 全世界網路使用人口統計圖
Note. Fromhttp://www.internetworldstats.com/stats.htm
圖 2 世界網路使用人口統計
Note. Fromhttp://www.internetworldstats.com/stats.htm
圖 3 1995-2007 網站成長趨勢圖
Note. Fromhttp://news.netcraft.com/archives/web_server_survey.html
進一步由 yahoo 鍵入「教育網站」進行搜尋,可找到近乎一百六十五萬筆資料,可 見教育網站數量之龐大(http://www.yahoo.com.tw)。推究教育網站蓬勃發展的原因,因其 在學習上具有方便性、主動性、互動性、合作性和即時性,內容上具有開放性、虛擬性、
迅速更新性和多媒體多樣化等特色。職是之故,不僅容易吸引不同學習風格的學生使 用,也易使資訊能更有效的吸收(龍美娟,2003)。另外,網站提供較無威脅性的學習 環境,由學生自我控制,又因為寬頻網路和無線區域網路的盛行,學生可以從任何地點、
任何時間、及任何電腦展開學習,讓內向的學生也能自發性的學習,增加正向的學習動 機(Preece, Nonnecke & Andrews, 2004)。綜合之,由於教育網站在網路便利性的情況下,
擁有資源共享、知識多元呈現以及輔助學習的特性,所以不論是國內外都建置了不同類 型的教育網站,以提供學生更適切的學習方式。
教育網站與一般網站性質不相同,其設計主要目的為輔助學習與促進成員間之溝通 與互動。從一般網站和教育網站的設計與評鑑指標內容論之,雖然兩者都重視資訊的正 確性與適切性、資訊的可及性和連結性、版面設計和多媒體融入等要素,但兩者間仍存 有明顯差異。仔細分析一般網站評鑑指標(歐陽誾,2000; Access to Electronic Legal Information Committee, 2005; Laura, 1999; McDermott, 2000; Smith, 1997)發現其著重在 目的明確性、內容正確度以及訊息傳輸容易度。例如:歐陽誾強調明確的內容目的、作 者的權威性、內容正確性和網路的可及性;Access to Electronic Legal Information Committee 重視明確的內容目的、具有專家效度的內容、資訊參考資料和瀏覽與使用性;
Laura 提出清楚的網站宣言和資訊範疇說明、權威性和便利的資訊傳輸要素;McDermott 強調目的性和權威性;Smith 重視目的性、內容正確性、內容和操作的連結性、瀏覽性 與組織等。
相對於一般網站設計與評鑑指標,教育網站則多以教師與學生為主體,重視教學與 學習之需求評估和使用情況分析,以及網站回饋與成果展示的功能設計。彙整教育網站 設計與評鑑指標相關文獻發現,教育網站著重在合作互動性、學習者作品的展示、鷹架 設計、學習回饋、使用容易度以及符合學習者背景與真實生活經驗等向度(于富雲,
2002;何祖鳳、陳俊榮、陳銘欽,1998;數位網路科學園區,2005;Daigle & Furner, 2004;
E-Learning Competency Centre, 2006;Reeves, 2001)。例如:于富雲強調教育網站須配合 學習者背景提供回饋設計、增強作用、鷹架設計和視覺引導性等;何祖鳳、陳俊榮和陳 銘欽重視教育網站合作互動性、常見問題與解答的設置、內容的可及性、等候時間、使 用容易性和網頁美觀性;數位網路科學園區認為教育網站須提供適切的回饋、教學媒 體、符合學習者的認知需求與學習者先備知識的連結;新加坡國立教育學院數位學習能 力中心(National Institute of Education, Singapore E-Learning Competency Centre)所擬訂 之數位學習課程品質標準(Quality criteria for E-Learning Courseware)則強調需有教學 設計互動性、使用合作式的工具、回饋與評鑑、適切的連結標記、遊走自如性和學習輔 助;Daigle 和 Furner 則強調合作學習、立即和正確性的回饋、學生控速、符合真實生活、
問題解決和真實情境;Reeves 提出教育網站應有促進團隊合作、展示學生評論的文章、
藝術品、計畫等、賦予回饋、豐富課程材料獲取的途徑等指標。
進一步以現有教育網站評鑑量表內容分析之,更可見絕大部分的評鑑向度都傾向以 專家角度,著重網站內功能提供與否以及完備程度的重要性評估,鮮少回到教育網站建 置的初衷,由網站使用者針對教育網站實質上在學習輔助性的評估。朱秀勇(2001)、
張杏妃(2001)和陳啟展(2003)探討教育網站的研究中反應,在符合教育網站評鑑指 標下,功能完備性與學習輔助性間存有落差的現象。例如:雖然網站表面架構完善,但 卻仍有難以尋求所需學習材料的現象;多媒體融入教學,卻未達到學習生動化的效果
等。由此可見,功能設計即使完善也未必能達成學習輔助的目標;另外,上列研究中也 發現,即使教育網站功能未達完善,例如:網站功能操作不易、重要內容未有標示等缺 失,但是學生學習也能獲得相當程度的輔助。由此可知,「功能完備性」與「學習輔助 性」的評估角度似存有非等同的概念。然而,現今不論是一般網站亦或教育網站之評鑑 指標、量表與評鑑歷程多以功能完備性為評鑑點,且多以專家評鑑的方式行之,而少數 探討教育網站的研究中發現功能完備性和學習輔助性間有不一致的現象(朱秀勇,
2001;張杏妃,2001;陳啟展,2003);此外,Jones, Blake, Davies 與 Scanlon(2004)
認為媒體使用者往往會根據個人於真實生活之非教育類媒體使用經驗而對未來教育經 驗有過高的期望與欲求,進而對多媒體有較高品質、高標準的要求(諸如:需具較高吸 引性的動畫、影片、聲音)。
考量教育網站設置目的應以「學習輔助性」為終極考核點,倘若教育網站評鑑仍以 功能完備性切入,評估者似乎更容易落入個人過往非教育類的媒體使用經驗,而對教育 網站評鑑有較嚴苛的評估。有鑑於目前尚未有研究針對不同網站評鑑角度可能會有之評 鑑差異做實徵比較性研究,本研究期藉由網站使用者針對同一評鑑項目,從「功能完備 性」與「學習輔助性」之不同角度評估,以瞭解現階段多以完備性角度評鑑教育網站之 方式是否與學習輔助性之評鑑方式有等同的結果?倘若不等同,這樣的現象是普遍性地 呈現在所有評鑑指標上,亦或特定向度指標上?若是僅呈現在特定向度上,在哪些向度 上會有顯著差異?是否會呈現 Jones, Blake, Davies 與 Scanlon(2004)學者所提及的概 念,使用者可能基於個人在非教育類媒體豐富性較高的過往經驗影響下,對多媒體之功 能完備性有較高的期望,進而對教育網站在這方面的表現有較低的評估?以上議題皆為 本研究擬探討與研究的範疇。
(二) 研究方法
本研究情境設定於「高溫超導磁浮創意競賽教育網站」內容評鑑,研究對象為第五 屆決賽競賽的高中生。整個競賽活動從 2005 年 7 月開始到 2006 年 3 月為止,參賽學生 年齡大約在 16~18 歲之間。本屆始報名人數共為 853 人,唯入選決賽的隊伍僅有 42 隊,
共計 201 位。
配合決賽活動進行,問卷於 2006 年 3 月決賽進行前一週以郵寄方式寄予參賽學生,
於決賽現場回收,共發放 201 份,扣除掉決賽棄權與退賽剩 175 人,回收份數 147 份,
有效回收率達 84%。本研究採郵寄寄發問卷的原因主要是希望學生有充分時間思索問卷 問題,並視需要可隨時瀏覽高溫超導磁浮創意競賽教學網站。
高溫超導教育網站建置之初,主採專家設計的觀點。明言之,主要參考工業設計背 景之媒體專家、高溫超導之學科專家、科學演示之教育推廣專家以及教育科技之學者專 家的建議(例如:教材主題明確與內容適切、學習者互動與合作、資訊可及性及連結性、
版面設計與多媒體融入、符合學習者背景與真實生活情境、強調學習評鑑機制等),以 設計與建置網站內各功能與資訊區塊,希望符合國內外學者針對教育網站功能完備性之 各項指標。建置歷程強調網路媒體特性與優勢之發揮,並遵循輔助競賽活動的辦理、提 供多元的教學方式、意見和知識交流的平台、提供專家學習輔助、提供反思管道等五大 設計原則(于富雲、連雅玲、謝孟達與陳引幹,2006)。建置過程中,經由專家一系列 的評鑑,以期提供參賽者一優質的學習輔助工具。然而,考量網站設計之主要使用者為 高溫超導之參與學員,學員本身所感知能獲得的輔助程度實為一重要、不可忽略之評估 要項,以為達到本教育網站建置目的與否之重要依據。有鑑於此,本研究以活動參與學 員為評估來源,以期瞭解學員感知學習輔助性與功能完備性之強度是否有顯著差異。
本研究採問卷調查法,為瞭解參與學員對「高溫超導磁浮創意競賽教育網站」設立
目的之達成程度,主要依據網站原有七區塊架構,再加上整體網站設計,總共八大區塊 分別設計七點量表。參賽者針對不同區塊下功能與資訊提供之完備性與學習輔助性,依
「非常不贊同」、「不贊同」、「有點不贊同」、「無意見」、「有點贊同」、「贊同」和「非常 贊同」七點量表勾選。
功能完備性概指教育網站功能設計的完整性,透過評鑑指標以確認網站所提供之不 同功能與訊息俱全程度的評估,例如:針對網站設置目的是否明確、內容是否豐富適切、
資源連結是否多元與即時、版面設計是否清楚美觀、多媒體是否運用得當等(于富雲,
2002;何祖鳳、陳俊榮和陳銘欽,1998;數位網路科學園區,2005;Daigle & Furner, 2004;
E-Learning Competency Centre, 2005;Reeves, 2001)。本研究功能完備性則指參與第五屆
「超導磁浮創意競賽比賽」學習者對「高溫超導磁浮創意競賽教育網站」內所提供與此 活動相關訊息、高溫超導相關專業知識內容與網站功能完備度的看法,進行七點量表的 勾選,當學生贊同程度越高,表示教學網站的功能越完備;反之,則功能完備性越低。
功能完備性分量表題目如「最新消息區」提供我足夠的比賽規則說明、「超導教學區」
提供我足夠超導體特異現象的相關資訊等題目。
相對之,學習輔助性是指學習者在使用教育網站之後感知能獲得的助益程度,達到 教育網站建置的目的 (林姿妙,2001;Sivasubramanian, 2000)。本研究學習輔助性則指 參與第五屆「超導磁浮創意競賽比賽」對「高溫超導磁浮創意競賽教育網站」內所提供 與此活動相關訊息、高溫超導相關專業知識內容與功能,參照同向度功能完備性評估中 的題目設計學習輔助性的問題,讓學習者勾選七點量表以進行評估,當學生贊同程度越 高,表示參與學生越贊同所建置之教育網站學習輔助性越高;反之,則學習輔助性越低。
雖然學習輔助性與功能完備性題目為同向度,不過重點是探討教學網站對使用者個人學 習的輔助情況,故與功能完備性的詢問方式不同,題目如:「最新消息區」有助我對比 賽規則的整體暸解、「超導教學區」有助我瞭解超導體特異現象的相關概念。
為確保本研究問卷內容語句的清晰度與明確性,正式研究前,本研究團隊舉行問卷 之預試,利用前一屆決賽場景,於 2005 年 3 月讓 132 名所有決賽參賽者個別填寫,並 依學生建議做適當之修正。正式研究資料收集後,以內部一致性進行問卷信度分析。除 了意見連絡區僅有一題無法計算信度外,完備性看法分量表整體信度為.96,其餘七大區 塊的信度分別為.91、.81、.93、.91、.80、.83 和.90。此外,學習輔助性看法分量表整體 信度為.97,七大區塊信度分別為.93、.87、.92、.92、.90、.85 和.89。
(三) 結果
為瞭解參與學員對網站功能完備性與學習輔助性之不同評鑑角度是否有顯著差 異,主要根據「高溫超導磁浮創意競賽教育網站」架構,本研究提出以下八個研究假設:
1. 學習者對「最新消息區」功能完備性和學習輔助性的看法有顯著差異存在 2. 學習者對「競賽簡介區」功能完備性和學習輔助性的看法有顯著差異存在 3. 學習者對「超導教學區」功能完備性和學習輔助性的看法有顯著差異存在 4. 學習者對「超導討論區」功能完備性和學習輔助性的看法有顯著差異存在 5. 學習者對「網路資源區」功能完備性和學習輔助性的看法有顯著差異存在 6. 學習者對「歷屆資訊區」功能完備性和學習輔助性的看法有顯著差異存在 7. 學習者對「意見連絡區」功能完備性和學習輔助性的看法有顯著差異存在 8. 學習者對「整體網站設計」功能完備性和學習輔助性的看法有顯著差異存在
資料分析主要是比較問卷中功能完備性與學習輔助性相同構念的題目,採用 t 考驗 法進行分析。為了將整體的錯誤率α控制在某ㄧ水準,使各個區塊的比較題目的結果更
具考驗力,本研究利用龐費洛尼 t 考驗法,依據各區塊比較題數分別切割α值(林清山,
2003︰353)。
整體而言,29 題的評估項目中有 10 題呈現功能完備性低於學習輔助性,然而,僅 有「整體網站設計」下部分題目達顯著差異,支持本研究假設 8。以下逐步呈現假設 1 到 8 之分析結果。
表 4 至表 10 可見,「最新消息區」、「競賽簡介區」、「超導教學區」、「超導討論區」、
「網路資源區」、「歷屆資訊區」、「意見連絡區」所有區塊下所有同向度的題目都未達顯 著,研究假設 1-7 皆未接受支持。此結果表示學習者在這些區塊下,針對功能完備性和 學習輔助性之不同評鑑角度結果並沒有顯著差異。
表 11「整體網站設計」區塊下有三題達到顯著差異(p<.01),分別為「動畫的設 計」、「影片內容具吸引性」和「影片聲音與畫面的搭配」。從平均數來看,可發現此三 題的學習輔助性評鑑都高於功能完備性,支持本研究假設 8,即學習者對整體網站設計 的功能完備性和學習輔助性的看法有顯著差異存在。
表 4 「最新消息區」功能完備性和學習輔助性之間的差異檢定(N = 147)
最新消息區 平均數 標準差 t
5.41 1.29
「最新消息區」提供我足夠比賽規則的說明。
「最新消息區」有助我對比賽規則的整體瞭解。 5.45 1.27
-.51 5.52 1.21
「最新消息區」提供我足夠活動參與注意事項的說明。
「最新消息區」提供我足夠活動參與注意事項的說明。 5.49 1.32 .41 5.62 1.15
「最新消息區」提供我足夠活動訊息的即時公告。
「最新消息區」有助我掌握此活動的最新訊息。 5.53 1.31
.99
表 5 「競賽簡介區」功能完備性和學習輔助性之間的差異檢定(N = 147)
競賽簡介區 平均數 標準差 t
5.19 1.25
「競賽簡介區」提供我足夠有關超導磁浮的發現與起源等背景資料。
「競賽簡介區」有助我瞭解超導磁浮的發現與起源等背景資料。 5.08 1.12 1.22 5.20 1.24
「競賽簡介區」提供我足夠有關高溫超導競賽的意義。
「競賽簡介區」有助我瞭解高溫超導競賽的意義。 5.11 1.25
.87
表 6 「超導教學區」功能完備性和學習輔助性之間的差異檢定(N = 147)
超導教學區 平均數 標準差 t
5.42 1.27
「超導教學區」提供我足夠超導體特異現象的相關資訊。
「超導教學區」有助我瞭解超導體特異現象的相關概念。 5.26 1.22
1.88
5.52 1.20
「超導教學區」提供我足夠有關臨界溫度、臨界電流密度、臨界磁場強度等超導 體基礎知識。
「超導教學區」有助我學習關於臨界溫度、臨界電流密度、臨界磁場強度等超導
體基礎知識。 5.33 1.25
2.23
5.42 1.10
「超導教學區」提供我足夠超導體材料的相關資訊。
「超導教學區」有助我瞭解超導體材料的相關資訊。 5.31 1.25 1.24 5.48 1.17
「超導教學區」提供我足夠超導體實驗程序與操作的相關資訊。
「超導教學區」有助我學習超導體實驗程序與操作的相關資訊。 5.44 1.21 .59 5.39 1.14
「超導教學區」提供我足夠有關超導體線材、塊材與科技可能應用的情境介紹。
「超導教學區」有助我瞭解有關超導體線材、塊材與科技可能應用的情境。 5.29 1.24
1.01 5.53 1.26
「常見問題集」彙整足夠有關超導體實驗、操作上常見的問題與建議。
「常見問題集」所提供有關超導體實驗、操作上常見的問題與建議有利學習。 5.36 1.29
1.66
「專家專題學術演講」提供我足夠的超導體相關知識的補充資料與說明。 5.35 1.28 .96
「專家專題學術演講」所提供之超導體相關知識的補充資料與說明,有利我學習。 5.27 1.22
表 7 「超導討論區」功能完備性和學習輔助性之間的差異檢定(N = 147)
超導討論區 平均數 標準差 t
5.12 1.30
「超導討論區」提供足夠的申請程序與辦法說明等相關內容。
「超導討論區」申請程序與辦法說明等相關內容的提供有利我學習。 4.88 1.45 2.29 5.34 1.30
「超導討論區」提供足夠的提問功能。
「超導討論區」的提問功能有助我學習。 5.23 1.44 1.16
5.22 1.32
「超導討論區」提供足夠的回應功能。
「超導討論區」的回應功能有助我學習。 5.08 1.33
1.48 5.10 1.40
「超導討論區」提供足夠的搜尋功能協助我解決超導體相關問題。
「超導討論區」搜尋功能有助我解決超導體相關問題。 5.15 1.43
-.49 5.35 1.24
「超導討論區」提供足夠的以掌握參與本活動可能遇及的問題與說明。
「超導討論區」歷屆討論資料內有關活動可能遇及的問題與說明,有利我學習。 5.33 1.26
.24 4.78 1.48
「超導討論區」提供足夠小組內成員額外的溝通管道。
「超導討論區」提供小組內成員額外的溝通管道,有助於學習。 4.71 1.39 .77 4.78 1.40
「超導討論區」提供足夠與其他小組溝通的管道與空間。
「超導討論區」所提供與其他小組溝通的管道與空間,有利於學習。 4.73 1.27 .45
表 8 「網路資源區」功能完備性和學習輔助性之間的差異檢定(N = 147)
網路資源區 平均數 標準差 t
5.07 1.27
「網路資源區」提供我足夠創造力與發明相關網站的連結。
「網路資源區」創造力與發明相關網站的連結有助我學習。 5.16 1.24 -.85 5.04 1.26
「網路資源區」提供我足夠超導體相關網站的連結。
「網路資源區」超導體相關網站的連結有助我學習。 5.14 1.25 -1.09
表 9 「歷屆資訊區」功能完備性和學習輔助性之間的差異檢定(N = 147)
歷屆資訊區 平均數 標準差 t
5.10 1.38
「歷屆資訊區」提供我足夠競賽歷程的參考資料與紀錄。
「歷屆資訊區」競賽歷程參考資料與紀錄有助我學習。 5.31 1.20 -1.98 5.35 1.24
網站提供足夠的「歷屆競賽」得獎作品供參考。
「歷屆競賽」所提供的得獎作品有利我學習。 5.52 1.14 -1.89
表 10
「意見連絡區」功能完備性和學習輔助性之間的差異檢定(N = 147)
意見連絡區 平均數 標準差 t
5.27 1.35
「意見連絡區」能獲得適當的專家回應。
「意見連絡區」專家的回應有助我學習。 5.32 1.39 -.53
表 11 「整體網站設計」功能完備性和學習輔助性之間的差異檢定(N = 147)
整體網站設計 平均數 標準差 t
4.82 1.25 動畫的設計很吸引人。
動畫設計有助我學習超導相關知識。 5.26 1.17 -4.19*
4.88 1.27 影片內容具吸引性。
影片內容有助我學習超導相關知識。 5.36 1.23 -4.63*
4.93 1.27 影片聲音與畫面的搭配得當。
聲音搭配影片畫面有利我學習。 5.22 1.21 -2.70*
5.14 1.17 網站架構與組織清楚。
網站架構與組織有利我學習。 5.08 1.36 .55