練習式CAI選題策略之比較研究

(1)

練習式 CAI 選題策略之比較研究

1可榮桂

圓立台灣師範大學資訊教育學系

摘要

本研究旨在探討練習式 CAI 中不同選題策略(串列、隨機、閃蝶卡式佇立及變數式題距表現佇立等四種)對練習效果的影響。練習內容係以英語同義字或詞為題材，初擬之題目經項目分析後，區分烏低、中及高三種難度水準之練習題，且以此等題目建立題庫，提供線土練習。經以 60 名大一學生在三種難度題庫下進行四種選題策略之線上練習教

學，問隔一週後，受試者在線上受測所獲得之資料，經分析之結果獲得以

下結論: 1.練習式 CAI 中練習題之選題策略(如串列，隨機，閃蝶卡式佇立及變數式題距表現佇立等選題策略)與題庫中所含練習題之難度(如 1~ 難度、

中難度及高難度)問並無交互作用存在。

2. 就練習 CAI 中練習題之選題策略而言，選題策略的確會影響練習技呆。其中以變數式題 1é 表現佇立選題策略之練習效果最佳，閃蝶卡式佇立選題次之，串列選題再次，而隨機選題之練習妓泉之影響最小。 3. 就題庫中所含練習題之難度觀之，無論使用何種選題荒略，均以他難度題庫之練習效果較佳，高難度題庫之練習效果較差，此結果符合一般的看法。本研究並根據設計土之經驗及實徵之結論，提供下列建議: 1.在題庫中所含練習題之難度相同或相當的情況下，可使用「串列」及「隨機」兩種選題策略，唯在設計隨機選題策略時，應預先設定每一題有「重複」練習的機會。 2. 在題庫中所含練習題之難度不同或難度之分布很廣的情況下，可使用『佇立式」選題策略 o 當所欲練習之題目不多時，可利用閃爍卡佇式立選題策略，以避免因過多的強迫練習機會而花太多的時間。至於「變數式題距表現選題策略 J 在大部分的情況皆可使用，唯所設定之題距之位置不宜太多，以免使用太多的時間。

(2)

壹、緒論

一、研究背景與動機

電腦輔助教學 (computer-assisted

instruction;

CAI) 的發展迄今已有三十多年的歷史

。早期在大型電腦上開發之 CAI 軟體，受到較多的限制，到了八十年代，個人電腦普及，加上開發軟體工具(如編輯語言及編輯系統等)的突飛猛進，使教學用的軟體 (in

strustional softwar)

(特別是 CAI 軟體)如雨後春筍般出現 o 據估計，美國每年有數千

套經評鑑過的教學軟體發行，且有 90% 以上的學校利用電腦來輔助教學 'CAI 被廣為使用的程度由此可見。在國內，早期 CAI 研發也是從大型電腦大發展，而有計畫的推展則從民國 73 年開始，教育部與國科會著于成立 CAI 實驗研究推動小組 o 在這十年不到的期間，我國 CAI 的發展，大抵可以分人才培育、課程軟體設計、以及實地教學評鑑等三個階段。時至今日，因個人電腦的普及，政府大力的推展，學者專家及各級學校教師的積極參與，使得 CAI 的發展呈現一片蓬勃的景象。我國 CAI 的發展，從「量」的觀點而言，已甚可觀，然而在「質」的方面，則有待更求精進。在這 CAI 發展的同時，雖然學者專家從事與 CAI 有關之研究，但研究之深度郤嫌不足，特別是對於涉及 CAI 中各種表現之研究，尤為少見，有鑑於此，乃有本研究之構設。

二、研究目的

練習式 CAI 常被誤解與批評，例如練習之方式呆板，反應機械化等，然而，此種形式的 CAI 又是 CAI 中不可或缺的一種，因此，本研究之具體目的主要有三:

(3)

付探討 CAI 中練習題 (practice items) 選題策略的設計模式: (斗比較不同練習式 CAI 之選題策略對練習效果的影響;以及。探討練習式 CAI 選題策略與練習題難度之互作用效果。

三、本研究之意義

練習題幾乎可以安排在任何型態(如教導式、練習式本身、遊戲式、或模擬式) 的 CAI 軟體中，但在很多的 CAI 軟體中，常見設計者安排了練習題，但其安排的呈現方式未必適當，以致無法發揮練習題在 CAI 中的功能。

其次是練習題與測驗題 (test items)'性質類似，但功能有別，在設計 CAI 時常被混淆。因此，本研究有助於釐清 CAI 中練習題與測驗題的差別，也可瞭解不同練習方式在效果上有何不祠，其重要性對 CAI 之設計自不待言 O

四、本研究之限制

付本研究主要針對練習式 CAI 中之練習題之選題策略而言，因此，本研究的結果僅適用於研究中所選用之四種選題策略 o ω本研究所選用之練習題材為英語同義字或詞，以四選→之方式呈現，且為一事實資料之練習，因此，非屬於前述之題材與呈現方式之練習，本研究結果之推論自受到限制。

貳、練習式 CAI 之原理

一、練習式 CAI 的意義與性質

(4)

付練習式 CAI 的意義

練習 (practice) 是教學歷程中的一個重要的步驟。以階段來分，一個完整的教學歷程大抵包括:呈現訊息 (presenting information) 給學生，引導學生 (guiding

the

student) 學習，透過練習(practicing) 強化所學的知識或技能，以及評量學生學習(自

sessing student

learning) 成效(Alessi

&

Trollip， 1985) 。教學若缺少練習，則無法進行

。由此可見，練習是教學歷程中不可或缺的一環。上述四個步驟之關係可用圖 2-1 表

示之:

叫一面一國一面

回饋

圖 2-1 :教學歷程開係圖

從現代認知學習理論(∞g由ive le叮ning theory) 的觀點看事實資科 (factual

in-formational) 或技能的學習，學習者必須先從認知階段(∞伊itive stage) 進入聯結階段

(associative stage)

，再而達到自發階段 (autonomous

stage)(Fitts

&

Posner

,

1967) 。

任何形式之練習，其目的皆是要達到白發階段，以使所獲得之知識或技能能隨心所欲的用到其他方面的學習，或應付日常生活之所需。

在實際的教學情境裹，教師常利用各種方式讓學生進行練習，學習語文時的口誦 (oral

practice)

，學習數學時的作業 (worksheet) 練習等，均是課堂教學裡常見之練習的例子。唯在大班級的教學型態下，教師所利用的練習方式難以顧及不同能力水準的學生，以致對某一種新學習的知識或技能未達熟練的程度，即要依照學校所訂

之進度進行另一個新的學習。因此 r 教」與「學」將難以收到預期的效果。有鑒

(5)

電腦，無疑的是目前各種教學媒體中功能較佳的一種工具。教師若利用電腦來

製作輔助練習的電腦輔助教學軟體，即稱之為練習式 CAI

( drill-and -practice

CAI) 軟

體。

。總習式 CAI 的性質

練習式 CAI 因與教導式 CAI(

tutorial

CAI) 的結構與流程頗為相似(參閱Alessi

&Troll旬，

1985

,

p66 及 135) ，在設計時常被混淆。兩者最大的差異在於如圖 2-2 中流

程的第二步驟。就教導式 CAI 而言，此步驟主要係里現新的訊息，也就是學生要學習的新題材，屬於教學歷程中的第一個階段一一呈現訊息給學生，及第二個階段一一教導學生學習所呈現的訊息。而練習式 CAI 在如圖 2-2 的第二個步驟係選擇題目給學生練習。題目 (items) 係根據第一個階段所呈現的內容而來。題目須經過選擇，意味著並非把所有教過的內容均再現給學生做練習。練習式 CAI 中題目的選擇大抵須把握兩個原則:(1)教材內容的重要部分，以及(2)教學過程中須重覆旦現的部分

(Criswell

,

1989) 。

回一國

=|呈現題目/的應!

因→面←

|

判阻反應

圖 2-2 :總習式 CAI 圖示

(資料來源Alessi

& Trllip

,

1985

,

p135 )

練習式 CAI 雖與教導式 CAI 有耳目，但並非截然不同 o 事實上目前已很少 CAI 係以一種模式來表現。為了達到教學目標，一個 CAI 中通常以兩種或種兩種以上的模式來表現，結合教導式與練習式在同一個 CAI 軟體中即是一個典型的例子。蓋因呈現訊

息與重覆練習在教學歷程中係連續的階段，因此，結合測驗式、教導式與練習式等多種模式於 CAI 軟體中也是常見之設計，如圖 2-3 所示。

(6)

過、v ‘一一不通過 _教學」 -一一-一一步

|

不通過

4主>

v 通過圖 2-3 :教導式、總習式與測驗式 CAI 的關係 (己文自 Siegel

& Davis,

1986,

p50 )

在圖 2-3 中，就 CAI 的結構而言，前測部分係選擇性的 (optional) ，也即可有可無，端視學習的內容而定。在方格內即表示教導式與練習式 CAI 的關係。如圖所示 '上面部分呈現訊息並教學生學習，此部分完成之後，接著到下半部分反覆練習 O 因此 'CAI 的設計通常可將教導式與練習式兩種表現方式結合在一起。 t::)練習式 CAI 與測驗式 CAI 的關係測驗是 CAI 中的重要部分(何榮桂，民 79.

29-34)

，就教學歷程的階段而言，在 CAI 中安排測驗即要評量學生的學習成效。它可以是獨立的一個系統(參閱

Alessi

& Troll旬，

1985

,

239-269)

，也可以與其它型式的 CAI 結合在一起(如圖 2-3

所示)。唯 CAI 的設計者常將測驗式 CAI 與練習式 CAI 混為一談，事實上此兩者有其不同之處。茲就兩者在目的與功能上的差異略述於下:

就目的而言，練習式 CAI 旨在反覆練習以強化已學過的題材，以期達到白發的反應:測驗式 CAI 則在評量學習的成效 O 練習式 CAI 雖然偏重反覆練習，但也包含評量的性質;測驗式 CAI 則偏重評量而設計。

就功能而言，兩者呈現給學生者皆是題目 (iterns) 。唯練習式 CAI 所使用的題目

稱為練習題 (practice

iterns)

0 題目的難題 (difficul可 index) 通常較一致，題目與題目間之難度不要相差太遠;而在測驗式 CAI 的題目稱為測驗題 (test iterns) 或問題

(7)

分布應有難易之別。一般而言，題目之難易分布以接近常能態分配為佳;換言之，難度中等者應佔較多，而較難與較易的題目相對地減少，這樣的設計才能適用於能力水準不同的學生。如前所述，反覆練習是練習式 CAI 的主要特色。然而，練習式 CAI 若僅呈現題目給學生做練習，則易流於古板的機械反應，降低學生使用的動機，同時也將削弱練習式 CAI 的功能。為了讓練習式 CAI 能收到練習的效果，在設計時，應同時考慮

到回饋 (feedback) 與改正 (correction

or

remediation) 的效果 (Hannafin

& Peck

,

1988)

。一個理想的練習式 CAI 之設計，當學生對一個練習題做反應之後，應能夠得到即時的回憶 (immediate

feedback)

，此即時的回饋告訴學生完成反應的結果;倘若學生做了一個錯誤的反應，回饋的動作除了告訴學生這是一個錯誤的反應之外，尚可適度的給予提示，否則，將使學生重覆錯誤的反應。以上說明了練習式 CAI 的基本性質，接著將要說明練習題之安排，呈現的方式與選題策略等 o

二、練習式 CAI 的特徵

練習的題目是練習式 CAI 的主要內容，其特徵主要表現在兩方面，一是題目的難度，另一為選題策略付擅自的難度

題目的難度 (difficulty index) 係指預試。可out) 樣本數 (N) 中答對 (R) 某一題的

比值 (P) ，以公式表之，即 P=R/N 0 例如樣本數 1∞人中，有 90 人答對第一題，則

第 1 題的難度為 P1=90/1∞ =.90 :若僅有 10 人答對第 2 題，則 P2= 1O/1∞ =.10

0

P

值愈大表示題目愈容易 .P 值愈小則愈困難。 P 值介於 0 與 1 之間。題目的難度指數

(8)

一般來說，提拱給學生做練習的題目不要太難，但當題目很多時，使用較難的題目則不能避免，然而在同一個練習裡，宜避免題目難易不均 o 有關難度的安排，

大致可以採取下列三種方為之(Alessi

&

Trollip

,

1985) :

1.在同一個練習裡，儘量採用難度相等或相當的題目。 2. 如果題目間的難度有很大差距，宜把簡易的安排在前，較難的放在後面。 3. 把難度相當的題目放在同一個堆疊 (stratun) 。如圍 2-4 所示，在幾個堆疊中，左邊堆疊裡的題目最容易，愈往右則愈難 o 在同一堆疊裡的題目的難度也未必相等。因此，也應把間一堆疊中較易的題目放在前，較難的放在後。

A-MM

D

01

02 An

Bn

Cn

nu nH

Nn

圖 2-4 :堆疊式安排不同難度的題目。總習題的選區黨略練習的目的是要使學生對已學過的教材內容，達到熟練的程度。在練習式 CAI 中練習題之選題策略影響練習的效果。以下即為幾種常用的策略。 1.串列選題(List

Selection)

以串列的方式呈現練習題給學生練習是最簡單的安排。顧名思義，串功l 選題的方式是指設計者已事先把題目用串列的方式內建在題庫 (item pool)裡 o 練習一開始，題目即依設計者事先安排的順序與次數呈現出來。例如，一個要提供學生做英文單字中譯的練習，假定設計者要求學生對 10 個英文單字的中譯，練習兩次，則串列選題的安排可有很多種方式，茲舉最常見的兩種方式如表 2-1

及表 2-2 所示。

(9)

表 2-1 :串列選題方式之一

序一

間呎一叫 u 一句 i? 」門 JA 『 EJrb7 ， QUQJnu--?L 丹、 UAHrbrb7/QUQJnu 石二 111111411112 串一題日

continuum

configuration

concurrence

confederation

condensation

conductance

consensus

cont rad i ct ri on

congelation

convolution

continuum

configuration

concurrence

confederation

condensation

conductance

consensus

contradiction

congelation

convolution

表 2-2 :串列選題方式之二串列順序題目

1 continuum

2 continuum

3 configuration

4 configuration

5 concurrence

6 concurrence

7 confederation

8 confederation

9 condensation

10 condensation

11 conductance

12 conductance

l3

consensus

14 consensus

15 contradiction

16 contadiction

17 congelation

18 congelation

19 convolution

20 convolution

(10)

在表 2-1 及表 2-2 中，串列順序就是題目出現的順序。根據題目難度的安排，表 2-1 及表 2-2 中 10 個英文單字可以假定是由易至難排列，或可假定難度皆相當，則串列的順序可隨機排列。因為僅由 10 個題目構成一個練習，無須以難度分組的方式分成數個堆疊。題目可用配對聯結 (paired associate) 、選擇題(出現一個英文單字要學生從 3 至 4 個中譯的選項中找出正確的中譯)、或填空式 (出現一個英文單字後要求學生打入正確的中譯)、或填空式(出現一個英軍字後要求學生打入正確的中譯)等型式來表現。如表 2-1 所示，此種安排方式是要求學生從第一個(∞ntinuum) 至第 10 個

(

convolution) 各練習一次，然後再反覆做一次。表 2-2 的安排方式是每一個英文軍宇皆反覆練習兩次，接著再做第二個字 o 當然，還有很多不同的方式可以安排串列的順序，不再此列示。串列選題的方式可以讓設計者要求學生達到次數均勻(如本例每字兩次) 的練習，適用於串列中的題目難度皆相同(或相當)的情況。唯這種過於結構化的安排有其缺點，一是當第一次做了錯誤反應時，如果沒有給予適當的回饋 (提示) ，則第二次仍然會做錯;二是在題目難度不一的情況下，難與易的題目皆做同樣次數的練習，顯然不合乎練習的原則。要達到練習的效果，容易的題日可減少練習次數，但困難的題目要增加練習的次數。顯然地，串列式的選題安排將無法達到此種要求 2. 隨機選題 (Random

Selection)

隨機選題的方式在練習式 CAI 中用得為頗為頻繁;然而，此種選題方式卻是一種缺乏效率的安排。再以串列選題中英文單字中譯的例子來說明隨機選題。假定仍然以儲存在題庫中之間個文單字要求學生練習兩次，則總共須練習二十次，那麼以隨機方式將很難達到要求。理論上，隨機方式將使每一題出現的頻率很均勻，但只有在很多次的情況下才有可能;在有限次的情況下將會有所偏差。例如題目出現 20 次中，可能集中於少數的幾題，或是容易的題目出現的

(11)

'/x數比困難的題目多的情況，顯然地，隨機選題的方式難以達到練習的效果 O 3 依法則選題 (Generation

by an

Al

gorithm)

此種選題策略係依某種演算法則來產生題日，適用於類型與性質相同的題目。例如，相同位數的算術運算練習題 o 茲以圖 2-5 的流程圖說明此種自行產生題目的練習式 CAI 。產生 X叭(1叩0~9的9

• 「豆互J

只

Y (0ω0'"" 9

吋9

|產生 X*

們*叫Y (儲存之)

提出 X叫之問題

學生反應

錯誤反應之回饋|主

反應是否滿足

X*

Y?

三三 l 正確反應之回饋

圖 2-5 :依法則自行生練習題之流程圖 2-5 顯示這是一個三位數乘一位數的練習 O 首先由電腦產生一個從 10 至妙的兩位數，接著產生一個從 1 至 9 之一位數，第三.步驟則計算出此兩位數及→ 佐數的乘積而存在 KEY 裡。緊接著呈現問題(例如 89 叮? )給學生，學生算出結果並由鍵盤輸入，電腦判斷學生答案是否與 KEY 一致，如果答對，則給予正確的回饋，接著再練習另一題;反之，給了錯誤反應的回韻，接著再練習另一題(也可設計要求學生再試一次，或給予提示的回饋)。上述方式適合於同類型或同性質的練習題。練習終止的標準可由設計者或教師預先設定。例如，要做 20 個題目的練習，至少答對 16 題 (80%) 才算通過 o

(12)

4. 佇立選題 (Queue

Selection)

佇立意指一個排序過的串列 (an

ordered

list) 。在練習式 CAI 裡，佇立選題

意指題目呈現的順序已經預先安排好 o 佇立選題常見有的有兩種;閃爍卡式佇

立 (flashcard queuing) 及變數式題距表現佇立 (variable

interval performance

queuing

.簡稱 VIPQ) 。此兩種佇立選題方式主要由學生的練習表現來決定

(Al

essi

&

Trollip

,

1985)

，以下即說明此兩種選題方式的原理。

(I)閃爍卡式佇立選題策略顧名思義，閃爍卡式佇立選題策略係利用閃爍卡的原理來呈現題目，其方法可用圖 2-6 的流程表示 o 開始、v ‘一-s Æ

應一

反一

↓一生「

ψ

一學一

正確與否?

除!

定否還有剩餘題目?

誤「

錯一佇後一

一在最-lf

排之「

安立一

一部目一序

否一一順

-J' 一 ---L ←←'

一-題于↓一持

一集一安

一蒐的一新

「 1L

重

圖 2-6 :閃爍卡式佇立選題流程從圖 2-6 的流程可知，在開始練習之前，設計者或教師應先將題目的順序安排妥當(例如由易至難排列) ，然後呈現第一個題目給學生，學生反應後，由電腦判斷其反應正確與否，如果反應錯誤，則此題即被放置在佇立的最

(13)

後，還需重做;如果反應正確，則此題從佇立中去除 o 由以上說明可知，一個題目在一次的佇立裡，如果學生第一次即答對，則在第一個迴圈裡僅須做一次，否則，即放到佇立的最後，必須重做。因此，學生若要跳出迴圈，則必須全部答對。當學生完成一次迴圍之後(也即全部答對一個佇立裡的全部題目) ，則可視需要將原來的題目(維持原來的順序或重新排列)再做另一次的練習。以此種方式呈現題目，可以避免上述幾種方式的缺點，達到練習的效果，也即會做的題目可以少做，不會做的題目應該多做。 (2)變數式題距表現佇立選題策略變數式題距表現佇立(以下簡稱 VIPQ) 選題策略係指當學生做錯了一個題目之後，則將此題目重新安排在佇立的新位置。新位置可以依練習需要而在練習之前加以設定。茲舉一實際的例子說明 VIPQ 的選題方式 o 再以表 2-1 的 2-10 個英文單字中譯的題目為例，練習開始時的佇立順序如表 2-3 。表 2-3:VIPQ 之一題 _目

序一

鬧哄一

列一

12345678901234567890 一吋 EA 可 si 『_-4 司_-4 可 EA 可_SA 可 -4 可_-4 司 -4 可『斗門 JL

串一

continuum

configuration

concurrence

confederation

condensation

conductance

consensus

contradiction

congelation

convolution

continuum

configuration

concurrence

confederation

condensation

conductance

consecsus

contradction

congelation

convolution

反應情形

CORRECT

(14)

表 2-3 中之題目 -10 個單字中每一個個別的題目如果規定至少要練習二次，此情形與表 2-1 所列者相同。從反應的情形來看，學生答對第一題(∞ntinuum) 後，新的佇立則如表 2-4 所示。表 2-4

VIPQ 之二

串列順序題 _目反應情形

l

configuration

INCORRECT

2 concurrence

3 confederation

4 condensation

5 conductance

6 consensus

7 contradiction

8 congelation

9 convolution

10 continuum

11 configuration

12 concurrence

13 confederation

14 condensation

15 conductance

16 consensus

17 contrdction

18 congelation

19 convolution

表 2-4 因學生對第一題的反應正確而剩下 19 題 o 當學生對新的佇立(也即表 2-4 所列)的第一題(configuration) 反應錯誤之後，依據 VIPQ 的原理，要先把留在佇立中之錯誤反應的題目(如表 2-4 之第 11 題)一併剔除後再重新安排在新的位置，即表現了 VIPQ 的特色 O 如表 2-5 所示，反應錯誤的題目 (ωnfiguration) 即被重新安排在新佇立的第 2 、 6 及 14 的位置(新位置的可安排可視需要來設定) 0

(15)

表 2-5 VIPQ 之三

序一

間呎一一 HJ 一12345678901234567890 γ均 /-1i1 止可 i1i1i1i1i1i1iT 止。 L

串一

題日反應情形

CORRECT

INSERTED

concurrence

confiquration

confeaeration

condensation

conductance

configuration

consensus

contradiction

conge]ation

convolution

continum

concurrence

confederation

configuration

condeñsation

conductance

consensus

contradiction

conge]ation

convolution

在表 2-5 重新安排的位置，意指當學生做了一次的錯誤反應之後，則至少須再練習

三次。

當學生對表 2-5 的第一題反應正確之後，結果如表 2-6 所示 O 接著學生就要再練習原先反應錯誤的題目。表 2-6

VIPQ 之四

1 CORRECT

2 confeaeration

3 condensation

4 conductance

5 covfiguration

6 consensus

7 contradiction

8 conge]ation

9 convoltion

10 continuum

11 concurrence

12 confederation

13 configuration

14 condeñsation

15 consensus

16 consensus

17 contradiction

18 conge]ation

19 convolution

(16)

假定再做了錯誤的反應，則三個插入新位置的題目(如表 2-5 )將再度被刪除，重新插入 2 、 6 及 14 的位置。若反應正確，則其結果如表 2-7 。表 2-7 VIPQ 之五串列順序題目反應情形 14?L 「 JA 斗 EJF' 。 7Jnonynu1i 弓 L 可 JA 斗 EJrb7fQυ 可 1.4 旬， i 可 -4 可 li 可_lA 可 4. 益， Ei 可 ai 嚐 -4

confederation

condensation

conductance

configuration

consensus

contradiction

conge]ation

convolution

continuum

concurrence

confederarion

configuration

condensation

conductance

consensus

contradiction

congelation

convolution

1 NCORRECT

從表 2-7 可，即使學生對同一題第二次反應正確之後，仍然須要再練習兩次(如表 2-7 之第 4 及 12 的位置) ，也就是曾經反應錯誤的題目須要多練習。當學生對表七的第一題反應錯誤之後，新佇立如表 2-9 。表 2-8 VIPQ 之六題目串列順序反應情形

INCORRECT

1 NSERTED

TA 司 LqdA 斗 rhdro7' ，口 OQJnu14?kJA 斗 Fhdro7/nUQJ 司₁₄ 司₁₄ 司₁₄ 司_ai 可『 E 卒，，主呵 14 呵， i 司 EEA 旬， 4

condensation

confederation

conductance

configuration

consensus

confederation

contradiction

conge]ation

convolution

continuum

concurrence

configuration

condenation

confederation

condutance

consensus

contradiction

conge]ation

convolution

INSERTED

(17)

表 2-9

VIPQ 之七

1 confederation

CORRECT

2 condensation

INSERTED

3 conductance

4 configuration

5 consensus

6 condensation

INSERTED

7 confederation

8 contradiction

9 congelation

10 convolution

11 continuum

12 concurrence

13 configuration

14 condensation

INSERTED

15 confederation

16 conductance

17 consensus

18 contradiction

19 congelation

20 convolution

表 2-8 及表 2-9 的新佇立如表 2-5 所述，不再說明。學生對表 2-9 的第一題反應正確之後，新佇立又如表 2-10 。

表 2-10 VIPQ 之八

串列順序題目

1 condensation

2 conductance

3 confinguration

4 consensus

5 condensation

6 confederation

7 contradiction

8 congelation

convolution

10 continuum

11 concurrence

12 configuration

13 condensation

14 confederation

15 conductance

16 consensus

17 contradiction

18 congelation

19 convolution

(18)

從以上的程序可知，學生愈感困難的題目出現的次數會愈頻繁;反之，若學生對某一個題目的表現愈佳，則該題出現的次數會愈少。綜合以上所述， VIPQ 選題策略可用圖 2-7 來表示。 ‘一-E三到疋三學生反應

入管

通過不通過

@

去除佇立中不通過之題目決定叫固新位置

l 插入題目在第岫位置

E3 Æ

是插多

否入題

要更目

? |否圖 2-7

:

VIPQ 選題黨略圖示如前所述，大部分的事實資料係透過練習而獲得。練習式 CAI 雖然提供了電腦化之練習情境，但因經常使用不當而被識為枯燥之刺激反應動作。事實上如能依據練習

(19)

題材的性質，練習題的難易程度而做適當的安排，練習式 CAI 也可以成為有趣且有效率的 CAI 模式 O 本章中所討論之幾種練習題之選題策略均為練習式 CAI 設計者經常使用的方式，唯很多設計者常末考慮使用者練習之需求及應用之時機，而直覺地採取其認為設計上較為方便的方式，因此，即使使用如電腦之有效工具，也未必能獲致期之練習效果 o 練習式 CAI 中選題策略之選用時機，國內外 CAI 研究者或設計者皆很少對此問題做深入的研究，值此國內推展 CAI 之際，這是值得重視的問題。

鑫、方法與步驟

為達成本研究之目的，本研究之實施方式及進行步驟包括:選取研究對象，設計研究工具，進行練習教學，以及實施線上測驗與搜集資料等。茲將實施方式及步驟說明於后。

一、研究對愛

本研究之對象有二: (寸預試樣本為檢定本研究所使用之練習題之適切性，本研究選取國立台灣師範大學一年級學生 236 名為預試樣本，此樣本為檢定練習題難度之用。

。實驗樣本

本研究進行實驗教學時所選取之樣本也為國立台灣師大一年級學生， 60 名。為避免參加實驗教學樣本受到預試時記憶的影響，預試樣本中之學生則不參加實驗教學， 60 名參加練習教學之學生又隨機分派為 12 個等組(每組 5 名)。

(20)

二、研究工具

本研究所使用之工具，設計及製作過程如下所述: 付設計題目本研究所使用之題目分為三種，茲略述如下: 1.預試題目 (tryout items) 內容為英文單字，以四選一之型式呈現，共 1∞題。此預

試題目經預試後之難度指數 (difficul句 index) 範圍在 0.853 至 0.088 之間。

本研究為使用不同難度之題目做為練習之用，區分為低。這 0.7) 、中( 0.3三三 P 歪 0.5) 及高 (p 三 0.2) 三種試題，其描述統計量數如青 3-1 所示。每一組(或堆疊 )均含 10 題，共 30 題，如附錄三所示。表 3-1 三種不同堆壘中試題難度之描述統計量數

P Leve

1 #

of

It

em

Min

Max

Mead

Std Dev

High

10

0.088

0.176

0.132

0.028 Medium

10

0 .4

12

0.500

0 .4

53

0.032 Low

10

0.776

0.853

0.776

0.052

表 3-1 顯示，高難度題目之平均難度為 0.132(0.088"-'

0.176)

，中難度題目之平

均難度為 0.453(0.412

"-'

0.5∞) ，而低難度之平均難度則為 0.776(0.706

"-'

0.853) 。

從以上三個堆疊中所含題目之難度之上限及下限觀之，同一堆疊中之試題難度分布頗為均勻。而三個堆疊之平均難度之差異檢定結果如表 3-2 所示。表 3-2 三種堆疊所會題目難度之差異槍定

Corrected Total

* *p <

0.01 表 3-2 之檢定結果，顯示三種堆疊中所含試題之平均難度差異具有統計上之意

昕一

2U

一的

Sum of

Squares

2.074

0.041 Mean

Square

i-037

.002

F Value

686.51 Pr

>

F

0.0001* *

Source

Model

Error

(21)

義 (F=686.51 ，

P

<

0.01) 。經 Scheffe 多元比較結果如表 3-3 。

表 3-3 三種堆壘所含題目難度之 Sche仟'e 事後比較

Scheffe Grouping

A

B

C

i

jjj;i

N

P

Level

10 Low

iil?ilium

Note:

M~gQs

with the same letter are not Significantly

different.

由表 3-1 至 3-3 之結果顯示，本研究中所使用之三種不岡堆疊中所含之試題，確能表示不同難度水準。 2. 練習題目 (practi臼 items) 提供練習之題目來自於預試題目中，其難度符合本研究所要求者。此等練習題被安置在一個可供個人電腦讀取之題庫 (item bank) 裡，以提供練習階段時使用。練習題的選題策略則以本研究所設計之四種方式為之。 3. 測驗題目 (test

items)

測驗題目乃以練習題目為範圍，在電腦上從題庫中採隨機的方式為之，每一題均有出現之機會，每答對一題給一分，答錯不給分，也不給任何暗示。練習與測驗之時間間隔為一週。 ω 建立題庫如付之一所述，一種不同難度之題目被安排如圖 3-1 所示: 難度低高低難度題盧中難度題庫高難度題庫低

1 TD\ 40

ITBI 48

ITEM 47

高

ITEM 74

lTEM 68

ITEM 85

(22)

圖 3-1 所示之題庫結構主要依堆疊難度遞增式(Assessment

Systems Corporation

,

1989) 安排，然而，題目之呈現序則因選題策略而有不同。且還題策略

本研究之選題策略如第貳章所述。選題策略之實施係以 Micrsosft C 語言及 Mi

crosoft Macro

.As

sembler

Language 組合語言所撰寫，實施練習教學時之電腦螢幕

如下:

英語字詞電腦輔助教學製作:何榮桂國立台灣師範大學資訊教育系 .請按任一鏈繼續. 圖 3-2 線習輔助教學之啟動畫面 (例)

behavior

(l)

thought

(2)phi

1 o5ophy

(3)

fee

1

ni g5

(4)conduct

.講選 0 ， 2 ， 3 ，或 4) 圖 3-3 轉習題呈現畫面示倒雖然練習題之呈現方式有四種不同選題策略，但呈現給學生進行練習時之晝面均一樣，受試者無法察覺在進行何種策略之練習。然而，為了比較四種不同選題策略之差異情形，本研究所用之題材的呈現序略述如下: 1.串列選題

(23)

﹒先呈現低難度題庫。 ﹒同一題庫中低難度題目在先，高難度題目在後。 ﹒同一題庫中之 10 題依序呈現給學生練習後，再反覆乙次，也即每一題均給予兩次之練習機會。 ﹒以同樣的方式再進行中難度題庫及高難度題庫之練習。 2. 隨機選題 ﹒同一堆疊(即難度相當)之題庫中之 10 題均以隨機之方式呈給學生練習，且同一堆疊中之練習次數均為 20 次，不論其中某一題是否被選過。 ﹒依難度順序進行低難度、中難度及高難度的題庫。 ﹒受試進行練習時，電腦也同時記錄同一題庫中每一題被選出的機會 D文數)。 3. 閃爍卡式佇立選題 ﹒先呈現低難度題庫。 ﹒岡一題庫中低難度題目在先，高難度題目在後。 ﹒錯誤練習而佇立在後之題日，僅再給予乙汝之練習機會，若再錯誤，貝Ij給予正確答案之提示。 ﹒依題庫難度進行低難度、中難度及高難度題庫。 4. 變數式題距表現佇立選題 ﹒設定每一題不論答對與否需練習兩次(若全部答對則與串列選題岡)。 ﹒呈現之佇立順序為同一題庫中先依難易程度先呈現乙次，接著再反覆乙決。 ﹒依題庫難度進行fß::難度、中難度及高難難度題庫。的緣土施現Ij 受試經過上述選題策略之練習教學之後，延右一週進行施測，以搜集受試對不同練習策略所獲得之保留率 (retention rate) 。

線上施測時，題目之呈現方式如圖 3-3 '題日出現之順序依隨機方式為之，每一

題均有出現之機會，只是順序不一而已。

(24)

三、實施步驟

具體言之，本研究之實施分為三個階段進行: 付準備階段

1.研擬練習題 1∞題，題型為四選一之英語同義(或意義相近)字或詞。適用於大學一年級之非外文(或英語)系之學生。本研究選用英語字詞為練習之題材主要基

於此型之題日屬於事實的資料 (factul

information)

，最適合於 CAI 練習之用。

2. 選取適用之題日本研究為檢定練習之難度是否與選題略有交互作用存在，因此，經項目分析後，依研究之需要，選取低、中及高難度之三組題目(每組 10 題)。每一組(或堆疊)練習題之難度以相近為原則。 3. 建立題庫及設計選題策略本研究之題庫係以前述所選取之題目為內容，以提供練習之用。選題策略依本研究之需要分為串列選題、隨機選題、閃爍卡式佇立選題及變數式題距表現佇立等四種。此間種選題策略皆可自三種不同難度之題庫中選取練習題。題庫之建立及選題策略係以 C 語言及組合語言所設計，可在個人電腦上執行。。練習教學階段練習教學之實施在師大微電腦教室，分兩梯坎，每梯次 30 名，步驟如下: 1.將學生帶入微電腦教室，每名受試者在電腦前坐定後即閥門窗(內有空調設施) ，以避免不必要的干擾。 2. 進行練習教學之前，實驗主持人首先說明此次利用電腦進行輔助練習的意義與目的，接著利用電腦教學廣播系統說明操作方法， f矣受試者皆瞭解之後，即開始練習應有的操作。 3. 開始練習之前，先由實驗主持人利用電腦教學廣播系統解釋欲練習之字或與其意義相同或相近之其他字或詞。解說之練習題從建立之題庫中隨機出現，每一字或

(25)

詞只解釋一次。(教學階段) 4. 每一字或詞解釋完畢後，即略為休息，然後即開始進行練習。練習題從題庫被選出之順序依前述之選題策而有所不同。(練習階段)。目線上測驗經過上述之教學練習之後，間隔一週，進行線上施測，施測之內容為經過教學練習之 30 字或範圍。題目出現的順序隨機方式，但每一題目皆有被選的機會，施測時皆由電腦直接紀錄每一受試者之得分。

四、資料搜集與分析

本研究之設計因每一組( 5 名受試)係由 60 名實驗樣本隨機分源 (random

assign-ment) 而來，因此基本上可視為等組。實驗之兩個施測所獲得之資料，先以一般線性

模式(

generel linear

modol;GLM) 的方法進行變異分析 (ANOVA) ，並進而進行事後

比較。

肆、結果與討論

如參之三所述，各組受試者分別接受實驗處理後，間隔一週再接受電腦之線上施

測。本章旨在根據實驗及施測結果，討論四種練習式 CAI 之選題策略(閃爍卡式選題

、串列式選題、隨機選題及變數式題距表現佇立選題，以下分別簡稱為 FLASH，

LIST,

RANDON 及 VIPQ) 在三種不同難度之題庫， (11i難度題庫、中難度題庫及高難度題庫，以下分別簡稱為 L-BANK， M-BANK 及 H-BANK) 下，受試者得分之差異情形，

(26)

表 4-1 各組受試者分配

三月

FLASH

LIST

RANDON

VIPQ

TOTAL

L-BANK

5

20

們 -BANK

5

20 H-BANK

5

20 TOTAL

15

60

從表 4-1 可知，每組受試人數皆相等，因此屬於雙因子平衡設計 (two-factor

ba-lance

design) 。每一受試都接受施測之後，經初步整理得各組得分之平均數及標準差如表 4-2 所示。衰 4-2 各組得分之平均數及標準差

間L

FLASH

LIST

RANDOM

VIPQ

TOTAL

L-BANK

8.00

8.40

5.80

9.20

8.85

0.71

0.55

0.84

1.

46 M-BANK

7.60

6.80

5.60

8.80

7.20

1.

34

0.84

0.55

0 .4

5

1.

44 H-BANK

7.20

6.40

5 .4

0

8 .4

0

6.85

0 .4

5

0.55

1.

23 TOTAL

7.60

7.20

5.60

8.80

7.30

0.91

1.

08

0.63

0.68

0.72

表 4-2 中各細格(組)之平均數若以圖 4-1 及圖 4-2 來表示，則可顯示策略間(如圓 4-1 )及題目難度間(如圖 4-2 )之變化情形。

(27)

得分

10 +

V

L

8 +

F

L

6 +

R

4 +

一-+

₊

+一一一

HIGH

LOW

;MEDIυ刊

難度

圖 4-1 選題黨略間在不同難度題庫下得分之比較

分自

得

nHV -LrHμ

8 +

L

E

H

1 +

戶 hu

L

4 +

一一+

fL

ASH

T

LIST

策略

RA\DO

)l

寸一

VIPQ

圖 4-2 不同難度題庫間在不同選區黨略下得分之比較

(NOTE:2 ods hidden.)

(28)

表 4-3 變異數分析摘要表

Source

df

Type

IlI

SS

MS

F

p

Strategy(A)

3

78.600

26.200 49.90 0.0001 **

Diffl i ulty( B)

2

10.300

5.150 9.81 0.0003 **

A*B

6

4.500

0.750

1. 43 0.2234

Error

48

25.20

525 **p< .01

如表 4-3 所示，練習題之選題策略 (Strategy) 與題庫中之練習題度 (Difficulty) 間無

顯著之交互作存在 (F

=

1.

43 ,

P

>

0.05) 。

就不岡選題策略而言，策略問之差異達統計上之顯著水準 (f=49.90，

P

<

0.01) 。從受試者在各選題策略之練習情況下之得分觀之(如表 4-2) ，以 VIPQ 之練習效果最佳

(X=8.80)

，其次為且ASH

(X=7.60)

，再次為 LIST(X=7.20) ，四種策略中以 RAN

DOM 之練習效果最差 (X=5.60) 0 經事後多元比較的結果如表 4-4 。

衰 4-4 選題貨略聞之事後多先比較

策略比較同時信賴下限 _均數差同時信賴上限

VIPQ-FLASH

0.433

1.200

1.

967

*會

VIPQ- LIST

0.833

1.600

2.367

女女

VIPQ-RANDON

2.433

3.200

3.967

女女

FLASH- LIST

-0.367

0.400

1. 167 n.s.

FLASH-RANDON

1.233

2.000 2.767 **

LIST -RANDOM

0.833

1.600 2.367 **

**p< 0.01

如表 4-4 所示，受試者在 VIPQ 選題策略下之得分均顯著地於其他三種選題策略

(與 FLASH，LAST 及 RANDOM 之平均數差距分別為1.2∞， 1.600 及 3.2∞)。而

FLASH 及 LIST 兩種選題策略也顯著高於 RANDOM' 其平均數之差距分別為 2別別及 1.600 。表 4-4 之資料也顯示，四種選題策略，只有 FLASH 及 LIST 兩者之平均數(差

距為 0.4∞)其差異無統計上之意義。再就不同的題庫而言，其事後之多元比較結果表

4-5 所示。

(29)

表 4-5 不同難度題庫聞之事後多完比較不同難度同時信賴 _均數差同時信賴題庫比較

_下限

上限

LOW-MEDIUM

0.071

0.650

1.

229 *

LOW-HIGH

0 .4

21

1.000

1.

579 *

MEDIUM-HIGH

-0.229

0.350

0.929 *

女p<

.05

由表 4-5 可笑日，受試者在題庫中難度較低(較簡單)之題目所獲得之練習效果較顯著，例如，受試者在低難度的題庫( LOW)下練習的結果顯著地比中難度之題庫 (MEDIUM)( 差距為 0.650) 及高難度之題庫 (HIGH)( 其差距為1.凹的) ，其差距達顯著差異水準。至於中難度與高難度題庫間之差異(差距為 0.350 )則未達顯著差異水準。根據以上所分析之結果可知，不同選題策略與題庫中練習題的難度無交互作用存在，而選題策略確實對練習效果有顯著的影響，練習效果也隨著題庫中題目之難度升高而遞減，此為本研究中初步獲得之實徵結果，唯在選擇適當之選題策略時，還須同時考慮設計上之技巧，以及在實際教學情境裡，所可能提供之練習時間，有關此等問題將於下文一併加以討論。

伍、結論與建議

一、本研究之結論

(→設計觀點之比較一種電腦技術在教育情境的實施必須考慮其實用性，本研究因須靠電腦技術方能實施，因此在本研究結論裡，先將四種選題策略在設計之優劣做一比較。

1.

I 串列選題策略」中練習題出現順序之安排簡單，設計技術上也最容易，一般人較容易為之，唯此種選題策略適用於同一題庫中難度相等或相當之練習題，因在此種選題策略下練習題出現之順序呈直線化或機械化，而此，不適用於題庫中難

(30)

度變化較大之練習題。立「隨機選題策略」中練習題出現順序之安排依隨機數而隨機呈現，在設計技術上也很容易，唯此種選題策略除非預先設定題目出現之頻率或次數，否則在有限的練習次數裡，每一題日出現之次數會不均勻;換言之，每一題日被練習之機會會呈現很大之差異，特別在題庫中難度變化較大之練習題，如果難度低的題目出現較頻繁，則此種策略會失去練習的意義。

3.

，.閃爍卡佇立選題策略」在設計上也不困難，因此種策略對錯誤練習之題目具有強迫再練習之安排，因此其練習效果頗佳，唯需限定強迫再練習之決數，否則需要練習之時間太長，無法在實際之教育情境下實施。

4.

，.變數式題距表現佇立選題策略」在設計上較其他三種選題策略稍難，但因其題

距 (item interval) 視受試者之表現 (performance) 而能做變數式之適性調整，頗符合「易者少練習，難者多練習 J 的練習原則，因此，應用此種選題策略進行練習，效果頗佳。但若所設計之題距若太多(如大於 3) ，則所需練習的時間也較長。

ω實徵結果之比較

從本文第肆部份之結果與討論可以獲致三項結論: 1.練習式 CAI 中練習題之選題策略(如串列，隨機，閃爍卡佇立及變數式題距表現佇立等選題策略)與題庫中所含練習題之難度(如低難度、中難度及高難度)間並無交互作用存在;換言之，設計練習式 CAI 之選題策略時，似乎毋需考慮題庫中練習題之難度問題，然而，同一題庫宜容納難度相當之題目;亦即，題目間難度分布不宜太大。 2. 就練習式 CAI 中練習題之選題策略而言，選題策略的確會影響練習效果 O 以本研究所到之結果來看，變數式題距表現佇立選題策略之練習效果最佳，閃爍卡式佇立選題次之，串列選題再次，而隨機選題對練習效果之影響最小。 3. 就題庫中所含練習題之難度觀之，無論使用何種選題策略，均以低難度題庫之練習效果較佳，高難度題庫之練習效果較差，此結果符合一般的看法。

(31)

二、對設計練習式 CAI 選題策略之建議

過去因為對練習式 CAI 選題策略之實徵研究甚少， CAI 設計者常依自已的觀點在軟體中提供練習，即使在軟體中有了練習的機會，但因所使用的選題策略不適當，以致練習效果不彰，茲即根據本研究之設計及實徵所獲致之結論，提供設計練習式 CAI 選題策略之一些建議。什在題庫中所含練習題之難度相同或相當的情況下，可使用「串列」及「隨機」兩種選題策略。當使用「串列選題策略 J 時，練習「重複」的次數可依練習題之難度或可能提供練習之時間而定，若在提供練習之時間許可下，練習題之難度較高者可重複較多次之練習機會。在練習題之難度相同或相當的情況，也可使用「隨機選題策略 J 唯在設計隨機選題策略時，應在系統中預先設定每一題有「重複」練習的機會。此處所稱之「隨機」意指練習題在重複練習機會均等的情況下，題目之呈現順序可以隨機出現。至於重複練習次數之多寡，須考慮的情況與串列選題策略同。 ω 在題庫中所含練習題之難度不同或難度之分布很廣的情況下，可使用「佇立式」選題策略。當所欲練習之題目不多時，可利用閃爍卡式佇立選題策略，以避免因過多強迫練習機會而花太多的時間。至於，;變數式題距表現選題策略 J 在大部分的情況皆可使用，唯所設定之題

距之位置 (positions) 不宜太多，以免使用太多的時間。設計者也應提供變化「位置

」之彈性，亦即須視練習題之難度而變化重複練習之「位置」及次數。

三、對未來研究之建議

練習式 CAI 之設計常因電腦之硬體與軟體之進展而變，目前大抵依規則 (rule based) 而設計，事實上，電腦之軟體日新月異，研究者以可朝應用人工智慧中之案例

推理 (case-based reasoning) 或類神經網路 (artifical

neuron

network) 之技術嘗試設計練

習題之選題策略，如此或可開闢出練習式 CAI 之新途徑。

(32)

參考文獻

何榮桂(民 79

)

電腦輔助教學系統中之測驗設計。載於國立台灣師範大學中等教育輔導委員會編:中等教育(雙月刊)資訊教育專號，

41(2)

,

29-34

郭生玉(民 77) 簡茂發(民 76) 簡茂發(民 80

)

o 教育典ID-理規ua 。台北:精華書局。心理測駿與統計方法。台北:心理版社。測驗的編製。載於黃光雄、簡茂發主編:教育研究法，第七章。台北:師大書苑。 141-178

A1

essi

,

S.M.

,

&

Trollip

,

S.

R. (1985).

Computer-based instrnstion --Methods and dev

e/

opment

. Englewood Cliffs

,

NJ: Prentice-Hal

l.

As

sessrnent Systerns

C。中oration (1989). 的er法 manual

for the MieroCAT

1'.臼ting

System

(3rd ed.). S

t.

Paul

,

MN:Author.

Criswell

,

E.

L. (1989).

Th

e design of computer-based

ins仰ction.

NY: Macrnillan.

Dellalar咽，

C. M.(1985). Student response data an

a1

ysis: Planning for its

in∞rporation

in-to courseware design.

ComputeT古 in

the Schools

,

2 ,

91-96.

Fi肘，

P.M.

&

Posner

,

M.

1. (1967).

Human performance

,

Belrnont

,

C

A:

Broks

Co

le.

Gallini

,

J. L.,

&

Gredl肘，

M.E. (1989).

Instruction

des伊 for computer--C咿lÍtive 得抖ca

tions in BASIC and LOGO.

Glenview 且:

Scott

,

Foresrnan

&

Cornpany.

Hannafin

,

M.J.

,

&

Peck

,

K. L (1988).

Th

e

d，臼'Ïgn，

development

,

and

eJ叫叫ion

of

如何C﹒

tion software.

NY: Macrnillan.

Le

sgold

,

A. M.(1983). A rationale for cornputer-based instruction. In

A.c.

Wilkinson

(因.). C缸~sroom

computers and cognitive science.

NY: Acadernic Press.

(33)

In-structional designs lor microcomputer course-ware.

103-124. Hillside

,

NJ:Lawrence

Erlbaum

As

sociate

,

Publishers.

Sehloss

,

P.J.

,

Schloss

,

C.

N. ,

& Cartwright

,

G.P.(1984).

E旺i臼cyo宜。ur

ratios of questions

and hightlights to text in computer assisted instruction modules. Joumal 01

Comput-er- Based Instruction

,

11 ,

103-106.

Schloss

,

P.J.

,

Sindel缸， P.T.，

Cartwright

,

G.P.

,

& Schloss

,

C. N. (1986).

Effica可 of

higher

cognitive and factual questions in computer assisted instruction modules. Journal 01

Computer-Based Instrnction

,

13 ,

75-79.

Siegel

,

M. A.,

&

Davis

,

D.M.(1986).

Under古tanding

computerbased education.

NY;

(34)

A Study of Item Presenting Strategies

in Practice CAI

Rong -quey Ho

Department of Computer and Information Education

National Taiwan Normal University

Abstract

Th

e purpose of this study is to investigate the emprirical

e旺ect

of four item

p時間nt

ing modes

(i.

e

.l

ist selection

,

random selection

,

f1

ashcard queuing and variable interval

performance queuing) on practice. Practice items used in this study are obtained from a

paper-and-pencil test which

∞nsists

of four options. To explore the effects of item

diffi-culty on practice

,

three item banks

,

which

va可 in

the statictical

characteristi臼 of

items

,

are created. To implement these modes

,

presenting

pro臼dure

are developed.

The following conclusions emerge from the data analysis:

1. No significance is observed for the interaction between the presenting modes and

dif-ficulty of practice items.

2. The variable interval performance queuing is the most efficient one among the

pre-senting modes used.

3. Comparing the

practicβeffect