附錄一 訪談問題專家意見表
實作評量在國中學術性向優異班招生鑑定之效度研究
【訪談問題及編碼架構】
敬愛的教授：
學生慧娟目前是台師大特教系研究所資優組的學生，正在進行上述題目之論文研究工作，素聞教授在此領域之專 業精研，懇請給予慧娟指導及改進的意見，相信在教授的寶貴意見下，更能增加論文研究的廣度和深度。
本研究的目的為: (此處所指實作評量為應用於”學術性向優異招生鑑定”所使用之實作評量) (一) 分析現階段台灣北區實作評量題本的內容，以瞭解實作評量所評之學生能力為何?。
(二) 分析現階段台灣北區資優學生鑑定工具中，實作評量的設計是否符合資優鑑定的精神及內涵。
(三) 分析實作評量測驗對學生入學後相關專長學業成就表現上的預測性。
(四) 比較資優鑑定錄取組學生和未錄取組學生，在入學後的專長學科成就、科展、競試、作品發表等表現上的差異。
(五) 探討實作評量和其他評量工具得分間的相關。
(六) 了解參與實作評量之學生、家長、教師、行政人員等，對實作評量之有效性的看法。
因此，在研究方法上，希望能藉由訪談蒐集更多的參考資料，關於訪談的題目設計，是依據研究者所閱讀的文獻、
工作上的實務經
驗及參與實作評量的相關會議所蒐集來的資料，再加以整理設計的。而編碼的系統則是參照研究目的、研究問題及假 設，再列出大項、訪談綱要等。
懇請教授撥冗，就研究的目的來看「訪談問題和編碼架構」需要增補或是修改的地方，教授的不吝指導，將會是 敦促慧娟成長的最大動力和支持，也是本研究最有價值的參考意見，勞煩教授的地方，千萬感謝!!
順頌 教安 學生 慧娟敬上
實作評量在國中學術性向優異班招生鑑定之效度研究
【訪談問題綱要及編碼系統】
專 家 意 見 (以 3 表示)
編碼 大 項 訪 談 問 題 說 明
合適 不合適 修改意見 1、實施觀察期的功能為何? 為什麼要實施觀察期?
2、觀察期實施的時間在何時? 在實作評量前或後?
3、觀察期實施多久的時間?
4、觀察員由那些人擔任? 教師、協同教師、同儕等
5、觀察期預定篩選出多少比率的學生進行實 作評量(複試)?
6、觀察期實施的方式? a 上課進行觀察或主題式活動進 行觀察
b 進行時有多少觀察員觀察 幾個學生的反應?
O 觀察期
7、如何選擇觀察的項目? 如學習態度、參與精神、作業完
成能力、、、等
8、觀察期所採用的工具為何? a 學習單 b 觀察記錄表 c 作品 d 其它 9、觀察期的記錄或評分方式，如何做成取決
的標準?
a 篩選的標準是什麼?
b 標準又是如何訂定出來的。
10、參與觀察期的人員是否曾提出那些看法 或意見?
1、實作評量題目命題的單位是? a 命題單位由誰決定?
b 以往曾由那些單位命題或協助 命題。
2、實作評量命題的人員是? a 學術單位 b 小學老師 c 本校教師 d 他校國中教師 3、實作評量命題的過程是? a 辦理相關研習後再命題
b 小組命題後再選題 c 由命題人員自行決定 4、實作評量命題、審題、選題的方式是如何
進行的?
a 命題、審題分別專人負責 b 命題、審題同樣人員負責 5、實作評量命題的原則有那些? a 未事先訂定題型、範圍、題目數
等，由命題人員決定。
b 事先訂定題型、範圍、題目數等 原則。
6、實作評量設計的題目數約為?
7、實作的評量的題型包括那些類別? a 包括那些題型?
b 總共有幾類大題?
8、題目的結構強度如何? 強弱結構性命題的比率?
9、實作評量題型的特色? 是否觀察到課本以外的東西?
如:實驗精神、解決問題能力 10、實作評量在命題上容易受到那些
限制?
那些類別較不易命成實作題型，
原因為何?
M 命題
11、在命題的類型上，是否和性向測驗、成 就測驗有所區隔?
比較明顯的區隔是什麼?
專 家 意 見 (以 3 表示) 編碼 大 項 訪 談 問 題 說 明
合適 不合適 修改意見 P 實施程序 1、實作評量分段施測的原則? a 會因為那些原因而分段?
b 分幾段? 如何分?
2、實作評量預試的方式為何? a 受試是如何採樣?
b 預試結果是否進行分析?
c 對正式施測會有什麼影響?
3、實作評量實施的時間大約是多久? a 時間長度?
b 於何時段進行之?(上午、下 午、假日、課後、、等)
4、實作評量所需要的場地會有什麼特別 的需求嗎?
5、和一般測驗比較起來，實作評量通 常會需要準備那些器材或設備?
a 語文優異班需要?
b 數理優異班需要?
6、實作評量是否以標準化測驗程序來 實施?
a 是否召開主試會議。
b 指導語、程序、評分標準的標 準化。
c 以標準化程序來實施會遇到的 問題是什麼?
7、實作評量實施時，作業過程是如何進 行觀察與記錄的?
a 是否設計有觀察記錄表。
b 多少老師觀察多少學生?
c 觀察時，允許老師和學生有互 動式問答嗎?如何進行?
8、實作評量測驗在經費的使用上是否足 夠?
a 花費在那一部份的費用最龐 大?
b 所收取甄試費是否夠用?
c 學生、家長對費用的反應?
9、參與實作的人員曾經反應過實施程序 上有什麼困難或限制嗎?
專 家 意 見 (以 3 表示) 編碼 大 項 訪 談 問 題 說 明
合適 不合適 修改意見 1、受試應答的方式和以往有何不同? 應答方式的不同會造成什麼樣
的影響?
A 應答方式
2、受試學生曾經提出過什麼樣的反應或 意見。
專 家 意 見 (以 3 表示) 編碼 大 項 訪 談 問 題 說 明
合適 不合適 修改意見 1、評分前是否有評分者訓練?
S 評分
2、實作評量的閱卷方式如何進行? 集中同時閱卷、分別閱卷
3、閱卷前是否訂有評分標準? a 評分標準是何時訂定的(命題 時、預試後、閱卷同時討論) b 評分標準是如何訂定的。
c 在配分上是否經過討論。
4、對爭議性得分的處理方式? a 評分的一致性如何?是否常出 現爭議性的給分。
b 對爭議性的得分如何作最後 的判別。
專 家 意 見 (以 3 表示) 編碼 大 項 訪 談 問 題 說 明
合適 不合適 修改意見 1、每年甄試完後，會建立那些資料?
2、實作評量題目的檢討?
3、實作評量實施方式的檢討?
4、評分的檢討?
5、檢討報告運用的情形?
F 追縱檢討
6、參與實作工作者的建議?
專 家 意 見 (以 3 表示) 編碼 大 項 訪 談 問 題 說 明
合適 不合適 修改意見 1、和以往使用個別智力測驗的差別?
2、學生入學後的整體表現? 較為優異突出、較為遜色或是沒 有差別
3、初審、初試學生在實作評量上的差異 性如何?
(通過初審的學生不必參加性 向、成就測驗的初試)
4、學生在科展、競試、作品等方面的表 現如何?
I 鑑別度
5、學生的學習態度和以智力測驗為鑑定 工具時，是否有差別?
專 家 意 見 (以 3 表示) 編碼 大 項 訪 談 問 題 說 明
合適 不合適 修改意見 1、實作評量題型外洩的情況? 和以前使用個別智力的情況比
較起來?
2、補習是否有助於實作分數的獲得?
C 保密性
3、補習班是否容易取得實作題目?
整體性建議:
附錄二 提供實作評量訪談問題效度評鑑之專家學者名錄 (依姓名筆劃排列)
吳毓瑩【國立臺北師範學院教育心理與諮商學系教授】
呂金燮【國立臺北師範學院特殊教育學系副教授】
郭靜姿【國立臺灣師範大學特殊教育學系教授】
陳美芳【國立臺灣師範大學特殊教育學系教授】
潘裕豐【國立臺灣師範大學特殊教育學系副教授】
蔡崇建【國立臺灣師範大學特殊教育學系教授】
簡茂發【大學入學考試中心主任】
本研究訪談問題承蒙以上專家學者提供寶貴之意見，在此特致謝忱!
附錄三 專家評定意見彙整表
實作評量在國中學術性向優異班招生鑑定之效度研究
~訪談問題及編碼架構【專家評定意見彙整表】
編號 通過
%
刪除
%
修改
% 修 改 建 議 修 改 結 果 O1 100 0 0 1、加問為什麼是這樣的決
定，原來背後的想法?
2、以數字代號表示較制式化 的答案。
3、和研究目的的相關性。
經核對各校實作評量程序後 發現，實作評量本身並不包含 觀察項目， 若有觀察記錄表 也不列入評分項目 ，因而取 消「觀察」本大項的所有訪談 題目。
O2 100 0 0 1、加問為什麼是這樣的決 定，原來背後的想法?
同上
O3 100 0 0 1、加問為什麼是這樣的決 定，原來背後的想法?
同上
O4 86 0 14 1、加問為什麼是這樣的決 定，原來背後的想法?
同上
O5 100 0 0 1、加問為什麼是這樣的決 定，原來背後的想法?
同上
O6 100 0 0 同上 O7 100 0 0 同上 O8 100 0 0 同上 O9 100 0 0 同上 O10 100 0 0 同上
M1 100 0 0 」 M2 86 0 14 1、那些專業研發單位?
M3 86 0 14 1、和 M1 這二題關係為何?
2、命題計分人員的專業性，
領域專業、測驗專業。
綜合專家意見，將 M1、M2 和 M3 合併為「參與實作命題 的人員有那些?
M4 100 0 0 M5 100 0 0 M6 100 0 0
M7 86 0 14 1、實作評量的指導原則是什 麼?
採納專家建議，在說明中加入
「實作評量的指導原則是什 麼」?
M8 86 0 14 1、題目數與評量時間之配 合。
採納專家建議，加入「題目數 與評量時間之配合」。
M9 100 0 0
M10 86 0 14 1、由專業檢驗的可能性? 採納專家建議，另補充專家檢 驗的佐證資料。
M11 86 0 14 1、由專業檢驗的可能性? 採納專家建議，另補充專家檢 驗的佐證資料。
M12 86 0 14 1、由專業檢驗的可能性? 採納專家建議，另補充專家檢 驗的佐證資料。
M13 71 0 29 1、由專業檢驗的可能性?
2、題意不明確，宜說清楚。
採納專家建議，另補充專家檢 驗的佐證資料。
將題目修改為「您覺得實作評 量是在測學生的什麼能力?」
P1 100 0 0 P2 100 0 0 P3 100 0 0 P4 100 0 0 P5 100 0 0
P6 86 14 0 1、和效度的”意義”面有關? 綜合專家意見，改為「施測前 有否說明實施程序」?
P7 86 14 0 1、和效度的”意義”面有關? 由於觀察大項已刪除，仍保此 細項以瞭解觀察實施狀況 P8 100 0 0
P9 100 0 0 1、是否加「施測前有否說明」
一項。
綜合專家意見，將 P6、P9 兩 題合併修改。
A1 100 0 0 A2 100 0 0 S1 100 0 0
S2 86 0 14 1、閱卷方式宜修改為「評分 方式」。
採納專家建議，將閱卷方式改 為「評分方式」
S3 86 0 14 1、取消「閱卷前」。 採納專家建議，取消「閱卷前」
S4 100 0 0
F1 86 14 0 1、和研究的關係? 文獻探討發現追縱檢討，可以 重新檢視「決策的有效性」， 因此仍保留此大題。
F2 86 14 0 1、和研究的關係?
F3 86 14 0 1、和研究的關係?
F5 86 14 0 1、和研究的關係?
F6 86 14 0 1、和研究的關係?
I1 57 14 29 1、已多年未使用個別智力測 驗，如何比較?
2、期待什麼?
3、實作評量的主旨何在?與 個別智力測驗區隔有何用 意?
實作評量在資優鑑定工具上 的運用，主要是取代原來智力 測驗，仍保留此題。
I2 71 0 29 1、整體表現是指什麼?
2、實作評量的能力表現是否 在課程中有能見度?
採納專家建納，改為「實作評 量的能力表現是否在課程中 有能見度」
I3 86 0 14 1、如此差異之比較分析，有 何意義?
第一關有初審制學生(未參加 性向、成就測驗即進入複 試)，此題在比較二種不同甄 試管道入學生在入學後學業 上的表現差異如何。
I4 86 0 14
I5 57 29 14 1、可能缺乏參照指標。 採納專家建議，改為「學生入 學後的學習態度如何?」
C1 71 14 14 1、「外洩」改為「保密」，以 棄除預設立場。
2、和研究目的的相關性。
採納專家建議，將題目修改為
「實作評量題目保密的情形 如何」?
C2 71 14 14 1、補習意涵不清楚，可用「模 擬習作」替代之。
採納專家建議，修改題目成
「模擬習作是否有助於分數 的獲得」?
※整體性建議：
1、本研究是否僅限於實作評量的現況調查? 若不限於此，是否宜提出最佳實作 評量的架構及命題指標，以作為檢視的依據。
2、若有合理的試題架構，訪談的內容可更深入、更具體。
3、效度之指標是什麼?訪談的內容強度亦與此項設定有關。
4、合計有八大項 51 題，在說明或使用之前是否考慮其訪談時間。研究的題目很 有意義，也具有創新性與引導性。至於如何引導過去以紙筆測驗導向的評量，
逐漸轉變或加入實作評量的評量方式，這個研究具有可參考性，因此，對於 實作評量的探討，一首重其程序如何進行(請再詳加考慮其細節)，二實作評 量的內容，如訪談內容外，是否尚有再加強之處，也請一併思考(如學生本身
對實作評量的感受如何)。
5、大致妳的訪談題目個別性看沒法說不合適，但就整體效度探究總是有些模 糊，實作效度建議妳從目的、構念----＞評量方式、題目內容、題型----＞結 果代表性----＞結果的詮釋意義----＞決策----＞預測。或以 Linn 所提的內容品 質、複雜度、概化程度、公平性---等九點來思考會比較具體。這個訪談的 焦點是放在那兒?
6、實作評量樣本進行專家審查的可能性?
7、能編號(數字代號)則不必再作文字編碼，以利統計分析。
8、文字編碼部份，需以實際 data 進行。
9、是否針對特定年度進行研究?
10、從「意義面」看命題、計分人員的專業性，領域專業和測驗專業 11、個別項目評估外，宜有整合性的專業評斷。
12、量化統計可供實徵性驗證，另須參酌數據進行深切的詮釋，就其設計的要點 及實施的可行性加以探討。
附錄四 訪談問題定稿
實作評量在國中學術性向優異班招生鑑定之效度研究
【訪談問題定稿】
專 家 意 見 (以3表示)
大 項 訪 談 問 題 細 項
合適 刪除 修改 修 改 意 見
1、實作評量題目命題的單位是由誰決定的? 誰決定 W
2、以往曾請過那些單位命題? 單位 U
3、實作評量命題的人員是教授、中學教師、小學 教師或其它人?
人員 P
4、實作評量命題是經過那些過程和步驟? 過程 Pr 5、實作評量如何進行審題工作? 審題 E 6、實作評量題目如何進行選題工作? 選題 Ch 7、實作評量命題的原則是什麼?
(是否事先訂定題型、範圍、題數數等，或是由 命題人員自行決定)
原則 Pi
8、實作評量設計的題目數約有多少? 數量 A 9、實作評量的題型包括那些類別? 類型 Ca 10、題目的結構強度如何?
(強弱結構性命題的比率)
結構 S
11、實作評量題型的特色?
(是否能測到其它評量所無法測得的項目)
特色 F
12、實作評量在命題上容易受到那些限制?(那些 類別較不易命題成實作題型)
限制 L 命題
(M)
13、在命題的類型上，是否和性向測驗、成就測 驗有所區隔?
區隔 D
專 家 意 見 (以3表示) 大 項 訪 談 問 題 細 項
合適 刪除 修改 修 改 意 見
1、 實作評量分段施測的原則?
(會因為那些因素而分段施測，分幾段?
如何分?)
分段 S
2、 實作評量預試的方式為何?
(受試如何採樣，預試結果是否進行分析 ---)
預試 P
3、 實作評量實施的時間大約是多久?
(時間多長? 在什麼時段實施之?)
時間 T
4、實作評量所需要的場地會有什麼特別的需求 嗎?
場地 Fi
5、和一般測驗比較起來，實作評量通 常會需要準備那些器材或設備?
設備 I
6、實作評量是否以標準化測驗程序來 實施?(主試會議、指導語、程序、評分 標準的標準化)
標準化程序 St
7、實作評量實施時，作業過程是如何進行觀察 與記錄的?(是否設計有觀察記錄表、有多 少老師觀察多少學生? 觀察時允許老師和 學生對話嗎?)
觀察記錄 Os
8、實作評量測驗在經費的使用上是否足夠?
(花費在那一部份最多? 收費夠用嗎? 家長 對收費的反應?)
經費 Fe 實施程序
(P)
9、參與實作的人員曾經反應過實施程序上有什 麼困難或限制嗎?
反應 R
專 家 意 見 (以3表示) 大 項 訪 談 問 題 細 項
合適 刪除 修改 修 改 意 見 1、受試應答的方式和以往有何不同? 應答 A
應答方式
(A) 2、受試學生曾經提出過什麼樣的反應或意見。 意見 S
專 家 意 見 (以3表示) 大 項 訪 談 問 題 細 項
合適 刪除 修改 修 改 意 見 1、評分前是否有評分者訓練? 評分者訓練 T
2、實作評量的閱卷方式如何進行?
(集中閱卷、分別閱卷)
閱卷 Sc
3、 閱卷前是否訂有評分標準?
(評分標準是如何訂定的? 何時訂定的?
在配分上是否經過討論)
評分標準 St 評分
(S)
4、 對爭議性得分的處理方式?
(爭議性得分是否常出現? 評分一致性 如何? 爭議性得分的處理?)
爭議得分 A
專 家 意 見 (以3表示) 大 項 訪 談 問 題 說 明
合適 刪除 修改 修 改 意 見 1、每年甄試完後，會建立那些資料? 資料 D
2、實作評量題目的檢討? 題目檢討 I 3、實作評量實施方式的檢討? 實施檢討 P
4、評分的檢討? 評分檢討 Sc
5、檢討報告運用的情形? 運用 U 追縱
檢討 (F)
6、參與實作工作者的建議? 建議 Su
專 家 意 見 (以3表示) 大 項 訪 談 問 題 細 項
合適 刪除 修改 修 改 意 見 1、和以往使用個別智力測驗的差別? 個測差別 Dt
2、學生入學後的整體表現?
(較為出色、遜色、沒有差別)
整體表現 Pt
3、初審、初試學生在實作評量上的差異性 如何?
差異 Di
4、學生在科展、競試、作品等方面的表現 如何?
表現 Pe 鑑別度
(I)
5、學生的學習態度和以智力測驗為鑑定工 具時，是否有差別?
態度 A
專 家 意 見 (以3表示) 大 項 訪 談 問 題 細 項
合適 刪除 修改 修 改 意 見 1、 實作評量題型保密的情況?
(和以前使用個別智力測驗相較)
外洩 S 保密性
(C)
2、補習是否有助於實作分數的獲得? 補習 C
整體性建議:
附錄五 訪談名單
實作評量訪談名單
學 校 姓 名 性 別 身 份 訪談時間 代 號
郭○○ 女 特教組長 93.12.14 KWTF931214 曾○○ 男 數資班學生(建中) 93.12.17 KWSM931217
○○國中
曾○○ 女 數資班學生(中山) 93.12.18 KWSF931218 陳○○ 女 數資班數學教師 93.11.23 JCTF931123
○○國中
吳○○ 男 落選組學生(建中) 93.12.9 JCSM931209 呂○○ 女 英資班導師 93.12.13 LSTF931213
○○國中
侯○○ 女 英資班學生(內湖) 93.12.18 LSSF931218 馮○○ 女 國資班教師 94.01.19 CCTF940119 林○○ 男 國資班學生(建中) 93.12.16 CCSM931216
○○國中
李○○ 女 國資班學生(北一) 93.12.19 CCSF931219
附錄六 教師座談會---會議編號清單
日 期 星 期 名 稱 編 號 備 註 93/4/30
五 數學組選題會議 MM930430 93/5/3
一 英文組選題會議 EM930503 93/5/4
二 自然組選題會議 SM930504 93/5/14
五 數學組修題會議 MM930514 93/5/31
一 英文組修題會議 EM930531 93/6/1
二 自然組選題會議 SM930601 93/6/4
五 數學組修題會議 MM930604 93/6/15
二 自然組最後修題選題會 議
SM930615
93/6/25
四 數學組最後修題選題會 議
MM930625
93/12/10
五 數學組集中閱卷會議 MM931211 93/12/13
一 英文組集中閱卷會議 EM931213 93/12/14
二 自然組集中閱卷會議 SM931214
