板書教學內容擷取之研究

全文

(1)國立台灣師範大學資訊工程研究所碩士論文. 指導教授：. 李忠謀. 博士. 板書教學內容擷取之研究 Automatic Lecture Note Extraction from Blackboard based Instruction Video. 研究生：. 王逸禮. 撰. 中華民國一百零五年七月.

(2) 摘要在傳統的授課方式，教師在黑板上補充教學相關內容，學生將其謄寫入筆記，但是教師在授課時往往會因為移動而遮擋住筆記內容，造成學生無法專心聽講，而筆記的內容字跡潦草或東缺西漏，因此課後無法複習上課內容。本研究著眼於板書完整字跡擷取，讓教學筆記具備清晰且接近老師實際上課的內容，並且尋找教學影片的片段分割點，將有意義的影像作為教學筆記，以利學生自行瀏覽影片，因此設計一套智慧型教學筆記擷取系統，能夠在不同教學環境擷取每部影片中的重要教學筆記。主要研究方法是利用 K-means Segmentation 方法找出黑板範圍並去除黑板以外的資訊，接著即使老師身體擋住黑板字跡，也能有效地保留黑板的字跡而無缺漏；本研究採用 Adaptive Threshold 方法進行字跡擷取與過濾雜訊，繼而利用字跡擷取的結果進行相對應於原始畫面的字跡顏色，並且給予此粉筆字字跡進行著色；藉由統計黑板字跡變化量偵測教學影片適合的分割時機點，最後在每段片段中擷取擁有最完整字跡內容的畫面當作教學筆記。本研究經由十部不同教學環境、不同老師和不同授課內容的教學影片，進行三組實驗測試並且與其它研究的技術相互比較，驗證本研究的可用性與實用性，從實驗證明本研究在不同的教學環境下，前景和背景分離、教學筆記擷取和彩色教學筆記部分皆有良好的效果。關鍵字：教學影片、教學筆記、內容分析、彩色教學筆記 I.

(3) Abstract Lecture in a blackboard equipped classroom is still very common in the K-12. The teacher usually write the important notes on the blackboard and students often try to copy all notes from the blackboard.. However, as the teacher is usually between the. students and the blackboard, teacher tends to block parts of blackboard.. As a result,. students note-taking cannot be in sync with the lecture. This study tried to remedy this notetaking difficulty by automatically extract notes on the blackboard throughout a lecture. To extract the notes from the blackboard, the K-means clustering segmentation methods was first used to find the blackboard area. Adaptive threshold method was then used to extract written notes from the blackboard. Color analysis was done to preserve the original chalk color in the extracted notes. By using a simplified method for determining lecture break points, the system outputs the extracted notes at the lecture break points. Experiments and analysis with 10 self-taped instruction videos showed that this system is able to achieve 90% character extraction. This system also compares favorably over system proposed in [34]. The experiments showed that even in the different teaching environment the system all have similar good results. Key words: instruction videos, lecture notes, content analysis, colorful notes II.

(4) 謹獻給我摯愛的家人與朋友. III.

(5) 誌謝在師大研究所的這兩年，學生能夠承蒙李忠謀教授的指導，不論是在論文或研究領域方面，都會訓練學生獨立思考和解決問題，並且督促我們自主學習，因此學生經過兩年的洗禮，得已在資訊工程的領域上精進不少，在此需要感謝李忠謀教授以及諸位老師們的栽培。一路走來，總是慶幸身邊有著這樣臭味相投的朋友，瘋瘋癲癲的享受人生，安安靜靜的一起奮鬥，喜怒哀樂的八卦生活，七拼八湊的手作食品，活力四射的熱血羽球，這一切留在心中的記憶，是留不下了，畫面，也僅剩斷簡殘篇，但過往曾經的悸動，相信會在未來的某個時刻，再次怦然心動！謝謝 VIPLAB 的依潔、維琳、盈君、佳宜、晏誠、高梵、信實、奕凌、晟麟和學長姐與學弟妹們；謝謝 CVIULAB 的璩瑄和思漢；謝謝實驗室的冠宇；謝謝 SIMLLAB 的曜麒、映文和奕儒；謝謝熱血打羽球的思漢、孟哲、桓僕、映文、奕儒、若玟、高穎、資工系羽的學弟妹們和其他球友們。參與我生命最多光陰的莫過於家人，陪我走過跌跌撞撞的求學生涯，教會我許多人生哲理，給予我最大限度的自由，並讓我擁有一個美滿且幸福的家庭，謝謝我的家人對我的信任與支持。最後，謝謝你努力的過著生活，認識這個大千世界，而當逆境來臨時有勇氣面對，堅持住所有的不甘心與傷痛，別再害怕了，掌聲已響起，揮手告別我最青春的校園生活，未來有你也有我！. IV.

(6) 目錄附圖目錄...................................................................................................................... III 附表目錄....................................................................................................................... V 第 1 章緒論.................................................................................................................. 1 1.1 研究動機......................................................................................................... 1 1.2 研究目的......................................................................................................... 3 1.3 研究範圍與限制............................................................................................. 4 1.4 論文架構......................................................................................................... 4 第 2 章文獻探討.......................................................................................................... 5 2.1 黑板授課的教學影片之字跡整體區域分析................................................. 7 2.2 黑板字跡分析與應用................................................................................... 11 第 3 章系統架構........................................................................................................ 13 3.1 研究目標....................................................................................................... 13 3.1.1 教學影片主要畫面分析................................................................................ 14 3.1.2 教學影片主要畫面判斷技術........................................................................ 15. 3.2 系統流程....................................................................................................... 16 3.3 教學影片之前景背景分離........................................................................... 18 3.3.1 影像前處理.................................................................................................... 18 3.3.2 擷取黑板範圍................................................................................................ 22 3.3.3 判斷教師位置................................................................................................ 24.

(7) 3.4 教學影片之教學筆記擷取........................................................................... 26 3.4.1 字跡擷取........................................................................................................ 26 3.4.2 字跡上色........................................................................................................ 32 3.4.3 字跡量統計.................................................................................................... 36. 第 4 章實驗結果........................................................................................................ 40 4.1 實驗評估方式............................................................................................... 40 4.2 實驗影片與實驗環境說明........................................................................... 41 4.3 實驗............................................................................................................... 44 4.3.1 前景背景分離比對錯誤分析........................................................................ 44 4.3.2 字跡比對錯誤分析........................................................................................ 50 4.3.3 彩色字跡比對錯誤分析................................................................................ 61. 第 5 章結論與未來研究............................................................................................ 68 5.1 結論............................................................................................................... 68 5.2 未來研究....................................................................................................... 69 參考文獻...................................................................................................................... 70.

(8) 附圖目錄圖 2-1 ONISHI[27]擷取結果 ...................................................................................................................... 8. 圖 2-2 ONISHI[27]應用於網頁 .................................................................................................................. 8. 圖 2-3 LIU [22]分割黑板結果與擷取出的文字結果 ............................................................................... 9. 圖 2-4 IMRAN [19]前景物體偵測結果 .................................................................................................... 10. 圖 2-5 IMRAN [19]影像二值化的結果 .................................................................................................... 10. 圖 2-6 SEIJI[7]發展黑板場景分割的系統 .............................................................................................. 11. 圖 3-1 系統流程圖 ................................................................................................................................ 17. 圖 3-2 影像縫合之結果 ........................................................................................................................ 18. 圖 3-3 影像縫合流程圖 ........................................................................................................................ 19. 圖 3-4 影像匹配流程圖 ........................................................................................................................ 20. 圖 3-5 影像融合流程圖 ........................................................................................................................ 21. 圖 3-6 黑板範圍擷取的結果 ................................................................................................................ 23. 圖 3-7 前景背景分離的結果 ................................................................................................................ 25. 圖 3-8 誤判為擦黑板的情況 ................................................................................................................ 26. 圖 3-9 更新粉筆字................................................................................................................................ 27. 圖 3-10 使用單一的 THRESHOLD 值進行粉筆字字跡擷取..................................................................... 28. 圖 3-11 灰階影像轉換積分影像示意圖 .............................................................................................. 30. 圖 3-12 積分影像虛擬碼 ...................................................................................................................... 30.

(9) 圖 3-13 計算積分影像.......................................................................................................................... 31. 圖 3-14 字跡擷取的結果 ...................................................................................................................... 31. 圖 3-15 HSV 與 RGB 色彩空間比較 ...................................................................................................... 32. 圖 3-16 HSV 圓錐體色彩模型 ............................................................................................................... 33. 圖 3-17 HSV 圓柱體色彩模型 ............................................................................................................... 33. 圖 3-18 粉筆字的字跡著色 .................................................................................................................. 35. 圖 3-19 教學影片粉筆字字跡統計圖 .................................................................................................. 36. 圖 3-20 不同單位時間的切割點偵測 .................................................................................................. 37. 圖 3-21 教學筆記之擷取結果 .............................................................................................................. 39. 圖 4-1 前景背景分離錯誤的實驗結果 ................................................................................................ 45. 圖 4-2 系統正確擷取影像中的前景 .................................................................................................... 45. 圖 4-3 字跡擷取錯誤的實驗結果 ........................................................................................................ 51. 圖 4-4 擷取正確的板書內容 ................................................................................................................ 51. 圖 4-5 本研究的方法與陳[34]的方法之比較圖 ................................................................................. 57. 圖 4-6 彩色字跡擷取錯誤的實驗結果 ................................................................................................ 62. 圖 4-7 彩色字跡擷取正確的實驗結果 ................................................................................................ 62.

(10) 附表目錄表 3-1 HSV 顏色分量範圍 ..................................................................................................................... 35. 表 4-1 十部教學影片的片段畫面 ........................................................................................................ 42. 表 4-2 六部黑板教學影片的詳細資料 ................................................................................................ 43. 表 4-3 兩部白板教學影片的詳細資料 ................................................................................................ 43. 表 4-4 兩部陳[34]教學影片的詳細資料 ............................................................................................. 43. 表 4-5 四部前景背景分離的測試影片結果 ........................................................................................ 46. 表 4-6 四部測試影片的單部攝影機和雙部攝影機𝑅𝑒𝑐𝑎𝑙𝑙值 ............................................................. 46. 表 4-7 測試影片與課堂錄影的前景背景分離結果 ............................................................................ 48. 表 4-8 測試影片與課堂錄影的單部攝影機𝑅𝑒𝑐𝑎𝑙𝑙值 ......................................................................... 48. 表 4-9 四部字跡擷取的測試影片結果 ................................................................................................ 52. 表 4-10 四部測試影片的文字方向𝑅𝑒𝑐𝑎𝑙𝑙值 ....................................................................................... 52. 表 4-11 測試影片與課堂錄影的字跡擷取結果 .................................................................................. 54. 表 4-12 測試影片與課堂錄影的直書和橫書𝑅𝑒𝑐𝑎𝑙𝑙值 ....................................................................... 54. 表 4-13 本研究的方法與陳[34]的方法之結果 ................................................................................... 56. 表 4-14 陳[34]的教學影片𝑅𝑒𝑐𝑎𝑙𝑙值 ..................................................................................................... 59. 表 4-15 四部字跡顏色擷取的測試影片結果 ...................................................................................... 63. 表 4-16 課堂錄影的字跡顏色擷取結果 .............................................................................................. 64. 表 4-17 測試影片與課堂錄影的字跡顏色擷取結果 .......................................................................... 66.

(11) 第1章緒論 1.1 研究動機在傳統的授課方式，板書教學是最為常見。教師會根據教學進度，依序講解課程內容給全班學生聽，並且在黑板上補充教學相關內容；學生則經由上課專心聽講，並且將板書內容抄錄於課本或筆記本，可供課後的溫習來熟練課本與教師所講授的知識內容。許多學生在上課時，需要一邊作筆記一邊聽老師上課內容，造成抄寫筆記的字跡龍飛鳳舞，或者會因為教師需要講解課程而在講台上走動，以致於遮擋住黑板上的字跡，使得筆記的內容東缺西漏，導致學生課後無法進行複習。長此以往，傳統的板書教學模式對於學生是弊大於利。隨著近年來數位學習日益普及且多媒體技術的發展愈臻純熟，讓教學教材及多媒體相互結合，興起數位教學的風潮，破除時空與距離的限制，達到教師在教學上多元化的應用。此教學模式著重於多媒體影音、視訊等媒體結合網路資訊的開放性、互動性和普遍性。. 1.

(12) 學生隨時隨地進行學習，不再侷限於教室或課堂內，學習時間延伸，也不再因距離阻隔學習的機會，另外學習內容方便隨時更新及保存，使資訊較為精確、一致性，並且學生可依據自己的學習能力及程度來調整學習的進度，依照自己的與趣和能力選擇和安排學習課程，進而達到降低學習成本、內容即時、教材多樣化和適性學習，讓學生學習更具彈性。數位學習是一股趨勢，因此本研究將數位學習運用在輔助和延伸傳統的學習，將教師授課內容以錄影的方式，並且結合串流視訊（Stream Video）播放技術，讓教師上課內容以影片方式全程記錄，提供學生課前預習與課後複習上課內容[1] [2] [3] [4] [6]，並擷取該堂上課筆記，以彌補傳統教學的不足之處[9] [11] [12] [14] [20]。. 2.

(13) 1.2 研究目的黑板授課的教學影片字跡較為凌亂，內容多為老師手寫，造成字元排列較無固定的規律，並且沒有相對應的資料進行校正，一份好的教學筆記，必須是字體清晰且可以辨識，因此本研究需要克服攝影機的晃動與解析度不佳等設備條件，所造成錄製的教學影片品質不佳，另外尚須針對外在環境而衍生的問題，例如在黑板上用粉筆寫字與在白板上用麥可筆寫字的顏色對比度是較低，並且容易隨著拍攝角度、光源變化和陰影重疊，黑板會有反光和不均勻的配色，因此在字跡擷取上需要利用更有效的方式進行處理。另外透過觀看教學影片，可以發現教師出現在畫面的位置並不固定，也無特定之手勢，只能藉由分析教師手寫的字跡資訊判斷場景的變換，所以若無法從教學影片中將老師與黑板區別出來，則會導致在字跡擷取上的完整性，以致於直接影響最終的教學筆記結果，因此如何準確地切割黑板與老師就成為本研究值得探討的問題。在彩色字跡的顏色填補過程中，本研究發現針對不同的拍攝場景下亮度的變化，不同教師書寫板書的力道，或者教師為配合教學內容的需求讓字跡的深淺有所不同，以上三種因素會導致影像中的字跡在擁有相同顏色，卻有不同程度之間的影像亮度值差異，因此可以針對不同場景的字跡深淺，自動填上該字跡相對應的顏色就成為本研究的主軸之一。. 3.

(14) 1.3 研究範圍與限制本研究所針對的教學影片，根據實際教學環境分成黑板授課的教學影片與白板授課的教學影片。以下將簡述本研究的教學影片環境與研究限制： (1) 拍攝期間黑板或白板面積必須涵蓋影片一半的畫面。 (2) 拍攝期間不會移動攝影機和縮放攝影機的鏡頭。 (3) 拍攝期間允許使用一台或是兩台攝影機進行錄製。 (4) 輸入影片無後製，如添加字幕或影片編輯等影片處理技術。. 1.4 論文架構本論文共分為五章，第一章說明本研究的動機、目的與研究範圍與限制；接著，第二章為文獻探討，此章將針對不同的教學影片進行優劣比較，以及擷取字跡整體區域可能使用的技術與基礎理論；後續會在第三章說明本研究的目標與系統流程之概述，並包含解說本系統如何從教學影片的畫面完整擷取老師上課內容，繼而敘述系統如何從教學影片找出此課堂的教學筆記；第四章為實驗流程與實驗結果展示，探討第三章系統流程中每一個重要步驟的必要性與正確率；最後，第五章為結論與未來展望。. 4.

(15) 第2章文獻探討針對目前教學影片的分析，老師會利用有投影幕[29] [31] [33]、白板[18] [32] 或黑板的室內環境（如普通教室、電腦教室或演講廳等）從事課堂教學。以下將針對投影片授課、白板授課和黑板授課進行特點分析： 1.. 投影片授課：文字字元清楚整齊，可利用電子檔案（如 PDF 文件檔案、 PowerPoint 軟體等）進行參照，進而修補投影片內容的顏色或文字，另外切換頁內容差異大而講者的移動範圍和其手勢變化甚少，故容易根據教師所在位置判斷場景改變。. 2.. 白板和黑板授課：教學影片的字跡相對於投影片較為凌亂，內容為老師手寫造成字元排列較無固定的規律，並且沒有相對應的資料進行校正，另外教師出現在畫面的位置並不固定，也無特定之手勢，因此只能藉由分析教師手寫資訊判斷場景的變換。從白板授課教學影片中明顯看出白板和麥克筆不論在色彩度或是對比度，其辨識程度都高出黑板和粉筆，但白板容易因光線變化造成反光，導致字跡擷取不清晰；黑板授課教學影片中黑板和粉筆則是在字跡的色彩度、對比度和明亮度辨識程度難於白板和麥克筆。. 5.

(16) 綜合以上所述，在此環境所錄製的教學影片，其背景多為靜態且不複雜，僅會有短時間造成背景產生變化（如老師或學生進入畫面），所以投影幕、白板和黑板能夠占畫面絕大部分的面積。在不同環境下教學影片字跡完整擷取系統開發之前，必須先瞭解目前主流的字跡擷取方法並分析其可行性。本研究的文獻探討部分分為黑板授課的教學影片之字跡整體區域分析與黑板字跡分析與應用兩節進行討論，第一節針對目前近幾年黑板授課的相關研究進行探討，並說明各單位所使用的字跡擷取方法；第二節將探討教學影片中擷取教學筆記的各種技術發展與應用。. 6.

(17) 2.1 黑板授課的教學影片之字跡整體區域分析從眾多文獻可以發現黑板授課為主的教學影片研究是相對少數，針對現存的文獻，瞭解早期研究著重在找到黑板字跡整體區域和場景分類（此場景分類定義為教師移動至下一個黑板區域並且寫下粉筆字）。最早於西元 2000 年 Onishi 等人[27]，認為在教學影片中老師和板書為兩個重要的影像資訊應當進行分析處理，故而提出一個分割手寫區域的技術，目的是將影像資訊中的老師和黑板文字進行分離，利用影像處理技術——索貝爾運算（Sobel Operators）取得動態線段（表示為粉筆字跡），並採用 Fuzzy Rule 判斷黑板字跡區塊的排列合理性，如圖 2-1 所示，最後將其結果以網頁分方式顯示之，如圖 2-2 所示。. （a）. （b）. 7.

(18) （c）圖 2-1 Onishi[27]擷取結果（a）輸入原始影像（b）擷取出黑板文字與老師（c）區塊資訊的實驗結果. 圖 2-2 Onishi[27]應用於網頁. 8.

(19) 其後開始有較多研究針對黑板字跡去做分析應用，Liu 等人[15] [22] [23]作法是鑽研黑板字跡的擷取和排列的技術。然而一系列關於黑板教學影片的研究，主要提出使用 Mean-shift Segmentation of Comaniciu et al. [16]對影像進行分割，並利用直方圖的方式修正黑板區塊的分類，找到正確的黑板範圍，之後統計每張影像之間的粉筆字跡變化量，再利用 Connected Components 去除雜訊，最後利用連續內容比對去除重複的字跡，如圖 2-3 所示。. 圖 2-3 Liu [22]分割黑板結果與擷取出的文字結果（a）原圖（b）黑板範圍（c）截取出來的文字. 9.

(20) Imarn 等人[19]利用[21]所提出的前景物體偵測模型，此模型主要是利用貝式定理將黑板以外的前景進行分離，如圖 2-4 所示。. （a）. （b）. （c）. 圖 2-4 Imran [19]前景物體偵測結果（a）原始影像（b）前景影像（c）背景影像. 由於黑板與粉筆之間的顏色對比不明顯，而在光線干擾下無法分辨兩者的差異，因此 Imarn 等人[19]在字跡擷取上使用[7]的 Modified Otsu Thresholding Method，進而得到黑板的粉筆字跡，如圖 2-5 所示。. （a）. （b）. 圖 2-5 Imran [19]影像二值化的結果（a）原始影像（b）二值化影像. 10.

(21) 2.2 黑板字跡分析與應用 Seiji 等人[26] 開發一套黑板場景自動化分類系統，如圖 2-6 所示，並且設計兩套演算法主要是針對黑板區域轉移偵測的方式找出正確的分割時機點。首先，利用灰階影像的像素（Pixel）平均值差異偵測黑板是否上下移動，接著偵測擦黑板，透過索貝爾運算技術取出粉筆字並統計粉筆字的像素數量作為判斷擦黑板的時機點。. 圖 2-6 Seiji[7]發展黑板場景分割的系統. Liu 等人[15]和 Seiji 等人[26]在蒐集完教學影片上的粉筆字後，利用統計每張教學畫面裡所有粉筆字的像素量，並藉由像素量的多寡判斷擦黑板的時機點。然而在老師的講解過程，容易發生身體遮擋住板書的情況，造成其統計的字跡變化量與擦黑板的字跡變化量相似，導致分割時機點或選取關鍵影像之誤判。. 11.

(22) 陳映如[34]提出一套智慧型教學影片輔助系統，分成六個步驟：(1)合併兩台攝影機拍攝畫面；(2)擷取黑板範圍；(3)更新非物件區域內容；(4)擷取黑板字跡； (5)判斷切割點時機；(6)教學筆記之擷取。目前此系統雖然架構完整，但沒有針對粉筆字的色彩做判斷，或者補齊教學筆記中破碎不完整的字跡，因此若能進一步將其進行改良，讓實際教學現場的教學筆記符合使用者的需求。綜合以上文獻探討，教學影片在使用單一數位攝影機進行拍攝的情況下，容易造成教學內容的粉筆字跡不夠清晰與完整，另外需考量不同教學環境的黑板或白板是否需要使用兩台攝影機進行錄製，因此本研究將設計一套可以縫合左右兩邊之影像畫面呈現完整的教學內容、分離前景與背景（前景為老師，背景則為黑板或白板）、保留老師寫黑板所被遮擋的文字和具有彩色課堂筆記的教學系統，讓系統更加符合使用者期待，致使可以進一步推廣與實際應用在各種教學現場。. 12.

(23) 第3章系統架構本研究著眼於板書完整字跡擷取，讓教學筆記具備清晰且接近老師實際上課的內容，並且尋找教學影片的片段分割點，將有意義的影像作為教學筆記，以利學生自行瀏覽影片。本章節共分為七小節，3.1 節說明本研究之研究目標；3.2 節為本研究系統流程圖；3.3 節為教學影片之影像前處理；3.4 節為教學影片之黑板範圍擷取；3.5 節為教學影片之前景背景分離；3.6 節為教學影片之字跡擷取及強化；3.7 節為字跡顏色填補；最後，3.8 節為選取關鍵畫面作為教學筆記。. 3.1 研究目標由於教學畫面是透過教學影片進行視訊切割（Segmentation），並使用數位攝影機錄製老師在黑板上書寫的板書，目的是區分出有意義之片段，以利於後續影片之分析與處理，因此本研究將研究方法分為教學影片主要畫面分析與教學影片主要畫面判斷技術兩個主要階段：. 13.

(24) 3.1.1 教學影片主要畫面分析教學影片和一般影片所存在之差異為內容變化之複雜度。一般影片在整體色彩或影像物件移動會有顯著變化，藉由影像差異或色彩變化可以快速取得片段變化的時間點，但無法將此方法套用於教學影片。教學影片目的在蒐集教師上課過程中各個片段與教材或學生互動之訊息，若以黑板上課為例，教師會先在黑板書寫待講解之內容再輔以手勢說明，或者與學生討論問題而不會增加黑板的字跡。另外，教學影片的主角為黑板容易和光線/陰影變化（教室電燈之光源變化）、遮蔽物（物體、老師或學生）等其它事件混淆，故本研究根據不同教學影片之特性處理以下的問題：（一）光線/陰影變化光線/陰影變化可區分為室內與室外，室內有開/關電燈所造成的光線明暗與陰影；室外光線變化有陽光照射，使陰影投射於黑板等問題，以上所述都會間接影響教學影片所錄製之品質，因此本研究著重於解決光線/陰影變化，已達到成功擷取黑板上之書寫內容。（二）去除遮蔽物由於在教學過程中，老師需要在黑板上書寫內容，以致於會有部分內容被老師遮蓋，因此在自動萃取黑板資訊時，必須將老師由影像畫面中去除，並還原被遮住之教學內容，最後將板書製成講義。. 14.

(25) 3.1.2 教學影片主要畫面判斷技術藉由使用數位攝影機拍攝老師上課的情形並且數位化，然後偵測老師在課程講解到一個段落而擦去黑板內容的片段，將此時間點視為片段分割點，使學生一目瞭然整個教學影片的內容。觀察本研究的教學影片，存在的困難點為遮蔽物出現至畫面造成誤判。在教學情境，有時會發生學生因遲到、回答問題或是座位等因素出現於影片，導致連續幾張畫面不論是在像素、直方圖（Histogram）或動態向量（Motion Vector），都會造成巨量改變，一般影片會視此情況為發生片段變化，但就教學影片而言，此改變並非黑板的內容，因此不應稱作發生片段變化。連續畫面之間的片段變化偵測方法不適用於教學影片，因此若要提高正確率，必須詳細觀察教學影片並加入適當特性的技術，另一方面，希望本研究的技術能夠在一個循環內完程所有判斷（即存取完所有連續畫面資訊可直接得到結果），而其正確率仍在可接受範圍。一般教學影片，多是經過特殊安排的教學環境或者是固定教室進行錄製，雖有相當高的正確率，但當教學環境改變或在真正教學現場其正確率會明顯下滑，故將以研究者本身所在學校之實際教學現場錄製教學影片並進行探討與分析，期望能達到處理實際環境的教學活動。. 15.

(26) 3.2 系統流程圖 3-1 為本研究系統流程圖，主要分為前景背景分離與教學筆記擷取兩個主要階段。第一階段，首先將教學影片進行影像前處理，合併兩台攝影機所拍攝的教學畫面和解決外在環境干擾的問題，然而單部攝影機系統無須在影像前處理的步驟，進行影像縫合的處理；接著擷取完整黑板範圍，讓後續影像黑板範圍具有一致性；最後分離前景與背景，避免因老師走動而擋住字跡區域的情況。接著將前景背景處理完的結果，進行教學筆記擷取。第二階段，首先利用區域二值化取得字跡並針對不完整的部分進行補強；接著將板書著色，讓教學筆記更接近真實課堂筆記，並且掌握老師講課的重點；最後，分析黑板字跡像素的變化量，找出擦黑板的時間點作為影片之片段切割點，並在每段切割的場景之間找出關鍵畫面，作為教學影片的片段筆記。. 16.

(27) 教學影片. 影像前處理. 前景背景分離. 擷取黑板範圍. 判斷教師位置. 擷取板書內容. 教學筆記擷取. 字跡上色. 字跡量統計. 教學筆記. 圖 3-1 系統流程圖. 17.

(28) 3.3 教學影片之前景背景分離本節針對教學影片的前景背景分離，主要分成影像前處理、擷取黑板範圍與判斷教師位置，以下將分別詳細介紹每個步驟的技術與方法。. 3.3.1 影像前處理第一階段為兩台攝影機畫面的縫合。對於教學影片而言黑板的內容猶為重要，因此當攝影機固定，若使用單部攝影機拍攝完整的黑板，卻造成字跡無法清楚辨識，則需要使用兩部攝影機進行錄製。此階段，本研究主要結合影像縫合技術[13]，將兩部攝影機畫面縫合成一張完整的教學影像，如圖 3-2 所示。. （a）. （b）. （c）圖 3-2 影像縫合之結果（a）左邊攝影機錄製畫面（b）右邊攝影機錄製畫面（c）影像縫合之結果 18.

(29) 影像縫合流程，主要包含特徵點檢測、特徵點匹配、影像轉換和影像融合。然而，本研究避免在每次影像縫合的過程都需要執行特徵點檢測與匹配，以及計算變換參數等技術，因此在考慮固定場景下攝影機內外參數固定，並且加入變換模型的概念，進而重新改進影像縫合系統流程，如圖 3-3 所示。. 圖 3-3 影像縫合流程圖. 19.

(30) 根據圖 3-3 可分為四個步驟，如下所述： (1) 影像擷取：首先須按照相同的畫面更新率（Frame per Second, FPS），從影片中擷取影像，以供後續影像處使用。 (2) 影像匹配：精確找出相鄰兩張影像重疊部分，然後確認兩張相鄰影像之間的變換關係。由於視角、拍攝時間或光照強度等差異，使得拼接影像往往存在平移、旋轉、尺度變化、色差、扭曲或運動目標遮擋等差別，因此圖像匹配的目的是找出拼接圖像之間的變換模型。本研究的影像匹配流程如圖 3-4 所示，首先用加速穩健特徵（Speeded Up Robust Features, SURF）[8]技術取得特徵點，再將兩張影像的特徵點進行配對，接著對所求得的特徵點進行匹配，並且使用單應性矩陣（Homography）[17]方法，讓影像變形且符合匹配之影像尺寸，最後利用該矩陣求得影像轉換模型。. 圖 3-4 影像匹配流程圖. 20.

(31) (3) 建立轉換模型：利用單應性矩陣估計得到攝影機的內參數（在 x 軸與 y 軸方向的焦距 𝑓𝑥 和 𝑓𝑦 ），接著使用最小二乘法估計 𝑓𝑥 和 𝑓𝑦 的值；利用單應性矩陣和旋轉矩陣的性質，並活用萊文貝格－馬夸特演算法（Levenberg-Marquardt Algorithm）[24]求解所有攝影機的外參數，最後，進行整體參數的非線性優化。 (4) 影像融合：針對已經圖像轉換的每張影像進行曝光補償、轉換和融合，獲得影像縫合後平滑無縫的拼接影像，其流程圖如圖 3-5 所示。影像融合的主要過程，將先前所求得的轉換模型套用至影像，接著對影像進行曝光補償以消除影像之間的色差，最後進行影像拼接。. 圖 3-5 影像融合流程圖. 由於本研究的攝影機位置是固定，以致於每張畫面重疊部份均相同，因此當第一組影像（相同時間點所拍攝的左右兩邊畫面）縫合成功，將作為往後畫面縫合之依據。如上所述，本研究可以改善兩張影像因特徵點不同，而導致縫合影像的尺寸或角度等問題；或者，兩張影像的色彩因光線或拍攝角度，造成縫合後的影像光線不均勻的現象。. 21.

(32) 影像前處理的第二階段為教學影片受外在環境干擾的影響。拍攝教學影片容易被光線干擾，其因素有陽光和照明設備。陽光，照射持續性較長，對於影像影響微乎其微；反觀照明設備，照射持續性為間歇性（如日光燈開關），對於影像影響較劇烈。光線改變會影響教學影片錄製品質，如影像的明暗程度和降低對比度，導致影片中字跡或人物模糊而辨識不清，因此若要降低此影響並提昇整體對比度，故本研究將利用直方圖等化（Histogram Equalization）對輸入的教學影片進行處理。. 3.3.2 擷取黑板範圍由於正常影片的影像擷取大約每秒有 29 張畫面，然而透過陳映如[34]的實驗可以發現教學影片所擷取的 29 張畫面之間差異性不大，故本研究針對教學影片的影像擷取固定為一秒鐘一個畫面（1FPS），接著利用 K-means Segmentation 方法[25]切割多個區塊，從中找出最大的區塊定義黑板的區域範圍（黑板範圍的定義，即畫面無老師或學生而只有黑板與粉筆字），並且有效地保留影片中黑板的字跡而無缺漏。. 22.

(33) 教學影片的畫面中，黑板通常佔有大部分的範圍，因此在顏色分類結果也會是最大群，不過會因為光線干擾而有色彩和灰階值（intensity）不均勻的現象，以致於使用 RGB 色彩空間無法明確地將黑板分類，所以本研究進而將影像由 RGB 色彩空間轉換為 L*a*b*色彩空間[5]，此色彩空間的亮度與顏色可以分開處理，又因黑板的像素值亮度變化大，因此本研究保留顏色被分類在 a*b*色彩空間的像素值，去除亮度（L*）色彩空間所造成的影響。錄製教學影片時攝影機是固定不動，因此每張畫面的黑板邊界範圍會相同，故而本研究先進行影像二值化（Binarization）的處理（分割的最大範圍像素值為 255，其他區域則為 0），接著使用型態學的腐蝕（Erosion）處理，防止外在環境（如黑板周圍牆壁或物件等）會造成黑板擷取之誤判，並且利用 Connected Component Labeling 最大區域範圍作為主要黑板之區域，進而黑板邊界範圍的擷取都會相同，如圖 3-6 所示。. （a）. （b）. 圖 3-6 黑板範圍擷取的結果（a）原始畫面（b）框出黑板範圍. 23.

(34) 3.3.3 判斷教師位置在此，本研究先定義教學影片中的前景影像與背景影像，其中背景影像為黑板與黑板上的物件（如粉筆字、磁鐵等其他物件），前景影像則為不是出現在黑板上的物件（如人物、水瓶等物件），由於教學影片的拍攝畫面是以黑板為主（背景），而教師或學生（前景）也會出現於畫面中，所以本研究利用影像二值化（Binarization）的技術，達到將影像的前景與背景分開。藉由上一小節所述的 K-means Segmentation 方法進行顏色的分群，直觀而言，每一張影像可以有三群，第一群為黑板的顏色（墨綠色），第二群為粉筆字的顏色（白色），第三群為非前兩群的顏色，但是因為本研究的教學影片會有彩色的粉筆字，另外老師的衣服或者其他物品的顏色，都無法準確的將顏色分為三群，因此本研究考量以上狀況無法將前景與背景分離，因此本研究設定 K（分群數量）的範圍為三到十群，當 K 中最大群的像素量有達到 50%以上且低於 60%，則此 K 的值就為本張影像所使用的分群數量，藉由實驗結果可以得知，分群的範圍落在三到五群便可以有效地進行前景背景分離。另一方面板書與黑板顏色有所差異，所以有時粉筆字經由 K-means 會分類到非黑板的區域，因此本研究將利用 Connected Component Labeling 判斷非黑板的區域是否有板書，如圖 3-7 所示。比較每個 component 𝐶𝑘 的大小, 𝑘 ∈ {1, … , 𝑚}, 𝑚為畫面中 component 數量，若𝐶𝑘 面積小於 threshold ，本研究將判斷該區域是被誤判為非黑板區域的文字，圖 3-7 （c）紅色字跡為粉筆字未分為黑板區域。圖 3-7（d）將誤判區域補回之結果。 24.

(35) （a）. （b）. （c）. （d）. 圖 3-7 前景背景分離的結果（a）原始畫面（b）K-means Segmentation 分群的結果，彩色部分為分群結果的最大群（c）紅色顏色的部分為粉筆字未分類為黑板區域（d）誤判區域填補後的結果. 25.

(36) 3.4 教學影片之教學筆記擷取本節針對教學影片的教學筆記擷取，主要分成字跡擷取、字跡上色與字跡量統計，以下將分別詳細介紹每個步驟的技術與方法。. 3.4.1 字跡擷取根據第二章的文獻探討，Liu 等人 [22] 和 Seiji 等人[ 26]利用統計擷取完教學影片的粉筆字的像素量，達到判斷擦黑板的時機點。然而此方法無法應用在本研究的實驗影片，因為老師上課的過程中，身體會擋住黑板上的文字，造成該畫面在計算完粉筆字的像素量之後，幾乎會與擦掉黑板上的粉筆字像素數量接近，以致於誤判擦黑板的時機點，如圖 3-8 所示。. （a）. （b）. 圖 3-8 誤判為擦黑板的情況（a）老師的身體擋住黑板的粉筆字（b）老師擦一部份的黑板. 本研究將 3.4 節擷取出黑板範圍的結果分為有老師、學生或講桌（𝑜(𝑥, 𝑦) = 0）與板書（𝑜(𝑥, 𝑦) ≠ 0）。由於不是板書的區域並不影響影像畫面之更新，因此被老師遮住的文字在之後的畫面中能保留下來如圖 3-9（c）所示。更新粉筆字詳細方法如公式（2）所示： 26.

(37) 𝑅(𝑥, 𝑦) = {. 𝑃(𝑥, 𝑦), if 𝑜(𝑥, 𝑦) ≠ 0 𝑅 ′ (𝑥, 𝑦), otherwise. （2）. 𝑅(𝑥, 𝑦)為更新粉筆字內容之結果，𝑃(𝑥, 𝑦)為畫面原始像素值，𝑅 ′ (𝑥, 𝑦)為前一張更新非物件區域內容之結果像素值，𝑜(𝑥, 𝑦) 表示為畫面灰階像素值。. （a）. （b）. （c）圖 3-9 更新粉筆字（a）原始畫面（b）K-means Segmentation 分群的結果（c）填補粉筆字之結果. 27.

(38) （a）. （b）. （c）圖 3-10 使用單一的 threshold 值進行粉筆字字跡擷取（a）threshold 值為 65（b） threshold 值為 80（c）threshold 值為 127. 28.

(39) 藉由圖 3-9（c）的灰階影像進行 Global Threshold 的影像二值化處理，如圖 3-10 所示。圖 3-10（a）的 threshold 值為 65，但是從影像中可以發現有部分粉筆字的字跡不夠完整且清晰；圖 3-10（b）的 threshold 值為 80，容易因為光線的干擾造成黑板上半部無法有效地擷取粉筆字；圖 3-10（c）的 threshold 值為 127，此時的二值化影像已經無法區分粉筆字與黑板。灰階轉換會因為光線干擾，造成影像畫面的灰階像素值下降，因此若使用 Global Threshold 值無法有效擷取板書，故本研究將黑板和粉筆字跡之間所須要分離的臨界值，採用積分影像（Integral Image）達到 Adaptive Threshold [10] 的影像二值化處理。此方法的演算法共分為兩個步驟，如下所述： (1). 計算灰階影像的積分影像（又可稱作總和面積表，Summed Area Table）：首先，先將影像進行灰階處理，並比較周圍矩形像素的顏色並建立求和面積表，表中的元素值就是它左上位置的所有像素的像素值加總，如圖 3-11 與公式（3）所示。此方法可以大幅降低計算量，並且在進行影像的一個矩形區域的像素值加總時，不用逐次累加每一個像素值，只需知道該矩形的四個頂點座標就可得到該矩形區域的像素值總和。圖 3-12 則為求積分影像的演算法虛擬碼，其中 in 為原始影像，out 為處理後影像，w 為影像的水平寬度，h 為影像的垂直高度。 𝑦. 𝐼𝑛𝑡𝑒𝑔𝑟𝑎𝑙(𝑥, 𝑦) = ∑𝑥𝑥=0 ∑𝑦=0 𝑖𝑚𝑎𝑔𝑒(𝑥, 𝑦). 29. （3）.

(40) （a）. （b）. 圖 3-11 灰階影像轉換積分影像示意圖（a）原始影像的灰階值（b）積分影像. 圖 3-12 積分影像虛擬碼. (2). 逐次掃描影像的每一個像素，並以該像素為中心計算 s*s 矩形區域的積分影像，接著，判斷該像素值與該矩形區域內的像素數目的乘積，是否小於積分影像乘以一個門檻值（Threshold），若小於等於則該像素值為 0，反之則為 255。圖 3-13 則為計算積分影像並且能夠擷取字跡的演算法虛擬碼。. 30.

(41) 圖 3-13 計算積分影像. 最後，藉由更新粉筆字與二值化的方法，對於教學畫面上的字跡擷取的結果，如圖 3-14 所示。. （a）. （b）. 圖 3-14 字跡擷取的結果（a）原始畫面（b）影像二值化的結果. 31.

(42) 3.4.2 字跡上色在此階段，本研究將利用字跡擷取的結果進行粉筆字字跡的著色，目的是能夠讓教學筆記與實際老師上課所寫的重點內容相對應，以利於學生在觀看教學影片時可以快速抓住筆記的重點。教學影片的畫面容易受到光線影響造成顏色改變，導致無法有效的分辨各種顏色，因此本研究在此小節將教學影片的畫面轉換至 HSV 色彩空間。主要是考慮 RGB 色彩空間，任何一個值變動，就會影響整個顏色的變化，三個通道之間的關聯性太高。使用 HSV 色彩空間好處在於可以控制色調值（Hue，H），當色相固定也就是顏色固定。當飽和度（Saturation，S）及顏色明暗度（Value，V）改變，也不會改變顏色。色彩空間線性與非線性研究中，研究[28]提到 RGB 直接做顏色辨識的準確率不好，轉換成 HSV 可以增加其準確度，如圖 3-15 對照使用 RGB 作顏色辨識的準確度遠輸於 HSV 色彩空間，此三個通道說明如下： 1.. H：顏色全彩的屬性，每種顏色對應到不同的色調值，範圍為 0~360 度的角度，例如藍色、黃色等。. 2.. S：顏色的純度，值越高越鮮豔。. 3.. V：顏色越亮其明暗度越高，反之則較低，範圍從 0 到 255。. 圖 3-15 HSV 與 RGB 色彩空間比較 32.

(43) 一般利用一個圓錐體來定義顏色(如圖 3-16)，椎體的圓形底面相當於色輪，飽和度則從圓心向邊緣增加，明亮度則從底邊向錐頂遞減。另外有一個色彩三角形來定義飽和度和明亮度，縱座標代表明亮度，橫座標代表飽和度。還有一種方法是用圓柱體(如圖 3-17)，其表示方法基本上和圓錐體相當類似。. 圖 3-16 HSV 圓錐體色彩模型. 圖 3-17 HSV 圓柱體色彩模型. 由於攝影鏡頭輸入之影像為 RGB 色彩空間，因此我們先透過轉換公式將 RGB 轉換為 HSV 色彩空間，其轉換公式如下： 𝐺−𝐵. (6 + 𝑀𝐴𝑋−𝑀𝐼𝑁) × 60°, 𝑖𝑓 𝑅 = 𝑀𝐴𝑋 𝐵−𝑅. 𝐻 = (2 + 𝑀𝐴𝑋−𝑀𝐼𝑁) × 60°, 𝑖𝑓 𝐺 = 𝑀𝐴𝑋. (4). 𝑅−𝐺. {(4 + 𝑀𝐴𝑋−𝑀𝐼𝑁) × 60°, 𝑖𝑓 𝐵 = 𝑀𝐴𝑋 𝑆=. 𝑀𝐴𝑋−𝑀𝐼𝑁. (5). 𝑀𝐴𝑋. 𝑉 = 𝑀𝐴𝑋. (6). 33.

(44) 上述公式的計算結果就是圖 3-17 中圓柱體色彩模型的值，其中𝑀𝐴𝑋為（R,G,B）中數值最大者，𝑀𝐼𝑁則為（R,G,B）中數值最小者。而𝐻的值為 0°~360 °，𝑆的值為 0~1，再把它轉換成 0~100%，𝑉的值為 0~255。假如𝑀𝐴𝑋= 𝑀𝐼𝑁，則𝐻=0°，表示沒有色彩，即純灰色。如果𝐻超過 360°，則用 360 除以𝐻的餘數當作𝐻的值。如果𝑀𝐴𝑋=0，則𝑆=0，也是代表沒有色彩。如果𝑉=0，則表示沒有亮度，即純黑色。若𝑆採用下列公式，計算出的結果則是圖 3-16 中圓錐體色彩模型的值： 𝑆 = 𝑀𝐴𝑋 − 𝑀𝐼𝑁. (7). 圖 3-18（a）經過 HSV 色彩空間轉換後，接著進行顏色篩選，設定六個值分別為 H（max）、H（min）、S（max）、S（min）、V（max）、V（min）作為顏色篩選的門檻值，分別表示 H、S、V 的上下極限值。當圖 3-18（b）中任一像素的 RGB 值為 255，則將滿足條件的像素座標位置對應至圖 3-18（a），接著取得圖 3-18（a）中像素的 HSV 值進行檢驗，判斷該像素的值介於何種顏色的[min, max] 區間，並將此區間所對應的顏色著色於圖 3-18（c）。一般而言，對於基本色中所對應的 HSV 分量需要給定一個嚴格的範圍，表 3-1 為本研究透過實驗計算的 HSV 顏色模糊範圍。. 34.

(45) 表 3-1 HSV 顏色分量範圍橘. 黃. 綠. 藍. 紫. 156. 11. 26. 35. 78. 125. H max 180 180 180 10 180. 25. 34. 77. 124 155. S min. 5. 43. 35. H min. 黑. 灰. 白. 0. 0. 0. 0. 紅 0. 0. 0. 43. 43. S max 255. 43. 30. 255. 255 255 255 255 255. V min. 0. 47. 221. 46. 46. V max. 46. 220 255. 255. 255 255 255 255 255. 5. 46. 35. 43. 46. （a）. （b）. （c）圖 3-18 粉筆字的字跡著色（a）原圖（b）影像二值化的字跡擷取結果（c）最終粉筆字的字跡著色結果. 35.

(46) 3.4.3 字跡量統計在此階段，本研究將選取字跡量最多且教學內容最完整的畫面作為教學筆記，以利學生與教師可以觀看或尋找片段的教學影片，因此本研究將針對教學影片擦黑板時，粉筆字字跡像素量會逐漸遞減的情況進行判斷正確切割的時機點，可參照圖 3-19 從 A 點到 B 點的粉筆字字跡的變化量。 6000 4689. 5000. B 4000 3000 2000. A 1000. C. 1 59 117 175 233 291 349 407 465 523 581 639 697 755 813 871 929 987 1045 1103 1161 1219 1277 1335 1393 1451 1509 1567 1625 1683 1741 1799 1857. 0. 10. 粉筆字像素量. 圖 3-19 教學影片粉筆字字跡統計圖（x 軸為畫面標號，y 軸為字跡像素量）. 根據陳映如的研究[34]，在每段單位時間內（60 個畫面，即一分鐘）選擇最少粉筆字像素量的畫面，當作擦黑板的候選畫面（𝑐ℎ𝑎𝑙𝑘𝑒𝑟𝑎𝑠𝑒 ），因需考量若畫面數量的範圍取太大，會遺漏掉該被判斷為擦黑板的畫面，為了避免遺漏切割點的畫面，進行統計 30 張、60 張、90 張和 120 張的效果，如圖 3-20 結果顯示 60 張的效果為最佳，因此定義單位時間為 60 個畫面。. 36.

(47) 圖 3-20 不同單位時間的切割點偵測（x 軸為單位時間，y 軸為準確率）. 由於老師的手寫速度有限，在正確擦黑板時機點之後幾個畫面的粉筆字像素量必然少於擦黑板前的粉筆字像素量。然而老師擦黑板需要時間，所以需要避免選擇擦黑板之間的畫面，因此統計前 30 張、60 張到 120 張，結果為前 60 張效果最佳;而選擇後 5 張目的是確保老師不會寫太多字導致誤判。因此將候選畫面的粉筆字像素量與其前 60 張畫面進行相減，如公式（9）所示，另外將候選畫面的粉筆字像素量與其後 5 張畫面進行相減，如公式（10）所示，若公式（9）為公式（10）的 2 倍，則代表此候選畫面為正確的擦黑板時機點。如圖 3-19 的 C 點之後的值是逐漸遞增，並且粉筆字像素量都低於 B 點（即擦黑板之前），而 A 點之前幾個畫面的字跡像素量與其之後幾個畫面的字跡像素量相近，所以 A 點不是擦黑板的切割點。另一方面需要考慮老師在講課時，需要靠擦黑板來修改部分的錯字，所以並非每次擦黑板都為切割場景的時機𝑇，因此在候選畫面與其前一分鐘畫面的粉筆字像素量差值必須大於β值，如公式（11）。 𝑐ℎ𝑎𝑙𝑘𝑒𝑟𝑎𝑠𝑒 =. arg min 𝑙∈{𝑓𝑠𝑡𝑎𝑟𝑡 ,…,𝑓𝑒𝑛𝑑 }𝐶(𝑙). （8）. 37.

(48) 𝑐ℎ𝑎𝑙𝑘𝑒𝑟𝑎𝑠𝑒 為擦黑板時間點的候選畫面； 𝐶(𝑙)為粉筆字像素統計量；𝑓𝑠𝑡𝑎𝑟𝑡 為每段單位時間之開始畫面編號； 𝑓𝑒𝑛𝑑 為每段單位時間之結束畫面編號；𝑙為單位時間內連續畫面編號。 𝐹𝑏𝑒𝑓𝑜𝑟𝑒 = |𝐶(𝑐ℎ𝑎𝑙𝑘𝑒𝑟𝑎𝑠𝑒 ) − 𝐶(𝑐ℎ𝑎𝑙𝑘𝑒𝑟𝑎𝑠𝑒 − 60)| 𝐹𝑎𝑓𝑡𝑒𝑟 = |𝐶(𝑐ℎ𝑎𝑙𝑘𝑒𝑟𝑎𝑠𝑒 + 5) − 𝐶(𝑐ℎ𝑎𝑙𝑘𝑒𝑟𝑎𝑠𝑒 )| 𝑇 ∈ {𝑐ℎ𝑎𝑙𝑘𝑒𝑟𝑎𝑠𝑒 }, where 𝐹𝑏𝑒𝑓𝑜𝑟𝑒 > 𝛽 𝑎𝑛𝑑 𝐹𝑏𝑒𝑓𝑜𝑟𝑒 > 𝐹𝑎𝑓𝑡𝑒𝑟 ∗ 2. （9）（10）（11）. 接著，將前後張畫面字跡像素量進行相減並取平均，之後尋找每段片段之起始點𝑇𝑠𝑡𝑎𝑟𝑡 到結束點𝑇𝑒𝑛𝑑 之𝐶 𝑠𝑢𝑏 (𝑛𝑜𝑡𝑒𝐹 )，透過𝛾判斷後選畫面𝑛𝑜𝑡𝑒𝐹 中粉筆字字跡量最多的畫面作為教學筆記𝑛𝑜𝑡𝑒，如公式（12）至公式（15）所示。圖 3-21（a）為教學影片片段字跡統計量最多的畫面；圖 3-21（b）為本研究最後擷取的彩色教學筆記。 𝐶 𝑠𝑢𝑏 (𝑖) = |𝐶(𝑖 + 1) − 𝐶(𝑖)|, where i ∈ {1 , … , 𝑛 − 1} 𝛾=. ∑𝑛 𝑖=1 𝐶 𝑠𝑢𝑏 (𝑖). （13）. 𝑛. ∀𝑛𝑜𝑡𝑒𝐹 ∈ {𝑖}, where 𝐶 𝑠𝑢𝑏 (𝑖) ≤ 𝛾 𝑛𝑜𝑡𝑒 =. （12）. （14）. arg 𝑚𝑎𝑥 ) 𝑛𝑜𝑡𝑒𝐹 ∈{𝑇𝑠𝑡𝑎𝑟𝑡 ,…,𝑇𝑒𝑛𝑑 }𝐶(𝑛𝑜𝑡𝑒𝐹. （15）. 𝑛為畫面之總數；𝐶 𝑠𝑢𝑏 (𝑖)為前後張畫面字跡像素量相減的差值；𝛾為𝐶 𝑠𝑢𝑏 (𝑖) 的平均值，當𝐶 𝑠𝑢𝑏 (𝑖) ≤ 𝛾，本研究將認為畫面𝑖為無雜訊影響之畫面。. 38.

(49) （a）. （b）. 圖 3-21 教學筆記之擷取結果（a）片段字跡統計量最多之畫面（b）本研究的彩色教學筆記. 39.

(50) 第4章實驗結果本章主要針對研究中所提出的教學影片完整畫面擷取進行驗證，並對於實驗結果進行分析與討論，並分為三個小節，4.1 節評估實驗的方法，4.2 節實驗影片與實驗環境說明，4.3 節敘述實驗的進行與結果。. 4.1 實驗評估方式本研究使用 Precision（精確率）值和 Recall（召回率）值評估實驗成效，後續將會在第 4.3 節的實驗根據不同的實驗狀況進行詳細的介紹。Precision 值和 Recall 值皆介於 0 到 1 之間，當 Precision 值越高，表示偵測結果的錯誤率越低； Recall 值越高，表示遺漏的主要畫面越少，理想狀態是皆等於 1。但是就現實情況而言，Precision 值和 Recall 值是無法同時間兼顧，因此如何在這兩個值之間找到適當的平衡點，則要看所需結果的用途而定之。針對本研究所定義的教學影片，主要畫面為老師寫板書內容，從教學的目的來看，若 Recall 值太低，則會有部分板書內容沒有被辨識，造成使用者在進行複習時遺漏重要學習片段，另外因老師上課書寫板書是屬於漸進式，所以若有偵測出多餘的主要畫面，學習者可從畫面瀏覽時發現和前面雷同，但並不會造成學習上的混淆。故藉由上述得以假設，實驗中的 Precision 值必須達到 90%以上，進而針對 Recall 值分析本研究的系統效能。. 40.

(51) 4.2 實驗影片與實驗環境說明本研究將數位攝影機架設於教室後方進行所有的教學影片錄製，並且透過 IEEE 1394 介面轉錄成 MPEGI/II 格式影片，每段影片的畫面速率約為 29 FPS，每張 I 畫面的間隔為 15 個畫面，約為 0.5 秒，每張畫面的尺寸為 720*480 個像素，影片中的老師會在黑板或是白板書寫教學內容。實驗所使用的平台作業系統為 Windows 7，中央處理器為 Intel Pentium IV 2.4GHz，記憶體為 8G，另外系統開發環境為 Microsoft Visual Studio 2010，使用 C++語言撰寫，基本的影像處理套用 OpenCV 函式庫。實驗影片為針對本研究所使用的十部影片，並擷取教學影片的片段畫面，如表 4-1 所示。影片長度為 10 分鐘到 32 分鐘不等，影片名稱以 video 1 至 video 10 表示，其中 video 1 至 video 6 為黑板的教學環境，而每部影片的特性與詳細資料如表 4-2 所示；而 video 7 和 video 8 為白板的教學環境，而每部影片的特性與詳細資料如表 4-3 所示；另外，video 9 和 video 10 為陳[34]所拍攝的教學影片，而每部影片的特性與詳細資料如表 4-4 所示。. 41.

(52) 表 4-1 十部教學影片的片段畫面. 影片名稱. video 1. video 2. 影片畫面. 影片名稱. video 3. video 4. 影片畫面. 影片名稱. video 5. video 6. video 7. video 8. 影片畫面. 影片名稱. 影片畫面. 影片名稱. video 9. video 10. 影片畫面. 42.

(53) 表 4-2 六部黑板教學影片的詳細資料影片. 影片. 總畫. 教學筆. 實際字. 名稱. 長度. 面數. 記數量. 跡元素. 1312. 3. 360. 1875. 1. 1132. video 1 video 2 video 3 video 4 video 5 video 6. 21 分鐘 52 秒 31 分鐘 15 秒 18 分鐘 52 秒 30 分鐘 16 秒 29 分鐘 54 秒 19 分鐘 12 秒. 攝影機. 文字. 數量. 方向. 測試影片. 單部. 橫書. 白. 261. 測試影片. 單部. 直書. 白黃藍. 1. 1478. 測試影片. 雙部. 直書. 白. 1816. 5. 996. 課堂錄影. 單部. 橫書. 白. 1794. 3. 444. 課堂錄影. 單部. 橫書. 白黃. 1152. 3. 817. 課堂錄影. 雙部. 直書. 白黃藍綠紅橘. 影片性質. 顏色. 表 4-3 兩部白板教學影片的詳細資料影片. 影片. 總畫. 教學筆. 實際字. 名稱. 長度. 面數. 記數量. 跡元素. 636. 2. 637. 929. 2. 721. video 7 video 8. 10 分鐘 36 秒 15 分鐘 29 秒. 攝影機. 文字. 數量. 方向. 測試影片. 單部. 橫書. 黑. 課堂錄影. 單部. 橫書. 黑. 影片性質. 顏色. 表 4-4 兩部陳[34]教學影片的詳細資料影片. 影片. 總畫. 教學筆. 實際字. 名稱. 長度. 面數. 記數量. 跡元素. 1474. 3. 1096. 1247. 5. 909. video 9 video 10. 24 分鐘 34 秒 20 分鐘 47 秒. 43. 攝影機. 文字. 數量. 方向. 黑板. 雙部. 橫書. 白. 白板. 單部. 橫書. 黑綠. 環境. 顏色.

(54) 4.3 實驗本實驗共分為三個主題進行討論，4.3.1 節是前景背景分離比對錯誤分析， 4.3.2 節是字跡比對錯誤分析與系統效能，4.3.3 節是彩色字跡比對錯誤分析。在各項實驗中，本研究採用 4.1 節的評估公式──Precision 值和 Recall 值，評估實驗結果的正確率。. 4.3.1 前景背景分離比對錯誤分析 i.. 實驗目的比較八部教學影片在前景與背景分離的比對結果正確率，並分析比對錯誤原. 因與系統效能。 ii.. 實驗規劃將教學影片依不同教學環境分為六部黑板教學影片和兩部白板教學影片，根. 據表 4-2 和表 4-3 的詳細資料，以漸進式的方法逐步分析在不同情況下之教學影片：(1) 實作本研究所提出的方法，並以研究人員自行拍攝的實驗影片進行實驗數據的分析；(2) 以實際不同教學現場所錄製的教學影片，進行實驗數據的分析，並且與前一步驟的數據相互比較。. 44.

(55) iii. 實驗評估方法本研究使用𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛值和𝑅𝑒𝑐𝑎𝑙𝑙值評估實驗成效，如公式（12）和公式（13）所示： 𝐹. 𝑐 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝐹 +𝐹 𝑐. 𝑓. 𝐹. 𝑐 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝐹 +𝐹. （12）. 𝑐. 𝑚. （13）. 其中𝐹𝑚 值代表系統未擷取影像中的前景，如圖 4-1（a）所示；𝐹𝑓 值代表系統將非前景的區域視為前景，如圖 4-1（b）和（c）所示；𝐹𝑐 值代表系統正確擷取影像中的前景，如圖 4-2 所示。. （a）. （b）. （c）. 圖 4-1 前景背景分離錯誤的實驗結果（a）出現老師身體的任何部分（b）偵測結果中找到粉筆字（c）偵測結果中找到黑板或白板. 圖 4-2 系統正確擷取影像中的前景 45.

(56) iv. 實驗結果此節的實驗結果將依據不同教學環境和攝影機數量進行討論，並逐一分析三個階段的實驗流程。 (1) 測試影片分析針對四部研究人員自行拍攝不同教學環境的測試影片進行數據分析，從表 4-5 的整體數據而言，測試影片的𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛值為 94%至 99%，整體平均值為 94.50%； 𝑅𝑒𝑐𝑎𝑙𝑙值為 96%至 99%，整體平均值為 97.29%。表 4-5 四部前景背景分離的測試影片結果 𝐹𝑓. 𝐹𝑐. 𝐹𝑚. 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛. 𝑅𝑒𝑐𝑎𝑙𝑙. 影片名稱. 實際畫面數量. video 1. 1312. 1297. 70. 15. 94.88%. 98.86%. video 2. 1875. 1811. 90. 64. 95.27%. 96.59%. video 3. 1132. 1122. 59. 10. 95.01%. 99.11%. video 7. 636. 618. 5. 18. 99.20%. 97.17%. Total. 3955. 3848. 224. 107. 94.50%. 97.29%. 表 4-6 四部測試影片的單部攝影機和雙部攝影機𝑅𝑒𝑐𝑎𝑙𝑙值整體 𝑅𝑒𝑐𝑎𝑙𝑙. 97.29%. 單部(白) 單部(黑) 雙部(黑) 97.17%. 46. 97.52%. 99.11%.

(57) 根據第 4.1 節的說明，本研究著重在𝑅𝑒𝑐𝑎𝑙𝑙值的表現，因此以下將針對四部測試影片在表 4-2 和表 4-3 的攝影機數量，並且對照表 4-5 的𝑅𝑒𝑐𝑎𝑙𝑙值進行數據分析，結果如表 4-6 所示。藉由表 4-6 在黑板教學環境下的單部攝影機和雙部攝影機數據，可以發現使用雙部攝影機的𝑅𝑒𝑐𝑎𝑙𝑙值高於單部攝影機，主要是因為雙部攝影機的背景範圍比單部攝影機的背景範圍多一倍，因此容易將前景與背景進行分離且有 99.32 的準確率。另外，藉由表 4-6 在不同教學環境下的單部攝影機數據，可以發現不論是在何種教學環下所錄製的教學影片，其前景背景分離的 𝑅𝑒𝑐𝑎𝑙𝑙值無明顯差別，皆有 97%的準確率。最後，本研究不論是使用單部攝影機或雙部攝影機錄製測試影片，在前景背景分離的整體𝑅𝑒𝑐𝑎𝑙𝑙平均值有達到 97.29% 的準確率。. (2) 測試影片與課堂錄影的數據分析與比較此階段主要是將四部研究人員自行拍攝的測試影片與四部實際教學環境的課堂錄影，進行前景背景分離的數據分析與比較。從表 4-7 的整體數據而言，測試影片的𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛值為 94%至 99%而整體平均值為 94.50%， 𝑅𝑒𝑐𝑎𝑙𝑙值為 96%至 99%而整體平均值為 97.29%；課堂錄影的𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛值為 90%至 93%而整體平均值為 91.99%， 𝑅𝑒𝑐𝑎𝑙𝑙值為 90%至 94%而整體平均值為 92.46%。. 47.

(58) 表 4-7 測試影片與課堂錄影的前景背景分離結果. 測試影片. 課堂錄影. 𝐹𝑓. 𝐹𝑐. 𝐹𝑚. 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛. 𝑅𝑒𝑐𝑎𝑙𝑙. 影片名稱. 實際畫面數量. video 1. 1312. 1297. 70. 15. 94.88%. 98.86%. video 2. 1875. 1811. 90. 64. 95.27%. 96.59%. video 3. 1132. 1122. 59. 10. 95.01%. 99.11%. video 7. 636. 618. 5. 18. 99.20%. 97.17%. Total. 3955. 3848. 224. 107. 94.50%. 97.29%. video 4. 1816. 1705. 145. 111. 92.16%. 93.89%. video 5. 1794. 1651. 139. 143. 92.23%. 92.03%. video 6. 1152. 1070. 80. 82. 93.04%. 92.88%. video 8. 929. 845. 90. 84. 90.37%. 90.96%. Total. 5691. 5271. 454. 420. 92.07%. 92.62%. 表 4-8 測試影片與課堂錄影的單部攝影機𝑅𝑒𝑐𝑎𝑙𝑙值整體. 單部(白) 單部(黑) 雙部(黑). 測試影片的𝑅𝑒𝑐𝑎𝑙𝑙值. 97.29%. 97.17%. 97.52%. 99.11%. 課堂錄影的𝑅𝑒𝑐𝑎𝑙𝑙值. 92.62%. 90.96%. 92.96%. 92.88%. 48.

(59) 根據第 4.1 節的說明，本研究著重在𝑅𝑒𝑐𝑎𝑙𝑙值的表現，但是𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛值仍有維持在 90%以上，因此以下將針對測試影片與課堂錄影在表 4-2 和表 4-3 的單部特性，並且對照表 4-7 的𝑅𝑒𝑐𝑎𝑙𝑙值進行數據分析，結果如表 4-8 所示。藉由表 4-8 在黑板與白板教學環境下的單部攝影機數據，可以發現測試影片的𝑅𝑒𝑐𝑎𝑙𝑙值都高於課堂錄影的𝑅𝑒𝑐𝑎𝑙𝑙值，主要是因為測試影片是由研究人員自行拍攝，因此在拍攝時的角度或距離、光線的干擾或者諸如此類的外在條件變化，研究人員可以自行控制，讓錄製的測試影片合乎預期；然而，課堂錄影的教學影片要符合實際上課情形，因此研究人員無法自行控制，錄製時所發生不可預期的影響，造成課堂錄影的教學影片無法有效地將前景與背景分離。另外，藉由表 4-8 在不同教學環境下課堂錄影的單部數據，可以發現黑板的 𝑅𝑒𝑐𝑎𝑙𝑙值高於白板的𝑅𝑒𝑐𝑎𝑙𝑙值教學影片，主要原因是黑板本身的顏色為深綠色，而白板本身的顏色卻是白色，因此在教室燈光的照射下黑板比白板不容易反光，導致部分範圍的亮度或對比度不同。. 49.

(60) 4.3.2 字跡比對錯誤分析 i.. 實驗目的比較十部教學影片的字跡擷取比對結果正確率，並分析比對錯誤原因與系統. 效能。 ii.. 實驗規劃將教學影片依不同教學環境分為六部黑板教學影片和兩部白板教學影片，根. 據表 4-2 和表 4-3 的詳細資料，以漸進式的方法逐步分析在不同情況下之教學影片：(1) 實作本研究所提出的方法，並以研究人員自行拍攝的實驗影片進行實驗數據的分析；(2) 以實際不同教學現場所錄製的教學影片，進行實驗數據的分析，並且與前一步驟的數據相互比較，分析本研究的教學筆記字跡擷取效能與影響。另外，透過陳[34]所錄製的兩部教學影片，將本實驗的方法與陳[34]提出的方法進行比較，已驗證本研究在字跡擷取的效能與符合使用者需求。 iii. 實驗評估方法本研究使用𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛值和𝑅𝑒𝑐𝑎𝑙𝑙值評估實驗成效，如公式（14）和公式（15）所示，本研究定義一個元素等於一個筆畫作為檢測標準，主要是考慮到中文字、英文字和符號的每一個筆畫都極其重要，因此考慮到字體與符號的完整性，故都不可忽略，最後，利用人工計算真實畫面所得的字跡元素數量和人工計算實驗所得筆記的字跡元素數量，進行教學筆記的字跡擷取分析與評估： 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝐶. 𝐶𝑐. 𝑐 +𝐶𝑓. 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝐶. （14）. 𝐶𝑐. 𝑐 +𝐶𝑚. 50. （15）.

(61) 其中𝐶𝑚 值代表系統未擷取影像中的粉筆字，如圖 4-3（a）所示；𝐶𝑓 值代表系統將非粉筆字視為粉筆字，如圖 4-3（b）所示；𝐶𝑐 值代表系統正確擷取影像中的粉筆字，如圖 4-4 所示。. （a）. （b）圖 4-3 字跡擷取錯誤的實驗結果（a）未偵測到粉筆字或字跡不完整（b）非老師上課的板書內容. 圖 4-4 擷取正確的板書內容. 51.

(62) iv. 實驗結果此節的實驗結果將依據不同教學環境和文字方向進行討論，並逐一分析三個階段的實驗流程。 (1) 測試影片分析針對四部研究人員自行拍攝不同教學環境的測試影片進行數據分析，從表 4-9 的整體數據而言，測試影片的𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛值為 94%至 100%，整體平均值為 96.25%； 𝑅𝑒𝑐𝑎𝑙𝑙值為 99%至 100%，整體平均值為 99.52%。表 4-9 四部字跡擷取的測試影片結果 𝐶𝑓. 𝐶𝑐. 𝐶𝑚. 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛. 𝑅𝑒𝑐𝑎𝑙𝑙. 影片名稱. 實際字跡元素. video 1. 360. 360. 12. 0. 96.77%. 100.00%. video 2. 261. 261. 0. 0. 100.00%. 100.00%. video 3. 1478. 1468. 80. 10. 94.83%. 99.32%. video 7. 637. 634. 14. 3. 97.84%. 99.53%. Total. 2736. 2723. 106. 13. 96.25%. 99.52%. 表 4-10 四部測試影片的文字方向𝑅𝑒𝑐𝑎𝑙𝑙值整體 𝑅𝑒𝑐𝑎𝑙𝑙. 99.52%. 橫書(白) 橫書(黑) 直書(黑) 99.53%. 52. 100%. 99.42%.

(63) 根據第 4.1 節的說明，本研究著重在𝑅𝑒𝑐𝑎𝑙𝑙值的表現，因此以下將針對四部測試影片在表 4-2 和表 4-3 的文字方向特性，並且對照表 4-9 的𝑅𝑒𝑐𝑎𝑙𝑙值進行數據分析，結果如表 4-10 所示。藉由表 4-10 在黑板教學環境下的直書和橫書數據，可以發現使用橫書的𝑅𝑒𝑐𝑎𝑙𝑙值高於直書且準確率有 100%，主要是因為橫書的測試影片，其粉筆字之間的間距較大，因此在字跡擷取上較為容易處理。另外，藉由表 4-10 在不同教學環境下的橫書數據，可以發現不論是在何種教學環下所錄製的教學影片，其字跡擷取的𝑅𝑒𝑐𝑎𝑙𝑙值無明顯差別，皆有 99%的準確率。最後，本研究不論是在橫書或是直書的測試影片，在字跡擷取的整體𝑅𝑒𝑐𝑎𝑙𝑙 平均值有達到 99.52%的準確率。. (2) 測試影片與課堂錄影的數據分析與比較此階段主要是將四部研究人員自行拍攝的測試影片與四部實際教學環境的課堂錄影，進行字跡擷取的數據分析與比較。從表 4-11 的整體數據而言，測試影片的𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛值為 94%至 100%而整體平均值為 96.25%， 𝑅𝑒𝑐𝑎𝑙𝑙值為 99%至 100%而整體平均值為 99.52%；課堂錄影的𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛值為 90%至 96%而整體平均值為 94.26%， 𝑅𝑒𝑐𝑎𝑙𝑙值為 92%至 97%而整體平均值為 95.87%。. 53.

(64) 表 4-11 測試影片與課堂錄影的字跡擷取結果. 測試影片. 課堂錄影. 𝐶𝑓. 𝐶𝑐. 𝐶𝑚. 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛. 𝑅𝑒𝑐𝑎𝑙𝑙. 影片名稱. 實際字跡元素. video 1. 360. 360. 12. 0. 96.77%. 100.00%. video 2. 261. 261. 0. 0. 100.00%. 100.00%. video 3. 1478. 1468. 80. 10. 94.83%. 99.32%. video 7. 637. 634. 14. 3. 97.84%. 99.53%. Total. 2736. 2723. 106. 13. 96.25%. 99.52%. video 4. 996. 960. 49. 36. 95.14%. 96.39%. video 5. 444. 433. 25. 11. 94.54%. 97.52%. video 6. 817. 796. 34. 21. 95.90%. 97.43%. video 8. 721. 666. 66. 55. 90.98%. 92.37%. Total. 2978. 2855. 174. 123. 94.26%. 95.87%. 表 4-12 測試影片與課堂錄影的直書和橫書𝑅𝑒𝑐𝑎𝑙𝑙值整體. 橫書(白) 橫書(黑) 直書(黑). 測試影片的𝑅𝑒𝑐𝑎𝑙𝑙值. 99.52%. 99.53%. 100%. 99.42%. 課堂錄影的𝑅𝑒𝑐𝑎𝑙𝑙值. 95.87%. 92.37%. 97.52%. 96.86%. 54.

(65) 根據第 4.1 節的說明，本研究著重在𝑅𝑒𝑐𝑎𝑙𝑙值的表現，因此以下將針對測試影片與課堂錄影在表 4-2 和表 4-3 的直書和橫書特性，並且對照表 4-11 的 𝑅𝑒𝑐𝑎𝑙𝑙值進行數據分析，結果如表 4-12 所示。藉由表 4-12 在黑板與白板教學環境下直書和橫書的數據，可以發現測試影片的𝑅𝑒𝑐𝑎𝑙𝑙值都高於課堂錄影的𝑅𝑒𝑐𝑎𝑙𝑙值，主要是因為測試影片是由研究人員自行拍攝，因此在拍攝時的光線變化、字跡的尺寸或者諸如此類的外在條件變化，研究人員可以自行控制，讓錄製的測試影片合乎預期；然而，課堂錄影的教學影片要符合實際上課情形，因此研究人員無法自行控制，錄製時所發生不可預期的影響，造成課堂錄影的教學影片無法有效地將字跡進行完整的擷取。另外，藉由表 4-12 在不同教學環境下課堂錄影的橫書數據，可以發現黑板的𝑅𝑒𝑐𝑎𝑙𝑙值高於白板的𝑅𝑒𝑐𝑎𝑙𝑙值教學影片，主要原因是黑板本身的顏色為深綠色，而且粉筆的顏色本身也比較暗，不容易因為光線的變化導致字跡模糊不清；但是白板本身的顏色卻是白色，另外麥克筆的顏色通常會因為光線的變化，造成字跡會有反光的問題，並且白板容易因教室燈光的照射，導致部分範圍的亮度或對比度不同，並增加字跡擷取的困難度。. 55.

(66) (3) 本研究的方法與陳[34]的方法相互比較此階段主要是將實際教學環境的課堂錄影，進行教學筆記字跡擷取，並且從實驗數據比較本研究的方法與陳[34]的方法。在實驗評估方式上將分成筆畫和字元兩種計算方式進行分析。從表 4-13 的整體數據而言，本研究的方法𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛值為 90%至 96%而整體平均值為 93.82%， 𝑅𝑒𝑐𝑎𝑙𝑙值為 92%至 99%而整體平均值為 96.01%；陳[34]的方法𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛值為 69%至 92%而整體平均值為 86.73%， 𝑅𝑒𝑐𝑎𝑙𝑙值為 72%至 97%而整體平均值為 88.67%。接著，將表 4-13 的數據繪製成圖 4-5，以利後續的比較與探討。表 4-13 以筆劃計算本研究與陳[34]的字跡擷取之結果本研究的方法影片名稱實際字跡元素. 𝐶𝑐. 𝐶𝑓 𝐶𝑚 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑅𝑒𝑐𝑎𝑙𝑙. 陳[34]的方法 𝐶𝑐. 𝐶𝑓 𝐶𝑚 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑅𝑒𝑐𝑎𝑙𝑙. video 4. 996. 960 49 36. 95.14% 96.39% 822 120 174. 87.26% 82.53%. video 5. 444. 433 25 11. 94.54% 97.52% 323 140 121. 69.76% 72.75%. video 6. 817. 796 34 21. 95.90% 97.43% 780 145. 37. 84.32% 95.47%. video 8. 721. 666 66 55. 90.98% 92.37% 635 78. 86. 89.06% 88.07%. video 9. 1096. 94.36% 99.27% 1058 95. 38. 91.76% 96.53%. video 10. 909. 841 76 88. 91.71% 92.52% 800 98 109. 89.09% 86.07%. Total. 4983. 4784 315 219. 93.82% 96.01% 4418 676 565. 86.73% 88.67%. 1088 65. 8. 56.

(67) 根據第 4.1 節的說明，本研究著重在𝑅𝑒𝑐𝑎𝑙𝑙值的表現，藉由圖 4-5 的統計圖可以發現，本研究的方法在實際教學環境的課堂錄影教學影片，其字跡擷取 𝑅𝑒𝑐𝑎𝑙𝑙值都有 90%以上的準確率。 100% 90%. 96.39%. 97.52%. 97.43% 95.47%. 92.37% 88.07%. 99.27% 96.53%. 82.53%. 80%. 92.52% 86.07%. 72.57%. 70% 60% 50% 40% 30% 20% 10% 0% video 4. video 5. video 6. video 8. video 9. video 10. 圖 4-5 以筆劃計算本研究與陳[34]的字跡擷取𝑅𝑒𝑐𝑎𝑙𝑙值比較圖（實心為本研究的數據；網狀為陳[34]的數據。X 軸為影片名稱；Y 軸為百分比）. 另外，本研究使用陳[34]的實驗評估方法，以字元的方式進行計算，圖 4-6 的紅圈為字跡擷取不完整且無法清楚辨識此字，因此將此字元判定為系統未正確擷取（𝐶𝑚 ）。. 圖 4-6 紅圈為字跡擷取不完整. 57.