7
師會在講台上走動特點，並利用 Sobel Operator 從連續時間的影像分別去偵測邊，
再利用邊的空間截面去分析，並把這些邊分為靜態的邊（即為手寫為字或圖片）
與動態的邊（老師）如圖 2 所示。
（a）
（b）
圖 2 Onishi 方法擷取結果[6]（a）輸入原始影像（b）擷取出黑板文字與老師
Liu[7-9]有一系列關於黑板教學影片的研究，在 Liu 提出的方法中，使用 Mean-shift Segmentation[10]對影像做分割，並利用統計的方式找出黑板的範圍，
在截取完黑板之後，使用 Sobel Operator 取出粉筆字跡，再利用 Connected Components 去雜訊，以得到最終的筆跡資料。
8
（a） （b） （c）
圖 3 Liu 分割黑板結果與擷取出的文字結果[9]（a）原圖（b）黑板範圍（c）截 取出來的文字
Imran 等人的研究[11]利用[12]提出的前景偵測模型分離出黑板與老師如圖 4，
接著利用[13]的 adaptive Otsu thresholding method 做影像二值化找出黑板的文字 內容如圖 5。
（a） （b） （c）
圖 4 為 Imran 去除老師背景的實驗結果[11]（a）原始影像（b）前景影像（c）
背景影像
（a） （b）
圖 5 為 Imran 擷取文字的結果[11]（a）原始影像（b）二值化影像
9
2.2 黑板字跡的分析與應用
Seiji 等人發展出一套針對黑板場景做分割的系統[14]，他們藉由黑板的上下 移動和擦黑板來做分割的時機點（研究限定在有多個可滑動的黑板教室），首先 他們設計出兩套演算法，第一套利用灰階影像的像素平均值差異偵測黑板是否有 移動，第二套演算法則是偵測擦黑板，利用 Sobel Operator 取出邊作為粉筆字，
並統計粉筆字的像素(pixel)數量以判斷擦黑板的時間，此方法可以找到 97%的正 確分割點。
Liu 等人[9]在成功找出黑板文字之後，利用黑板內容的像素量統計圖設計 出一套 shifting window algorithm 找到單位時間內包含最多粉筆像素的畫面
（frames），最後利用連續內容比對（Hausdorff distance）去除重複的筆跡，並找 出關鍵影格，做為整部教學影片的摘要。
圖 6 像素量統計圖，紅色的點為 Liu 判斷出的摘要畫面[9]
Imran 等人[15]將教學影片的內容利用 SVM 和 OCR 等技術加以分類（圖片、
文字和方程式）。文獻[16]則有加入老師在上課講話中的話語（口說電子檔）與 黑板上的文字做結合提供片段教學的語意標籤。
10
先前研究之實驗影片皆為單部攝影機所拍攝，影片中之教學畫面無法包含完 整的教學內容或無法清楚拍攝到黑板之字跡。因此本研究以雙部攝影機拍攝教學 影片，並將左右兩邊之影像畫面合併，以呈現完整的筆記內容。
文獻[9, 14]在蒐集完教學影片上的粉筆字後，利用統計每張畫面粉筆字的像 素量高低以判斷擦黑板的時機點。但是本研究發現，老師在講解的過程中，當身 體擋住黑板上的文字時，所統計的字跡變化量與擦掉黑板的字跡變化量接近，容 易導致選取分割時機點或關鍵影之誤判。因此本研究設計出一套方法保留老師在 寫字時身體蓋住的粉筆字，以增進判斷的準確率。
11