系統流程

以觀眾為拍攝主體之虛擬攝影師系統之流程圖如圖3.5所示，其主要架構分為 運動特徵擷取(motion feature extraction)、運鏡判斷(camera movement decision)以及 路線規劃(path planning) 三個部分。Motion feature extraction 包含連續畫面的

圖3.3 PTZ 攝影機架設角度示意圖 (a)垂直俯角 (b)水平偏差角 (a) (b)

圖3.4全景 PTZ 攝影機實際拍攝影像 (a)階梯式演講廳 (b)會議室(水平地面)

(a) (b)

24

motion 擷取、motion feature 的擷取以及 motion feature 的模糊化(fuzzification)。

Camera movement decision 包含判斷是否需要切換運鏡、運鏡的選擇以及景別的選 擇。Path planning 包括拍攝主體候選者的偵測、拍攝主體的選擇以及運鏡路線的 規劃，最後操作運鏡 PTZ 攝影機進行運鏡的動作。以下會對這三個主要流程做進 一步的說明。

圖3.6為 motion feature extraction 之流程圖，分為 MEHI calculation、feature extraction 以及 feature fuzzification 三個部分。首先從全景 PTZ 輸入連續影像，然 後對每張影像偵測 motion，為求運算的便利及速度，偵測 motion 的方法使用差值 影像法(intensity difference image，IDI)。以此法所得到的 motion 為單一時點的資 訊，只能知道 motion 產生，而不能得到 motion 的方向和持續性。因此使用 motion history image (MHI) 技術來擷取連續的 motion 資訊，MHI 以重疊 IDI 和隨時間衰 減的方式記錄 motion 的時序性。但是由於 MHI 具覆蓋先前 motion 資訊的性質，

此性質會造成被覆蓋 motion 能量的佚失而不利於某些 motion feature 的擷取。因 此本研究利用改變 MHI 重疊的方式另創 motion energy history image (MEHI)讓 motion 的能量不會被覆蓋以便於 feature 的擷取。

Frame input

Camera movement decision Motion feature extraction

Path planning

PTZ work

圖 3.5 系統流程圖

25

在完成 motion 資訊的擷取後，接著進行 feature extraction 的步驟，該步驟會 從 MHI 及 MEHI 共擷取四種 motion features。此四種特徵分別為運動強度(motion strength)、運動集中度(motion concentration)、運動強度亂度值(motion strength entropy)、運動方向亂度值(motion orientation entropy)。這四種 features 能夠代表觀 眾的熱烈程度和動作的一致性，可以來判斷適合的運鏡。

由於這五種 motion features 都是明確的數值，難以和人類的感覺做連結，例 如由上個步驟擷取的 motion strength 是一個數值，但是以人的觀點來度量這項特 徵通常會以「強」、「弱」來區分。Fuzzification 是個連結這兩種關係的方法，可 將純數值和人類的語言中的語義結合對應，讓使用者能夠用語言表達的方式定義 規則。如此不但可將 motion features 和攝影師判斷運鏡的標準作結合，同時也利 於人工擷取 motion features。關於 motion feature extraction 之內容將在第四章詳細 介紹。

圖 3.6 Motion feature extraction 流程圖 MEHI calculation

Feature fuzzification Motion

strength Motion

strength entropy

Motion orientation

entropy Motion

concentration MHI calculation

26

圖3.7為 camera movement decision (CM decision)的流程圖，分為 CM change checking、CM transition、shot decision 三個主要步驟。Change check 的步驟主要 在確認切換運鏡的必要性，影響運鏡是否切換的要素有二，第一是 fuzzy motion feature 值的改變，第二是前一個運鏡的持續時間。Fuzzy motion features 是上一個 步驟所得到的模糊化 motion features，若是這些特徵值發生變化表示畫面中的 motion features 已經有明顯足以辨認的強弱差異，系統在其發生大幅變化時應該 要採取改變運鏡的動作。運鏡的持續時間是指運鏡開始執行到切換至下一次運鏡 的時間間隔，運鏡持續時間太短會造成短時間內連續的切換而使得影片混亂而且 瑣碎。若是運鏡持續時間太長又會讓人感覺缺乏變化，透過相關研究[Chu09]得知

，一般影片的運鏡持續時間約在5.3秒左右。因此本系統設定運鏡持續時間的最短 No

Yes

Frame input

CM transition

CM timer

圖 3.7 Camera movement decision 流程圖 CM change check

Shot decision Motion feature extraction

Does CM change?

Fuzzy motion features

27

為3秒(3秒內不得切換運鏡)，最長不超過6秒(6秒內必須切換運鏡)來避免以上問題

。若運鏡持續時間不到最短時間或是 fuzzy motion features 沒有變化就被視為不需 要切換運鏡(回到輸入連續影像)，反之則進入下一個步驟 CM transition。

CM transition 的目的在於選擇合適的運鏡種類，這個步驟除了必須考慮如何 模仿攝影師的經驗判斷外，另外還需考慮鏡頭間的關聯性。系統要模仿攝影師必 須要有能夠學習並記錄攝影師習慣的能力，並且要能夠將攝影師的經驗轉化成系 統能夠接受的型式。鏡頭間的關聯性指的是連續運鏡之間的關係，前幾個運鏡可 能間接或直接的影響到下一個運鏡的選擇，例如連續的定點攝影、定點攝影接著 拉近或拉遠以及拉近後橫移等等。本研究提出 automatic camera movement model (ACMM)以解決上述的問題，ACMM 以 finite state machine (FSM)為基礎，主要結 構分為 camera movement state (CMS)以及 transition probability model (TPM)。CMS 如同 FSM 的 states，先前的每個輸入都會影響到 CMS 的轉移，也可以說是具有 紀錄先前輸入的性質，這個性質有利於運鏡間關聯性的建立。任意兩個 CMS 間 皆有 TPM 連接，TPM 具有指向性，其功能為記錄攝影師的運鏡習慣。ACMM 的 輸入為 fuzzy motion features，並將這些特徵值放入與當前 CMS 連接且方向向外 的 TPM 中。每個接收到輸入的 TPM 將會產生一轉移機率，然後挑選具最高機率 的 TPM 做為轉移方向。而該 TPM 所指方向之 CMS 的輸出即為下一個運鏡。

在決定合適的運鏡之後，shot decision 步驟將決定與該運鏡配合的景別。

ACMM 的每個 TPM 上都具有景別機率模型 (shot probability model)，該模型統計 了通過此 TPM 的景別機率分布。藉由上一步驟所挑選出的 TPM 其上的景別機率 模型可以得到每種景別的使用率，為避免每次都只用同一種景別，在挑選景別時 以使用率的高低作為選取的機率以增加選擇的多元性。以上關於 CM decision 的 部分將在第五章作詳細介紹。

圖3.8為 path planning 之流程圖，主要步驟分別為 face target detection、motion target detection、target decision 以及 CM path planning。當 ACMM 決定運鏡及景

28

別後，path planning 將會決定拍攝主體並依據所決定的運鏡規劃運鏡 PTZ 攝影機 鏡頭的移動路線。拍攝的候選主體有兩種產生方式，一種是以觀眾的臉部作為目 標，另一種是以產生 motion 的區域中心做為目標。由於本系統以觀眾為拍攝主體

，因此以觀眾臉部的拍攝較為優先。Motion targets 則做作為備用以及排序 face targets 的條件之一。

利用前一步驟挑選出拍攝候選主體之後，target decision 將從中決定拍攝主體

。其決策標準包含構圖(composition)、專注分布(saliency map)、光線明暗、主體 與畫面中心的距離以及主體和 motion targets 的距離。經由以上條件的評比將會選 出此次運鏡的拍攝主體。Composition 代表畫面的構圖，在構圖法中以井字構圖法 最為普遍。因此本研究以此構圖法作為標準，將攝影主體候選者放置在井字構圖 法中的理想位置來計算構圖評分[Ban07]。Saliency map 表示畫面中被觀賞者注意 區域的分布，該值越高表示越容易受到注意。由於光線的明暗會影響到拍攝的效 果，畫面中過於黑暗或是明亮的部分將被評為不適合拍攝的區域。主體與畫面中 心的距離會影響運鏡 PTZ 攝影機移動的幅度，移動幅度越大越容易影響到與前一

PTZ Work CM path planning

CM timer Face target detection Motion target detection

圖 3.8 Path planning 流程圖 Target decision

Camera movement decision

29

張畫面的連續性。另外，主體和 motion target 的距離越近表示該觀眾可能正在動 作，相較於其他沒有 motion 相鄰的觀眾較為突出，因此兩者之間的距離越近越適 合當作拍攝主體。

最後，CM path planning 將會依運鏡種類的不同替拍攝主體規劃運鏡 PTZ 的 移動路線及產生運鏡 PTZ 的控制參數。運鏡 PTZ 的控制參數包含起始位置(start point)、結束位置(end point)、運鏡速度(move speed)及推拉速度(zoom speed)。其 中 start point 及 end point 與運鏡的種類相關；move speed 會依 motion strength 強 弱作改變；zoom speed 的快慢則和景別與拍攝主體的面積比有關。最後這些參數 將會轉成 PTZ 的指令傳送給運鏡 PTZ，執行運鏡的動作。Path planning 的詳細作 法將會在第六章說明。

30