結論

本研究的目的為開發具專業攝影師能力之虛擬攝影師系統，系統能夠自動挑 選合適的運鏡、景別與拍攝主體，並以 PTZ 攝影機執行運鏡動作。對專業的攝影 師而言，一個完整的拍攝活動首先需要觀察拍攝環境，從環境中的資訊以及運鏡 搭配的習慣判斷現在適合使用的運鏡，然後以美學觀點決定拍攝主體以及主體在 畫面中擺放的位置。接著以主體為核心規劃運鏡路線，最後以手上的攝影機進行 運鏡。本系統以三個步驟模擬上述攝影師的拍攝活動，分別為運動特徵擷取 (motion feature extraction)、運鏡判斷(camera movement decision)以及運鏡路線規劃 (path planning)。

在運動特徵擷取步驟中，本研究提出的四種代表觀眾行為的 motion features，

為了讓 motion features 值能對應到攝影師以語言描述與表達的經驗法則，本研究 對這四種特徵作模糊化處理得到 fuzzy motion features 後，利用這些 fuzzy motion features 作為攝影師從拍攝環境中作為判斷使用運鏡的特徵。

在 運 鏡 判 斷 的 步 驟 中 ， 本 研 究 提 出 automatic camera movement model (ACMM)進行運鏡的自動選取。ACMM 會依照輸入的 fuzzy motion features 和目 前 ACMM 的狀態輸出運鏡以及景別的資訊。ACMM 分為三個部分，分別為 camera movement state (CMS)、transition probability model (TPM)以及 shot probability model (SPM)。CMS 提供不同運鏡方法使用順序的習慣資訊；TPM 提供不同環境 特徵下美種運鏡方法的使用機率；而 SPM 則提供運鏡切換時適合使用的景別。

在運鏡路線規劃(path planning)中，本研究依照以及攝影經驗的提出運動鄰近 程 度 (motion field neighborhood) 、 畫 面 連 續 性 (continuous) 以 及 畫 面 重 複 性 (repetition)三種評比，並另外參考攝影美學的相關研究，使用構圖(composition)、

79

亮度(luminance)等兩種美學評比作為主體挑選的標準。最後根據觀察各種運鏡方 式的實際做法設計每個運鏡方法在 PTZ 攝影機上的實作方法，並以挑選出來的主 體作為運鏡主軸規劃 PTZ 的移動路線。

實驗結果顯示，本系統能夠配合觀眾席當時情況即時切換合適的運鏡方式以 及選擇搭配的景別，並自動從畫面中挑選符合美學條件的拍攝主體。系統所決定 之拍攝主體能夠盡量避免重複的主體和不連貫的畫面，並藉由井字構圖法將主體 放置在畫面中適當的位置。從運鏡 PTZ 攝影機的拍攝結果可以得知，本系統所提 供之運鏡流暢而平穩，符合專業錄影的要求。

第二節 未來工作

本研究所使用之 training data 皆為人工手動擷取，擷取的方式為觀看演講的 影片，紀錄影片中切換運鏡時所使用的運鏡方式以及四種 fuzzy motion features。

其問題有三，第一是擷取的效率非常低落，必須要花費至少與演講影片同樣的時 間才能擷取一部影片的 training data，導致 training data 的數量不足。第二為四種 fuzzy motion features 的標準差異，因為是以人工判斷切換運鏡時的 fuzzy motion features，除了每個特徵擷取人員對每個特徵的強弱標準不同之外，畫面的雜亂程 度也會影響判斷特徵的強弱。第三點為特徵擷取的畫面範圍，由於每當影片中出 現運鏡切換，畫面必定位運鏡中的攝影機畫面，不會有全景攝影機的畫面供觀眾 參考。所以特徵擷取人員只能以運鏡攝影機的畫面判斷整個場面的狀況。

由於 training data 擷取上的各種困難使得 ACMM 在訓練上有所欠缺，從實驗 結果可以得知 ACMM 系統並未訓練且使用到所有的 CMS 以及 TPM，甚至使用 的數量遠少於最大可用數量。主要原因就在於 training data 數量的不足，無法在 所有 fuzzy motion features 可能發生的情況下紀錄 CMS 的轉移情形。使得很多場 合都被迫使用可能不適合該情況的運鏡方式，造成運鏡方法選擇上的失誤。

為解決以上問題，training data 的自動擷取是未來必定要完成的部分，大量的

80

training data 才足以讓 ACMM 趨於完善。自動擷取可以避免不同擷取人員在判斷 上標準的差異，而且擷取效率勢必遠高於人工擷取。而自動擷取 training data 的 困難在於如何去除影片中多餘的 motion 資訊，所謂多餘的 motion 資訊指的是因 為運鏡所產生的 motion，這些 motion 並非觀眾產生而是因為攝影機移動或伸縮造 成畫面改變而產生的。若能排除該困難並實現自動擷取 training data 的功能，對 本系統將是一大幫助。

當自動擷取 training data 得以實現後，本系統將能提供客製化的服務，將特 定攝影師的資料輸入系統做訓練，讓系統成為該攝影師風格的虛擬攝影師。像是 模仿電影運鏡的習慣、運動場上的運鏡習慣等等不同風格的拍攝習慣，都能夠藉 由擷取足夠份量且符合該風格或是特定作者的運鏡習慣資料，並輸入系統做訓練 來建構特定風格的虛擬攝影師。

在主體的選擇上本系統使用 opencv 函式庫中的臉部偵測技術進行觀眾臉部 偵測，但是該技術對於光影變化的適應力較低，對臉部角度的變化也較為敏感。

由於演講活動不只舉辦在室內，室外的演講活動更是不少，而且攝影機較常架設 於觀眾作前或右前方。為增加系統的對環境的適應力以及架設位置的多變性，強 化臉部擷取的功能也是要務之一。此外，雖然本研究以五種美學相關特徵來挑選 主體，仍然存在更多的特徵可以用來決定主體的選擇。例如 saliency map、色彩 飽和度等等，增加更多美學標準有助於對主體挑選的周全性。

另外，互動偵測也是個很重要的工作，所謂的互動指的是講者與觀眾之間產 生交流的情況。不少演講影片中可以觀察到講者與台下觀眾們的互動，最常見的 就是邀請觀眾發問，或是與講者對談。對於這種情況其實並不適用於一般運鏡習 慣，因為在這種情況下畫面會不斷停留在講者與對談者之間，若沒有辦法偵測到 互動的發生而繼續使用原本判斷運鏡的方式反而造成錯誤的運鏡。若能夠偵測到 講者的某些動作，像是手指向某個方位就提高該方向的觀眾被選為主體的機率等 等，可以增加本系統對特殊情況的處理能力。

81

本系統目前雖然能夠自動完整的完成的拍攝動作，但與實際的攝影師相比仍 缺乏隨機應變的能力，希望未來解決以上所提的各項問題後，能夠再加入更多的 要素在系統當中。例如不再侷限於 motion 的相關特徵，加入物件資料庫判斷畫面 中是否有關鍵人物或標誌。增加動作辨識的功能讓觀眾能和系統作互動，甚至能 讓系統操作載具模仿跟拍的運鏡方式等等，讓系統更加完整、更像一個真正的專 業攝影師。

82

參考文獻

[Che07] I. Cherif, V. Solachidis, and I. Pitas, “Shot Type Identification of Movie Content,” In Proceedings of 9th International Symposium on Signal Processing and Its Applications, pp. 1-4, Sharjah, United Arab Emirates Feb. 2007.

[Xu12] L. Xu, H. Li, and Z. Wang, “Saliency Detection from Joint Embedding of Spatial and Color Cues,” In Proceedings of IEEE International Symposium on Circuits and Systems, pp. 2673-2676, Seoul, Korea,May 2012.

[Ber06] A. Berengolts and M. Lindenbaum, “On the Distribution of Saliency,” In Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 2, pp. 543-549, Washington, USA, Jun. 2004.

[Dor12] M. Dorr, E. Vig, and E. Barth “Colour saliency on video,” In Proceedings of 5th International Institute for Computer Sciences, Social-Informatics and Telecommunications Engineering (ICST) Conference, BIONETICS 2010, pp.

601-606, Boston, USA, Dec. 2010.

[Liu11] Z. Liu, Y. Xue, H. Yan, and Z. Zhang, “Efficient saliency detection based on Gaussian models,” IET Image Processing, vol.5, no.2, pp. 122-131, Mar.

2011.

[Ban07] S. Banerjee and B. L. Evans, “In-Camera Automation of Photographic Composition Rules,” IEEE Transactions on Image Processing, vol. 16, no.7, pp. 1807-1820, Jul. 2007.

[Li09] C. Li and T. Chen, “Aesthetic Visual Quality Assessment of Paintings,”

83

Journal of Selected Topics in Signal Processing, vol.3, no. 2, pp. 236-252, Apr. 2009.

[Lia12] Y. Liang, Z. Su, C. Wang, D. Wang, and X. Luo, “Optimised image retargeting using aesthetic-based cropping and scaling,” In Proceedings of IET Image Processing, vol. 7, no. 1, pp. 61-69, Feb. 2013.

[Su12] T. W. Chen, C. C. Kao, W. J. Hsu, and S. Y. Chien, “Preference-Aware View Recommendation System for Scenic Photos Based on Bag-of-Aesthetics-Preserving Feature,” IEEE Transactions on Multimedia, vol. 14, no. 3, pp.833-843, Jun. 2012.

[Niu12] Y. Niu and F. Liu, “What Makes a Professional Video A Computational Aesthetics Approach,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 22, pp. 1037-1049, Piscataway, USA, Jul. 2012.

[Bov01] Y. Boykov, O. Veksler, and R. Zabih, “Efficient approximate energy minimization via graph cuts,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 12, pp. 1222-1239, Nov. 2001.

[Chu09] S. K. Chung and Y. C. Chang, “Cinematic Continuity in 3D Computer Animation – the Tendency and Expression of Shot in Hollywood’s Blockbuster Animation Films,” 27^th National Kaohsiung Normal University Journal, pp. 195-217, Dec. 2009.

[Vio04] P. Viola and M. Jones “Robust Real-Time Face Detection,” International Journal of Computer Vision, vol. 57, pp. 747, May 2004.

[Kha09] O. O. Khalifa, A. A. M. Assidiq, and A. H. A. Hashim, “Vision-Based Lane Detection for Autonomous Artificial Intelligent Vehicles,” In Proceedings of IEEE International Conference on Semantic Computing, pp.636-641, Gombak, Malaysia, Oct. 2009.

84

[Bob01] A. F. Bobick and J.W. Davis, “The recognition of human movement using temporal templates,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 3, pp. 257-267, Mar. 2001.

[JHO12] Z. R. JHOU and W. R. JIAN, “色彩調和理論與網頁自動配色應用之研 究,” In Proceedings of 8^th International Conference on Digital Content, Tainan, Taiwan, Dec. 2012.

[Lee04] F. R. Lee, “A Study of the Legibility of Texts in Small Scale TFT-LCD for the Elderly,” Jun. 2004.

[1] 【攝影入門教學講義一】淺談構圖原理與主題表現 http://www.wretch.cc/blog/jhyou/13908453

[2] 怎麼拍，才精采？基本構圖法演練實戰 http://www.eprice.com.tw/dc/talk/356/723/1/

[3] 攝影教室—^{【風景攝影】}

http://chang-home.myweb.hinet.net/Classroom/Scenery/page_3.html [4] 簡單構圖與基礎攝影

http://blog.duncan.idv.tw/BasicPhotographicComposition.pdf [5] 拍出不同戲劇效果─善用不同的光向

http://www.fotobeginner.com/3789/light-direction/

[6] 李秀美，鏡頭語言與採訪技巧--如何將文字視覺化(PPT) [7] 景深的介紹

http://cck0217.myweb.hinet.net/TNGNEW-7.html [8] 光圈與景深的關係

http://dawing888.com/photo01.asp [9] 攝影入門之新手必讀─色彩的奧秘

http://www.sj33.cn/dphoto/syxt/201211/32597.html

85

[10] 利用色彩輕鬆拍攝漂亮照片

http://shijue.me/show_text/4ffef3e0ac1d840d9001c13c [11] 長沙印象寶貝專業兒童攝影

http://dcps.blog.hexun.com.tw/42473850_d.html [12] 分鏡的設計(PPT)

[13] 什麼是畫面的景別？

http://hdtv.baike.com/article-87679.html [14] 攝影取景

http://whereyou.pixnet.net/blog/post/19970578-%E6%94%9D%E5%BD%B1%E 5%8F%96%E6%99%AF

[15] 景別(Doc)

[16] 運鏡技巧基本解說

http://tw.myblog.yahoo.com/jianchen0627/article?mid=145 [17] 柳在天(2010), 就用構圖取勝吧！, 台北市：悅知文化

[18] 山口高志(2006), 構圖實例事典, 台北市：宇琉采伊娛樂經紀有限公司 [19] 佳影在線(2010), 成功構圖300例, 台北市：上奇資訊股份有限公司 [20] 莎頓國際學院

http://www.sheltoncollege.edu.sg/cn/aboutus-facilities.html [21] 蘿莎會館

http:// hotel.wingnet.com.tw [22] 涴莎室內樂團

http://www.classical-music.com.tw [23] 公主郵輪的公主劇院

http://blog.liontravel.com/ckshsu/post/13365/4408/19906 [24] 何謂 Fuzzy

86

http://ycc.tsu.edu.tw/9415/page/fuzzy.htm [25] oracle technology network

http://www.oracle.com/technetwork/systems/fsm-156381.html [26] Wikimedia-commons

http://www.commons.wikimedia.org [27] MathWorks

http://www.mathworks.com/index.html [28] Motion 4User Manual

http://documentation.apple.com/en/motion/