加入線上模板資料庫建構之三維物體追蹤平均位移演算法

(1)

國立交通大學

電機與控制工程研究所

碩

碩士

士

士論

論

論文

文

加入線上模板資料庫建構之

三維物體追蹤平均位移演算法

3D Object Mean-shift Tracking Algorithm with

Online Template Database Construction

研究生：陳建廷

指導教授：胡竹生博士

(2)

加入線上模板資料庫建構之

三維物體追蹤平均位移演算法

3D Object Mean-shift Tracking Algorithm with

Online Template Database Construction

研究生：陳建廷 Student：Chien-Ting Chen

指導教授：胡竹生博士 Advisor：Prof. Jwu-Sheng Hu

國立交通大學

電機與控制工程研究所

碩士論文

A Thesis

Submitted to Institute of Electrical Control Engineering

College of Electrical and Computer Engineering

National Chiao-Tung University

in Partial Fulfillment of the Requirements

for the Degree of Master

In

Electrical and Control Engineering

September 2012

Hsinchu, Taiwan, Republic of China

(3)

加入線上模板資料庫建構之

三維物體追蹤平均位移演算法

研究生：陳建廷

指導教授：胡竹生博士

國立交通大學

電機與控制工程研究所碩士班

摘

摘要

要

本論文提出了一套建構在三維物體追蹤演算法下，可用於複雜背景與移動場景的目標模型更新的方法。影像追蹤演算法採用三維平均位移演算法來計算目標物於空間中的位移，並利用主成份分析法來估測物體於三維空間中的大小與旋轉，由於加入了三維空間資訊以及新的目標模型更新方式，因此在複雜背景下以及目標物外觀與顏色產生較大變化時，會比使用其他的目標模型更新方法具有更穩健的追蹤效果。另外提出加入線上模板資料庫建構的方法，資料庫建構的準則以及資料庫內的資料選取將是本論文的另一個重點，這會使得追蹤目標物的過程中，對於目標模型的外觀及顏色變化有更迅速及適應性更高的效果，當目標物因旋轉而導致外觀顏色變化較為劇烈時，比起一般其他直接對目標顏色機率模型做更新的方法，準確性與穩定性來得更高。

(4)

3D Object Mean-shift Tracking Algorithm with

Online Template Database Construction

Student： Chien-Ting Chen

_{Advisor： Prof. Jwu-Sheng Hu}

Institute of Electrical and Control Engineering

National Chiao-Tung University

ABSTRACT

In this thesis, a target model updating method based on 3-D mean-shift tracking algorithm is proposed. The algorithm is aimed at reducing the influence of complex and dynamic background. It uses principal component analysis to estimate the size and rotation of the target in 3-Dimensions. With the 3-D spatial information and new target model updating method, this algorithm outperforms other target model updating

methods such as traditional Mean-Shift and 3-D Mean-Shift. The method consists of a set of rules to construct online template database. These results in a better and faster tracking process. In particular, when target rotates drastically, it gives a more accurate and stable result compared to other methods that only update the target model.

(5)

誌

誌謝

謝

兩年的碩士生活轉眼間就過去了，感謝指導教授─胡竹生老師的教導，使我不僅學習到電機方面的專業知識，也對於做研究的態度有更上一層樓的進步，老師不斷地強調「創新」與「貢獻」的理念，著實是讓我受益良多。也要謝謝 905 實驗室的學長姐、同學與學弟，兩年的研究所生涯有了他們才有許多美好的回憶。在專業研究方面，感謝阿吉學長的熱心指導，才能使得實驗研究順利，論文內容完整。另外是碩一帶我的永融學長，也是學長耐心的教導，才奠定我實驗時的品質堅持與研究態度要求。感謝大師兄與 Judo，在他們身上看到了對於研究的態度與堅持，以及德洋學長與震華學長的專業素養。興哥與鏗元學姐對於其專業領域的知析程度也著實令我佩服不已。Alphar 學長的蛋糕香引人入迷，嘟嘟學長則為實驗室帶來歡樂，唐哥不僅提點了我許多關於研究與口試的重點，也是打球的伙伴，更是閒聊的好友，昌言學長在我剛進碩班時幫我解決了不少程式上的麻煩。感謝上一屆的昀軒、湘筑與學文，幽默風趣，讓實驗室充滿歡樂，育成與新文也讓我看到其認真與充滿幹勁的一面，macaca 則提點了我不少研究的想法，建安在我碩一時也幫我解決不少關於影像方面的疑惑。感謝同屆的 Daniel，同為影像組的幫我解決許多程式上的問題，同為實驗室管理員的鳴哥，讓我看到了責任感與貼心的一面，也互相幫彼此打氣，常常一起打球的翰哥，在最後一個月不僅互相加油，也常是實驗室一起關門的好伙伴。逕博的耕維，為人熱心且幽默，在他身上看見了對學術研究的熱情與堅持，一樣逕博的男哥，也是打球的好伙伴，更是閒聊開玩笑的好朋友。學弟中的鳴遠同為影像組，但已然實力深厚，哲宇與罐頭坐我座位附近，都是聊天的好對象，阿文的重訓與羽球教學，讓我看見他對事情的堅持，小山東與大夢的風趣，幫我打了口試時的強心劑。感謝兩位口試委員─宋開泰老師與周志成老師，有他們的提點，本論文的內容才能更加完善。感謝在新竹工作的欣瑤，別的實驗室的國展、逸棋與曹ㄇ、阿康和阿吉，共同分享在新竹生活的點點滴滴，玉琪的關心與陪伴，讓我在研究之餘發現生活中處處有樂趣也滿滿是回憶。最後要感謝我的家人─父母及妹妹，有了父母的努力，讓我衣食無缺而無後顧之憂，有他們的鼓勵、關心與陪伴，讓我一心向上無所懼。在此僅以此篇幅向所有幫助過我的貴人們獻上最誠摯的謝意。

(6)

目

錄

摘要 ...i ABSTRACT ...ii 誌謝 ...iii 目錄 ...iv 表列 ...vi 圖列 ...vii 第一章緒論 ...1 1.1 研究動機...1 1.2 文獻回顧...2 1.3 本論文的貢獻與創新...3 1.4 論文架構...4 第二章影像演算法分析 ...5 2.1 傳統平均位移演算法...5 2.1.1 前言 ...5 2.1.2 區域模型表示 ...5 2.1.3 基於 Bhattacharyya Coefficient 的相似度量測 ...7 2.1.4 演算法方程式推導 ...8 2.1.5 平均位移演算法流程圖 ... 11 2.2 三維平均位移演算法...12 2.2.1 三維平均位移演算法模型定義 ...12 2.2.2 演算法方程式推導 ...14 2.2.3 目標的深度範圍判定 ...16

2.2.4 主成份分析法 (Principal Component Analysis)...18

2.2.5 色彩空間表示法 ...19 2.2.6 三維平均位移演算法流程圖 ...21 第三章目標模型的更新 ...22 3.1 整體目標模型更新方式...22 3.2 選擇性子模型更新方式...23 3.3 結合顏色相似度與中心移動距離的目標模型更新方式...25 3.3.1 新的目標模型更新方法推導 ...25 3.3.2 加入 CCDMU 的三維平均位移演算法流程圖 ...31

(7)

3.4 加入線上模板資料庫建構的三維物體追蹤演算法...32 3.4.1 線上模板資料庫建構的準則 ...32 3.4.2 加入 OTDMU 的三維平均位移演算法流程圖 ...36 第四章系統設計與實驗測試比較 ...37 4.1 實驗環境...37 4.2 實驗測試...38 4.2.1 評估追蹤效果係數和實驗參數 ...38 4.2.2 基本物體追蹤 ...38 4.2.3 人體追蹤 ...59 4.3 實驗結果與分析...75 第五章結論 ...76 5.1 結論與未來展望...76 參考文獻 ...77

(8)

表

表列

列

表 2.1-1: [11]兩種 kernel functions ...6 表 4.1-1: [11]Kinect 規格表...37 表 4.1-2: [11]演算法規格表 ...37 表 4.2-1: 基本物體追蹤一數值結果(2D) ...43 表 4.2-2: 基本物體追蹤一數值結果(3D) ...44 表 4.2-3: 基本物體追蹤二數值結果(2D) ...48 表 4.2-4: 基本物體追蹤二數值結果(3D) ...49 表 4.2-5: 基本物體追蹤三數值結果(2D) ...53 表 4.2-6: 基本物體追蹤三數值結果(3D) ...54 表 4.2-7: 基本物體追蹤四數值結果(2D) ...59 表 4.2-8: 基本物體追蹤四數值結果(3D) ...59 表 4.2-9: 人體追蹤一數值結果(2D) ...64 表 4.2-10: 人體追蹤一數值結果(3D) ...65 表 4.2-11: 人體追蹤二數值結果(2D) ...69 表 4.2-12: 人體追蹤二數值結果(3D) ...70 表 4.2-13: 人體追蹤三數值結果(2D) ...74 表 4.2-14: 人體追蹤三數值結果(3D) ...75

(9)

圖

圖列

列

圖 2.1-1: [11]兩個不同機率分佈的相似度 ...8 圖 2.1-2: 平均位移演算法流程圖... 11 圖 2.2-1: [11]uv 座標與 kienct 三維座標 ...12 圖 2.2-2: [11]深度量化統計圖 / 深度範圍示意圖 ...17 圖 2.2-3: 主成份分析示意圖...19 圖 2.2-4: 三維平均位移演算法流程圖...21 圖 3.3-1:

α

與e−α(1−ρ)關係圖...29 圖 3.3-2: 加入 CCDMU 的三維平均位移演算法流程圖 ...31 圖 3.4-1: 加入 OTDMU 的三維平均位移演算法流程圖 ...36 圖 4.2-1: 基本物體追蹤一影像輸出結果(2D) ...39 圖 4.2-2: 基本物體追蹤一中心距離誤差(2D) ...40 圖 4.2-3: 基本物體追蹤一影像輸出結果(3D) ...41 圖 4.2-4: 基本物體追蹤一中心距離誤差(3D) ...42 圖 4.2-5: 基本物體追蹤一目標顏色相似度...42 圖 4.2-6: 基本物體追蹤一目標空間分佈相似度...43 圖 4.2-7: 基本物體追蹤二影像輸出結果(2D) ...44 圖 4.2-8: 基本物體追蹤二中心距離誤差(2D) ...45 圖 4.2-9: 基本物體追蹤二影像輸出結果(3D) ...46 圖 4.2-10: 基本物體追蹤二中心距離誤差(3D) ...47 圖 4.2-11: 基本物體追蹤二目標顏色相似度...47 圖 4.2-12: 基本物體追蹤二目標空間分佈相似度...48 圖 4.2-13: 基本物體追蹤三影像輸出結果(2D) ...49 圖 4.2-14: 基本物體追蹤三中心距離誤差(2D) ...50 圖 4.2-15: 基本物體追蹤三影像輸出結果(3D) ...51 圖 4.2-16: 基本物體追蹤三中心距離誤差(3D) ...52 圖 4.2-17: 基本物體追蹤三目標顏色相似度...52

(10)

圖 4.2-18: 基本物體追蹤三目標空間分佈相似度...53 圖 4.2-19: 基本物體追蹤四影像輸出結果(2D) ...54 圖 4.2-20: 基本物體追蹤四中心距離誤差(2D) ...55 圖 4.2-21: OTDMU-資料庫內編號 10~21 的資料...56 圖 4.2-22: 基本物體追蹤四影像輸出結果(3D) ...57 圖 4.2-23: 基本物體追蹤四中心距離誤差(3D) ...57 圖 4.2-24: 基本物體追蹤四目標顏色相似度...58 圖 4.2-25: 基本物體追蹤四目標空間分佈相似度...58 圖 4.2-26: 人體追蹤一影像輸出結果(2D) ...60 圖 4.2-27: 人體追蹤一中心距離誤差(2D) ...61 圖 4.2-28: 人體追蹤一影像輸出結果(3D) ...62 圖 4.2-29: 人體追蹤一中心距離誤差(3D) ...63 圖 4.2-30: 人體追蹤一目標顏色相似度...63 圖 4.2-31: 人體追蹤一目標空間分佈相似度...64 圖 4.2-32: 人體追蹤二影像輸出結果(2D) ...65 圖 4.2-33: 人體追蹤二中心距離誤差(2D) ...66 圖 4.2-34: 人體追蹤二影像輸出結果(3D) ...67 圖 4.2-35: 人體追蹤二中心距離誤差(3D) ...68 圖 4.2-36: 人體追蹤二目標顏色相似度...68 圖 4.2-37: 人體追蹤二目標空間分佈相似度...69 圖 4.2-38: 人體追蹤三影像輸出結果(2D) ...70 圖 4.2-39: 人體追蹤三中心距離誤差(2D) ...71 圖 4.2-40: 人體追蹤三影像輸出結果(3D) ...72 圖 4.2-41: 人體追蹤三中心距離誤差(3D) ...73 圖 4.2-42: 人體追蹤三目標顏色相似度...73 圖 4.2-43: 人體追蹤三目標空間分佈相似度...74

(11)

第一章

第一章緒論

緒論

1.1 研究動機

研究動機

影像追蹤在影像處理這領域中可說是一個很重要的課題，最終目的就是希望能夠找到一個準確性高、處理速度快且穩定性佳的追蹤方式，而這也是在這領域中眾人所一直想要追求的目標。在追蹤的效能上，會影響的因素很多，一般以影像處理來說，例如背景顏色與目標物顏色過於相似而產生混淆、目標物被障礙物擋住而影響其顏色分佈、因為外在光源的改變或是目標物本身的旋轉，使得目標物的顏色改變等等，上述情形皆會影響到追蹤的效能。於是人們開始使用一些新的輔助儀器來幫助影像的追蹤，如雷射測距儀或是超音波測距儀等等，但是仍然有其各自的缺點，雷射測距儀雖然精準度高，但價格昂貴，不符經濟效益，超音波測距儀雖然價格較為低廉，但其精準度相對來說卻是比較差的。然而在 2010 年時，微軟(Microsoft)公司發表了新一代的遊戲控制器，利用以色列的 PrimeSense 公司所開發的新的技術[1]，Light coding 技術，來做出物體在空間的分佈偵測，其技術理論是利用連續光(近紅外線)對測量空間進行編碼，經感應器讀取編碼的光線，交由晶片運算進行解碼後，產生成一張具有深度的圖像。此技術與舊有的距離偵測器最大的不同點是，它能同時掃描一整個面，而且它獲得資料的頻率極高，可以利用快速的方法得到空間資訊。本實驗室已藉由新的空間資訊，提出了同時可以應用色彩與空間資訊的三維物體追蹤平均位移演算法，在此基礎上，本論文就是希望藉由考慮目標物的外觀色彩與空間資訊的變化，來將我們所使用的目標顏色機率模型做適當的更新，另外藉由提出線上模板資料庫建構的準則與流程，將變化較為明顯的模型資料儲存進資料庫中，以利之後追蹤的使用，做為進一步加強三維物體追蹤演算法的效能及穩定性。

(12)

1.2 文獻回顧

文獻回顧

本論文所用到的物體追蹤演算法，其基本理論是由論文[2]所出發，他所提出的 Kernel-based object tracking 是以平均位移演算法(mean-shift)為基礎的追蹤方法，有著運算量低與穩健度高的優點，之後有大量的人由這個方向做更進一步的研究，他們接著加入其他的方法來增進與補強追蹤的穩健度。論文[2]所提出的演算法雖然有利用空間資訊當作權重，來建立顏色模型，但仍有地方可以加強，論文[3][4]提出了更進一步的空間資訊使用，利用了不同顏色在空間中的不同分佈情形，來建立新的顏色模型與新的相似方程式，如此對目標模型的描述，不只有顏色，還有空間分佈資訊，可使得追蹤更穩定。由於在追蹤的時候，目標物不只是單純平移，還會有旋轉跟變形的情況，在此情形上，論文[5][6]提出解決方法，而論文[7]使用了論文[8]中所提供的方法， Image Moments，對於每一次出現的目標模型，都去做目標的大小跟旋轉的預測，

使得下次抓取目標資料時，可以得到合適的追蹤範圍，在 Open Source Computer

Vision (OpenCV)[9]中的追蹤方法就是依照此論文實作出來。而論文[10]是利用主成分分析法(PCA)，找出目標物在 uv 平面中的主成分軸向與大小，利用這兩項資料去估測出目標物在畫面中的大小與角度，以上方法在追蹤上都有不錯的效果。論文[11]則提出了利用Kinect sensor 的資訊，結合景深資訊與影像顏色特徵的三維平均位移演算法，其能藉由深度資訊有效分離出目標前景與背景，在追蹤的效果上可說是幫助極大，也有相當不錯的效果。在色彩空間方面，RGB 是一般會使用的色彩空間，但是遇到環境光源發生變化時，RGB 會不足以對付此情況，論文[7]提出使用 HSV 色彩空間，認為 V 值對光源變化較為敏感，所以做進一步的處理。論文[10]使用 normalized RGB 讓亮度對目標追蹤的影響減至最低。一般的平均位移演算法都是用單一的目標色彩模型來當追蹤時的依據，也就是說，基於目標模型在追蹤過程中不發生顏色改變的這個假設，會一直持續採用

(13)

初始的目標模型，所以當物體因為旋轉而使得顏色改變時，就會造成演算法穩定度有問題產生。論文[12]提出利用目標物不同角度的圖片建立出多個顏色模型，再利用這些模型作非單一色彩模型的追蹤方法，並且適時的選擇最相近的模型當基準，但缺點是事前必須知道每一角度的顏色模型。論文[13]則是在追蹤過程中，採用對目標模型與候選模型進行簡單線性加權的方式來產生出新的目標模型。論文[14]針對追蹤過程中的特徵進行研究，藉由選擇對當前環境可分辨性較高的特徵模型進行目標的追蹤及模型的更新。論文[15][16][17]則將 Kalman filter 用於追蹤過程中的目標模型更新。上述的目標模型更新方式都是將目標模型視為一個整體，同時對模型中的每個分量進行更新，然而在實際的目標移動當中，隨著環境和目標外觀的變化，目標模型內有些分量的變化是緩慢的，而有些則是迅速的，因此整體模型更新的方式顯得過於粗糙。論文[18]則是將特徵模型中的每個分量視為單一子模型，基於每個子模型的匹配貢獻度，分別選擇當前需要更新的子模型及其更新權重。

1.3 本論文的貢獻

本論文的貢獻

本論文的貢獻與創新

與創新

本論文為利用 Kinect sensor 的資訊，藉由以傳統的平均位移演算法推廣到三維的平均位移演算法為基礎，針對原本三維平均位移演算法無法有效處理目標物旋轉或受到遮蔽而導致外觀顏色改變的情形，我們推導出一個有效的目標模型的顏色特徵更新方式來解決此種情況，並結合線上模板資料庫建構的方法，同步追蹤並有效建構出不同面向的目標模型，利於追蹤使用，有助於增進準確度與穩定性，實驗發現效能與結果都有不錯的呈現。本論文的創新： 1. 提出結合顏色機率相似度與目標物中心移動距離的目標模型更新方法。 2. 提出加入線上模板資料庫建構的三維物體追蹤演算法。

(14)

1.4 論文架構

論文架構

本論文由平均位移演算法開始介紹，接著介紹應用 Kinect 所提供的空間資訊拓展到三維的平均位移演算法以及加入目標模型更新部分對整體追蹤效能的提升：第二章、平均位移演算法：介紹平均位移演算法，從如何建立目標模型、候選模型，接著利用 Bhattacharyya coefficient 來計算相似方程式，最後推導出平均位移向量。三維平均位移演算法：介紹如何將二維的平均演算法推導至三維空間，以及如何建立三維的目標與候選模型，三維空間的相似方程式，最後得到三維的平均位移向量。接著介紹初始化的方法，與如何應用主成份分析法來建立目標模型，最後推導出我們所要的色彩空間表示式。第三章、目標模型更新：首先介紹兩種整體目標模型更新方式和選擇性子模型更新方式。接著介紹如何結合顏色相似度與目標物中心移動距離來做目標模型更新的方法，以及加入線上模板資料庫建構，來建立可信度夠高的目標模型資料庫，進一步加強三維物體追蹤演算法的穩定性與準確性。第四章、系統設計與實驗測試比較：介紹本論文的實驗環境，並將上述演算法實現出來，同時測試在不同環境底下的各個演算法的穩定性與準確性。第五章、結論：心得總結以及對本演算法的未來展望。

(15)

第二章

第二章影像演算法分析

影像演算法分析

2.1 傳統平均位移演算法

傳統平均位移演算法

2.1.1 前言

前言

平均位移演算法是一個以模板(template)為基礎的影像追蹤方式。主要的概念是根據目標模型(target model)，利用疊代法來找出最相近的候選模型(candidate model)，藉由比對目標模型與候選模型的各種顏色機率分佈值，再利用統計上 Bhattacharyya coefficient 的方法來計算出平均位移的向量，之後重複以上步驟直到收斂到最相似的候選區域。

2.1.2 區域模型表示

區域模型表示

由於平均位移演算法是一個以樣本為基礎的影像追蹤方式，所以必須找出一個特徵模型來代表整個目標區域，一般來說，都是選擇顏色的機率分佈來代表目 標物的模型。首先，定義目標區域的中心位置為 0，候選區域的中心位置為 y。 接著我們定義目標模型表示式為 q，候選模型表示式為 p(y)，為了降低運算量， 在實作上我們會把顏色資訊量化為 m 種 bin 值，上述定義的目標模型如下：

∑

= = = = m u u m u u q q 1 , , 1 1 } { K q

(2-1) 候選區域模型為：

∑

= = = = m u u m u u p p 1 , , 1 1 )} ( { y K p(y)

(2-2) 平均位移演算法的第一步是需要從目標中找到一個由顏色特徵所組成的機率分佈函數來代表目標物的顏色特徵。首先假設目標區域內的像素數目為 n， n i i 1, , * } x { = K 代表該像素所在的位置且目標區域的中央位置定義為 0。再另外定義一

(16)

個方程式b:R2 →{1,K,m}_， ₍_x*₎ i b 代表該位置像素的顏色量化至

1 K

,

m

個 bin，總共有 m 種顏色 bin，目標模型的

u

=

1 K

,

m

的顏色機率表示式如下所示：

]

)

(

[

)

(

* 1 2 *

u

b

k

C

q

_i n i i u

=

∑

−

= x x

δ

(2-3)

δ

表示 Kronecher delta 方程式，用來決定此位置的像素的顏色是否屬於此 bin

值，參數

C

的功能則是把此機率值正規化，滿足

∑

=

m u u

q

1

1。

∑

=

_n i i

k

C

1 2 *

)

x

(

1 (2-4)

在式(2-3)與(2-4)中，k( x*_i 2)為一個 convex and monotonic decreasing kernel 方程式，如表 2.1-1，最高的數值在最中央，離中央點越遠的則其值會越低，一般而言，我們認為越接近的中央的像素會越為重要，也就是可信賴度較高，而越遠離中央的像素則認為相對的不重要，也就是可信賴度較低。在某些情況下，邊緣的像素可能會包含到遮蔽物的像素，若是給定中央像素權重較高的話，則可以避免誤判遮蔽物的像素為目標物的像素的情形發生。表 2.1-1: [11]兩種 kernel functions 函數名稱定義 Sketch with d=2 Normal Function (Gaussian Function) 2 / 2 1 1 exp( ), 1 (2 ) 2 ( ) 0, . d N if K otherwise π  − <  =    x x x Epanechnikov Function 2 1 ( 2)(1 ), 1 2 ( ) 0, . d E d if C K otherwise  + − <  =   x x x d: 空間維度 (2D 空間的狀況， d =2) Cd : 維度為 d 的球體體積 (2D 空間的狀況， Cd =π )

(17)

接著定義平均位移演算法中候選區域的機率分佈函數。 h n i i

}

1,...,

{

y

₌ 代表在候選模型中每個像素的位置，而候選區域的中央位置定義為y，b(y_i)代表y_i位置的像素的顏色量化至1,

K

,m_{個 bin，共有 m 種 bin。候選模型的}_u

=

₁_,

K

_,_m_的顏色機率表示式如下所示： ] ) y ( [ ) y -y ( ) y ( 1 2 u b h k C p _i n i i h u h

−

=

∑

=

δ

(2-5) ) y -y ( 2 h k i _{是與目標模型相同的 kernel 函數，h 是頻寬，由候選區域的大小} 來決定，C_h為滿足

∑

=

m u u p 1 1的正規化常數：

∑

=

h n i i h h k C 1 2 ) y -y ( 1 (2-6) 2.1.3

基於

Bhattacharyya Coefficient

的相似度量測

相似度測量函數(similarity measure function)，是用來計算目標區域與候選區域的相似程度。現今有許多相似函數被用來代表不同目標的相似度。一個可微分的 kernel 函數皆可推導出可微分的相似度函數，以及基於梯度概念的有效的最佳化程序，而這個程序可以找到最可能的相似區域，也就是我們所想要得到的跟目標物最相近的區域。在傳統的平均位移演算法中，Bhattacharyya coefficient 常被用來當作相似度量測的函數。首先相似函數定義為目標區域與候選區域的距離，如下所示：

d

(

y

)

=

1 −

ρ

[

p

(

y

),

q

]

(2-7)

ρ

為目標區域q

ˆ

與候選區域p

ˆ

的 Bhattacharyya coefficient。

(18)

∑

=

≡

m u u u

q

p

1

)

(

]

),

(

[

)

(

y

ρ

p y q y

ρ

(2-8)

Bhattacharyya coefficient 是根據在 m 維的單位向量

(

p

ˆ

₁

,

K

,

p

ˆ

_m

)

T_與 T m

q

ˆ

,

ˆ

)

(

₁

K

_{的餘弦函數，此概念是一個有效率的統計學上的量測法，由圖} 2.1-1 可以看出兩個不同機率分佈的相似程度，其值就是兩個機率分佈相交的淺色區域，值越大表示兩者機率分佈越相近，也就是圖形越相似。圖 2.1-1: [11]兩個不同機率分佈的相似度 2.1.4

演算法方程式推導

要找出式(2-7)的最小值，相當於要找到式(2-8)中的 Bhattacharyya coefficient 的最大值。因此我們使用泰勒展開式，將

ρ

[

p

(

y

),

q

]

對 y 展開於y =y_old。在疊代前，位置y_old代表上一張 frame 的目標位置 x，疊代後，y_old會隨著疊代而更新，其線性估測推導如下：

∑

∞ = = = − ∂ ∂ = = 0 1

)]

(

)

(

[

!

)

(

]

),

(

[

)

(

]

),

(

[

n n old n n m u u u

n

q

p

old y p y p y p q y p y q y p y y

ρ

(19)

L L + − ∂ ∂ + − ∂ ∂ + = = = = 2 2 2 )] ( ) ( [ ) ( ] ), ( [ )] ( ) ( [ ) ( ] ), ( [ ] ), ( [ old old old old old y p y p y p q y p y p y p y p q y p q y p y y y y y y

ρ

[

(

)

(

)]

)

(

]

),

(

[

]

),

(

[

_old old old

y

p

y

p

y

p

q

y

p

q

y

p

y y y y

∂

−

∂

+

≈

= =

ρ

[ ( ) ( )] ) ( 2 ) ( 1 1 old u u m u _u _u u m u u u p p q p q q p old old y y y y y y y y + − = = = = =

∑

) ( ) ( 2 1 ) ( 2 1 1 1 _u _old u m u m u u u old u p q p q p y y y

∑

= + = = (2-9) 這個近似法是假設在目標物沒有大幅度地從位置y_old移動至位置 y 下，而且圖像是在連續 frame 的情況下，此近似法才可正確地追到物體。接著我們把式(2-5)代入到式(2-9)，可得： ) ( ) ( 2 1 ) ( 2 1 ] ), ( [ ) ( 1 1 _u _old u m u m u u u old u p q p q p y y y q y p y

∑

= + = ≈ ≡

ρ

∑

∑ ∑

= = = − − + = m u m u n i _u _old u i i h u old u h

p

q

u

b

h

k

C

q

p

1 1 1 2 ) ( ] ) ( [ ) ( 2 1 ) ( 2 1 y y y y y

δ

∑

= = − + = nh i i i h m u u old u

h

k

w

C

q

p

1 2 1 ) ( 2 1 ) ( 2 1 y y y (2-10) 其中

∑

= − = m u i old u u i

b

u

p

q

w

1 ] ) ( [ ) (y

δ

y (2-11) 目標是找到最大的 Bhattacharyya coefficient

ρ

(y)。因為y_old與

ρ

(y)相互獨

立，所以在式(2-10)的前項，

∑

= m u u old u

q

p

1 ) ( 2 1 y ，並不會影響

ρ

(y)的值，會影響的

(20)

只有後項部分，因此令後項部分為

f

(y)：

∑

= − = nh i i i h

h

k

w

C

f

1 2 ) ( 2 1 ) (y y y (2-12) 將式(2-12)對 y 取梯度微分以找出峰值： ) ( ) ( 2 ) ( 2 1 2

h

k

w

h

C

f

i i n i i h h _y _-_y y -y y = ′ ∇

∑

= (2-13) 令

g

(

x

)=−

k

′(

x

)，可得： ) ( ) ( 2 ) ( 2 1 2

h

g

w

h

C

f

i i n i i h h _y_-_y y -y y

∑

= = ∇ [ ( ) ( )] 2 1 2 2 1 2

∑

= = − = h nh i i i i i i n i h

h

g

w

h

g

w

h

C

y -y y y -y y [ ( ) ( )] 2 1 2 1 2 2

∑

= = − = h nh i i i i n i i i h

h

g

w

h

g

w

h

C

y -y y y -y y

∑

= = =

×

=

h h h n i n i i i n i i i i i i h

h

g

w

h

g

w

h

g

w

h

C

1 1 2 1 2 2 2

]

)

(

)

(

[

)]

(

[

2 _y

_-

_y

y

-y

y

-y

y

-y

(2-14) 我們可把式(2-14)分為兩項，前項

∑

= h n i i i

h

g

w

1 2

)

(

y

-

y

部分是在 y 的機率分佈 值，其值為正，欲找出峰值，我們再令式(2-14)其值為 0。

0 )

(

=

∇

f

y

可由後項部分為 0 得到平均位移向量：

∑

= =

=

h h n i old i i n i old i i i new

h

g

w

h

g

w

1 2 1 2

)

(

)

(

y

-y

y

-y

y

(2-15)

(21)

平均位移向量會指向目標模型與候選模型相似度最大的方向，把

y

_old位置替換成 new

y

，一直重複以上步驟，由此即可藉由疊代的方法去逼近到最接近目標模型的位置。

2.1.5 平均

平均位移

平均

位移

位移演算法

演算法

演算法流程圖

流程圖

Initialize： Compute target model

Update new position Compute candidate model

By equation (2-11), compute weighting

By equation (2-15), Find new position

If Let (2-11) m u u

q

ˆ

}

₁_,...,

{

₌ old

y

h n i i

w

}

₁_,...,

{

₌ new

y

(2-15)

∑

= − = m u i old u u i b u p q w 1 ] ) ( [ ) (y δ y

∑

= = − − = h h n i old i n i old i i i new h g h g w 1 2 1 2 ) ( ) ( y y y y y y

{

p

ˆ

u

(

y

old

)

}

u=1,K,m ?

ε

< − old new y y Let YES NO new old y y = new old y y = 圖 2.1-2: 平均位移演算法流程圖

(22)

2.2 三維平均位移演算法

三維平均位移演算法

傳統平均位移演算法提供了一個快速且有效的追蹤方法。但因為是利用顏色作為樣本模型的因素，若是遇到畫面中有相同顏色的物體或背景時，此演算法的穩健度會大幅下降。然而微軟公司在 2010 年發表了新一代的感測器，Kinect 感測器，它是一個外形類似網路攝影機的裝置。Kinect 有兩個鏡頭，中間的鏡頭為 RGB 彩色攝影機，左右兩邊則分別為紅外線發射器和紅外線 CMOS 攝影鏡頭。利用紅外線發射器和紅外線 CMOS 鏡頭，可以及時得到物體的空間資訊，利用這新的空間資訊，區分出相同顏色不同物體的狀況，進一步增進演算法的穩定度。下面開始介紹三維平均位移演算法的演算過程。 2.2.1

三維

三維平均位移

三維

平均位移

平均位移演算法模型定義

演算法模型定義

以傳統二維的平均位移演算法的概念為出發點，不同的地方在於原本的方法是在 uv 平面上的二維追蹤，而三維平均位移演算法是轉換到在三維方向上 的追蹤。假設在 uv 平面上一點 x，

Z

_x為在 uv 平面中位置 x 由 Kinect 所得到的 該點在三維空間中的深度值，當有了 x 與

Z

_x後，就能藉由 Kinect 內部所提供的 API 轉換式

T

:

R

2 →

R

3，得到該像素在空間中的三維位置x₃_D，轉換的座標如圖 2.2-1 所示。圖 2.2-1: [11]uv 座標與 kienct 三維座標

(23)

接著定義候選區域的中心位置為y₃_D。目標模型的顏色資訊為 q，候選模型的則定義為p(y_3D)：

∑

= = = = m u u m u u

q

1 , , 1 1 } { K q

(2-16) 候選區域模型為：

∑

= = = = m u u m u D u D

p

1 , , 1 3 3 ) { (y )} K 1 p(y

(2-17) 接下來定義三維的模型表示。首先假設目標模型內的像素數目為 n， n i i 1, , * } {x = K 代表原本該像素所在 uv 座標軸的位置，而 _D_i _i ₁_, _,_n * , 3 } {x = K 代表轉換至三維空間中的位置，*表示目標區域的中央位置定義為 0。函數

b

:

R

2 →{1,K,

m

}_，且 ) ( *_i

b

x 代表屬於 uv 平面上該位置的像素的顏色量化至1 K, ,

m

個 bin，總共有 m 種顏色的 bin 值。目標模型的

u

=1 K, ,

m

的顏色機率表示式如下所示：

∑

= − ∑ = n i i i D D D u

C

k

b

u

q

1 * * , 3 3 3 (x , )

δ

[ (x ) ] (2-18)

∑

= ∑ = _n i i D D D

k

C

1 * , 3 3 3 ) , ( 1 x (2-19) 在式(2-18)與式(2-19)中，k₃_D(x*₃_D_,_i,∑)為一個三維的 Gaussian kernel function，

∑

為共變異數矩陣，其代表空間的機率分佈情況，最高的數值為物體在三維空間中的中央，而離中央點越遠的話則其值會越低。與先前演算法不同的是，之前的 kernel 方程式是為 uv 畫面中的二維座標，而新的 kernel 方程式則轉為空間中的三維座標，再藉由三維的 kernel function 算出機率值。因此候選模型的顏色機率表示式如下：

∑

= −

∑

− = nh i i p D D i D D h D D u C k b u p 1 * , 3 3 , 3 3 , 3 3 ) ( , ) [ ( ) ] (y y y

δ

x (2-20)

(24)

∑

= ∑ − = h n i p D D i D D h D k C 1 , 3 3 , 3 3 , 3 ) , ( 1 y y (2-21) 其中∑₃_D,_p為目標模型在空間中分布的共變異數矩陣，而 Gaussian kernel function 如下所示： 2 1 , 3 2 3 3 , 3 1 , 3 3 , 3 , 3 3 , 3 3 ) 2 ( )) )( ( ) ( 2 1 exp( ) , ( p D D i D p D T D i D p D D i D D k ∑ − ∑ − − = ∑ − −

π

y y y y y y (2-22) 利用目標區域在空間中的分佈情況為基礎，計算出新的機率分佈值。 2.2.2

演算法方程式推導

與傳統的二維平均位移演算法相同，三維的演算法同樣也是用 Bhattacharyya coefficient 來當作相似度量測的函數。目標區域與候選區域彼此間的距離定義為： ] ), ( [ 1 ) (y₃_D p y₃_D q d = −

ρ

(2-23)

ρ

為目標區域 q 與候選區域 p 的 Bhattacharyya coefficient。

∑

= = ≡ m u u D u D D p q 1 3 3 3 ) [ ( ), ] ( ) (y

ρ

p y q y

ρ

(2-24) 將

ρ

[p(y₃_D),q]利用泰勒展開式於

y

₃_D

=

y

₃_D_,_old展開，在疊代開始前，位置 old D, 3

y

代表上一張 frame 的目標中心位置

x

₃_D，疊代後，

y

₃_D,_old會隨著疊代出來的 new D, 3

y

做更新。

∑

∞ = = =

−

∂

=

0 , 3 3 3 3 1 3 3 [ ( ) ( )] ! ) ( ] ), ( [ ) ( ] ), ( [ 3 3 , n n old D D n D D n m u u D u D n q p D Dold

y

p

y

p

y

p

q

y

p

y

q

y

p

y y

ρ

[ ( ) ( )] ) ( ] ), ( [ ] ), ( [ ₃ ₃ _, 3 3 3 , 3 3 , 3 3 D Dold D D D old D D old D D y p y p y p q y p q y p y y y y ∂ − ∂ + ≈ = =

ρ

(25)

[ ( ) ( )] ) ( 2 ) ( ₃ ₃ _, 1 ₃ 1 3 , 3 3 , 3 3 old D u D u m u _u _D _u u m u u D u p p q p q q p old D D old D D y y y y y y y y + − = = = = =

∑

) ( ) ( 2 1 ) ( 2 1 , 3 1 1 3 , 3 old D u u m u m u D u u old D u p q p q p y y y

∑

= + = = (2-25) 將式(2-20)代入到式(2-25)，可得：

∑

= + = ≈ ≡ m u m u _u _D_old u D u u old D u D D p q p q p 1 1 ₃ _, 3 , 3 3 3 ) ( ) ( 2 1 ) ( 2 1 ] ), ( [ ) ( y y y q y p y

ρ

∑

= = = −

∑

− + = m u n i _u _D_old u i p D D i D D h D m u u old D u h p q u b k C q p 1 1 ₃ _, , 3 3 , 3 3 , 3 1 , 3 ) ( ] ) ( [ ) , ( 2 1 ) ( 2 1 y y y y y

δ

∑

= =

∑

− + = nh i p D D i D D i h D m u u old D u q C wk p 1 , 3 3 , 3 3 , 3 1 , 3 ( , ) 2 1 ) ( 2 1 y y y (2-26) 其中

∑

= − = m u i old D u u i b u p q w 1 ₃ _, ] ) ( [ ) (y

δ

y 在式(2-26)中，前項與y₃_D獨立，對y₃_D而言為常數，會影響

ρ

(y_3D)的只有後項部分，所以定義後項為：

∑

=

∑

− = nh i p D D i D D i h D D D C wk f 1 , 3 3 , 3 3 , 3 3 3 ( , ) 2 1 ) (y y y (2-27) 方程式對y₃_D取梯度微分以取得最大值：

∑

= − ₋ ₋

_∑

∑

− = ∇ nh i p D D i D D D i D p D i h D D D C w k f 1 , 3 3 , 3 3 3 , 3 1 , 3 , 3 3 3 ) ( ) ( , ) 2 1 ( 2 1 ) (y y y y y

∑

= −

₋

_∑

∑

−

=

nh i p D D i D D D i D i p D h D

k

w

C

1 , 3 3 , 3 3 3 , 3 1 , 3 , 3

)

,

y

(

)

y

(

4

(26)

]

)

,

(

)

,

(

[

]

)

,

(

[

4

1 , 3 3 , 3 3 1 , 3 3 , 3 3 , 3 3 1 , 3 3 , 3 3 1 , 3 , 3

∑

= = = −

∑

−

∑

−

×

∑

−

∑

=

h h h n i p D D i D D i n i p D D i D D i i D D n i p D D i D D i p D h D

k

w

k

w

k

w

C

y

(2-28) 可將式(2-28)分為兩項，前項

∑

=

∑

−

h n i p D D i D D i

k

w

1 , 3 3 , 3 3

(

y

,

)

部分是在

y

3D的機率分佈值，其值為正，為了取得峰值，我們再令式(2-28)值為 0。

0 )

(

₃ 3

=

∇

f

D

y

D 可由後項部分得到平均位移向量：

∑

= = ∑ − ∑ − = h h n i p D old D i D D i n i p D old D i D D i i D new D k w k w 1 , 3 , 3 , 3 3 1 , 3 , 3 , 3 3 , 3 , 3 ) , ( ) , ( y y y y y y (2-29) 當經過數次的疊代之後，最後將會取得收斂至位置y₃_D,_new的候選區域，也就是演算法最後估測出來的目標位置。在運算下一張的 frame 之前，這張 frame 跟上一張 frame 中的目標可能會有旋轉或是變形的情況發生，為了改善此情形，我們加入使用主成份分析法(Principal Component Analysis)，估測出此 frame 中目標在空間中新的分佈狀況。我們使用一個三維的橢圓球分佈來近似為目標的分佈，以此作為計算下一張 frame 中目標在空間中的分佈機率。在計算主成份分析之前必須先知道 frame 中的哪些像素是屬於目標的，因此我們會利用深度的不同來分離出屬於目標前景的像素與屬於環境背景的像素。 2.2.3

目標的深度範圍判定

在一般的情況下，當背景與前景有一定的距離時，利用深度資訊將可以有效地分離出前景與背景。首先，將所選取的目標搜尋範圍中的像素深度做出一個量

(27)

化的統計圖，如圖 2.2-2 所示，左邊為量化後的統計圖，橫軸為將深度 0~10 公尺的範圍分成 1024 個刻度，縱軸為屬於此深度的像素累加數目。決定目標深度範圍的方法為，從上一個目標位置y₃_D的深度開始，分別往淺和深的方向做搜尋，如果發現此深度刻度下的累計像素數目為 0 時，表示到達目標深度範圍的邊界，邊界由圖中的紅色線跟綠色線表示。右邊為在畫面中的深度表示圖，中央框住人體的黑色方框為所選取的目標搜尋範圍，黑色方框中的亮點表示屬於此目標深度範圍的像素，亮度的深淺表示顏色的機率分佈，所以只要是有亮度的地方，即表示此像素的三維空間深度落在目標深度範圍內，意指屬於目標前景。 200 250 300 350 400 450 500 550 600 0 500 1000 1500 2000 2500 3000 depth index p ix e ls 圖 2.2-2: [11]深度量化統計圖 / 深度範圍示意圖若是一開始要初始化的情況，則沒有之前平均位移所收斂而得的y₃_D，因此我們使用另一個方法求出目標位置的初始深度。

∑

∈ ∈

=

O O m

Z

x x x

1

1 (2-30)

其中

O

:

{x|x

∈

目標範圍中央

,

0

9

1 _>

x

Z

} 取 uv 平面中 x 屬於初始化目標範圍中央的

9

1

大小的矩形，假設在初始化過程中，越靠近中央的像素表示可信賴程度越高，另外要濾除掉 Kinect 得到的錯誤資訊的點，因為 Kinect 的深度資訊是利用紅外線 pattern 來做為深度偵測，但若是遇到反光嚴重，或者是深度距離太近時，紅外線偵測會有錯誤的情況發生，此時我們所量測到的深度值便會是 0，為了準確地估測出目標深度，必須濾除掉

(28)

錯誤點，如此一來，就能在沒有平均位移所收斂出來的y₃_D狀況下，找出目標的初始深度。

藉由上述方法就可以找出屬於目標深度的像素，接著即可利用主成份分析法來分析目標在空間中的分佈狀況。

2.2.4

主成份

主成份分析法

主成份

分析法

(Principal Component Analysis)

主成份分析法是一個常用的數學統計分析法，其結果是以新的互相不相關的變數來取代原有相關的變數，而此新的變數為原有變數的線性組合。所以說使用此法後可以得到一個線性變換，數據會經由這線性變換後轉換到新的彼此正交的座標軸，而所有數值投影的第一大變異數會在第一個座標軸上，第二大變異數會在第二個座標軸上，依此類推，這方法可以找出全部資料的分佈情形。其目的是希望用較少的變數去解釋原始資料，並獲取足夠的資訊。論文[10]中也提出使用這方法找出目標在 uv 平面上的分佈，由此推算出物體在平面上的旋轉與平移的情形。如今將此方法由二維的概念推廣至三維，同樣利用此法找出物體在三維空間中的分佈情況。 首先假設標準化矩陣(standardized matrix)S (S

∈

R

3)的共變異數矩陣∑為： STS h

n

1

1 −

=

∑

(2-31)

其共變異數矩陣∑的特徵方程式為： ∑

v

=

λ

v

(2-32)

解出特徵方程式(2-32)後可以得到特徵值

{

λ

_i

}

_i₌₁_,₂_,₃與特徵向量

{

v

_i

}

_i₌₁_,₂_,₃，其中最大特徵值所對應到的特徵向量代表最大的主成份方向，變異數經過投影後會為最大值，稱為第一主成份，而第二大特徵所對應到的特徵向量代表第二大的主成份方向，稱為第二主成份，同理最小的特徵值所對應到的特徵向量代表最小的主成份的方向，稱為第三主成份。如圖 2.2-3 所示。

(29)

圖 2.2-3: 主成份分析示意圖將目標物在空間中所有的分佈點代入主成份分析，在過程中會先得到共變異數矩陣∑與中心

µ

_PCA，這兩者即是為了計算下一張畫面時的∑₃_D_,_p與

y

₃_D,_old，利用上述兩者而得到的空間分佈狀況就是式(2-20)中的 kernel 方程式，

)

,

(

₃ _, ₃ _, ₃ _, 3D Di Dold D p

k

y

−

y

∑ 。

2.2.5 色彩

色彩空間表示法

色彩

空間表示法

RGB、HSV、YCbCr 都是一般常見的色彩空間表示法，但在追蹤目標物時，往往會因為照度(illumination)的變化而改變其色彩向量的數值，導致我們的追蹤演算法會有偏移情形產生，論文[10]提出使用 normalized RGB 的色彩空間表示式，定義如下：

B

G

R

B

b

B

G

R

G

g

B

G

R

r

+

=

+

=

+

=

,

(2-33)

其中 RGB 分別代表在 RGB 色彩空間中所對應的值，論文[10]中的實驗顯示 經由歸一化後的色彩空間比原本用 RGB 色彩空間追蹤，有更高的穩健性。

(30)

在三維平均位移演算法中，想要從 YCbCr 的方向著手，Y 為顏色的流明 (luminance)成份，Cb 和 Cr 則為藍色和紅色的濃度偏移量成份，一般而言，若一個物體的亮度改變時，應該只會有 Y 值產生變化，所以在建立色彩模型時，就特別對 Y 做處理，希望能有更高抵抗亮度變化的能力。定義模型 *

ˆ

_u

q

的顏色機率表示式如下：

ˆ

(

x

)

[

(

x

*

)

]

1 2 * 3

b

u

k

C

q

_i n i i D u

=

∑

−

=

δ

(2-34)

∑

=

_n i i D

k

C

1 2 * 3

(

x

)

1 (2-35)

         

−

+

−

+

=

)

,

2 (

ˆ

)

,

1 (

ˆ

2 ˆ

)

,

1 (

ˆ

2 )

,

2 (

ˆ

6

1

1 )

,

(

ˆ

* * * * * *

Cr

Cb

Y

q

r

Cr

Cb

Y

q

r

q

Cr

Cb

Y

q

r

Cr

Cb

Y

q

r

Cr

Cb

Y

q

u u u u u u

(2-36)

其中 *

r

是擴增比例，概念就是在每一個顏色中，把相同 Cb 和 Cr 且在 Y 附近的顏色機率一併增加，由此法就能在追蹤過程中，對於亮度的改變有一定容忍度的提升。

(31)

2.2.6 三維平均

三維平均位移

三維平均

位移

位移演算法流程圖

演算法流程圖

Compute target model

Update new position and compute

By (2-26), compute weighting

By (2-29), Find new position

If Let (2-26) h n i i

w

}

₁_,...,

{

₌ (2-29) Initialize：

Compute the depth of target and its depth range

PCA： Get

µ

_PCA Let m u u

q

}

₁_,...,

{

₌

=

q

m u D u D p 3 1,..., 3 ) { ( )} (y = y ₌ p old D, 3

y

new D, 3 y

∑

= − = m u i old D u u i b u p q w 1 3 , ] ) ( [ ) ( 2 1 x y δ NO YES p D, 3

∑

PCA：

Compute the distribution of target in the space Get ∑₃_D,_p

∑

= = ∑ − ∑ − = h h n i p D old D i D D i n i p D old D i D D i i D new D k w k w 1 , 3 , 3 , 3 3 1 , 3 , 3 , 3 3 , 3 , 3 ) , ( ) , ( y y y y y y old D D PCA =x3 = y3 , µ ? , 3 , 3Dnew −y Dold <

ε

y new D old D, 3 , 3 y y = PCA old D µ y₃ _, = 圖 2.2-4: 三維平均位移演算法流程圖

(32)

第三章

第三章目標模型

目標模型

目標模型的

的

的更新

更新

舊有的三維平均位移演算法的流程圖中，並無考慮追蹤的目標物發生旋轉而產生外觀顏色改變的情況(NMU)，因此我們需要一個能夠有效、迅速、準確的目標模型更新方式，來使得我們的目標模型能夠隨著追蹤的目標物，因為外觀的顏色產生改變來進行調適，進一步達成穩定追蹤的目標。

3.1 整體目標模型更新方式

整體目標模型更新方式

傳統的目標模型更新方法皆是建構在傳統的平均演算法上，也就是單純利用顏色機率模型來做線性加權進行調變。在論文[13]中，所使用的目標模型更新方式如下：

q

_t₊₁ =(1−

α

)

q

_t +

α

p

_t (3-1)

α

為模型更新速度因子。式(3-1)表示說我們當下這個 frame 的目標顏色機率模型，是由上一個 frame 的目標顏色機率模型和候選顏色機率模型進行簡單的線性加權後，所組合而來。由於是同時對整個目標模型進行更新，意指將其視為一個整體，此方法通稱為線性整體模型更新(LTMU)，通常

α

取 0.1 即可。由於這樣的更新方式表示說目標模型更新的速度至始至終皆為相同，因此在論文[17]中則採取了另外一種目標模型更新方式：

q

_t₊₁ =

N

_C[

q

_t +

e

−α(1−ρ)

p

_t] (3-2)

N

_C為正規化的係數，目的使得

∑

= + = m u t u

q

1 1 , 1。

ρ

為前面提過的 Bhattacharryya coefficient，表示目標顏色機率模型與候選顏色機率模型的相似度。此方法稱之為非線性整體模型更新(NLTMU)。由式(3-2)可以看出，在選定模型更新速度因子

α

的值之後，當相似度

ρ

越低時，候選顏色機率模型所佔的比例就會越小，意指在這樣的情況下，我們比較不相信候選顏色機率模型的值，比較偏向於保留原

(33)

本的目標顏色機率模型的值，也就是說，當相似度較低時，目標模型更新的速度就會變慢，相似度高時，目標模型更新的速度就會變快，最快的情況是目標模型與候選模型完全相同，此時目標模型與候選模型各佔下一個 frame 的目標模型的成份各半。

3.2 選擇性子模型更新方式

選擇性子模型更新方式

由於 LTMU 與 NLTMU 皆把目標模型當成一個整體去做更新，並沒有考慮到當在追蹤的過程中，目標顏色機率模型中每個顏色 bin 所代表的機率值其改變的速度並不全都是相同的，因此若將目標模型視為一個整體而去做整體性的目標模型更新，這樣的方式顯得過於粗糙，而且得到的追蹤結果可能逐漸偏離目標，若我們用這種逐漸不準確的結果去整體性地更新目標模型，往往會導致追蹤結果的不準確，因此論文[18]提出了應將特徵模型中的每個分量視為單獨的個體，也就是把各個分量皆視為獨立的子模型(sub-model)，然後再根據每個子模型的情況來進行更新，此方法稱之為選擇性子模型更新(SSMU)，方法如下所示。在基於 Bhattacharyya coefficient 的模型相似度函數中，由於特徵模型中每個分量是獨立的，因此模型相似度即為各個子模型分量的相似度的線性總和，所以在此我們先定義一個函數，匹配貢獻度函數(Matching Contribution Degree)：

∑

= = = _m u u u u u u u u q p q p q p MCD 1

ρ

(3-3) 其所代表的意思為每個子模型的相似度佔全部模型相似度的比重。接著說明該如何選取需要進行更新的子模型。首先利用 Bhattacharyya coefficient 來決定追蹤結果的準確性，如果相似度

ρ

小於一定程度，表示此次追蹤結果受到劇烈的干擾導致準確性不佳，意指會包含過多的錯誤資訊，所以不應更新目標模型，仍舊保留前一個 frame 的目標模型；若相似度

ρ

滿足一定要求，則根據我們所算出來的每個子模型的匹配貢獻度大小排序，前k個貢獻度較高的

(34)

子模型表示當前模型與目標模型是較為吻合，為了避免過度更新而造成目標模型偏移，因此這k個子模型予以保留，不進行更新，選擇剩下的m−k個貢獻度較小的子模型，表示當前模型中與目標模型吻合較差的子模型來進行更新：









<

=

≥

=

∑

=

γ

ρ

γ

ρ

,

)

(

min

arg

1

m

k

T

MCD

k

b u b u b

(3-4)

其中

γ

為模型相似度可靠性門檻，

T

_b

∈

[

0 ,

1 ]

為子模型更新比例，當

T

_b

=

0

時，可得

k

=

0

，表示全部

m

個子模型都要更新，此時等同於整體目標模型更新方式；當

T

_b

=

1

時，可得

k

=

m

，表示全部

m

個子模型都不需要更新，此時等同於不更新目標模型方式。在決定好選取哪些子模型要更新後，接著就是如何更新的方式了。更新的情況可分成五點討論： (1)

q

_u

=

p

_u

=

0

：表示候選模型和目標模型中均未出現該子模型，因此不需更新。 (2)

q

_u

>

0 ,

p

_u

=

0

：表示目標模型有的子模型在候選模型裡不再出現，這表示追蹤目標外觀發生變化的情況，此時需更新子模型，為避免模型對變化過於敏感，採用一定比例進行加權。 (3)

q

_u

=

0 ,

p

_u

>

0

：表示目標模型沒有的子模型在候選模型裡出現，這也表示追蹤目標外觀發生變化的情況，此時需更新子模型，並同樣採用一定的比例進行加權。 (4)

q

_u

>

0 ,

p

_u

>

0 ,

u

≥

k

：表示該子模型在目標模型與候選模型皆有出現，且其屬於貢獻度較高的

k

個子模型其中之一，所以不需更新子模型。 (5)

q

_u

>

0 ,

p

_u

>

0 ,

u

<

k

：表示該子模型屬於貢獻度較低的

m

−

k

個子模型其中之一，此時需根據其匹配貢獻度進行加權更新。

加入線上模板資料庫建構之三維物體追蹤平均位移演算法

國 立 交 通 大 學

電機與控制工程研究所

碩

碩

碩

碩 士

士

士

士 論

論

論

論 文

文

文

文