1915 年 弗雷斯格爾發明了“Rotoscope”技術,可以看成是動作捕捉的原始形 式,以手工捕捉出來。
攝影機連續拍攝物體的動作,並將圖像序列保存下來,然後再進行分析和處理,
識別其中的光點,並計算其在每一瞬間的空間位置,進而得到其動作軌跡。為了 得到準確的動作軌跡,要求攝影要有較高的拍攝速率,一般要求達到每秒 60 幀 以上。
目前光學式動作捕捉主要分成兩類:主動式動作捕捉技術和被動式動作捕捉 技術。他們的工作原理都是一樣的,不同的地方就是:被動式動作捕捉系統所使 用的跟蹤器是一些特製的小球,在它的表面塗了一層反光能力很強的物質,在攝 影機的捕捉狀態下,它會顯得格外的明亮,使攝影機很容易捕捉到它的動作軌 跡。但是主動式的動作捕捉系統所採用的跟蹤點是本身可以發光的二極體,它無 須輔助發光設施,但是需要供給能源。被動式動作捕捉的攝影機在鏡頭的周圍是 一些會發光的二極體,Marker 正是把這些二極體所發出的光反射回到鏡頭裡,
在每幀圖像中形成一個個亮點。主動式動作捕捉所需要的攝影機則不用本身帶有 發光的功能。
圖 2.1 光學式動作捕捉系統示意圖
2.1.3 光學式動作擷取系統用於擷取動作的發展趨勢以光學式動作擷取系統用於擷取動作的發展趨勢以光學式動作擷取系統用於擷取動作的發展趨勢以光學式動作擷取系統用於擷取動作的發展趨勢以 SOWT 分析結果分析結果分析結果分析結果
2.2 視覺式體操動作辨識系統視覺式體操動作辨識系統視覺式體操動作辨識系統(Vision-based Gymnastics Motion Recognition 視覺式體操動作辨識系統 System)
一般對影像的處理及分析,首先是利用「物體追蹤」(object tracking)的技術 來追蹤動態物體,一旦我們追蹤到物體,就可以做進一步的肢體動作分析。而目 前的物體追蹤是透過比對連續影像間物體的相似度來完成,於是物體特徵的擷 取,相似程度的判別,目標物的搜尋,都涵蓋在此議題中。
目前物體追蹤的方法可概分成四類:區域式追蹤 (Region-Based Tracking) 、 主動式輪廓追蹤(Active Contour-BasedTracking) 、特徵追蹤 (Feature-Based Tracking) 、以及模型追蹤 (Model-BasedTracking)。
2.2.1.區域式追蹤區域式追蹤區域式追蹤區域式追蹤 (Region-Based Tracking)
假設影像變動的區域即為目標物的位置, 藉著偵測這些變動區域的位置來 追蹤目標物。通常利用目前的影像與背景相減來偵測出變化的區域,然後再進一 步的設立規則做篩選,合併,或劃分。McKenna 等人設計了一種可調性背景相 減法(adaptivebackground subtraction),針對人與人群做追蹤,其追蹤層級由小 而大可分為三個層次:區塊(region)、人(people)以及人群(groups),而每一 個層次都可以再依照區塊色彩和表徵特性來進行合併或分解,可以達到追蹤單人 或多人的效果。此方法有其缺點,除了無法可靠地解決物體合併的問題,無法取 得物體的 3D 動作外,對於雜亂有變動的背景亦不適用。
2.2.2 主動式輪廓追蹤主動式輪廓追蹤主動式輪廓追蹤主動式輪廓追蹤(Active Contour-Based Tracking)
此方法是用輪廓線(contour)來描述移動的物體,並利用輪廓線的改變進行 追蹤。此方法的好處在於更有效率,且降低了複雜度,由於輪廓線是封閉曲線,
即使物體交錯,也較容易解決。但其缺點仍然是缺乏 3D 的資訊,無法進行三度 空間上的追蹤,且此演算法的追蹤效果對於初步輪廓的偵測或選取非常敏感,故 較難用於全自動的偵測追蹤系統。
2.2.3.特徵追蹤特徵追蹤特徵追蹤特徵追蹤(Feature-Based Tracking)
本方法是利用物體的特徵來進行追蹤,首先針對要追蹤的物體擷取特徵,這 些特徵可分為三種:整體性特徵(global feature-based),如重心、色彩、面積等;
局部性特徵(local feature-based),如線段、頂點等;相依圖形特徵
(dependence-graph-based),如特徵間的結構變化等。當影像中目標物的低階特徵 擷取出後,即可匯集成更高階的特徵資訊,利用比對連續影像間的高階特徵來追 蹤該物體。
此方法可以用來即時追蹤多個物體(相依圖形特徵的方法除外),利用運動特 徵、局部特徵或相依的結構特徵來解決物體交錯的問題,但是使用運動特徵的方 法穩定性不高,而使用局部特徵的方法則比較耗時費力。此演算法的另一缺點 是,用 2D 影像對物體的辨識度並不高,且通常無法還原出物體的 3D 資訊。
2.2.4.模型追蹤模型追蹤模型追蹤模型追蹤(Model-Based Tracking)
模型追蹤的方法將會提供較精細與準確的判斷,因此需要良好的物體結構模 型,可加入物體本身的運動特性,本質上,比較不受附近背景或其他物體干擾的 影響,也較能對抗物體間交錯問題,但相對地運算量也比較大。通常模型追蹤的 方式分成主要三步聚:(1)建立物體模型,(2)建立運動模型,(3)搜尋和比對。
(1)建立物體模型:以人為例,建立人形的姿勢結構模型,如棒狀圖形(stick figure) 所構成的人形。目前有愈來愈多研究偏向建立 3D 的 model,因為 2D 影像 型所需要蒐集的資訊。常用 Kalman filtering、Dynamical strategies、Taylor model strategies、Stochastic sampling 的技術。搜尋和比對的主要程序包括預測(predicting) 物體的下一個狀態以縮小比對範圍,以及根據誤差更新(updating)系統的內部參 數。針對比較複雜的情況下,使用 Levenberg-Marquardt algorithm[9]的技術來解 決多參數的問題。另外,針對減少背景干擾的問題,Markov chain、Monte Carlo[10]、Genetic algorithms、condensation [11][12]等為常用的方法。
模型追蹤的方法與前三者方法相比,有幾項主要優點。由於此演算法從影像 中所取得的即為 3D 資訊,故不需再多加處理。利用先前的 3D 資訊,可整合做 為判斷下一個動作的根據,故即使物體互相交錯,也能準確地判斷。另外,此演 算法在物體動作變化很大時仍可應用。