實作的流程

藉由燈光控

可以使物件與背景相區隔並獨立出來，在這樣的操作模式底下，影像像素的亮 度都是與系統的設定值作比較的。

圖 31. 影像辨識追蹤

1. 偵測物件動作

在影格上物件的移動是可以被偵測與量化的，這個系統使用了一個理論叫做＂影格 差距辨識＂，在這個技術上，每個影格上的像素都可以比對，例如 f1 這個影格中 的一個像素就會與緊接的下一個影格 f2 的像素做出比較，去偵測出兩個像素的顏 色與亮度的在這個特定位置上的移動變化量；這些變化可以被歸納成一組數值，可 以用來提供單一測量值給影格的移動量；準確的來說， ＂影格差距辨識＂這個演 算法依靠的是穩定的環境光，以及固定的攝影機。

(a)在webcam上所看到的視訊，在Jmyron可以調整追蹤物件的R.G.B值,可以偵測與 追蹤特定的顏色,但是必須在光線充足的狀況下。

(b)Jmyron追蹤一個物體，會隨物體的位置及大小變化，可以繪製出邊框，並且會 隨物體位置大小改變而產生變形。

(c)Jmyron追蹤兩個物體的情形，如果有兩個物體同時出現的時候，則Jmyron會辨 識成兩個物體,並且進行不同的追蹤。

(d)當兩個物體連結在一起的時候，電腦將其判斷為一個物體。

圖 32. 實作四個流程

(a) 量體堆疊，實驗開始可以進行實體量體的堆疊實驗，藉由手的動作移動特定實 驗區域的量體。

(b) 量體位置偵測，藉由手移動實體量體之後，在兩組webcam可視的範圍之內，可 以進行量體位置的偵測，藉由此偵測系統，可以直接輸入實體量體的相對座標進入 虛擬的環境中。

(c) 分析虛擬模型，當實體量體的相對應數值輸入到虛擬的環境中之後，就可以開 始利用虛擬的環境進行量體的分析，例如大小與座標以及相對位置。

(d) 訊息回饋裝置，當實體可以直覺的輸入數值到虛擬的環境中之後，就開始進行 虛擬回饋訊息到實體的量體上。

在實驗的操作過程中，發現實驗必須設置在光線亮度充足，以及色溫固定的環境底下，

才可以設定程式抓取固定範圍的R.G.B值；如果環境設定條件不夠穩定，實體與虛擬的 對應會出現不穩定的狀態，所以虛擬的方塊會消失不見，或是處於跳動的狀態；所以在 實驗進行之前，都必須先經由一連串的測試與調整程式才可以使系統正常的運作； 於 程式的改善方法為捨棄環境的嚴格設定，轉而去撰寫一部份的程式，辨識方塊上的色

，即時更改程式裡的R.G.B數值，這樣不管實驗環境如何變動，都可以增加抓取的準 確率

4.1. 3D 位置偵測

在

塊

。

2 量體

圖33. (R.G.B) 位置追蹤系統架構

(a) 藉由影像追蹤系統，將影像分析成(R.G.B)不同的數值

(b)藉由不同兩組的Webcam將追蹤(R.G.B)數值演算成（X,Y）與（Z）座標位置。

(c)設置兩台電腦分別處理（X,Y）與（Z）座標位置,然後利用網路將server端提供

二度的量體位置偵測，只需要一組webcam就可以達成，如果要達到3D的空間位置辨識，

則需 一組負責X,Y向度，另一組負責Z向度，Z向度的數據經

給 client端(z)軸數據。

(d) 根據（X,Y）與（Z）座標位置，可以在3D環境裡模擬呈現立體的虛擬量體 。

要兩組webcam 來進行操作，

由網路傳到另外一端同時控管X,Y向度的伺服端，藉由這一台電腦，可以將X,Y,Z這三組 數據

(b)在平面上放置具有方位標記的方塊，方塊的每ㄧ面都具有此標記,以利webcam 可以進行偵測。

＂Webcamxtra＂中影像分析與追蹤的外掛模式，用來偵測物體上不同影像色彩

偵測在webcam裡面所抓取特定色塊的位置。

供的數據，伺服 的電腦分析組合此兩組數據，就可以模擬實體方塊對應於虛擬空間的三度位置。

對應到虛擬的方塊上面，讓實體的方塊可以跟虛擬的方塊對應。

(a) (b)

圖34. WEB-CAM 影像追蹤流程圖

(a)在固定的桁架上面分別架設兩組webcam，一組放置在實驗平台上的(X,Y)平面正 上方，另一組則放置在平面(Y,Z)平面的左方，則實驗者利用左手操作實體方塊。

(d) (c)

(c) 再這一階段進行直覺性的實體量體堆疊；在程式語言(wiring)的架構之下,加 上

(R.G.B)此特定的範圍，利用偵測此數值範圍,可以抓取出影像特定的位置,這樣可 以進一步可以用來

(d) 在兩組電腦中分別安裝一組webcam,一組電腦設置為伺服器端，另外一組為客 戶端；這兩組電腦利用區域網路來連結，這兩組電腦分別都裝置上webcam用來偵測 方塊位置的數據,伺服器端的電腦可以接收客戶端所傳送過來的方塊位置數據，可 以分別追蹤實體模型在空間中(X，Y)與(Z)的數值，透過兩端所提

端

過程中所用的webcam本身不具有穿透物質辨識的能力，如果兩組的webcam不能夠同 取對應的R.G.B色塊，那方塊就不能夠準確的出現，所以系統只能顯示出實體方塊 個面向，也就是webcam可辨識的面向，所以當實體方塊堆疊的時候，系統沒辦法對 藏於後面的方塊。

實驗 時抓 的兩 應隱

4.1.3.虛擬量體的分析

圖35. 旋轉與運鏡功能圖

(a)虛擬環境是建立3D環境架構之上，所以在虛擬的呈現方式上也以透視的方式來 表現，這樣可以方便設計者快速的瀏覽與檢視虛擬的模型，不會產生像實體模型一 般的視覺上的死角。

(b)虛擬的環境除了透視的方式來檢視模型之外，本實驗還設置了放大與縮小的功

)順時鐘旋轉也一樣根據滑鼠的指標位置作對應，往左就是順時鐘旋轉；如果滑 能，這樣可以方便檢視虛擬模型上所提供的不同分析數據；本實驗利用滑鼠指標在 視窗上的位置 與虛擬視角的遠近作對應，游標往上代表放大，游標往下代表縮小。

(c

鼠是往左上移動，則代表同時放大與順時鐘旋轉模型。

(d)逆時鐘旋轉

圖 36. 虛擬方塊方位辨識流程

(a)根據上步驟，虛擬模型根據實體模型可以提供不同的分析資訊，這些分析的資 訊同樣根據此套視覺辨識系統的架構，顯示數值的方式是數據會直接依附在虛擬的 方塊上面，同時出現與消失都會與虛擬的方塊同步進行。

會把這兩個正方形量 體視為一個量體，在虛擬的量體則會顯示出一個長方體的量體，但是如果兩個量體 是相互分開的，則電腦會分別辨識這兩個量體，各自顯示這兩個量體的數值。

(b) 虛擬量體數值大小的顯示；當單一的實體量體在辨識系統的操作下，電腦會根 據及時的實體量體的邊緣來辨識其量體的大小，當兩個量體出現時，則電腦會去判 斷兩個量體的相對關係，如果兩個量體相聯結在一起，則系統

(c)用手移動模型。

(d) 如分析實體 3D 位置，在虛擬的環境中，會先設定一個對應的圖面，圖面依照 實體平面相同的比例與大小來繪製；在實體方塊位置經過視覺辨識之後，就會在由 框線所組構的虛擬的方塊中顯示其三度空間的位置數值。

量體 色塊

用 webcam 去偵測色塊的中心點，如果面積小這樣可以減少誤差值，進而增進位置的準 確度。

圖37 .虛擬方塊大小即時辨識流程

位置的辨識，主要的方法是利用貼附於量體上的色塊來進行定位，利用不同顏色的 去分辨出不同的實體方塊，會盡量讓色塊的面積越小越好，原因是辨識的方式是利

圖38 .實體方塊測量大小系統圖

(a)實體模型在webcam裡面可以進行立即的辨識，並將辨識數值傳到虛擬的3D模 型，電腦依照此數據可以繪製相對應的3D量體模型。

(b)在虛擬的環境中，電腦會立即將偵測的數據顯示在虛擬模型(X)與(Y)邊，然而 (Z)軸的數據則等待另外一台電腦的SERVER端所要傳遞過來的資料才能進行完整的 3D量體繪製。

(c) 第二個實體方塊置入偵測的範圍之內。

(d) 兩個實體量體互相堆疊時在虛擬環境中所呈現的狀態。

方塊大小的測量方式，主要是利用 webcam 去辨識方塊白色部份的數值，也就是實體方 塊長與寬的兩個邊緣，再把數值換算成實體方塊的大小。

在辨識的狀態之下，由於都是用手去移動實體方塊，當手跟隨方塊一同進入辨識範圍 時，方塊的數值就會暫時的失去準確度，當手移開之後，等待 webcam 重新辨識之後，

才會再度恢復準確的數值。

4.1.4.虛擬量體訊息回饋裝置

(a) (b)

圖39. 訊息回饋流程圖 ^(c)

(d)

(a)在系統的設置上，指標藉由滑鼠來控制在虛擬環境上的位置。

(b) 當指標尚未接觸到虛擬方塊上的量體上時，LED是呈現關閉的狀態。

(c) 針對上步驟必須在許多量體中點選特定方塊，此步驟將完成特定虛擬量體對於 實體量體的訊息回饋;在Wiring控制Wiring I/O board的架構下，當Webcam偵測到 實體方塊並且在Wiring視窗裡顯示出虛擬的量體時，系統開始分析虛擬方塊位置的 中心座標，並且依照上一步驟系統所分析出來量體的大小 ，加以畫出虛擬方塊在 畫面上所佔據的範圍。

(d) 這時在當滑鼠經過其中一個虛擬量體範圍時，電腦可以依照虛擬方塊位置辨識 的坐標，往回推論與虛擬模型相對應的實體量體；當滑鼠去指定特定虛擬量體時，

將會傳送訊號到實體模型中，實體模型接收量體傳送不同的訊息可控制LED燈的開 關 ; 這樣可在指定特定虛擬模型的同時，相同3D位置的量體模型會與之相對應，

當兩者互相對應的同時，實體量體會發出燈光讓設計者感知到。

在進行虛擬方塊回饋訊息給實體方塊的時後，回饋時產生LED所產生的亮光會影響 Webcam R.G.B抓取的範圍，會造成虛擬方塊短暫位置失去準確度；所以在方塊上的色塊

會選擇與亮光色彩有相當差距的，避免辨識上的不準確。

對應虛擬模型 3D環境裡面的位置與量體大小，利用這樣的3D定位與分析模式，可以進 行實體與虛擬量體同步的量體的互動堆疊遊戲。

4.2 操作與設計

本研究目的是提供一個虛實互動的平台，給與設計者去操作以及建立 3D 模型，幫

本研究目的是提供一個虛實互動的平台，給與設計者去操作以及建立 3D 模型，幫