第二章 系統建置
2.2 系統運作
在上節中，已介紹了在本篇論文中所用到的配備。在本節中，我們將完整的 介紹系統的運作流程。簡略流程如圖 1.1 所述，而底下就針對這三部分分別作探 討。
2.2.1 影像擷取
在實驗場所中的兩台 PTZ 攝影機分別取得視訊訊號後，便將之傳送至影像擷 取卡的兩個連接埠（port）。從表 2.1 可知，影像擷取卡的畫格速率（frame rate）
為每秒 30 張，即 30fps，所以若系統只有執行影像擷取的部分，則每個連接埠每 秒約會傳送 30 張影像。圖 2.4 是當僅執行影像擷取程式時，於一秒鐘的時間之 內，兩連接埠與使用的影像畫格緩衝區（frame buffer）的紀錄檔。在圖 2.4 中我
們觀察到，使用中的兩個連接埠，各自有兩塊影像畫格緩衝區（連接埠 0：
54165504/56066048，連接埠 1：57966592/59867136），而同一個連接埠，其影像 畫格緩衝區是會輪替使用的。但兩個連接埠並非一定是交替使用，有可能會發生 連續取同一個連接埠上的影像（如：編號 150/151，171/172）。從連接埠得到的 影像會放在其中一塊影像畫格緩衝區。在系統運作中我們是利用 callback 的方 式，意即當某一畫格緩衝區滿的時候，會產生中斷（interrupt），告知系統可取得 此畫格緩衝區的資料，也就是我們的影像，最後我們再利用影像擷取卡所提供的 函示庫，即可取得影像。
圖 2.4 是系統只有執行影像擷取的情況，但當執行所有系統程序時，如圖 2.5 所示，每秒每個連接埠平均約只有 10 張影像，雖然如此，其速度大致不會影響 整個系統的運作。
圖 2.4 僅僅執行影像擷取程式時，一秒鐘的時間，兩連接埠與使用的影像畫格緩衝區的紀 錄檔。其格式自左至右為編號、時間、連接埠編號、影像畫格緩衝區的記憶體位置。
圖 2.5 執行所有系統程序時，一秒鐘的時間，兩連接埠與使用的影像畫格緩衝區的紀錄檔。
2.2.2 指向物追蹤辨識
在上一小節中，我們所擷取到的影像是 RGB24 的彩色影像，而因為我們希 望不要受到光線太多的干擾，所以我們將之轉換至 HSI 色彩模型（color model）， 將色調（hue）、飽和度（saturation）、亮度（intensity）三者分離。而因為我們是 利用特定顏色（紅色）的紙張來做辨識，所以我們可以事先量測該顏色在影像上 所呈現出來的 HSI 範圍，進而當作我們已知的條件來使用。由於實驗環境與[9] 相 同，故根據[9]得知，在不同的光源下，量測到 HSI 的範圍約分別為（340°～20°）、
（0.5~0.9）、以及（0.35~0.7）。而因為我們希望所有指向物在影像上的點皆能夠 盡量被保留，所以我們放寬條件限制，將色調的範圍設定在（300°～40°），飽和 度的範圍設在（0.2~1.0），亮度的範圍設定在（0.3~1.0）。
接著我們設一門檻值，將影像二值化，以圖 2.2 為例，二值化後的影像如 圖 2.6 所示。由於雷射筆在影像上的像素應該是不間斷的，所以先利用連接物體 標記（connected components labeling）的方式，將影像中所有不間斷的區塊分別
記錄下來。我們觀察指向物在形狀上有兩項特性，（1）筆直且非彎曲的物體、（2）
長寬度比例必須使整體呈現細長型。利用這兩項特性，將所有不間斷的區塊做篩 選，符合此兩項特性的區塊中，取體積最大者，即可選出包含有指向物的區塊。
圖 2.7 就是在這一連串步驟後，從圖 2.2 中找到包含有指向物的區塊。
圖 2.6 將圖 2.2 先轉至 HSI 色彩模型，再作二值化後的結果。
接著，我們利用主成份分析法（principal components analysis，簡稱 PCA）
[10]，求出代表此區塊內所有資料點間關係的共變異數矩陣（covariance matrix）， 再於特徵向量分解（eigenvector decomposition）後，選取特徵值（eigenvalue）
較大者所對應的特徵向量（eigenvector），作為指向物在影像上的朝向。因為此 朝向可以用直線方程式來表示，所以我們只需要記錄在朝向線上的兩點即可。其 作法是紀錄朝向線與區塊邊界的交點，如以圖 2.7 為例，即找出的朝向線與綠色 bounding box 的兩個交點，我們以{ILS,ILE}、{IRS,IRE}來分別表示左右兩影像的 兩交點。指向物追蹤辨識的流程圖，整理於圖 2.8。
(a) (b)
圖 2.7 從圖 2.6 找出指向物，並將之標示出來。
圖 2.8 指向物追蹤辨識流程圖。
2.2.3 指向點重建
至此我們得到指向物在二維影像中的位置，接著則需要將這二維座標轉換至 三維空間座標系中，我們利用的是投影幾何轉換（homography）的方法。首先我 們選取兩攝影機視角照得到的地面為參考平面（reference plane），且分別事先算 好各影像平面（image plane）上四點與參考平面對應四點的轉換關係，如圖 2.9 所示，如此我們就能夠計算出指向物投影在參考平面上的座標，並分別以
} ,
{R R 、{R ,R }表示在左右影像上，指向物的直線上兩點，投影在參考平 Input Images
HSI Color Extraction
Thresholding to Binary Image
Connected Component Analysis
Laser Pen Recognition
Principal Component Analysis
Pointing Line
面上的座標。然後分別各自再跟相機中心CL、CR交出兩平面π 、L π ，最後這R 兩平面再與投影布幕π 三平面共同交出一點，這點即代表我們的指向點，指向P 點重建步驟與更詳細的討論，可見第四章。
圖 2.9 影像平面與參考平面轉換示意圖。