第一章 簡介
1.1 相關研究
指向系統的相關論文裡，在找出使用者指向的方法中，大致上可以分為兩 種：(1) 使用傳統三維重建的方法，(2) 使用特殊的影像分析與重建。在第一種 方法中，系統至少需要兩台以上的攝影機，而且每台相機都經過校正獲得相機的 內外部參數[1]，接著再以內外部參數作為系統的基礎運算找出指向點。而第二 種方法裡，則是使用一些特殊影像處理的方法，利用深度影像的資料或是利用影 像對應點的關係對應，從單張或多張影像中求得指向物的三維座標，再計算出指 向點的座標。
在本節中，我們將選出幾篇與指向系統相關的研究論文作介紹，藉由這些介 紹我們可以瞭解到其他作者使用到什麼技術來找出指向點，以及他們將指向系統 做了哪些應用。
1.1.1 使用傳統三維重建方法找出指向
使用這種方法找出指向的系統，都至少需要兩台以上已經校正好的相機，以 取得其內部參數跟外部參數。而這種方法中，使用相機的內外部參數來實作系統 的方法也有許多種，例如直接使用內外部參數重建指向物的三維座標、使用內外 部參數作為數學運算式推導過程的數值等。因此，我們選了三篇使用內外部參數 但是實作方法不同的論文在這一小節內作介紹。
例如 Y. P. Hung et al.[2]便利用 IIS（Institute of Information Science）head 這 個已經校正好的立體視覺系統，使用三維重建的方式達到重建指向點的目的。在 這個系統中，他們提供(1) 指尖跟手掌中心的連線以及(2) 指尖跟眼睛的連線，
這兩種方法給使用者進行指向的動作。圖 1.1 是他們系統的示意圖，其中顯示了 系統將使用者的指向點繪在投影布幕上（布幕上 3D 下的一個紅點）的結果。我 們也可以同時由圖中發現，左側用來拍攝使用者指向的 IIS head 的體積龐大，幾 乎與人身高相仿，而且機器必須很靠近使用者用以得到清晰的手指影像，因此在 使用上仍會有所不便。
圖 1.1 使用三維重建為基礎的指向系統示意圖
Y. Yamamoto et al.[3]則是在房間中天花板的四個角落架設照相機，拍攝俯視 角度的影像後，再使用一套已經研發完成並且校正過的 Ubiquitous Stereo Vision
（USV）系統，從這些俯視角度的影像中，利用一些三維的資訊求出使用者手臂 及頭部的方向、重心位置、朝向角度等資訊，接著再利用這些資訊算出使用者手
臂的水平延伸方向、垂直延伸方向，用此兩個方向求出使用者指向的方向。而他 們也利用這個指向系統完成電視控制的應用，可以以手臂的指向來控制電視轉 台、音量調節、開啟關閉。
而 C. Colombo et al.[4]也使用了兩台以上校正過的相機來建構一個指向系 統，圖 1.2 是他們系統的示意圖，πs為指向平面、 L 為指向線。他們推導出每個 影像平面πi上的指向線: l ，跟指向點i P 都具有一個限制條件: s liTHPs =0， H 為
πi與πs間的平面投影矩陣，而藉由這個限制條件以及已知的內外部參數，可以 推導出P 的座標，也就得到了指向點的位置。 s
圖 1.2 [4]中使用到的幾何關係示意圖
1.1.2 使用特殊的影像分析與重建找出指向
這類方法不同於使用傳統三維重建的方法，僅需要從多張影像的資訊中，利 用一些影像處理的技巧，擷取、計算出使用者的指向物的三維資訊，便可以再進 一步計算出使用者的指向。
例如 E. Hosoyam et al.[5]，他們提出了一個在立體空間中，指向空間裡的機 器會執行相對應指令的指向系統，他們不是利用三維重建的方式來達成這個目 的，而是利用深度影像（depth image）的輔助，從二維影像中的座標，反推得到 使用者手臂重心跟肩膀的三維座標，再以此三維座標求出使用者是指向哪個方 向、哪個機器，繼而做出相對應的指令。這個系統需要先記錄哪些位置有什麼機 器，而且同一個區域裡不能有太多的機器、機器也不能重疊，否則會讓系統無法 找出使用者指向的目標機器，這部分是提供給使用者應用上比較受限制的地方。
在 M. S. Lee et al.[6]的提出的指向系統中，他們使用兩台相機，並且提出了 兩種方法給使用者進行指向給使用者進行指向：(1) Peek Thru Configuration、(2) Direct View Configuration。第一種方法是將兩台相機架設在目標平面（target plane）上，直接拍攝使用者正面的影像；第二種方法則是將相機架設在使用者 左右兩側的斜後方，各自拍攝使用者側面以及目標平面的影像。第一種方法可以 提供使用者操控電視轉台的應用，第二種方法則可以實作簡報系統。而這兩種方 法都使用了 homography 的方式，利用影像平面跟目標平面上的四個特徵點對應 關係，從影像平面上使用者的眼睛以及指尖位置計算出眼睛以及指尖在目標平面 上的位置，進一步找出指向點。這個系統比較困難的部分在於使用者眼睛跟指尖 的追蹤。這篇論文在使用到 homography 這點上與本論文實作的系統相同，相異 處除了指向物的選擇不同外，更重要的是兩者選用的參考平面不一樣，這篇論文 直接使用目標平面作為影像平面的參考平面，而我們則是利用三維空間的另一個 平面作為參考平面；同時本篇論文只利用了在參考平面上線的交點當作指向點，
我們還引用了三維空間平面相交的概念來求出指向點。因此，本篇論文與我們的 系統在實作上還是有很大的差異存在。