行政院國家科學委員會專題研究計畫 成果報告
具有多重解析度之背投影式桌面顯示系統
計畫類別： 個別型計畫 計畫編號： NSC93-2622-E-002-005-CC3 執行期間： 93 年 05 月 01 日至 94 年 04 月 30 日 執行單位： 國立臺灣大學資訊工程學系暨研究所 計畫主持人： 洪一平 計畫參與人員： 蔡玉寶、廖守鈞 報告類型： 精簡報告 處理方式： 本計畫為提升產業技術及人才培育研究計畫，不提供公開查詢中 華 民 國 94 年 8 月 1 日
國科會補助提升產業技術及人才培育研究計畫成果精簡報告
學門領域：資訊工程二
計畫名稱：
具有多重解析度之背投影式桌面顯示系統
計畫編號：NSC 93-2622-E-002-005-CC3
執行期間：93 年 05 月 01 日 至 94 年 04 月 30 日
執行單位：國立臺灣大學資訊工程學系暨研究所
主 持 人：洪一平
參與學生：
姓 名
年 級
(大學部、碩士
班、博士班)
已發表論文或已申
請之專利
(含大學部專題研究
論文、碩博士論文)
工作內容
蔡玉寶
博士班
相關影像處理演算法之研發
廖守鈞
碩士班
程式撰寫及系統測試
合作企業簡介
合作企業名稱：宜昇科技股份有限公司
計畫聯絡人：蔡育良
資本額：
67,836,720 萬元產品簡介：顯示器自動調整設備、AOI 光學檢測產品、PanoServer360 度環
場影像監控系統
網址：
http://www.eerise.com.tw/
電話：(02)2914-5762
研究摘要(500 字以內)：
受限於技術與價格的關係，目前個人顯示器的解析度仍無法太高，也因此使得必須 切換視窗或調整解析度才能觀覽、編輯大尺寸文件(例如：繪製平面圖)或同時使用多個 參考文件(例如：多文件之間進行比較)，就如同在一張小桌子上要閱覽一堆文件或一張 很大的地圖。本計劃的目的在於建置一個較低成本且具有超大使用桌面的個人顯示系 統。在我們所設計的系統中，我們利用兩台投影機來提供一個具有多重解析度的顯示幕， 而且我們的方法可以很容易且直覺地延伸到多台投影機的情況。在此計畫之實作中，兩 台投影機係以背投影的方式來投射影像，其中一台投影機投射整個桌面的內容，以提供 使用者一個較低解析度的整體概觀或文件之間的相對關聯；而另一台則以較高解析度來 投射桌面中使用者專注的工作區部份──使用者可以將其所關注的內容拖曳到高解析度 工作區中顯示。利用此多重解析度之機制，我們可以使一個大型桌面顯示系統在低成本 與高解析度的需求之間達到一個較佳的平衡點。本計劃的研究重點除了包含整體系統的 設計與建置之外，也進一步藉由相機觀測來進行投影幕的自動幾何校正與自動色差校正。人才培育成果說明：
透過本計畫之執行，提供了一個良好的機會給予學術界與產業界合作培育優秀的人 才，更可以提升產業技術。在學校方面，可以使得參與計畫的研究生得以實際接觸到產 業界的需求，而不只是純粹作理論上的研究。此外，更可以與宜昇科技公司的研發人員 討論，獲得系統整合與實作經驗。此一計畫讓參與的研究生學習到許多電腦視覺、影像 處理及色彩學方面的知識，並經由實作來體會其中的困難。在計畫執行過程中，參與學 生透過了解問題與困難之所在，進一步分析此問題，再利用以往所學到的理論將困難解 決。同時，宜昇科技的研發人員亦可透過與學校研究團隊的共同討論，培養更深一層的 理論分析與系統設計能力。技術研發成果說明：
本計畫的主要成果可以分為兩個部份：（一）系統硬體設計；（二）多台投影機之自 動校正方法。 （一）系統硬體設計 本計劃中，我們利用兩台投影機來建置多重解析度的顯示系統。為了讓系統更具 實用性，我們採用背投影方式來避免使用者在使用本系統時會遮蔽到顯示內容的問題。 圖一為此多重解析度機制的簡化示意圖。硬體設計上的考量是希望整個系統的體積必須 越小越好，但是投影機的投射路徑必須夠長或者是投射角度要夠大才能產生足夠的投射 範圍，並且必須考量到投影機之間互相遮蔽或干擾的問題。如果採用足夠廣角的投影機 則可以採用比較簡單的架構，如圖二所示。由於背投影電視產業的蓬勃發展使得更多的 廣角投影機被發展出來，因此廣角投影機也變得相當容易。而如果無法找到一個足夠廣 角的投影機，我們可利用鏡子來折射投影機的投射方向，使得投影機具有足夠的投射路 徑可以投射出較大的投影範圍，如圖三所示。在我們的實作中，兩台投影機是由一台個 人電腦所控制，我們採用支援雙輸出的圖形顯示卡來連結投影機，其中提供高解析度的 投影機會直接將內容投射在投影幕上，而另外一台則可依投影範圍需求決定是否使用鏡 子折射後投射在投影幕上。在投影顯示桌方面，我們設計一張高度約 70 公分，並且桌 面大小約 50 吋的桌子，如圖四所示。為了能夠因應更多不同的應用，因此在背投螢幕 上的選擇，我們採用的是 GAIN 值為 1.0 的材質，讓投射出來的光能夠更均勻往各方向 散佈，而得到更寬廣的觀看視角。而在投影機方面，我們選擇了 Lumens 投影機作為低 解析度部分的投影，由於 Lumens 具有較為廣角的鏡頭，故不需藉鏡面反射來增加投射 路徑便可得到一較大的低解析度投影區域，而另外我們選擇 PLUS U5-132 投影機作為 高解析度部分的投影，圖五所示為兩台投影機實體的照片。此顯示系統的上方係用來架 設一台 PTZ 攝影機，如圖六所示。此攝影機具有非常多的用途，例如：從事投影機的 自動校正、作為人機互動的輸入設備、進行遠端的視訊通訊等。 圖一、多重解析度顯示系統 H L 低解析度區 高解析度區圖二、系統硬體架構示意圖(採用廣角投影機方式) 圖三、系統硬體架構示意圖(採用鏡子加長投射距離方式) 圖四、背投影顯示桌 （二） 多台投影機之自動校正方法 由於硬體設計的過程中，會因為某些因素的考量，使得投影機並不會在投影幕上 投出正正方方的影像，因此我們必須進行校正以獲得投影機與投影幕之間的關係，才 能接合出一個沒有接縫的螢幕。另外，系統在使用一段時間之後，彼此之間的關係或 鏡子 鏡子 投影幕 投影幕 PTZ 攝影機
多或少都會改變，所以我們希望系統可以在每次開機之後都能進行一次自動的校正。 相較於以往費時費工的人工調整，我們所發展的校正方法係藉由一台攝影機當做檢測 輸入來進行自動校正。校正分為三個部份：(1)幾何校正，這部份的目的是要讓投影的 內容可以投射在正確的位置上；(2)色彩校正，因為不同的投影機會有不同的亮度、色 域及色彩表現，所以這部份的目的就是讓兩台投影機盡量能有共有的色彩表現能力； (3) 接縫消除，在兩台投影機之間可能因為色彩或解析度不同所以在接合處會產生明顯的 接縫，而這個部份的研究目的就是在彌補因為這些因素所造成的不連續性。
PLUS U5-132 Lumens 圖五、投影機 圖六、Canon VC-C50i PTZ 攝影機 (1) 幾何校正 我們利用攝影機所取得的影像來估測投影機、攝影機與投影顯示平面之間的座標轉 換關係。由於任何藉由攝影機所取得的影像多少會受制於 Lens Distortion 的問題而產生 扭曲變形，因此我們必須先對這些扭曲的影像作 Lens Distortion 的矯正處理，才可以進 行後續的校正工作。 為了使該顯示系統更具實用性，我們不特別要求投影機的擺放位置。所以我們無法 事先得到投影機與投影幕之間的幾何關係。藉由攝影機的取像，我們分別求得攝影機與 不同投影機之間的幾何關係，以及攝影機與投影幕之間的關係。接著，不同投影機與投 影幕之間的關係就可以透過彼此間的間接關係來求得。目前，我們的幾何校正假設投影 是全平面的。我們採用旋轉式可變焦攝影機，因此可以透過長焦距的小視角、高解析度 影像來進行校正，以提高精確度。由於攝影機在擷取觀測影像時之視角大小會影響觀測 影像之解析度，因此，如果我們想看到所有投影機投影在投影幕上的校正圖案時，其在 觀測影像上的解析度就會比較小，也就比較容易受到雜訊所干擾，進而影響到校正結果。
為了提高校正精確度，我們會改變 PTZ 攝影機的焦距以使得我們能以近看（zoom-in） 的觀測影像來進行更精確的校正。有了近看的觀測影像，我們將更容易找出經過前面兩 階段校正後仍未盡理想的部份。接著我們可以控制 PTZ 攝影機的轉動，使得我們能收集 到所有投影機投射在投影幕上的近看觀測影像。最後，再找出各個近看觀測影像之間的 關係，將多個近看的觀測影像整合並重建出一個高解析度的參考影像。這個高解析度的 參考影像可用來計算出所有的投影機與投影幕之間的幾何關係，並做較精確的校正。 (2) 色彩校正 在色彩校正上，我們欲利用一般攝影機來取代昂貴的色度計來作色彩的量測工作， 所以我們會先對攝影機作校正的工作。利用 High Dynamic Range Image 的方法，讓攝影 機在多個不同的曝光值的設定下拍攝投影機所投出的取樣顏色，計算出 radiance 值 (Er,Eg,Eb)。同時也利用色度計量測此取樣顏色的(X,Y,Z)值。獲得多組顏色的取樣後，我 們便可求得攝影機與色度計之間的對應關係，完成校正攝影機的工作。之後便可利用攝 影機來取代色度計，作後續色彩校正的量測工作。此一校正主要可分為以下兩階段：
(i) Color Calibration
在這部份我們目的要估測出各台投影機所能表現的色域範圍(色彩表現能力)，然後 找出彼此交集的共同色域，進而計算出各投影機的輸入訊號(R,G,B)與共同色域(X,Y,Z) 的對應關係。輸入(R, G, B)訊號給投影機。我們利用攝影機量測其輸出的顏色(X,Y,Z)， 並分成兩層關係來建立輸入與輸出之間的關係。首先我們先量測每台投影機每個 channel 的 gamma 函式。接著對各輸入訊號經過各自的 gamma 函式做訊號的調整，再將調整過 後的訊號(R‧, G‧, B‧)與量測其輸出的顏色(X,Y,Z)之間的對應關係用一個二次多項式來估 計。在作這估算時，我們會對各台投影機做色彩的取樣，而其中對於 RGB 色域的外圍 顏色取樣所得的量測結果，可以找出投影機的表色域範圍以及三 channel 的色軸，在這 個步驟我們先對色軸及白點進行校正。方法為找出各台投影機所能投射出最大的共同色 域範圍的顏色，然後以此共同色域當做系統可以表現的色彩範圍，以達到色彩的一致性。 (ii) Luminance Uniformity
在經過色彩的校正後，我們尚需作亮度的調整，才能真正達到無接縫的效果，在此 我們採用的方法，係利用人類視覺對亮度的感知範圍找出一組亮度表面來代表顯示平面 上各像素點所能表現的亮度值，以達到視覺上的無接縫效果，並且提高顯示平面的亮度
表現範圍，如圖七所示。 圖七、投影機亮度校正
技術特點說明：
（一） 多重解析度背投影機制 我們利用多重解析度機制來建置一個較低成本且具有超大使用桌面的個人顯示系 統。我們使用多台投影機以背投影的方式來投射顯示，其中一台投影機投射整個桌面 的內容，以提供使用者一個較低解析度的整體概觀或文件之間的相對關聯；而其它投 影機則投射以較高解析度來投射桌面中使用者專注的工作區部份，使用者可以把其關 注的內容拖曳到工作區中顯示。利用這樣的多重解析度機制，此超大桌面系統便可以 在成本與高解析度的需求之間達到一個較佳平衡點。 一、) 幾何校正 以往一般的幾何校正都是使用單一台固定視角的攝影機來擷取觀測影像。由於攝 影機在擷取觀測影像時之視角大小會影響觀測影像之解析度，我們在幾何校正的最大 特點就是我們為了提高校正精確度而使用旋轉式可變焦攝影機；利用其可改變 低解析度投影 高解析度投影 亮度表現曲線Pan-Tilt-Zoom 的特性使得我們能以近看（zoom-in）不同角度的觀測影像，進而用來進 行更精確的校正。 二、) 色彩校正 不同投影機其色域不相同一直是進行多重投影機需要色彩校正的主要原因。而為 了進行色彩校正，就一定要估測出每一台投影機之色域，進而找出其共通的色域。以 往為了要估測出投影機的色域，通常都用昂貴的色度計。而我們在色彩校正最大的特 點就是我們要利用攝影機來取代色度計。想當然爾，一般攝影機之色彩量測能力是絕 對無法取代色度計的，因為其色彩深度(Color Depth)不夠高。因此，我們利用高動態範 圍圖像來提高攝影機之色彩深度。為了要建立高動態範圍圖像，我們必須在 11 種不同 的曝光度下拍攝影像，再合成之。另外，由於兩台投影機的投影範圍相差很大，因此 如果讓兩台投影機投射出完全相同亮度的影像則會大大地犧牲了高解析投影區的對比 度，因此我們將採用以人類感知為基礎的方式做亮度上的調整，使得使用者感覺不出 接縫的存在，而又能有效地利用各台投影機的投影能力。
可利用之產業及可開發之產品：
基於此一計畫之成果，合作廠商將可進一步將其商品化，並研發多重投影機的相關 產品，使其能將此多重解析度之個人顯示系統推廣至一般的消費者，一方面可以大幅降 低其成本，另一方面又不至於降低其表現效益。利用旋轉式可變焦攝影機，可快速而精 準的來進行自動的幾何校正。利用高動態範圍圖像來進行色彩校正，可以精確的量測出 多台投影機之色彩差異，並進行顯示的校正。 另一方面，如果我們使用兩台投影機所輸入的影像不是同一張影像，而是有小角度 的差異所拍攝的影像時。此時，如果能在投影機前加上濾光片並戴上立體眼鏡後，我們 將可以看到立體的效果，而且可以調整轉換關係，找到較佳的位移量。利用此方法得到 的立體效果比一般的立體顯示器更佳。以往在軍事戰略地形圖，都是建立實體模型的方 式來表現，因而費時而又無法即時動態反應不同的變化。而應用此系統則只要能取得即 時的空照圖便可以輕易地達到此目的。另外，此立體效果可應用在生化設計上，比如可 3D 顯示分子結構等。 我們也可以將架設可控制的轉動式鏡子於高解析度投影機之前，以動能改變高解析度的投射位置，就好像有一個可移動的放大鏡，可讓使用者任意觀看其關注的地方。如 此便可提供更多的互動操作，以因應更多的應用。
