由多台投影機組成一個大螢幕顯示系統之研究

行政院國家科學委員會專題研究計畫 成果報告

由多台投影機組成一個大螢幕顯示系統之研究

計畫類別： 個別型計畫 計畫編號： NSC92-2622-E-002-027-CC3 執行期間： 92 年 06 月 01 日至 93 年 05 月 31 日 執行單位： 國立臺灣大學資訊工程學系暨研究所 計畫主持人： 洪一平 計畫參與人員： 蔡玉寶、吳延年、李子洋、柯政宏 報告類型： 精簡報告 處理方式： 本計畫為提升產業技術及人才培育研究計畫，不提供公開查詢

中 華 民 國 93 年 9 月 1 日

國科會補助提升產業技術及人才培育研究計畫成果精簡報告

學門領域：資訊工程二

計畫名稱：由多台投影機組成一個大螢幕顯示系統之研究

計畫編號：NSC 92－2622－E－002－027－CC3

執行期間：92 年 06 月 01 日 至 93 年 05 月 31 日

執行單位：國立臺灣大學資訊工程學系暨研究所

主 持 人：洪一平

參與學生：

蔡玉寶、吳延年、李子洋、柯政宏

姓 名

年級

(大學部、碩

士班、博士

班)

已發表論文或已申

請之專利

(含大學部專題研究

論文、碩博士論文)

工作內容

蔡玉寶 博士班 問題分析、解決方案規劃以及 系統整合。 吳延年 碩士班 利用旋轉式可變焦相機 進行多台投影機疊合之 幾何與色彩校正 問題分析與系統實作。 李子洋 碩士班 旋轉式可變焦攝影機之控制 與校正。 柯政宏 大學部 高動態範圍圖像之產生。

合作企業簡介

合作企業名稱：宜昇科技股份有限公司

計畫聯絡人：蔡育良

資本額：67,836,720 萬元

產品簡介：顯示器自動調整設備、AOI 光學檢測產品、PanoServer360

度環場影像監控系統

研究摘要：

在進行大型會議或資訊展示時，通常會需要一個大型、高解析度的影像顯 示系統。過去已有不少論文提出使用多台投影機建構一個大型顯示系統時所須 考慮的因素以及其應用[4][9][10][6][11][13][12][5]，其中大部分採用固定式的攝 影機機來輔助調整。本研究的目的在於利用電腦視覺、影像處理、與電腦圖學 的技術來發展一套新方法，採用旋轉式可變焦攝影機的輔助，建構一個由多台 投影機所接合而成的無接縫大型顯示系統。為了達成無接縫的效果，我們必須 考慮兩種校正：(1)幾何校正與(2)色彩校正。 在幾何校正方面，為了提高校正的精確度，我們利用多張在不同角度拉進 鏡頭（zoom-in）所拍攝的影像來得到更精確的校正控制點的座標值，進而更精 確地計算出投影幕與投影機之間的幾何關係。我們所提出的方法不需要事前進 行攝影機校正，也不需要知道投影幕在三度空間中的位置。 在色彩校正方面，相對於其它直接使用昂貴的光譜儀來進行色彩校正的方 法[6]，我們係利用經色彩校正後的一般攝影機來進行投影機的色彩校正。為了 提高攝影機的感測靈敏度，我們在不同曝光值之下拍攝多張影像，再組成高動 態範圍圖像來估測投影機所投射的顏色，以進行色彩校正的程序。經過色彩校 正後，每台投影機均會有相同的色彩呈現範園,而多台投影機之間的色彩差異就 可以消除。對於需要大型、高解析度的應用，我們提供了快速、有效的演算法 來進行幾何和色彩之校正。

人才培育成果說明：

透過本計畫之執行，提供了一個良好的機會給予學術界與產業界合作培育 優秀的人才，更可以提升產業技術。在學校方面，可以使得學校的研究生得以 實際接觸到產業界的需求，使得所研發出來的成果得以商品化。同時，也可以 與合作企業的研發人員討論，獲得系統整合與實作經驗。因此，學校的研究生 將可以提前了解到產業界到底是如何研發出一樣產品，並參與到每一個步驟。 學生們在此計劃中學習到了許多電腦視覺、影像處理及色彩學方面的知識，並 透過實作真正體會到其中的困難。研究過程中往往會遇到一些理論上沒有提到 的問題，但透過分析與討論，往往可以利用先前所學到的理論將之解決。如此 即可由實作中學習，進行腦力激盪，累積經驗。其中，參與本計劃研究的碩士 班學生吳延年，以相關的研究成果，順利地完成碩士論文研究。而博士班同學， 因參與問題的分析與系統整合，更奠定以後的論文研究基礎。而在另一方面， 合作企業的研發人員亦可透過與學校研究團隊的共同討論，培養更深一層的理 論分析與系統設計能力。

技術研發成果說明：

一、幾何校正 為了使該顯示系統更具實用性，我們允許投影機可以任意擺放。所以在完 全沒有任何限制之下，我們無法事先得到投影機與投影幕之間的幾何關係。先 藉由攝影機的取像，分別求得攝影機與各個投影機之間的幾何關係，以及攝影 機與投影幕之間的關係。接著，各個投影機與投影幕之間的關係就可以透過彼 此間的間接關係來求得。在此一計畫中，我們所發展的幾何校正方法乃是假設 投影幕是一個平面，以簡化問題（透過適當的修正，我們的方法亦可適用在曲 面的投影幕上）。我們採用旋轉式可變焦攝影機，使得我們可以透過長焦距的小 視角、高解析度影像來進行補強校正，以提高校正精確度。以往的方法係使用 單一視角之攝影機來擷取觀測影像。由於攝影機在擷取觀測影像時之視角大小 會影響觀測影像之解析度。因此，如果我們想看到所有投影機投影在投影幕上 的校正圖案時，其在觀測影像上的解析度就會比較低，也就比較容易受到雜訊 所干擾，進而影響到上述的校正結果。為了提高校正精確度，我們改進了以往 的幾何校正方式，改變 PTZ 攝影機的視角以使得我們能以近看（zoom-in）的觀 測影像來進行更精確的校正。有了近看的觀測影像，我們將更容易找出經過前 面兩階段校正後仍未盡理想的部份。接著我們可以控制 PTZ 攝影機的轉動，使 得我們能收集到所有投影機投射在投影幕上的近看觀測影像。我們再找出各個 近看觀測影像之間的關係，結合多個近看的觀測影像建造出一個高解析度的參 考影像。最後，我們就可以利用這個高解析度的參考影像來計算出所有的投影 機與投影幕之間的幾何關係，以得到較精確的校正結果。 二、色彩校正 在進行色彩校正時，需要讓投影機投射很多的色彩，才能計算出投影機的 色彩呈現能力。此時若是每種色彩都要投影一次，然後再由擷取設備把色彩記 錄下來，會需要較長的校正時間。因此，在本計劃中，我們將會均勻的選出幾

種樣本顏色來代表投影機所能打出的所有色彩。如此一來我們便可以縮短校正 時間。為了要得到較精確的色彩，我們將利用高動態範圍圖像來估測真實的色 彩。我們的色彩校正可分為兩階段：第一個階段是要計算出攝影機所取得的高 動態範圍圖像值和色度計的測量值之間的關係。第二個階段則是要找出多台投 影機的色彩呈現能力，進而使得每台投影機的色彩表現可以對應到共通的色域 內。 1.) 工廠內的色彩校正 在事先的色彩校正階段，我們先利用投影機投出一定數量的樣本顏色。 同時，使用色度計以及高動態範圍圖像技術來分別求得該投影顏色的值。在 此我們會先使用色度計來求得該投影顏色的 CIE-XYZ 值。接著，我們將使用 不同曝光度來拍攝所投影的顏色，再使用 Debevec[3]提出的方法來合成高動 態範圍圖像。高動態範圍圖像擁有較精確的 rgb 值。 因此我們可以算出 CIEXYZ 與 rgb 之間的關係。 2.) 現場的色彩校正 在此一校正階段，我們分別在不同投影機上投出一定數量均勻分佈在色 彩空間表面的顏色，並利用一般的攝影機取得高動態範圍圖像。接著，我們 利用之前所計算出的 CIE-XYZ 與 rgb 關係，將 rgb 轉成 CIE-XYZ。而為了要 找出多台投影機的所能達到共通的色彩呈現範圍，我們先將 CIE-XYZ 轉成 CIE-LUV，而再使其從笛卡兒座標轉換到以 CIE-LUV 值為(50,0,0)為中心點的 極座標(phi, theta, rho)。然後在不同的 phi-theta 角度找出多台投影機所能投出 的最小 rho 值。最後，多台投影機共通的色域就可以由這些最小的 rho 值和其 phi-theta 值所求得。一旦所要投影的顏色超過了共通的色域，我們將利用色域 壓縮演算法來求得所應該投射的顏色。

三、實驗結果 在此我們將展示一些經過我們的幾何校正與色彩校正的影像: （1）幾何校正 以往一般的幾何校正都是使用單獨一台固定視角的攝影機來擷取觀測影 像。由於攝影機在擷取觀測影像時之視角大小會影響觀測影像之解析度，我們 在幾何校正的最大特點就是，為了提高校正精確度，改用旋轉式可變焦攝影機， 利用其可改變 Pan-Tilt-Zoom 的特性使得我們能以近看（zoom-in）不同角度的 觀測影像，進而用來進行更精確的校正。 還未進行幾何校正 已進行幾何校正 （2）色彩校正 不同投影機其色域不相同一直是進行多重投影機需要色彩校正的主要原 因。而為了進行色彩校正，就一定要估測出每一台投影機之色域，進而找 出共通的色域。以往為了要估測出投影機的色域，通常都必須使用昂貴的 色度計。而我們在色彩校正最大的特點就是我們在校正現場改採攝影機， 而不用色度計。然而，一般攝影機的色彩量測能力是無法取代色度計的， 因為其色彩深度(靈敏度)不夠高。因此，我們採用高動態範圍圖像整合方法 來提高攝影機之色彩深度。

可利用之產業及可開發之產品：

可利用此計劃成果之產業最主要為投影機產業。基於此一計畫之研究成 果，合作企業將可進一步開發多重投影機的相關產品，使其能將大型顯示系統 推廣至更多的應用。一旦此大螢幕顯示系統推出市面，將可為投影機產業開發 一塊新疆土。投影機將能有更多的用處，成為大型多媒體顯示之利器。另一方 面，CCD 的技術愈來愈好，價格也愈來愈便宜。未來可望在每一台投影機上都 裝設一台攝影機，如此一來就可以更容易地作自動校正。 另一方面，此一成果也可以延伸應用在立體影像的投影與顯示上。我們可 以將兩台投影機的投影影像重疊在一起，將立體影像資料分別輸入給兩台投影 機，再在投影機鏡頭前加上偏光片，並戴上立體眼鏡後，即可以看到立體顯示 效果。此計畫之成果可以協助我們自動調整影像的反變形（dewarping），以獲 得最佳的立體顯示效果。 我們也可以排列多台投影機，讓他們的投影範圍大小不一，進而得到具有 高低解析度的顯示系統。因為投影機所能投出的影像像素數目是固定的，所以 投影範圍較小時，所得到的投射影像解析度就較高，相對的投影範圍較大時， 所得到的解析度就較低。此時，低解析度的投影範圍將可給人一個大環境的感 受，而高解析度的投影範圍將可給人較清楚的影像。如此一來，對於常處理資 料解析度較大的使用者就不必一直縮小和放大影像了。

推廣及運用的價值：

利用本計劃的成果，要建構出一大螢幕顯示系統將十分簡便：一方面可以 大幅降低其成本，另一方面又不至於降低其表現效益。因此，合作企業將可提 升在多媒體顯示產業的國際競爭力。 利用旋轉式可變焦攝影機，可快速而精準地進行幾何校正，並且過程完全 自動化。利用高動態範圍圖像來進行色彩校正，可以精確地量測出多台投影機 之色彩差異，並自動進行色彩矯正。我們將可利用多台投影機構成一套具有較 大顯示範圍的投影系統，使得投影的內容能以較高的解析度及影像品質來呈 現。其可應用的範圍包括：科學視覺化、簡報系統、資訊牆、立體環場和多重 解析度顯示等。 由於目前攝影機的價格愈來愈便宜，若以後在生產投影機時，同時在上面 加裝一個攝影機，則我們可以將多個單一的擷取影像視為由一個旋轉式可變焦 相機所擷取到的影像。進而計算出多台投影機和投影幕之間的相對幾何關係。 如此一來就可以將多個普通的投影機接合出一個高解析度的顯示系統，而得到 大範圍的顯示效果。

參考文獻：

[1] H. Chen, R. Sukthankar, G. Wallace, T.-J. Cham, “Calibrating Scalable Multi-Projector Displays Using Camera Homography Trees,” Proc. Of CVPR Technical Sketch, 2001.

[2] Y. Chen, D. W. Clark, A. Finkelstein, T. C. Housel, and K. Li, “Automatic Alignment of High-Resolution Multi-Projector Displays Using An Un-Calibrated Camera,” Proc. of IEEE

Visualization, 2000, pp. 125-130.

[3] P. E. Debevec, J. Malik, "Recovering High Dynamic Range Radiance Maps from Photographs", Proc. of SIGGRAPH 1997.

[4] M. Hereld, I. Judson, and R. Stevens, “Introduction to Building Projection-based Tiled Display Systems,” IEEE Computer Graphics and Applications, July/August 2000, pp. 22-28. [5] K. Li and Y. Chen, “Optical Blending for Multi-Projector Display Wall System,” Proc. of the

12th Lasers and Electro-Optics Society 1999, Annual Meeting. November 1999

[6] A. Majumder, Z. He, H. Towles, and G. Welch, “Achieving Color Uniformity Across Multi-Projector Displays”, Proc. of IEEE Visualization, 2000, pp. 117-124.

[7] R. Raskar, G. Welch, and H. Fuchs, "Seamless Projection Overlaps using Image Warping and Intensity Blending," Proc. of Fourth International Conference on Virtual Systems and

Multimedia, Gifu, Japan. November 1998.

[8] R. Raskar, J. V. Baar, and J. X. Chai, “A Low-Cost Project Mosaic with Fast Registration,”

Proc. of Asian Conference on Computer Vision (ACCV2002), 2002.

[9] R. Raskar, M. S. Brown, R. Yang, W.-C. Chen, G. Welch, H. Towles, B. Seales, and H. Fuch, “Multi-Projector Displays Using Camera-Based Registration,” Proc. of IEEE Visualization, 1999, pp. 161-68.

[10] R. Sukthankar, R. G. Stockton, and M. D. Mullin, “Smarter Presentations: Exploiting Homography in Camera-Projector Systems,” Proc. of ICCV 2001, 2001.

[11] G. Wallace, H. Chen, K. Li, ”Color Gamut Matching for Tiled Display Walls”, Immersive

Projection Technology Symposium (IPT), May 2003

Office in the Future,” IEEE Computer Graphics and Applications, July/August 2000: 62-67. [13] R. Yang, D. Gotz, J. Hensley, H. Towles, and M. S. Brown. “PixelFlex: A Reconfigurable