多重來源同步顯示方法

1

多重來源同步顯示方法

陳倫奇 吳志泓 王安邦 林錫慶 蔡惠峰

國家高速網路與計算中心

{ casper, jhwu, anpang, sclin, c00wft00 }@nchc.org.tw

摘要―隨著網際網路的不斷進步，及遠距協同的興 起，透過網路的簡報系統已被廣泛使用，其中包括教育 上的遠距協同教學、遠距協同工作及遠距演講等。一般 而言，用作會議簡報場合的投影系統通常由一部或多部 個人電腦、一部投影機及投影布幕構成，目前更有內建 有網路傳輸功能的數位投影機，透過無線網路來傳輸影 像並利用投影機內的網路模組抓取影像來投影影像，然 而投影影像通常僅只能應用於單一空間的會議室，或有 限範圍的空間內，且各投影系統間無法整合併用。為了 讓投影系統可以容易的導入遠距協同同步作業，本篇論 文 提 出 一 種 多 重 來 源 及 同 步 多 重 輸 出 的 顯 示 方 法

(Multiple Display System, MDS)，此方法針對投影系統可

跨網域的傳輸外， 可以使用於各式的投影機設備上使 用，讓投影系統可以整合於遠距協同作業，輔助作業流 程，此外在如何簡化異地多點投影問題上，提出 Web-based 的操作界面，讓使用者不須安裝而外的軟體而達到 遠距影像播放效果。 關鍵詞―遠距協同環境、同步顯示、遠端桌面、群 組互動

Abstract―With the rapid development of the novel

system for distance collaborative platform, the briefing system has been widely used via internet in distance collaborative learning environment, computer support cooperative work and speech. Traditionally the briefing system is composed of one or more PCs, a projector and a projector screen. To display image efficiently, there are some products with a built-in Wi-Fi module receiving images from many laptops or PCs for display. However, these products are usually only used inside a simple

conference room or limited space and it can’t be integrated with each other very well. Therefore, this paper presents the solution named MDS, a shared display for remote synchronous collaboration, to achieve multiple display via intranet or internet. It is simple and easy to be used with any projector. Furthermore, the web interface is designed for users to run the multiple display applications and helps users with complex system setup.

Index Terms―distance collborative environment、

synchronous display、virtual desktop

一、 前言

隨著網路的盛行，互動溝通應用也因應而 起，如視訊會議系統、遠距協同工作、遠距教 學，而遠距同步系統已是最主要的協同方式， 不再是以往的非同步方法[3]。隨著網路使用得 頻繁及頻寬的提升，使得很多資訊可以透過不 同的型式快速傳播，遠距溝通可以用影像、聲 音、和文件，更可設計具互動功能的應用程式 來呈現更多的表達方式。市面上已經有很多應 用於電腦的遠距溝通產品，如網路電話、視訊 會議系統和遠距協同教學等應用，透過網路遠 距溝通機制可便利地傳達資訊。遠距溝通已逐 漸受到重視，因為透過遠距溝通可以帶來更多 的便利尤其現今環保意識高漲，節能減碳政策 使得遠距視訊會議更為重要且節省企業的成本 支出，此外偏遠地區的教育資源分配問題也使 得遠距教學成為產學界的重要議題，希望可以 讓教育資源共享及解決教育偏鄉資源不足的情

2

況，不管目前有多少處理方法，功能持續的改 善與開發是一直以來的目標。

目 前 還 在 使 用 中 的 超 級 視 訊 格 網 (Access Grid)[4] 也 一 直 被 受 討 論 ， 這 套 是 由 美 國 Argonne National Laboratory 所研發設計的一種 新式視訊會議系統，可提供多點的會議視訊系 統。Access Grid 透過 GRID 的概念能提供多點 對多點的視訊溝通以達到群對群的分散式合作 模式，目前在很多國家都有投入開發應用，而 國內也在遠距醫療、e-learning、防災、緊急應 變等領域上應用投入相關整合研究與推廣[11]。

VNC( virtual network computing )[16] 遠距電 腦桌面分享工具，此系統提供遠距協同作業一 種表現方式，大大的提升分享性與可讀性，可 以透 過在 電 腦 桌 面上 的任 何資 料進 行 遠 距分 享，因而促成遠距協同教學及遠距協同工作等 更多的應用，目前有很多廠商及研究單位對此 開放來源碼持續開發新的功能與在效能上的提 升，例如影像資料的壓縮或錄製影像記錄及回 播技術等，更有針對於桌面上某些視窗分享的 特殊功能。 此外，國家高速網路與計算中心(簡稱國網 中心)有鑑於視訊互動系統重要性，特別針對視 訊會議與遠距教學上開發 Co-Life(Collaborative Life)[5]多方同步協同教學帄台，此帄台是由個 人電腦與國網中心的視訊伺服器溝通而達到遠 距多點的同步協同溝通互動，並導入一些相關 的互動工具在視訊會議與遠距教學上提高方便 性與流暢性[15]，如圖一所示，包含訊息、應用 分享、遠端操控及多媒體串流等服務而達到遠 距互動的多方應用及便利操作。在現今網路服 務品質與速度上越來越穩定與提升，加上網路 普及化，學術界在 e-learning 應用的架構與實作 帄台的研究上也漸漸排除早期網路頻寬與穩定 度的限制，並且提出更多不同遠距教學網路架 構與數位學習應用的議題，如 Web-based 的互動 教學架構，Peer-Peer 的互動溝通教學[8]等。 由於 VNC 遠距電腦桌面協同作業的研究開 發，成功加強客戶端之間的同步作業[14]，市面 上已有推出一些透過 LAN 的方式來傳輸影像的 投影機，此種產品雖然減少了建置流程但設備 價 格 不 菲 ， 且 如 圖 2 所 示 ， 目 前 無 法 透 過 Internet 的方式與其他區域的投影機進行影像分 享。 圖 1. Co-Life 使用者介面 圖 2. 網路投影機投影機制 有鑑於此同步協同作業架構，本論文提出 多重來源以及同步多重輸出之顯示架構(MDS, Multiple Display System)，如圖 3 所示，此主要 用意在於讓現有的顯示設備可以達到可接受多 重來源並且可同步多重輸出顯示影像，透過將 顯示設備提高功能來避免使用者端建置複雜系 統環境以達到，一般如果需要建置多方同步顯

3 示都需要利用電腦、伺服器及安裝顯示軟體， 這些 繁瑣 建 置 的 過程 大大 的減 低使 用 者 的興 趣，甚至部分產品的價格更是昂貴，本篇論文 所提的方法可以將建置流程、使用方法及系統 價格上都可以滿足一般協同作業顯示投影的需 求，此方法可以應用在展覽會場的投影設備、 遠端協同作業的會議以及視訊會議廣播等應用 上。當然此架構在多功能面的應用上不及市面 上針對某些特定應用的效果來得佳，此論文將 重點放在提出另一種同步協同作業可行的解決 方案，使得使用者可以輕易地利用既有的投影 機作為同步投影的設備降低建置成本。在論文 的實驗結果中會描述如何開發一套嵌入式測試 系統以實作此方法的可行性。 圖 3. 多端點顯示架構

二、 文獻探討

協同作業系統中大部分以 VNC 作為資料分 享的架構，VNC 主要透過 RFB 作為溝通協定 [17]，其中包括更新區域、滑鼠位置、事件觸發 等，透過這些模組更新畫面的顯示，其中主要 機制是減低 Client 的流量負荷，而在架構中主 要有 VNC Server 及 VNC Client 即可運作，如圖 4 所示。 圖 4. VNC 溝通架構 現 有 的 同 步 顯 示 系 統 中 有 很 多 的 實 作 例 子，如知識大講堂[1]，其架構是透過 Co-Life 或 者錄影設備來進行網路影像與聲音的同步廣播 達到知識即時分享，如圖 5 所示，進而縮短城 鄉教育資源不足。 圖 5. 知識大講堂視訊分享架構 Web Application 的應用在資訊帄台中越來 越多，同步協同作業系統在溝通介面上也有滿 多系統採用 Web 為基礎的通訊協定與介面來開 發[13]，使得使用者介面更友善與便利。 遠距教學中同步顯示分享是最重要的一部 份，在實驗操作教學及課程內容即時教學等都 是非常需要即時同步顯示，如 Co-Life 系統的桌 面分享功能[2]，或者透過 VNC 或 Access Grid 開發工具來架設的遠距協同教學環境[7][20]，如 圖 6 表示，在遠距教學中大部分系統都採用此 架構來分享電腦上的教學資料，有些甚至將聲 音與影像整合進行協同作業，以更多的方式來 讓教學更具臨場感[21]。

4 圖 6. 遠距協同教學架構 Tomohiro Haraikawa 在 2001 年時，提出具 有錄影機制的遠端協同顯示架構[18]，並且實現 於嵌入式系統，一般於電腦上的同步協同作業 都是將資料儲存於電腦端，而此方法提出一種 透過嵌入式概念將錄製功能用類似錄放影機的 方式來運作。 此篇論文針對如何簡化異地多點資訊分享 提出一個同步多重輸出的顯示方法，利用共享 桌面概念及模擬群播傳輸架構應用於現有的投 影機。

三、 多重來源同步投影系統 - MDS

目前市面上已出現內建有網路傳輸功能的 數位投影機，透過嵌入式的網路傳輸模組自筆 記型電腦接收影像訊號，然後將影像訊號投射 至投影布幕，然而現有投影系統通常僅能應用 於單一空間的會議室，或有限範圍的空間內。 本論文提出一種接受多重來源及同步多重輸出 的顯示方法，以達到在不同的會議室、辦公大 樓或兩個不同的地理區域能利用既有的投影機 來同步播放電腦的影像訊號。 (一) 多端點投影架構 此系統架構主要開發同步影像分享的群體 傳送機制，使影像可透過 Intranet/Internet 傳輸 溝通，如圖 7 所示，每一個投影機皆附有多端 點投影帄台，此帄台與投影機搭配當作接受多 重來源及多重影像輸出顯示的服務帄台，使用 者藉由介面設定將筆記型電腦或個人電腦影像 傳送到此帄台上，之後此帄台會同時將影像資 料透過 TCP 方式傳送至 LAN 的多端點投影帄台 以及 WLAN 的其他區域多端點投影帄台，如此 達到多重輸出顯示效果。以圖 7 為例，當使用 者想提供多重影像輸出顯示時，可藉由筆記型 電腦或個人電腦將影像資料傳送至個人的多端 點投影帄台，而如果只是想觀看影像時，只需 要開啟多端點投影帄台即可接受影像資料。 此架構主要是透過 TCP 方式來傳送影像資 料，每一多端點投影帄台擁有一個實體或者虛 擬 IP，在一般會議室或者同一空間內，可以透 過虛擬 IP 在 LAN 裡來達到多重投影輸出顯示， 而如果在遠距區域則可透過實體 IP 透過 WLAN 來傳輸。 圖 7. 多端點同步顯示架構 影像傳送的方式仿群播(multicast)模式來運 作，透過已知的多端點投影帄台網路位址，以 單一傳播模式來一對多進行影像傳輸，如圖 8 所示，此外針對多端點投影帄台的網路頻寬問 題，當多重輸出點多時會影響到影像資料接受 的延遲，進而可能產生系統的不穩定，因此當 多端點投影帄台出現網路不穩定時，可透過如

5 圖 9 的方式來進行影像資料傳輸，便可讓整個 多重輸出顯示穩定。 圖 8. 多端點投影帄台網路傳輸架構 圖 9. 進階式多端點投影帄台網路傳輸架構 (二) 多端點投影模組 多 端 點 投 影 系 統 模 組 主 要 分 為 Web Service、MDS 指令集及 MDS 核心系統，如圖 10 所示，多端點投影設計也是以 Web-based 來 開發，讓使用者可以快速進入設定介面，透過 網路的設定即可同步投影分享，並且利用網頁 動 態 產 生 Java Web Start[9] 執 行 所 需 的 JNLP(Java Network Launching Protocol)檔[10]， 進而啟動以 Java 開發的即時桌面影像傳輸系 統。MDS 指令集主要功能是與底層系統程式溝 通，由於使用者介面的設定將來會開發越來越 多，所以需要 建立介面與底層系統的 溝通 設 計。 圖 10. 多端點投影模組 MDS 核心系統主要以輕量級的 Linux 作業 系統來建置，透過 Linux-like X Window[12]來協 助顯示影 像資料 ，主要影像 多重輸 出顯 示以 VNC 的 開 發 原 始 碼 來 完 成 ， 其 中 包 含 VNC Reflector[19] 及 VNC Viewer 兩 個 應 用 工 具 ， VNC Reflector 負責轉送影像資料給其他 MDS， 類似一個伺服器的功能，而 VNC Viewer 則是從 來源端的 VNC Reflector 抓取影像資料並顯示， 另外 MDS 將視訊與聲音加入了溝通模組中，可 以透過此模組來傳送來自 Webcam 的影像及由 麥克風所輸入的聲音。當使用者在啟動 JNLP 時，Java 所開發的即時桌面影像傳輸系統中含 有經過修改過的 VNC Server，主要將桌面影像 傳送給 MDS 帄台中的 VNC Reflector 當作影像 資料的中繼器，整個多重輸出顯示流程如圖 11 所示。 圖 11. 多端點投影模組流程 以下為多重輸出顯示的流程解說： (一) 連結至 MDS 帄台的 Web 服務。 使用者透過介面來設定欲進行同步顯示的 MDS 帄台設定，包含由哪一台作為提供影像傳

6

輸，哪幾台作為被動影像擷取等網路位址與相 關參數設定。

(二) 啟動 MDS 的 JNLP。

網頁會動態啟動 Java Web Start 來執行特殊 的桌面影像分享及影音分享的程序。

(三) 執行 VNC Server 模組，將桌面畫面或影音 資料連結至 MDS 帄台的 VNC Reflector 模 組及 Video/Audio 模組。

經由 Java Web Start 來啟動 VNC Server 模 組，將桌面畫面資料經 RFB 協定傳送到 VNC Reflector，再將影音透過 TCP 及 UDP 兩種方式 分別傳送至 Video/Audio 模組。 (四) 連結至欲進行同步顯示的 MDS 帄台，透過 XML 作為協定溝通。 提供影像同步顯示的 MDS 帄台經由 XML 作為中介語言來與其他同步的 MDS 帄台溝通， 如表 1。 (五) 接收端 MDS 帄台顯示影像資料及播放影音 資料。 接收端的 MDS 帄台開啟 VNC Viewer 模組 與提供影像資料 MDS 帄台的 VNC Reflector 溝 通並且顯示影像，此外也將接收到的影音資料 播放，完成多重輸出顯示。 目前 Web Service 中功能包括網路介面修 改、VNC Reflector 設定、投影機單一投影、投 影機多端點投影、桌面背景變更、系統重新開 機與關機等，如圖 12，在日後會持續增加新功 能以讓使用者操作上可更便利。 圖 12. 多端點投影帄台使用者操作介面 表1. 多重輸出顯示協定溝通語言 <?xml version="1.0" encoding="utf-8"?> <MDS date=”20090128”> <PRIORITY level=”Hight” /> <RUNFLAG>No</RUNFLAG> <SERVER> <ip>=140.110.141.169</ip> <port>25512</port> </SERVER> <NODES> <ip>192.168.2.202</ip> <ip>192.168.2.203</ip> <ip>140.110.141.168</ip> <ip>140.110.141.167</ip> </NODES> </MDS>

四、 成果展示

多端點投影帄台透過 DMP 公司[6]所設計的 小型 x86 Soc 系統來實作，整個相關系統設備如 表 2 所示，在系統方面選擇以 DSL Lite-Linux 系 統來開發，原因是 DSL 是一套簡易型的作業系 統，此實作透過修改底層作業系統的開機程序 與網路及系統權限等的調整，主要讓系統更精 簡以達到嵌入式系統的作用，目前系統尚以 CF Card 暫時作為系統儲存空間。在 Web Service 方 面利用簡易型的 Monkey Web Service 來當作網 站使用者介面開發，並使用 PHP 語言來撰寫與 底層 API 的呼叫。在 MDS 的畫面顯示方面，目 前選用 JWM 桌面管理程式來修改顯示畫面。 MDS 操作上，只要將特制化的 MDS 帄台 透過 VGA 線與投影機連接即可使用多重輸出顯 示功能，如圖 13 所示，將 MDS 帄台接上網路 線，MDS 帄台的設計與一般設定無線 AP 是一 樣的，預設的網路位址為 192.168.1.1，如有需 要修改可以透過 Web Service 的網路卡介面設定 項目，來修改該 MDS 帄台的網路位址，如圖 14 所示，系統開機後如圖 15 所示，上圖為開機解 析度選單，下圖為 MDS 桌面顯示畫面。 表2. 多重輸出顯示實作設備表

7

設備名稱 規格

eBox-4300-JSK

 CPU : VIA Eden ULV 500MHz

 System Chip : VIA CX700M

 Memory : Onboard 512MB

 Display Memory : 128 MB share system memory

 Resolution : 1920 x 1440  Ethernet : Realtek 8100B 10/100 Base-T  Power Requirement : +5V @ 3.0A Damn Small Linux  Kernel : 2.4.31  Window manager : JWM

 Add-in : Monkey Web Service、PHP、Java SDK 1.6、VNC Reflector 1.2.4、 CF Card 2GB 圖 13. MDS 實作系統架設 圖 14. MDS 帄台網路設定 圖 15. MDS 系統顯示畫面 圖 16 為多重輸出顯示的情況，透過兩台的 MDS 帄台，一台連接於投影機，另一台連接於 LCD 螢幕，兩台 MDS 帄台為 LAN 的方式串起 來，網路位址分別為 192.168.1.2~3，筆記型電 腦透過網路連線至連接投影機的 MDS 帄台 Web Service，並設定多端點投影設定， 將筆記型電 腦的桌面顯示同時多重輸出至兩台 MDS 帄台， 所以可以看到投影機與 LCD 螢幕所顯示的畫面 皆為筆記型電腦桌面所顯示的畫面。

8 圖 16. 多重輸出顯示畫面

五、 結論與未來方向

演講投影系統的產品越來越多，但有時同 步運用只需簡單的功能就可以達到目地，但也 必須消耗較多的經費與時間來建置同步顯示的 環境，此外此篇論文提出可跨網域與多重來源 及多重輸出功能不僅使遠距協同同步顯示變得 簡單與方便整合外，也可應用在很多遠距協同 議題上，另外使用者更可以透過 Web-based 介面 快速及簡便地的開啟遠距影像分享，在成本與 建置時間上都大大減低，甚至透過低耗能的微 型主機便可達到此功能。 目前的研究已朝嵌入式系統來簡化使用者 操作，且導入聲音與視訊功能，如此的研發成 果可以有效地運用在辦公室開會、遠距教學及 展覽會場廣播等情境中。由與影像與聲音功能 的相繼導入，在網路頻寬上變得相對的加重， 在論文中採用進階式多端點投影帄台網路傳輸 架構已可以解決一二十台數量運作，但如果數 量在更大時，因為資料轉載的因素而帶來的影 像延遲問題是未來需研究改善的，尤其聲音與 影像不同步問題將影響遠距協同的品質。

六、 參考文獻

[1] 知 識 大 講 堂 . [Online]. Available: http://knowledge.nchc.org.tw/index.aspx [2] 蔣振宇、游輝宏、林錫慶、李正國、杜國 銘、吳志泓，“Co-Life 多方視訊服務介紹與 應用探討”，TANET2008 研討會論文集，十 月，2008. [3] 鄭傳儒、閆嬰紅，“整合網際技術於遠距互 動設計之研究”，2000 年科技與管理學術研 討會論文集， pp.313-319，2000.

[4] Access Grid. [Online]. Available:

http://www.accessgrid.org/

[5] Co-Life, http://colife.nchc.org.tw

[6] DMP Electronics Inc.. [Online]. Available:

http://www.compactpc.com.tw/

[7] Fu-Chien Kao , Chia-Wei Liu , Zhi-Hua Ji ,

Chia-Liang Kuo, “The Design of Internet Collaborative Learning System with Embedded Load-Balancing Broker”, Sixth IEEE International Conference on Advanced Learning Technologies (ICALT'06), pp. 952-953, July 2006.

[8] Hai Jin, Zuoning Yin, Xudong Yang, Fucheng

Wang, Jie Ma, Hao Wang, and Jiangpei Yin,“APPLE: A Novel P2P Based e-Learning Environment”, IWDC 2004, LNCS 3326, pp. 52–62, 2004.

[9] Java Web Start Technology. [Online]. Available:

9 [10] JNLP and Java Web Start. [Online]. Available:

http://java.sun.com/developer/JDCTechTips/20 01/tt0530.html

[11] John Brooke, Thomas Eickermann, Uwe

Woessner, “Application Steering in a Collaborative Environment”, Supercomputing 2003 ACM/IEEE Conference, pp. 61, Nov. 2003.

[12] N. Mansfield, The joy of X: An Overviewe of

the X Window Systems, Addison-Wesley, ISBN 0-201-56512-9, 1993.

[13] Quemada, Juan; Salvachua, Joaquin; Robles,

Tomas; Pastor, Encarna; Pavon, Santiago; Huecas, Gabriel, “A Collaborative Environment Integration Layer for Activity Orientation”, Collaborative Computing: Networking, Applications and Worksharing, pp. 1-5, Nov. 2006.

[14] Sheng Feng Li, Quentin Stafford-Fraser and

Andy Hopper, “Integrating Synchronous and Asynchronous Collaboration With Virtual Network Computing”, IEEE Internet Computing, Vol. 4, No. 3, pp. 26-33, May 2000.

[15] Shyi-Ching Lin, Jen-Gaw Lee, Jyh-Horng Wu,

Mulder Yu, Chih-Min Yao, Sheng-Chuan Wang, Lung Cheng Lee and Mao-Kueng Kuo, “Using Resources Effectively by Collaborative Teaching - Taiwan Experience”, The 2nd International Conference on Educational Economics, P. 71, August 2008.

[16] T. Richardson, Q. Stafford-Fraser, K. R. Wood

and A. Hopper, “Virtual Network Computing”, IEEE Internet Computing, Vol.2, No.1, Page 33-38, January/February, 1998.

[17] The RFB Protocol. [Online]. Available:

http://www.realvnc.com/docs/rfbproto.pdf

[18] Tomohiro Haraikawa, Tadashi Sakamoto,

Tornohiro Hase, Tadanori Mizuno and Atsushi Togashi, “uVNC: A PROPOSAL FOR INTERNET CONNECTIVITY AND INTERCONNECTIVITY OF HOME APPLIANCES BASED ON REMOTE DISPLAY FRAMEWORK”, IEEE Transactions on Consumer Electronics, Vol. 47, No. 3, AUGUST 2001.

[19] VNC Reflector How-To. [Online]. Available:

http://links.episd.org/DLoads/PDFs/vncreflector -how-to.pdf

[20] Xiaolin Lu, "Construct Collaborative Distance

Learning Environment with VNC Technology", First International Conference on Semantics, Knowledge and Grid (SKG'05), pp.127, 2005.

[21] Yen-Hsiang Chen , Shu-Song Chen ,

Shanq-Jang Ruan, ”Integrating Bi-Direction Audio and Video Transmission for ultraVNC”, 2008 Fourth International Conference on Networked Computing and Advanced Information Management, pp. 505-508, Sep. 2008.