Building a Context-Aware Experimental Platform for Smart Interactive TV – SITV

建立以情境感知為基礎的互動電視實驗平台-SITV

Building a Context-Aware Experimental Platform

for Smart Interactive TV - SITV

劉炳億 國立政治大學資訊科學系 g9527@cs.nccu.edu.tw 王財得 國立政治大學資訊科學系 chadwang@gmail.com 廖文宏 國立政治大學資訊科學系 whliao@cs.nccu.edu.tw 李宏偉 玄奘大學應用心理學系 spoon@hcu.edu.tw 黃淑麗 國立政治大學心理學系 slh@nccu.edu.tw 李蔡彥 國立政治大學資訊科學系 li@ nccu.edu.tw

摘要

近年來，互動式數位電視的發展備受矚目。對 於使用者來說，電視所提供的功能將不再只有單純 的收看節目而已，而是能提供更多的互動功能，並 能整合周遭環境的資訊，提供更適合的貼心服務。 因此，本研究以提供具備情境感知(Context-aware) 能力的互動電視為目標，設計實驗探討使用者可能 的需求，以及根據這些需求所設計的功能是否有 效。我們的實驗平台是採用在 MCE 環境下自行設 計的智慧型互動電視實驗平台-SITV，以提供方便 彈性的實驗環境。在此平台下，我們以類神經網路 及視訊處理技術設計了多個能感知使用者特性與 行為的功能，並設計了兩個前導實驗，瞭解這些功 能的有效性，以作為進一步功能改進與評估的依 據。 關鍵詞：互動電視、情境感知、電視新功能、電視 觀察實驗。

1. 前言

在未來智慧型生活空間中，電視扮演著十分重 要的角色。隨著數位電視的誕生，「互動電視」 (Interactive TV, iTV)的觀念在未來將逐漸取代傳統 電視的廣播與瀏覽模式。在互動電視的概念裡，我 們希望未來使用者能夠從「被動」的電視節目觀賞 方式，轉變成依照自己的需求透過遙控器來「主動」 向電視索取資訊，決定出現在螢幕上的畫面，產生 互動操作的效果。舉例來說，像是股票查詢、即時 路況、新聞、天氣、遊戲下載、數位學習等，都可 以依照個人需求透過電視來取得這些服務。更進一 步，一個理想的互動電視系統，除了把網際網路上 所提供的各項服務在電視螢幕上呈現外，更應將重 點放在如何根據使用者的行為，瞭解其觀看需求， 進而將貼心的功能設計在電視機本身與使用者的 互動過程中。 在未來數位電視的發展趨勢下，許多技術上和 內容上的需求也逐漸浮出檯面上；例如該怎麼感測 人們的需求來主動提供服務，例如電視如果感應到 使用者的情緒反應時，能否根據此情緒及使用者的 偏好，推薦能緩和情緒的節目。然而，瞭解一個使 用者觀看電視時的內心狀態與主觀需求，並非是一 件容易的事。近年來以情境感知為基礎的研究越來 越多，像是情意計算（Affective Computing）、生理 訊號分析、或者電腦視覺等研究都是試圖從多種不 同的管道來得到更多關於使用者的資訊。然而，有 了這些技術能力之後，該如何運用這些技術設計出 能提高電視觀看品質的功能，是這些技術是否能實 用化的關鍵。 因此，我們希望透過此研究了解一個具備情境 感知能力的互動電視，該提供哪些功能服務，而這 些功能服務又該如何設計，以及考量到哪些情境資 訊。首先，在系統部分，為了進行互動電視相關的 實驗，本研究採用Windows Media Center環境開發 設計互動電視的實驗平台─SITV（Smart Interactive TV）。SITV可以模擬第四台有線電視的環境，在實 驗中提供多個頻道供使用者觀賞，並可以加入我們 自製的電視新功能[6]。 在這個實驗平台上，我們設計了兩個前導實驗 (pilot study)，探討使用者的需求。第一個前導實驗 是探討「個人情緒與節目偏好關聯性」。由於人們 在觀看電視時，很有可能因為當下情緒狀態，影響 了他想要看的節目。例如，某位觀眾可能在心情鬱 悶時，平時喜歡的財經類節目絲毫不想碰觸，而只 想看可以放鬆心情的綜藝類節目。因此，這個前導 實驗的目的是在觀察情緒的因素是否可能會影響 當下想看的節目。目前我們的情緒狀態僅粗分為正 向、中性以及負向情緒，透過情緒誘發的刺激程 序，觀察參與者在這三種情緒狀態下偏好的節目是 否有所差異。另外，我們也使用SITV上節目推薦元 件的類神經網路系統，控制是否加入情緒的參數， 以比較推薦出來的節目是否比較好。第二個前導實 驗是「以情境感知為基礎的電視互動功能設計」的 觀察實驗。在這個實驗裡，我們使用SITV上利用電 腦視覺技術所設計的使用者影像處理元件來設計 新的互動電視應用，並營造一個互動電視的使用情 境，藉由實驗的過程，誘發使用者對於這些功能的 Appear in Proceedings of the 13th _{Conference on Artificial Intelligence and Applications, Taiwan, 2008}

回饋，提出可能的改善或建議。 接下來在第二節中，我們會介紹本研究相關的 基礎背景知識與過去的研究成果，其中包括互動電 視中常見的議題研究。在第三節我們會敘述本研究 的互動電視實驗平台SITV的系統架構。第四節則是 介紹第一個實驗-「個人情緒與節目偏好關聯性」以 及實驗結果。第五節則介紹第二個實驗-「以情境感 知為基礎的電視互動功能設計」以及實驗結果。最 後第六節將歸納目前的研究結論以及討論未來可 能的發展。

2. 相關背景與研究

2.1. 互動電視介面研究 電視機前面的使用者，由於年齡層涵蓋的範圍 廣（從小孩子到老年人），且多數的使用者不像PC 電腦的使用族群，有較多的科技背景知識，所以會 有較多人可能不熟悉數位化的產品。因此，互動電 視在界面的設計上，必須考慮更多的因素，簡化使 用者的操作負擔，以使互動更加便利、直覺化。像 是芬蘭研究學者Kallenbach 就在探討電視界面中文 字資訊的多寡或者版面設計[4]，對於人的視覺注意 力、訊息處理能力以及認知負擔會有哪些影響。另 外，在 2003 年也有一項研究[1]則是認為虛擬動畫 角色在消費性電子產品可以扮演輔助的角色，例如 在操作過程中或者有些提示訊息的介面上，配合動 畫角色的呈現可以幫助使用者更容易理解等。 除了探討電視介面如何更友善之外，近年來也 有越來越多新型態的人機介面應用在電視上。例如 利用語音作為溝通的方式[8]，來控制電視的功能。 另外一個創新的應用，是在2006 年 MIT Media Lab 的Lee 發表了一項 HiTV 的研究[5]，允許觀眾直接 對電視傳達情緒上的反應；例如使用者在看電視 時，看到不喜歡的角色或者劇情時，可以用他們所 設計的一顆軟球丟向電視，螢幕上的畫面就會有類 似變形爆炸的效果。像這樣可以直接將情緒發洩於 電視上以產生的動畫特效的互動方式，具有調節情 緒的作用。 2.2. 個人化的電視服務 個人化的電視服務目前仍以節目推薦的相關 研究為主。如O’Sullivan 等人[9]在 2002 年曾指出， 在使用者觀看電視的資料尚未收集完整時，可利用 資 料 探 勘(Data Mining) 技 術 中 協 同 式 過 濾 (Collaborative filtering)的方式，參考其他同類型的 使用者對於節目的評價，向使用者推薦節目。另 外，在2003 年 Hara 等人[3]則是分析了日本人看電 視的類型。也有些研究更考量到看電視是一種社群 行為，如2003 年 Masthoff 等人[7]在推薦節目時考 慮到團體關係。2005 年 Yu 等人[11]提出了利用多 個使用者紀錄檔(User Profile)合併的技術，針對多 人來推薦節目。 在 節 目 推 薦 系 統 或 個 人 化 服 務 的 偏 好 學 習 (Preference learning)中，常見的方法包含類神經網 路(Neural network) 、 貝 葉 斯 網 路 (Bayesian net-work)、決策樹(Decision tree)、內容導向過濾(Context filtering)以及協同式過濾(Collaborative filtering)。在 本研究探討節目偏好與個人情緒之間關聯性的實 驗裡，我們假設使用者會因為情緒狀態的不同，而 影響到想看的節目類型。因此，在實驗資料的收集 後，我們採用類神經網路做為訓練模型，嘗試模擬 出使用者對於偏好節目的認知網路。 如圖 1 所示，一個簡單的類神經網路的組織模 型 中 ， 可 以 分 成 輸 入 層 、 活 化 函 數(Activation function)和輸出層。在輸入層中，我們將每一個輸 入變數Xi當作一個神經元；另外，也會有一個bias 變數做為平衡網路之用。每一個神經元都會乘上一 個權重值Wi，以影響神經元活化的強度。整個類神 經網路的運作方式主要也是透過不同的訓練演算 法來決定這些權重值該如何調整，以使預測結果能 夠更為準確。由於神經元裡面的值是數值型態的實 數，所以一個簡單的類神經網路應用，只要將問題 的輸入資料以及輸出資料定義清楚，轉換成數值型 態的描述，並決定好要採用哪一個活化函數以及訓 練的演算法，就可以使用類神經網路的系統來進行 訓練以及預測。 以本研究為例，我們將使用者的情緒狀態、觀 看節目類型、節目產地、節目分級等資訊當做輸入 資料，輸出的結果則是希望能預測出使用者觀看此 一節目的欲望值。因此，在使用者需要推薦時，只 要將目前電視所有正在播放的節目以及使用者的 情境變數輸入到類神經網路中，便可得到使用者對 於觀看這些節目的欲望值，而系統便可將前幾筆欲 望值高的節目推薦給使用者。

3. 實驗平台總覽

3.1. 系統架構 本實驗平台的整體架構如圖 2 所示，可以簡單 的分成上中下三層架構。其中最底層(下層)是本研 圖 1 簡單的類神經網路架構

究所採用的作業系統─Windows Vista，我們所有的 開發工作皆在Vista 上進行。第二層(中層)為我們的 互動電視實驗平台系統─「SITV」，在 SITV 上我們 是以Windows Media Center 平台為基礎，建構本研 究所需要的各項功能元件以及電視應用程式。另 外，也建立一套實驗用的節目資料庫來提供實驗設 計者快速的排程節目，以及另一套實驗的記錄/觀察 工具。第三層(上層)則是電視實驗的設計，每個實 驗會根據實驗的目的挑選或設計 SITV 上的電視應 用程式來做為實驗的主程式。 接下來我們將介紹本論文所用到的兩個功能 元件，第一個是節目推薦功能元件，第二個則是使 用者影像處理元件。 3.2. 節目推薦功能元件 互動電視上最常被研究的議題一便是節目推 薦。在 SITV 上設計了一個節目推薦的功能元件， 提供有這樣需求的實驗使用。在節目推薦功能元件 裡，我們推薦節目的方式有兩種：(1) 以個人化偏 好為基礎的推薦：利用類神經網路為工具，達到個 人化節目偏好的學習。(2) 以節目類型為基礎的推 薦：根據目前使用者所觀看頻道的節目類型，向使 用者推薦同類型的節目。 首先我們介紹節目推薦功能元件如何支援個 人化推薦的方法架構。在個人化學習的推薦方法 上，我們是採用 Open source 網站(CodeProject)上 Kirillov 所設計的一個類神經網路程式庫[13]，來學 習使用者對於節目的偏好，以建立一個個人化的節 目偏好認知模擬網路。當這位使用者需要節目推薦 時，系統就會將當時所有正在播放中的節目輸入到 此網路中，以輸出每個節目的預測偏好值，並從中 挑選數個偏好值最高的節目給使用者。 在 Kirillov 的類神經網路函式庫上，我們採用 活化網路(Activation network)的方式。在活化網路中 使用活化函式(Activation function)來作為輸出結果 的函式。我們使用一個如圖 3 所示的雙彎曲函數 (Sigmoid function)，來做為我們的活化函式 f(x)，其 中函數圖的橫軸表示f(x)中的 x，縱軸為 f(x)之輸出 值。 在訓練網路的演算法上則是採用倒傳遞學習 演算法(Back propagation learning algorithm)。倒傳遞 學習演算法主要會在每一次訓練回合上，根據這次 的目標預測值與實際的輸出目標值做比較，根據誤 差再調整網路裡每一個連結上的權重值，使得誤差 縮小。 通常表示非線性關係的類神經網路除了輸入 層以及輸出層之外，中間還會有個隱匿層(hidden layer)。隱匿層該有多少個神經元節點個數並沒有一 定的規則，一般都是依照輸入的屬性個數(並非輸入 節點個數)來決定隱匿層的節點個數。以本研究為 例，輸入參數共有4 個，包括節目資料庫的節目表 格上的節目類型、節目語言、節目是否為劇情片以 及使用者的情緒屬性，因此隱匿層的節點個數也設 定成4 個。 接 下 來 另 一 個 以 節 目 類 型 為 基 礎 的 推 薦 方 法，有鑑於當使用者觀看電視上的某個節目類型(例 如電影類型)時，在轉台時通常會先搜尋相同(電影) 類型的頻道，因此在這個方法中，我們假設使用者 正在觀看中的節目類型，將會是當下使用者轉台時 想要優先瀏覽的節目類型。 3.3. 影像偵測與識別元件 我 們 的 影 像 處 理 模 組 包 含 一 個 影 像 擷 取 物 件、四個影像應用處理物件及兩個外部影像處理函 式，如圖 4 所示。 外部影像處理函式提供物件識別與運動偵測 之底層核心功能，物件識別的模組包含臉部偵測及 人 臉 辨 識 兩 大 元 件 ， 臉 部 偵 測 使 用 改 良 式 Adaboost[2] 機 器 學 習 方 法 ， 再 透 過 自 訂 的 Directional Edge Maps (DEM)方法萃取，DEM 的主 要概念是由邊緣與Haar-like features[10]概念再加入 方向而來，經由不同運算子表示不同的方向，而計 圖 2 SITV 系統架構

算出的值代表對於該方向的強度，我們利用此強度 與方向資訊為特徵值，依此特徵值進行訓練，當訓 練完成時會得到一個數值範圍，再進行數值資料的 比對，若符合則表示此區域為臉部。第二項人臉辨 識核心元件實作方法：首先定位出人臉位置，再收 集單一個人臉部照片，經由臉部特徵值轉換，再萃 取每個人臉最具代表性特徵值，依此特徵進行人臉 識別，當這些特徵都符合即代表識別成功。人臉辨 識之訓練方法與臉部偵測類似，但其訓練資料需具 備有更高的同質性，可視為人臉偵測之子集合。 在運動偵測的部份，主要是透過影格間之差異 度 找 出 可 能的 運 動 區 塊， 再 利 用 連接 元 件 分 析 (connected component detection)與動作在時間軸之 一致性之限制，計算特定區域之運動量與方向，提 供後續處理所需之基本資訊。 中間影像處理層次的物件，則是把要處理的圖 進 行 前 置 處理 以 呼 叫 底層 的 影 像 偵測 與 識 別 元 件。最上層應用層次的物件，是建立一些規則來達 到我們的應用目的，例如我們想要搜尋人臉，就可 以建立一條規則去呼叫偵測人臉的函式判斷是否 為人臉。處理過程中，中間的影像處理層把目前的 圖檔進行前置處理，然後再將處理過後的圖檔送到 底層識別元件進行偵測，當達到一定的信心水準(例 如已辨識出 10 張人臉)就會通知 SITV 上的主程式 來進行相關應用。 接 下 來 要 介 紹 本 研 究 所 設 計 的 幾 個 應 用 規 則。首先，以臉部偵測為主的規則中，常用到以下 3 個參數： (1) 偵測次數(α)：代表在固定取樣頻率下偵測某個 事件的累積次數。例如在人臉偵測的事件上， 每偵測到一次人臉就會累加一次。 (2) 信心次數(β)：當偵測次數達到信心次數後，就 會設定使用者進入到該規則的狀態上，並且重 新將偵測次數歸零。 (3) 重置時間(γ)：為一個固定長度的時間區段，當 時間到後便會把該規則的偵測次數重設為零。 接著在FaceTracker 物件上，我們設計了 3 個使 用者狀態的判斷規則，分別如下： (1) 規則一：使用者是否在電視機前的狀態 我們使用臉部偵測的功能元件來偵測使用者是 否在電視機前面。例如當系統在連續一段時間 γ11秒內偵測到α1次的人臉，並且達到信心次數 後(α1>=β1)，就判定使用者在電視機前面，因此 SITV 便會自動進行該使用者登入系統的程 序。另外，如果當使用者已經在一般狀態時， 就會改為偵測在γ12內沒有偵測到人臉時，就判 定使用者目前屬於離開電視的狀態。 (2) 規則二：使用者是否離電視太近的狀態 這條規則會先定義一般人在攝影機的影像中， 距離電視太近時臉部大小的W 寬度與 H 高度。 之後當偵測到人臉後，會得到一組臉部範圍的 矩形資訊，其中w 為此矩形的寬度，h 為此矩 形的高度。如果在γ2秒內當w>W 且 h>H 的偵 測次數達到信心次數後(α2>=β2)，就會判定是使 用者離電視太近的狀態。 (3) 規則三：使用者頭部是否歪斜的狀態 這條規則會事先定義臉部往左歪斜的角度θ1以 及往右歪斜的角度θ2兩個固定的常數角度。當 在γ 秒內，假定偵測到使用者的臉部角度為 θ， 當 θ1-15 度<=θ 度<=θ1+15 度或者 θ2-15 度<=θ 度<=θ2+15 度 的 偵 測 次 數 達 到 信 心 次 數 後 (α>=β)，就會判定使用者的頭部屬於歪斜某一 邊的狀態。 接下來介紹以動作偵測為主的規則上，所用到 的參數包括： z 敏感度(δ3)：當影像中某塊區域的像素差異達到 敏感度時，才會將差異的動量計入在累積動量 上。 z 累積動量的重置時間(ζ3)：這裡的重置時間是以 frame 數為單位，例如 ζ3=30，則每 30 個 frame 的影像偵測後，就會把累積動量歸零。 z 動量門檻(ε3)：當動作偵測函式上的累積動量參 數超過此動量門檻時，就把下列的偵測次數累加 一次。 z 偵測次數(α3)：代表累積動量超過動量門檻的次 數。 z 信心次數(β3)：當偵測次數達到信心次數後，就 會設定使用者進入到該規則的狀態上。並且重新 將偵測次數歸零。 z 偵測次數的重置時間(γ3)：為一個固定長度的時 間區段，當時間到後便會把該規則的偵測次數重 設為零。 最後在 MotionTracker 物件上，目前僅設計了 一條規則，即是判斷在某個時間區段內使用者的動 量是否太大。這條規則介紹如下： (4) 規則四：使用者的動作是否過於頻繁的狀態： 首先，我們必須要先給定敏感度δ4、累積動量 重置時間ζ4、動量門檻ε4、信心次數β4以及偵 圖 4 SITV 上使用者影像處理元件的架構

測次數重置時間γ4。當在每一個γ4秒時間的區 段內，偵測到使用者的累積動量超過ε4時，就 會將α4偵測次數累加一次。如果偵測次數大於 信心次數時 (α4 >= β4)，就會判定使用者的狀態 為動量頻繁的狀態。

4. 「個人情緒與節目偏好關聯性」實驗

此實驗主要是藉由情緒誘發程序的刺激，讓參 與者在不同的情緒狀態下瀏覽節目，並評價對於這 些節目的喜愛程度。事後我們統計這些評價資料， 觀 察 不 同 情緒 狀 態 間 是否 有 不 同 的節 目 偏 好 特 徵。另外也會利用 SITV 上的類神經網路，將包含 情緒參數與不包含的資料進行訓練，比較推薦的成 效。 實驗方法 實驗所採用的平台是 SITV，主要的操作方式 與傳統電視類似。實驗材料的部分，則是錄製了90 個節目影片，每個節目各 10 分鐘長度，分別屬於 五種節目類型之一：綜藝、電影、新聞、運動及連 續劇。誘發情緒所使用的音樂乃由實驗者事先挑選 出 12 首，再由參與者評量這些音樂分別會誘發哪 一種情緒，以及誘發的程度值，然後從中挑選出最 適合該參與者的音樂。 實驗共進行10 天，共有 3 位參與者(2 男 1 女)。 第一天主要是讓參與者聆聽 12 首音樂，然後決定 出要使用在情緒誘發程序上的材料(三種情緒狀 態，每種狀態各一首)。接下來的九天，將是正向、 中性以及負向情緒三種情況輪流加以施行，因此每 種情況將分別有三天的實驗資料。正式實驗每天的 流程如下： (1) 情緒誘發程序：藉由指導語的輔助，請參與者 回憶當天所指定特定情緒的相關經歷，並記錄 關鍵字於紙上。回憶的過程中播放能加強參與 者該情緒的音樂。這個階段大約5~8 分鐘 (2) 瀏覽節目：在 10 分鐘內，自由瀏覽 10 個頻道(每 個節目類型會有2 個頻道)。 (3) 評價節目的欲望值：10 分鐘後，參與者需要填 寫一份問卷程式，回饋上一個程序裡，對於這 10 個節目當時想看的程度。 實驗的分析上，我們主要有幾個目標： (1) 同一參與者內，在不同情緒狀態間當時所偏好 的節目類型是否有所差異？ (2) 利用 SITV 的節目推薦元件(採用類神經網路)， 將包含情緒參數與不包含的資料進行訓練，比 較推薦的成效。 實驗結果與討論 首先針對第一個目標，觀察三位參與者(分別稱 為參與者A, B, C)在不同情緒下所偏好的節目類型 是否有所差異。其中圖5、圖 6 和圖 7 為三個參與 者對於節目類型的平均評分統計圖。 由於樣本數不多，不適於進行較深入的統計分 析，但是從這些統計圖的趨勢來看，在這三位參與 者的實驗資料裡，可以觀察到兩個現象： (1) 參與者的個人節目偏好，與節目類型是有相關 的。例如參與者A 在三種狀態下，對於新聞類 型以及連續劇類型的節目幾乎不喜歡，比較偏 好電影類節目。整體來說，每位參與者在三種 情緒狀態下，統計圖的分布樣式相當類似。 圖 5 參與者 A 在三個狀態下的平均節目評價 圖 6 參與者 B 在三個狀態下的平均節目評價 圖 7 參與者 C 在三個狀態下的平均節目評價

(2) 參與者的情緒狀態，對於節目類型偏好無顯著 的影響。除了參與者A 在負面情緒時，對於運 動類型節目的偏好度大幅降低之外，其他參與 者都沒有很明顯的差異。 接下來第二個目標是利用類神經網路學習使 用者對於節目的偏好行為，並試圖比較加入參與者 的情緒狀態參數與沒有加入情緒狀態參數的推薦 結果。在訓練階段，是以每位參與者的前2/3 資料(前 6 天)來當作訓練資料。在測試階段，則是以每位參 與者的後1/3 資料(最後 3 天)來當作測試資料。如第 3.2 節所述，我們的類神經網路是採用活用網路的 架構，其中以雙曲線函式作為活化函式。訓練演算 法上則是使用倒傳遞學習演算法。以下是類神經網 路的訓練參數設定： (1) 訓練次數：1000 次 (固定) (2) 學習率(learning rate)：0.1 資料輸入的參數則有： (1) 節目類型：五種節目類型。 (2) 節目語言：四種節目語言，包括國語、英語、 日語及韓語。 (3) 劇情片類型：節目是否為劇情片類型的，例如 電影或者連續劇類型等。 (4) 情緒狀態：指當天參與者所接受的情緒狀態操 弄。 我們的分析方式是在類神經網路模擬完每位 參與者的訓練資料後，將測試資料作為輸入資料(除 實際偏好值之外)，輸到此模擬網路，計算出參與者 對於每一個節目的偏好預測值，再和測試資料的實 際偏好值做相關係數計算。試圖比較包含情緒與不 包含情緒之間的模擬網路，那種相關係數較高，則 代表該模擬網路的預測值也較為準確。 其中包含情緒與不包含的模擬網路各自做五 次預測計算，取得平均的相關係數。以下為三位參 與者的統計資訊： (1) 參與者 A 包含情緒的平均相關係數：0.5769； 不包含情緒的平均相關係數：0.5427 (2) 參與者 B 包含情緒的平均相關係數：0.4960； 不包含情緒的平均相關係數：0.6429 (3) 參與者 C 包含情緒的平均相關係數：0.7352； 不包含情緒的平均相關係數：0.7631 從以上的資訊來看，所得相關係數皆遠大於 零，顯示在此實驗以相當有限的資料訓練模擬網 路，仍對於偏好值可得有效的預測，因而可有助於 提供適當的節目推薦。關於包含情緒與不包含情緒 狀態的模擬網路，其預測值和使用者實際偏好值的 相關係數的差異不大，甚至參與者B 在不包含情緒 下的模擬網路的整體預測效果還比較好。因此綜合 參與者的資料分析以及類神經網路模擬的預測效 果，可以發現參與者的情緒狀態對於當下的節目偏 好行為並無顯著的影響。我們認為長期的偏好行 為，其影響力有可能仍超過短期的情緒狀態。也許 人們在不同情緒狀態下，對於當下喜歡的節目，仍 是以平時偏好的節目為主，並不容易受到情緒影響 而有大幅的差異。另外一個原因，也有可能是情緒 誘發程序並不容易引起參與者持續較久的情緒變 化，這方面也是往後我們可以探討改善的地方。

5. 「以情境感知為基礎的電視互動功能設

計」實驗

本實驗主要是營造一個具備情境感知能力的 互動電視情境，納入一些我們所設計的新功能應用 規則，來觀察使用者的需求反應，並討論本系統需 要改善的地方。 實驗方法 此實驗共有 10 位參與者參與，包括 8 位男性 以及2 位女性。實驗裡所採用的功能除了人臉偵測 與辨識的模組外，還包含節目推薦的功能模組 (以 參與者當時觀看的節目類型作為基礎來推薦)。 此實驗所新增設計的應用規則如下(webcam 的 FPS 為 15)： (1) 偵測到參與者在電視機前，主動啟動電視：利 用臉部偵測技術，當偵測到人臉次數大於7 次 時，即判定參與者在電視機前，啟動相關應用。 例如開啟電視節目。 (2) 主動偵測頭部是否歪斜著觀看電視：當在 20 秒 內，偵測到參與者頭部歪斜的次數達到 20 次 後，即會出現對話框訊息提醒注意良好的觀看 姿勢。 (3) 主動偵測參與者的臉部是否離電視太近：在 15 秒內，偵測到臉部大小的寬高長超過55 像素的 距離時(偵測到 7 次以上)，便會出現對話訊息 提醒參與者保持距離，以免近視。 (4) 偵測離開電視一段時間，主動暫停節目：當臉 部偵測技術，偵測不到人臉的連續時間長達20 秒時，就會出現對話訊息詢問是否為誤判，如 果沒有反應則表示參與者應該是離開了，主動 暫停節目播放。當參與者回來時，會再主動詢 問是否要繼續播放節目 (5) 偵測到參與者在某段時間內動作較為頻繁，則 假定其注意力可能不集中：我們利用動作偵測 的技術來偵測動作的頻繁程度。其中敏感度設 定為 500 像素，累積動量的重置時間為 30 個 frame，因此在 2 秒內累積到 4000 的動量後就 會累加一次計數器(初始為 0)，並重新計算累積 動量。當在 180 秒內計數器>90 次時，就會假 定參與者可能注意力不在現有的節目上，詢問 參與者是否需要節目推薦的服務。 (6) 參與者頻繁的轉台，則主動詢問是否需要節目 推薦： 在 30 秒內，偵測到參與者轉台次數超

過 15 次時，主動詢問是否需要節目推薦的服 務。 本實驗的流程如下： (1) 告知參與者想像買了一台新型態的互動電視， 然後介紹電視的基本操作以及有哪些新功能與 應用。在講解的過程中，會讓參與者親自使用， 熟悉一下操作方式。(約 5~8 分鐘) (2) 開始正式實驗的第一階段，自由瀏覽電視 10 分 鐘，參與者在瀏覽過程中需要記錄最喜歡看與 最不喜歡看的節目分別是哪兩個頻道。並且實 驗的過程中，會加入引發參與者使用特定功能 的事件。(約 10 分鐘) (3) 第一階段結束後，簡單訪問參與者有沒有遇到 哪些問題，沒有問題後接著繼續第二階段的實 驗。(約 1 分鐘) (4) 進行第二階段實驗，自由瀏覽電視 10 分鐘。一 樣在實驗的過程中，會加入引發參與者使用特 定功能的事件。(約 10 分鐘) (5) 實驗後，親自與參與者進行深入訪談，設定 4 個主題方向詢問他們的看法。(約 5~10 分鐘) (6) 最後填寫一份功能需求的調查問卷。(約 3 分鐘) 實驗結果與討論 我們在實驗之後，讓每位使用者直接在電視上 進行問卷調查，問卷中每一個問題的分數範圍為0 至100 分。此問卷的題目與平均得分如表格 1 所示。 表格 1 實驗 2 問卷的平均得分與標準差 題目 平均 得分 標準 差 1. 您希望未來電視擁有“節目推 薦”功能？ 71.87 21.82 2. 您希望未來電視會有提醒您" 距離電視太近"的功能？ 56.75 25.61 3. 您希望未來電視會有提醒您" 頭部歪斜(或姿勢不良)"的功 能？ 42.12 29.08 4. 離開電視時，主動暫停節目的 功能是一個好的設計？ 75.87 30.75 5. 肢體動作頻率較大時，主動詢 問是否需要推薦節目的服務是 好的設計？ 41.87 17.59 6. 當頻繁轉台時，主動詢問是否 要推薦節目的服務是一個好的 設計？ 63.62 21.48 7. 整體而言，實驗中本系統的辨 識率是不錯的？ 49.87 20.90 8. 整體而言，本系統的功能設計 是創新的？ 81.75 13.90 9. 整體而言，您會希望未來擁有 一台像這樣的電視？ 72 13.24 在深入訪談後，針對每一項功能或應用規則， 我們歸納參與者多數的意見如下： (1) 節目推薦功能：相對少數的參與者認為以節目 類型來推薦不錯，其餘的參與者多數認為要多 元化類型的節目推薦，像是可以在介面上，利 用上下選擇不同類型，左右則是選擇節目。 (2) 距離電視太近的應用規則：多數參與者認為較 適合家庭裡有小朋友的環境，大人比較不需要 這樣的提醒。如果是設計給小朋友的話，則除 了給予對話框訊息的提醒，可能也需要配合警 示聲通知大人才會有效果。 (3) 頭部歪斜觀看電視的應用規則：多數認為這並 非必要的健康提醒，應該要讓使用者設定是否 要提醒。有些參與者反應觀看電視時，他就是 想要放輕鬆甚至躺著觀看，如果時常提醒反而 會影響看電視的興致。因此，這個規則的門檻 將來可能需更加謹慎一點。 (4) 離開電視時電視主動暫停節目的應用規則：這 是多數參與者皆認為實用的應用規則，不過有 幾個地方需要考慮。例如有些人會習慣在廣告 時間去上廁所或者短暫離開做別的事情，這時 候可能就不太需要暫停節目。 (5) 偵測使用者某段時間頻繁的動，向參與者詢問 節目推薦的應用規則：大多數參與者認為較不 實用，因為使用者看電視時，動作大小與需要 節目推薦的關連不大。因此未來可能需要更多 的資訊，理解參與者的動作涵義，才容易做更 精確的應用。 (6) 某段時間內頻繁的轉台時向參與者詢問節目推 薦的應用規則：多數認為這樣的立意不錯，不 過可能需要提高頻繁轉台的頻率定義，否則會 有干擾使用者的疑慮。另外，不同使用者對此 功能的喜好程度也不同，系統應能根據使用者 的使用情形調整主動推薦的時機。 從結果歸納與問卷平均得分中，我們可以整理 出一些結論。首先，在節目推薦功能上多數認為是 重要的，但在推薦的方式應可以更多元化。 在新的電視情境應用規則上，則是以使用者離 開時，系統主動暫停節目的需求最高。其次是頻繁 轉台時，系統詢問是否需要節目推薦服務。另一個 重要的問題則是許多參與者皆反應在 20 分鐘的實 驗過程中，有些偵測上的提醒就有 7~8 次甚至更 多，這會造成更多的不便。由於這些提醒事件背後 的原因，通常並沒有急迫性，加上有些時候會因為 誤判(false positive 類型)產生過多的提醒次數。因此 未來在應用規則上，我們認為需要採取更嚴謹的方 式，以false negative 為設計原則，也就是寧願減少 提醒次數，只有在非常確定的情況下才提醒使用 者，並且同類型的提醒也需要一定時間間隔。

整體來說，參與者對於未來互動電視的需求仍 是以節目為主的相關功能最為需要，像是節目推 薦、節目表或者暫停節目等，其他方面的需求可以 客製化成選項設定，讓使用者自行選擇是否要開啟 這樣的應用功能。

6. 結論與未來展望

在本論文中，我們以Windows Media Center 為 基 礎 ， 設 計 了 一 套 互 動 電 視 的 實 驗 平 台 系 統 「SITV」，並利用此實驗平台，設計具備情境感知 能力的互動電視，並進行了兩項觀察實驗。第一個 實驗是「使用者情緒與節目偏好關聯性」的觀察實 驗。實驗結果顯示，使用類神經網路技術能提供不 錯的節目推薦結果，但情緒對使用者觀看節目類型 的偏好影響有限。第二個實驗是「以情境感知為基 礎的電視互動功能設計」的觀察實驗，這項實驗加 入節目推薦功能，以及設計一些偵測使用者行為的 規則事件(主要利用電腦視覺技術)。我們根據使用 者主觀評分及深度訪談的結果，分析出這些新的功 能的被接受及有效的程度，以作為日後功能改進及 進一步評估的參考。 未來我們會持續進行其他電視相關實驗，探討 人們在使用電視時，真正會需要哪些需求，使得未 來互動電視在朝向具備情境感知能力的時候，可以 提供更精確的服務。

致謝

此研究在國科會 NSC95–2627–E-004-002 計畫 的支助下完成，特此致謝。

參考文獻

[1] E.M.A. Diederiks, ”Buddies in a Box - Animated Characters in Consumer Electronics,” in Proc. of

the 8th international conference on Intelligent user interfaces, pp. 34-38, 2003.

[2] Y. Freund and R E. Schapire “A Short Introduc-tion to Boosting”, in Proc. of Japanese Society

for artificial Intelligence, Vol. 14(5) pp. 771-780,

1999.

[3] Y. Hara, Y. Tomomune and M. Shigemori, “Cate-gorization of Japanese TV Viewers Based on

Program Genres They Watch,” in Proc. of User

Modeling and User-Adapted Interaction,

14(1):87-117, 2004.

[4] J. Kallenbach, S. Narhi and P. Oittinen, ”Effects of Extra Information on TV Viewers’ Visual At-tention, Message Processing Ability, and Cogni-tive Workload,” in Proc. of ACM Computers in

Entertainment, Vol. 5, 2007.

[5] C-H J. Lee, C. Chang, H. Chung, C. Dickie and T. Selker, ”Emotionally Reactive Television,” in

Proc. of Intelligent User Interface, 2007.

[6] P.-Y. Liu, H.-W. Lee, T.-Y. Li, S.-L. Huang, and S.-W. Hsu, “An Experimental Platform Based on MCE for Interactive TV,” in Proc. of the 6th

European Interactive TV Conf. (EuroiTV2008), LNCS 5066, pp. 178-182., Austria. 2008.

[7] J. Masthoff, “Group Modeling: Selecting a Se-quence of Television Items to Suit a Group of Viewers,” in Proc. of User Modeling and

User-Adapted Interaction, 14(1):37-85, 2004.

[8] Y. Nakatoh, H. Kuwano, T. Kanamori and M. Hoshimi, ”Speech recognition interface system for digital TV control,” in Proc. of Acoustical

Science and Technology, Vol. 28, pp. 165-171,

2007.

[9] D. O’Sullivan, B. Smyth, D.C. Wilson, K. McDonald and A. Smeaton, “Improving the Quality of the Personalized Electronic Program Guide,” in Proc. of User Modeling and

User-Adapted Interaction, 14(1): 5-36, 2004.

[10] P. Viola, and M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”,

Proc. of Computer Vision and Pattern Recogni-tion, Vol.1, pp.I-511~I-518, Dec. 2001.

[11] Z. Yu, X. Zhou, Y. Hao and J. Gu, “TV Program Recommendation for Multiple Viewers Based on user Profile Merging,” in Proc. of User Modeling

and User-Adapted Interaction, 16(1):63-82,

2006.

[12] CodeProject：AI – Neural network for beginners (Part1),

http://www.codeproject.com/KB/recipes/Neural Network_1.aspx.

[13] CodeProject ： Neural network on c#, http:// www.codeproject.com/KB/recipes/aforge_neuro. aspx.