國 立 交 通 大 學
傳 播 研 究 所
碩 士 論 文
立體深度的注意力攫取效果
Attentional capture by stereoscopic depth
研究生:許涵琇
Student:Han
-Shiou Hsu
指導教授:陶振超 教授
Advisor:Chen-Chao Tao
立體深度的注意力攫取效果
Attentional capture by stereoscopic depth
研 究 生:許涵琇 Student:Han
-Shiou Hsu
指導教授:陶振超 Advisor:Chen-Chao Tao
國 立 交 通 大 學
傳 播 研 究 所
碩 士 論 文
A Thesis
Submitted to Institute of Communication Studies College of Humanities and Social Sciences
National Chiao Tung University in partial Fulfillment of the Requirements
for the Degree of Master in
Institute of Communication Studies June, 2014
Hsinchu, Taiwan, Republic of China
i
立體深度的注意力攫取效果
研究生:許涵琇 指導教授:陶振超 博士
國立交通大學傳播研究所
中文摘要
立體視覺畫面是以雙眼像差的原理,將視覺的凝視平面突出於螢幕之前或者螢幕之 後,使得畫面中包含不同凝視平面的立體深度。人在接受不同凝視平面時的認知處理立 誠為學術界與產業界皆關心的議題。本文以視覺顯著理論,探究立體深度形成的視覺畫 面與其他平面的畫面相較之下,是否能做為為具有的顯著性的視覺特徵驅動自動處理機 制,且影響注意力的資源配置對主要任務的注意力資源進行干擾。 本文共進行二個實驗,首先檢視立體深度在視覺特徵中所扮演的角色;其次,將檢 驗結果類推至傳播內容,推敲立體深度在傳播媒介中的傳播效果。實驗一將立體深度分 為正像差、負像差,分別置入在目標物與置入干擾物,檢視不同情境對反應時間與眼球 運動指標的影響為何。實驗二則將立體深度類型分為正像差、零像差以及負像差,附加 於網路新聞右側的網告欄位,企圖釐清像差類型對注意力分佈所造成的影響。 研究結果發現:ㄧ、立體深度可成功作為視覺顯著特徵驅動自動處理機制。二、立 體深度的像差類型可驅動不同程度的注意力分佈。三、負像差情境中的物件,雖可對主 要任務造成較大的干擾效果,以及誘發更多的注意力投注在該區域,不過卻無法較快吸 引注意力。 關鍵字:立體視覺、立體深度、像差、視覺顯著性、視覺顯著理論、自動處理機制、控 制處理機制、眼球運動追蹤ii
Attentional capture by stereoscopic depth
Student:Han-Shiou Hsu Advisor:Chen-Chao Tao
, Ph.D
Institute of Communication Studies
National Chiao Tung University
A b s t r a c t
The fundamental of stereo image is binocular disparity. By different disparity, gaze plane could be in front of screen, or behind the screen. It is a key issue that what kind of cognition process is cause. For long, whether people deal with stereo depth or not has been concerning between academic researches and industrial application. This paper examines if the visual salience theory could be manipulated by binocular disparity successfully. While depth appear with tow- dimensional image simultaneously, the section of depth will driving attention by automatic mechanism.
Three experiments are examining the stereo image, position placement. Experiment 1 designed to explore whether the reaction time and eye movement could be affect by stereo disparity and position or not. Experiment 2 adopts Experiment 1, three types are classified according to disparity, and each type was added to a web AD.
The results showed as following. First, depth could manipulate limited capacity model and visual salience theory, also driving attention by automatic successfully. Second, three type of depth could cause different level of resources allocation. Third, negative disparity produced much affect but not the faster one could capture attention.
Key words: Stereo Visaul, Depth, Disparity, Singleton, Visual Salience Theory, Automatic
iii
致
謝
「路,是自己選的,就要自己負責。」謝謝母親,總在我徬徨無措的時候提醒著我, 雖然一路堅持著這樣的信念,摔過也跌過、痛過也哭過,卻從沒讓我放棄自己。謝謝是 最疼我也最了解我的二哥,兄代父執使你扮演著許多角色,我的每一個決定都有你最刺 耳卻也最真誠的建議。秉持著家族的驕傲與信念,跌跌撞撞走過二十幾個年頭,然後撐 過在交大的三年,完成碩論、完成學業、完成人生的一部分。我親愛的家人,謝謝你們。 319,我想我一輩子也不會忘記這個數字。我從不知道在一間小小的研究室,可以 有這麼多的酸甜苦辣,從防禦到交心、誤會到包容、理解再到體諒,用滿漢全席來形容 這兩年的相處也不為過。所以說,如果能有個床、衛浴設備或是廚房,319 可以說是我 第二個家,在一個像家的地方寫著碩論,其實我覺得我很幸福也很溫暖,吵過才了解、 氣過才更在乎。你們就像是家人,阿君、阿狗、阿羅、小姑,謝謝你們。 陶振超老師,製作滿漢全席的主廚。我自認自己是完美主義者,沒想到道高一尺, 魔高一丈,但也激發了我想要挑戰的意志;雖說兩次實驗的失敗曾經讓我精神崩盤,在 碩論上喪失的求生意志,但卻也因為總是存在著這樣令人無法接受的挑戰,所以總是在 過程中更看清了自己的缺點、不足以及長久以來的陋習。老師,謝謝你。 在每一次招募實驗後,我總覺的下一次可能沒有這樣好的待遇,不過,謝謝願意幫 助我的朋友,ㄧ次又ㄧ次的讓我感動。謝謝那些走過、路過卻沒有錯過我招募任何一個 實驗的朋友們,傳播所的夥伴、資財的學弟妹、傳科的學妹、交大球場的球友以及光光 還有小恩,謝謝你們的幫忙;還有,謝謝排球,讓我與你們相遇。 最後,三年的時間,說長不長、說短不短,但我依然堅定。刀疤,謝謝你。iv
目
錄
中文摘要 ... i A b s t r a c t ... ii 致 謝 ... iii 目 錄 ... iv 表 目 錄 ... vi 圖 目 錄 ... vii 第 壹 章 緒論 ... 1 第一節 前言 ... 1 第二節 研究目的 ... 1 第二節 研究重要性 ... 2 第三節 研究架構 ... 3 第 貳 章 文獻探討 ... 4 第一節 立體視覺的成像 ... 4 第二節 視覺研究中的立體深度 ... 5 第三節 立體深度作為-視覺顯著特徵 ... 12 第四節 注意力測量指標 ... 16 第五節 立體視力檢測方式 ... 18 第参章 實驗一 ... 21 第一節 實驗目的與研究問題 ... 21 第二節 研究方法 ... 22 第三節 結果與分析 ... 27 第 肆 章 實驗二 ... 35 第一節 實驗目的與研究假設 ... 35 第二節 研究方法 ... 36 第三節 結果與分析 ... 39 第 伍 章 結論與建議 ... 50 第ㄧ節 研究發現 ... 50v
第二節 研究限制與未來建議 ... 52
參 考 書 目 ... 53
附 錄 ... 60
附錄一:3D 字彙 ... 60
附錄二:隨機立體視力檢測程序(Randot Stereo Test Procedure) ... 62
附錄三:立體視力檢測記錄表格(個人) ... 69
附錄四:Stereo Photo Maker 軟體手冊 ... 70
附錄五:立體影像製作流程 ... 72
附錄六:實驗同意書 ... 82
附錄七:實驗一刺激物畫面 ... 84
附錄八:實驗二刺激物畫面 ... 100
vi
表 目 錄
表 2-1:立體視覺的研究類型(本文自行整理) ... 6 表 2-2:立體視覺研究深度變項(秒角)一覽(本文整理) ... 9 表 2-3:立體與平面影像比較研究一覽(本文整理) ... 11 表 2-4:立體視覺研究眼球運動測量指標一覽(本文整理) ... 17 表 2-5:立體視覺研究使用立體視力檢測一覽(本文整理) ... 20 表 3-1:刺激物操作檢定一覽表 ... 28 表 3-2:各情境對反應時間的敘述統計摘要表 ... 29 表 3-3:各情境對首次凝視深度持續時間的敘述統計摘要表 ... 31 表 3-4:各情境對深度總凝視時間的敘述統計摘要表 ... 32 表 3-5:各情境對凝視點數量的敘述統計摘要表 ... 33 表 3-6:實驗一立體深度與置入位置假設檢驗結果總表(P-value) ... 34 表 4-1:各情境新聞記憶正確率敘述統計摘要表 ... 40 表 4-2:各情境對廣告回答正確的敘述統計摘要表 ... 41 表 4-3:各情境首次凝視廣告之前耗時的敘述統計摘要表 ... 42 表 4-4:各情境凝視廣告之前凝視數量的敘述統計摘要表 ... 43 表 4-5:各情境凝視廣告之前凝視數量的敘述統計摘要表 ... 45 表 4-6:各情境廣告凝視數量的敘述統計摘要表 ... 46 表 4-7:各情境廣告造訪次數的敘述統計摘要表 ... 47 表 4-8:實驗二瀏覽形式與立體深度的假設檢驗結果總表(P-value) ... 47 表 4-9:實驗二假設驗證總表 ... 48vii
圖 目 錄
圖 2-1:立體視覺的像差類型(types of disparity)與凝視點位置 ... 5 圖 3-1:實驗一研究架構 ... 22 圖 3-2:刺激物視角換算示意圖 ... 23 圖 3-3:刺激物畫面示意圖 ... 23 圖 3-4:立體深度位置置入形態 ... 24 圖 3-5:實驗一流程圖 ... 26 圖 3-6:實驗畫面流程圖 ... 27 圖 3-7:立體深度與置入位置在反應時間的交互作用 ... 29 圖 3-8:置入位置對首次凝視深度持續時間的平均數剖面圖 ... 31 圖 3-9:置入位置對深度的總凝視時間的平均數剖面圖 ... 32 圖 3-9:立體深度與置入位置在反應時間的交互作用 ... 33 圖 4-1:實驗二實驗架構 ... 36 圖 4-2:實驗二流程圖 ... 38 圖 4-3:瀏覽形式對新聞記憶正確率之平均數剖面圖 ... 39 圖 4-4:立體深度對新聞記憶正確率之平均數剖面圖 ... 40 圖 4-5:立體深度對廣告回答正確之平均數剖面圖 ... 41 圖 4-6:立體深度對首次凝視廣告之前耗時之平均數剖面圖 ... 42 圖 4-7:立體深度對凝視廣告之前凝視數量之平均數剖面圖 ... 43 圖 4-8:立體深度對廣告總凝視時間之平均數剖面圖 ... 45 圖 4-9:立體深度對廣告總凝視時間之平均數剖面圖 ... 46 圖 4-10:立體深度對廣告造訪次數之平均數剖面圖 ... 471
第 壹 章 緒論
第一節 前言
1838 年靜態的立體顯示技術問世,Wheatstone 以反射鏡利用雙眼像差原理製造立體 顯示器,Brewster 在 1844 年則開始使用光學稜靜做為立體影像顯示的基礎;隨著螢幕 顯示器技術的發展,1980 年代發展出了頭戴式立體顯示器(head mounted display),立 體影像內容的製作也逐漸被重視。20 世紀初期,立體電影曾經產生ㄧ股熱潮(Howarth, 2011),不過技術與內容的開發卻停滯不前,然而立體電影《阿凡達》、《少年 Pi 的奇幻 漂流》確創下影史最高紀錄,開啟立體影像的時代。 立體顯示的科技產品與內容逐漸小眾化,除了在電影院觀賞立體影像之外,家庭劇 院的電視亦朝向多功能的影像顯示技術,擴大閱聽眾對平面或立體影像的選擇,且立體 影像內容製作的門檻也大幅降低,茹立體相機、手機或是家用的立體攝影機皆可直接製 作屬於自己的立體影像。 顯示技術的突破創新,使得閱聽眾對立體技術與內容的接受率提高;然而,立體影 像雖然不同於平面影像,不過卻比平面影像更接近真實環境。立體顯示技術利用人眼的 雙眼像差原理製作立體影像,讓閱聽眾融合兩張圖像產生立體知覺,企圖讓眼球對物件 產生物理距離形成不同的深度感。回顧過去的立體視覺研究,學者與業者為了改善立體 影像品質與畫面的擬真程度,多半將焦點著重於立體影像顯示的技術層面,而缺少了立 體視覺在注意力攫取的分析上(Howarth, 2011)。 因此本文以立體視覺成像的原理,以及視覺注意力處理資訊的認知歷程,嘗試以不 同實驗任務,理解不同的立體深度類型如何對視覺注意力造成影響。期待將釐清在不同 情境,立體深度類型是否能吸引視覺注意力,以及何種立體深度能有效的吸引注意力。 第二節 研究目的 本文從認知心理學取徑角度切入,檢視立體視覺的深度特徵是否能驅動自動處理機 制(automatic processing),並影響視覺注意力的分佈與配置,推敲認知歷程如何處理立 體深度。以視覺顯著假設(visual salience hypothesis)為學理基礎,認為注意力發生的 早期階段,會因為刺激物單獨突出(singleton)的顯著特徵,引發由下而上(bottom-up)
2
的自動處理機制迫使認知投注注意力資源,干擾主要任務的認知處理過程(Theeuwes, 1992)。不過在信號偵測理論(signal detection theory)的觀點則是認為,若是在認知處 理資訊的過程,搜尋的目標是明確且清楚時,那麼與目標物不相關的資訊則不會被認知 處理。 再者,人的資訊處理資源是有限的,且認知處理資訊的過程代表對其投注注意力, 而某一視覺畫面若是具有顯著性的特徵,則會影響認知處理的優先順序,導致干擾或影 響主要任務的注意力資源配置。此外,本文嘗試將實驗中的情境類推至傳播內容,以及 增加立體深度類型,檢視立體深度在傳播內容的認知處理歷程。 第二節 研究重要性 ㄧ 理論重要性 本文以視覺顯著理論與認知處理機制(自動與控制處理機制)為主軸,探究立體深 度的視覺特徵與認知處理歷程之間的關係。視覺顯著理論認為,當物件含有與他物件不 同的視覺特徵時,此時該物件會因為視覺特徵的差異性而在畫面中凸顯出來捕捉注意力 的配置。然而不同任務情境時,控制與自動處理機制會如何處理物件的立體視覺特徵。 再者,本文輔以立體視覺成像的原理,理解眼球如何處理物件在環境中的物理距 離,透過操作立體影像的實驗畫面,將立體深度只附加在畫面中某ㄧ物件,與其他物件 形成不同的視覺特徵對比,檢驗立體深度是否足夠做為-視覺顯著特徵改變視覺注意力 的配置程度;再透過製作不同的立體影像類型,比較各類立體影像類型的視覺特徵是否 不同,以釐清立體影像類型對注意力的影響是否存在的差異程度,以及何種立體影像類 型較能有效吸引注意力。 二 方法重要性 本文在操作刺激物的方式上,為排除其他視覺特徵對注意力造成的影響或干擾,以 精確獲得注意力對立體深度的反應數據。因此在實驗一刺激物的視覺畫面盡可能排除其 他視覺特徵,再將立體深度附加於目標物件;實驗二則是增加立體深度像差類型,在將 立體深度置入熟悉度較低之傳播內容。 過去針對立體視覺的文獻為改善顯示技術為目的,多針對畫面品質、對比、顏色而 聚焦技術層面,因此依變項上著重眼球運動的分佈結果;立體視覺特徵的研究則僅依靠 對目標物件的反應時間為分析變項。因此本文除了簡化刺激物畫面的視覺特徵,在分析 的依變項上,實驗一以反應時間為分析主軸,輔以同步紀錄眼球運動的過程,將眼動指
3 標納入分析變項;實驗二則以廣告辨識正確率、新聞記憶正確率以及眼球運動指標為主 要分析變項。 三 實務重要性 本文提供立體顯示影像更清楚的解說,釐清立體深度的對注意力攫取效果,立體影 像內容的製作未來可利用立體深度吸引閱聽眾更多的注意力。立體影像深度類型對注意 力的差異可提供業者運用或製作影像內容時,搭配不同的視覺畫面。 另外,隨著立體顯示技術的普及化,不儘電影院、家庭劇院以及各類型的攜帶型裝 置,閱聽眾對觀看影像的選擇方式也增加,而適當的利用立體深度則可以改變閱聽眾投 注的注意力程度,因此影像內容的製作與編排上也能有更精確的控制。 實驗中以立體深度的類型,得知立體像差類別的注意力的表現差異,以及深度類型 對任務的干擾效果。因此媒體業者在影像的內容中,若欲加入圖像、文字或者廣告訊息, 則可更加理解何種立體深度可以何種方式適當的呈現,增加閱聽眾在觀看影像時對資訊 投注的注意力程度。 第三節 研究架構 本文於第壹章概述研究背景與目的,並提出理論、方法及實務上的重要性。第貳章 則以文獻探討為主,透過立體影像原理與視覺特徵顯著理論說明立體像差與其他視覺特 徵的差異與重要性,並說明立體深度在認知處理機制中所扮演的角色為何。第參章為實 驗一,主要檢視立體深度對於注意力的影響。第肆章為實驗二,承襲實驗一立體深度的 效果,將其運用致傳播內容,並檢視立體深度在傳播內容中的注意力分佈。第伍章為研 究結果發現與討論、研究限制與未來建議。
4
第 貳 章 文獻探討
第一節 立體視覺的成像
我們在觀看某一物體時,雙眼會以 5-6 公分水平分開的角度同時觀看物體,因此左、 右眼的視網膜上會產生兩個不同的角度的成像,再透過視覺神經系統(human visual system, HVS)將兩個成像傳入大腦,產生人眼觀看的視覺影像(Huynh-Thu & Schiatti, 2011)。而左、右眼角度的差異,導致視網膜成像的物體有偏移現象,形成同一物體在 成像間的距離差異(Jansen, Onat, & Konig, 2009),此距離差異會產生人眼判斷物體遠近 最重要依據-雙眼像差(binocular disparity)(Wismeijer, Erkelens, van Ee, & Wexler, 2010)。
雙眼的像差來自視覺神經傳送影像的過程,傳送的過程會自動產生不同的視覺線索 (visual cues);眼動線索(oculomotion cue)、單眼線索(monocular cue)、以及雙眼線 索(binocular cues)就是組成影像的三大視覺線索。眼動線索指的是眼球與附近肌肉之 間的運動,包含兩眼觀看近物時,附近肌肉將眼球往內聚集的輻驟作用(convergence), 以及睫狀肌收縮或放鬆水晶體時,調整觀看近物/遠物的調節作用(accommodation)。 單眼線索則是單眼即可觀察到的線索,如遮蔽(occlusion)、透視(perspective)、相對 大小(relative size)、相對高度(relative height)、運動視差(motion parallax)、表面質 地(texture gradient)、光線(light)、陰影(shadows)。雙眼線索代表雙眼同時使用產生 的視覺線索,是獲得立體深度訊息的主要來源,如雙眼線索。雙眼線索含有判斷物體遠 近的深度資訊(depth information)(Cutting & Vishton, 1995),可以理解物體位於環境中 的哪一處位置,形成對物體的深度知覺(depth perception)與立體視覺(Huynh-Thu, Barkowsky, & Le Callet, 2011; Wismeijer et al., 2010)。
立體顯示器呈現的立體畫面(stereoscopic image),即是將人眼可感知到的深度顯示 在螢幕上,模擬視覺線索中的雙眼像差,以物體偏移的方式製作左、右兩種畫面,再搭 配立體眼鏡讓左眼看左眼影像、右眼看右眼影像,欺騙人類大腦融合影像產生深度資 訊,讓畫面的成像平面突出螢幕前方或者凹陷於螢幕後方(C. Lang et al., 2012)。因此立 體畫面的左、右影像,已包含人眼可判別的深度線索。而本文著眼於含有立體深度的視 覺影像,及其所具有的視覺結構特徵,以認知心理學角度探究深度對視覺注意力的影響。
5 第二節 視覺研究中的立體深度
立體畫面包含不同的雙眼像差,可讓人眼察覺畫面深度成像平面的差異產生各個物 體的深度區別,這些深度區別包含正像差(positive disparity)、零像差(zero disparity)、 負像差(negative disparity),是立體畫面主要的深度類型(Finlayson, Remington, & Grove, 2012)。以立體顯示器作為立體成像的螢幕平面而言,人眼感受到影像凹陷於螢幕後方, 則雙眼的凝視平面會在螢幕之後,且雙眼視軸在螢幕平面之前不會交錯,此時的深度類 型稱為正像差或者非交叉視差(uncrossed disparity);相反的,若是影像突出螢幕,則凝 視平面在螢幕之前且為視軸相互交錯,稱為負像差或者交叉視差(crossed disparity);而 一般的平面影像,因為沒有任何立體深度,因此雙眼聚焦與凝視的位置皆在螢幕平面 上,為零像差的視覺畫面,像差類型如圖 2-1 所示(Jansen et al., 2009; Ohzawa, Deangelis, & Freeman, 1990)。 負像差(交叉) 零像差 正像差(非交叉) 圖 2-1:立體視覺的像差類型(types of disparity)與凝視點位置 這些像差類型會因為凝視平面的差異,影響雙眼到物體之間的視角範圍。視角 (visual angle)是視覺研究中使用的視覺單位,意旨的是物體投影到視網膜上的成像大 小,雙眼的凝視平面相同時則物體會在視角 0o成像,此時物體的畫面在視野中視最清晰 的;而立體視覺的深度類型,主要是以物體偏移的概念產生雙眼像差,讓左、右視網膜 成像的平面視角與原本凝視點的平面不同。學者即利用雙眼水平的分開距離、雙眼到螢 幕之間的距離以及雙眼到凝視點之間的距離,計算出被凝視物體與觀者眼睛的視角大小 (Arnott & Shedden, 2000)。視角單位包含,度(o ; degree)、分角('; arc sec)、秒角("; arc min),而 1 o 等於 60',1'又等於 60''。
回顧立體視覺研究,本文以實驗畫面包含的深度複雜程度,將研究類型分為「純粹 深度設計研究(Pure-depth design study)」以及「立體畫面與平面畫面的比較研究(The comparative research of 3D image and 2D image)」。第一,純粹深度設計研究是透過單一
6 的刺激物,著重人在接收視覺資訊之後,在接收者的認知層面會引發何種視覺處理機 制。學者透過畫面包含的立體深度,觀察深度是否會改變視覺處理機制,影響搜尋目標 物的反應時間,因此實驗畫面以左、右影像的像差距離控制立體深度為主,每個畫面僅 包含一種或兩種深度的像差類型,實驗參與者透過立體顯示器觀看畫面,被要求以最快 的反應搜尋任務指定的目標物,而包含深度的物體會出現在目標物之前、同時出現或者 附加在目標物上。(Atchley, Kramer, Andersen, & Theeuwes, 1997; Finlayson et al., 2012; Ghirardelli & Folk, 1996; Harris, McKee, & Watamaniuk, 1998; He & Nakayama, 1995; Hirahara, Shiraishi, & Kawai, 2012; Iavecchia & Folk, 1994; IJsselsteijn, de Ridder, & Vliegen, 1999, 2000; Yano, Emoto, & Mitsuhashi, 2004)。
第二,立體畫面與平面畫面的比較研究則是著重媒介效果,目的在透過眼球運動指 標檢視立體深度與平面影像的差異,藉此計算出有效的深度顯著地圖(salience map)。 此類研究中的立體畫面是以立體顯示器(3D display)播放影像,透過立體顯示器內建 的深度運算法,將平面影像直接轉換成立體影像,或者以原始拍攝時製作的像差距離來 呈現立體畫面。參與者在實驗中會以 2D 或 3D 的兩種方式觀看相同的靜態或動態畫面, 不過在 3D 的情境中會同時接收多種深度的像差類型(兩種以上),且記錄參與者的眼球 運動 (Banos et al., 2008; Emoto, Nojiri, & Okano, 2004; Hakkinen, Kawai, Takatalo, Mitsuya, & Nyman, 2010; Huynh-Thu & Schiatti, 2011; Jansen et al., 2009; C. Lang et al., 2012; Pölönen, Salmimaa, Aaltonen, Hakkinen, & Takatalo, 2009; Pölönen, Salmimaa, Takatalo, & Hakkinen, 2012; Tam, Stelmach, & Corriveau, 1998) 。
表 2-1:立體視覺的研究類型(本文自行整理) 研究類型 立體深度 研究目的 檢測指標 純粹深度設計研究 僅包含一種或兩 種的立體深度。 深度對視覺處理 機制的影響。 反應時間 辨識正確率 視覺舒適度 立體與平面影像的比較研究 包含多種立體深 度(兩種以上)。 媒體效果在立體 與平面影像之間 的差異。 眼球運動指標 視覺舒適度
7 ㄧ 純粹深度設計研究
純粹深度設計研究(pure-depth design study)的立體視覺研究是藉由將畫面的視覺 特徵單純化,排除其它可能影響處理機制的視覺變項,釐清立體深度是否可以造成注意 力的轉換,或是優先取得認知資源的配置,進而對含有深度的物體進行資訊處理。立體 深度可透過視角的計算準確控制雙眼像差,產生正像差、零像差與負像差,確保參與者 在深度的情境下可以知覺到深度感。
早期學者將立體畫面的深度距離,以三維空間的 Z 座標位置比喻,如學者 Posner, Snyder& Davidson(1980)以空間為基的概念提出「注意力導引線索典範(attentional cueing paradigm」,指涉三維空間中的注意力若被某一物體吸引則會被驅動注意力加快對目標物 的反應時間。該典範中提出的導引線索包含有效線索(valid cue)、中性線索(neutral cue) 以及無效線索(invalid cue);有效線索代表線索出現或含有與目標物相同指向性的位置 或方向,無效線索則是相反,中性線索則沒有任何位置的指向性(Ghirardelli & Folk, 1996)。因此,有效線索情境下,搜尋目標物的反應時間(reaction time)與正確率(correct rate),會比沒有任何方向性的中性線索、反方向的無效線索還要快且精準。Downing &Pinker(1985)即以空間導引線索典範,在實驗中設計兩行各包含四盞燈的直線,四盞燈 則各代表一種深度為 Z 座標;結果發現,當導引線索出現的深度與目標物不同時,搜尋 目標物的反應時間會比較慢;且從較遠深度轉換到較近深度的反應時間,比從近到遠的 反應時間還要快。
近年學者以視角計算來控制立體深度,He & Nakayama(1995)將深度視角控制在 正、負像差(±13 分角、±27 分角),操弄目標物與背景平面的立體深度,以傾斜的方式 改變畫面的方位(orientation),如目標物平面與背景平面相互平行但呈現在不同的深度 平面,或是相互垂直呈直角,以及目標物垂直但背景傾斜;結果發現在只有在無效線索 情境,且目標物與背景分別在不同深度,若是深度差異愈大反應時間愈慢,而在其它條 件情境的反應時間則沒有影響。He 與同僚(1995)認為這是因為注意力會根據空間中的表 面特徵(surface feature),選擇性的將認知資源配置到相同或相似的特徵上,而深度的 差異愈大代表表面的特徵差異愈大,因此無法有效的吸引注意力達到快速的反應時間。 Ghirardelli & Folk(1996)則不認為深度會影響反應時間,他將正、負像差(±26 分角)加 入導引線索中與平面的情境相互比較,發現深度線索無法影響反應時間,且指出導引線 索的效果只會發生在平面空間(Ghirardelli & Folk, 1996; Iavecchia & Folk, 1994)。
8 然而,這樣的結果確無法忽視深度差異對反應時間造成的影響 ,如在 He & Nakayama(1995)的實驗結果中,只在無效線索的情境發現深度對反應時間的影響,不 過,若是注意力的驅動是根據與目標物是否共享相同的表面特徵,那麼在有效線索的情 境且不同深度時,深度差異愈大則反應時間也應愈長。再者,Folk 設計的深度情境,是 將線索與凝視點放置在畫面中相同位置但不同深度平面,結果顯示三種線索的反應時間 皆沒有差別。上述的實驗結果皆無法直接排除線索是否會受到深度的干擾,導致對目標 物反應時間的不同,因為若是深度的差異可導致無效線索情境的反應時間變慢,再加上 視覺注意力較偏好相同或相似的表面特徵時,那麼在有效線索且與目標物相同深度的反 應時間應最快,而不同深度時也應與都在平面時的反應時間不同;此外,線索與凝視點 在畫面中的位置相同時,可能導致無法符合導引線索在實驗中顯示方位的可能性。
因此,Atchley, Kramer, Andersen & Theeuwes(1997)控制目標物與情境線索皆在不同 的位置,將深度只加入無效線索的情境中,分別有無效線索但與目標物相同深度、無效 線索但與目標物不同深度。結果發現在無效線索情境下,目標物與線索出現在不同深度 比在相同深度條件下,搜尋目標物的平均反應時間還要慢,且在相同的條件下,畫面包 含干擾物比沒有干擾物的反應時間還要慢。雖然學者 Arnott & Shedden(2000)指出干擾物 的有無,會造成單眼視覺中深度線索的增加,導致目標物被歸類在相同深度的特徵群組 裡,增加畫面的認知負載程度且直接反應搜尋目標物的時間上;然而,無論有無干擾物, 不同深度都會導致較長的反應時間,因此排除掉干擾物造成認知負載變高的影響,實驗 結果顯示深度的確在無效線索的確影響搜尋目標物的過程。 為排除單眼視覺產生的深度線索,學者以裸視立體隨機圖(random-dot stereograms, RDSs)設計深度實驗,以隨機亂點圖作為背景排除單眼線索的操作控制,刺激物畫面 會連續出現兩個缺口相似或者相同方向的圓形,兩個圓形的立體成像會分別出現相同深 度會者不同深度,深度皆控制在正像差 32.7 分角、26.2 分角、19.6 分角、13.1 分角、6.5 分角共五種深度,實驗參與者被要求辨識兩個圓形缺口方向是否相同,結果顯示不同深 度會導置較慢的反應時間,且深度差距越大時反應時間愈長;再者,且立體深度從較近 到較遠時,會比從較遠轉換到較近的反應時間還要長(Arnott & Shedden, 2000)。與 Downing &Pinker(1985)的實驗結果相同,亦即從較遠的凝視平面轉換到較近的凝視平 面,比從較近的轉換到較遠的反應時間還要快;不過在此實驗中的深度類型都是正像 差,為凹陷於螢幕之後的立體視覺,因此雖排除單眼線索,不過卻無法說明正、零、負 像差之間轉換的差異。
9 除了在不同的靜態物體探究立體視覺對注意力造成的影響,學者讓含有深度的物體 在空間中移動,如目標物以動態的方式遠離(approaching motion)或是靠近(receding motion)參與者,且在畫面中加入與目標物。遠離參與者是利用目標物原本的深度平面, 為凹陷於螢幕後方的正像差(30 分角),設計以六個畫面(Frame/33.3ms/5 分角)將 目標物的像差縮小為零像差;靠近則是從零像差轉換成負像差(-30 分角)。實驗結果與 Harris et al.(1998)結論相同,干擾物深度的有無並不會影響(Finlayson et al., 2012),不過 在目標物改變深度移動的條件下(往螢幕前方突出),比相同深度下的移動(往螢幕右 方移動),前者花費在搜尋目標物的反應時間比較慢。然而,眼球轉換凝視點到不同像 差的物體上時,需考慮到眼球幅驟與調節的肌肉運動,其間會比相同深度平面轉換的時 間還要慢,且接收愈多深度會產生較多眼動線索近而影響目標物的搜尋時間。如學者 Yano, Emoto, & Mitsuhashi(2004)與 Hirahara, Shiraishi, & Kawai(2012)都將深度控制在 正、零、負像差(前者視角為±0°、±0.82°、±1.36°、±1.90°;後者視角為 0.02°、0.05°、 0.06°、±0.08°、0.07°、0.09°、0.10°、±0.11°、0.12°、0.14°、0.15°、0.16°、0.20°、0.25°、 0.30°、0.40°),結果皆顯示接收的深度種類愈多、像差差異愈大且觀看時間愈久時,會 產生較多的眼動線索如福驟與調節作用,這些作用皆會影響搜尋目標物的反應時間與視 覺疲勞的程度(IJsselsteijn et al., 1999, 2000)。 由上述文獻可知,不論在靜態或者動態型式,深度物體對搜尋目標物的反應時間存 在一定的影響性,不同深度物體的反應時間也不相同。這也指出了在純粹深度的設計研 究中,正像差、零像差以及負像差是過去學者主要使用的深度類型,以反應時間作為注 意力轉換或者配置的指標。 表 2-2:立體視覺研究深度變項(秒角)一覽(本文整理) 自變項(秒角) 應變項 顯示器 觀看 距離 參考文獻 正像差 負像差 +1620〞 -1620〞 反應時間 快門式 60 cm He & Nakayama(1995) +780〞 -780 +2760〞 -2760〞
10
+14400〞 -14400〞 反應時間 偏光式 50 cm Ghirardelli & Folk(1996) +1560〞 -1560〞 反應時間 快門式 75 cm Atchley, Kramer, Andersen
& Theeuwes(1997) +698〞 無
反應時間
偏光式 100 cm Harris, McKee & Watamaniuk(1998) 辨識正確率 +1962"、+1572"、+ 1176"、+786"、+390" 反應時間 裸視立體
隨機圖 63 cm Arnott & Shedden(2000) 辨識正確率
+19008" 無
反應時間
立體鏡 60 cm Finlayson, Remington & Grove(2012)
辨識正確率 +2952" -2952"
視覺舒適度 快門式 108 cm Yano, Emoto & Mitsuhashi (2004)
+4896" -4896" +6840" -6840"
+1440" -396" 視覺舒適度 偏光式 156 cm Hirahara, Shiraishi & Kawai (2012)
二 立體與平面影像的比較研究
立體與平面影像比較研究(The comparative research of 3D image and 2D image)的 實驗中,是以立體顯示器直接呈現 2D 或 3D 影像。在 3D 情境下,以畫面呈現的方式選 擇立體顯示器可分為:偏光式顯示器(polarized display)與快門式顯示器(shutter display) 兩大類型。實驗參與者在實驗中會搭配偏光式(polarized glasses)或快門式(shutter glasses)的立體眼鏡,呈現的影像會包含兩種以上的深度像差類型,在實驗過程中再藉 由眼球追蹤的技術記錄眼球觀看不同畫面時的運動變化。因此,除立體深度的不同對反 應時間造成的影響差異之外,透過紀錄且比較眼球在立體影像或平面影像的運動,可以 直接或者間接解讀立體深度對眼球運動的影響,以及理解眼球動在不同的視覺特徵區域 的敏銳度差異。
如學者 Huynh-Thu & Schiatti(2011)讓參與者直接觀看立體/平面無聲影片,包含卡 通、體育賽事、現場音樂會、廣告以及電影預告片等,結果顯示在立體情境下每一點凝 視點的平均總凝視時間(average fixation duration),以及整體凝視點的持續時間(duration of fixations)會較短,因此凝視頻率(fixation frequency)會較快。與 Jansen, Onat &
11 Konig(2009)的實驗結果相同,他利用相同圖片設計立體與平面的實驗情境,結果顯示在 立體影像的情境之下,會導致畫面凝視點數量(number of fixations)的增加,且跳視 (saccades)速度會較快且凝視點之間的距離變短,然而在平面影像中的凝視點較少, 跳視速度會較慢且凝視點之間的距離較長。作者認為這是因為人眼第一眼接受立體畫面 時,會先尋找距離自己較近的目標,也就是說畫面突出的深度會先吸引眼球的凝視。不 過這樣的情況在一般的平面情境中也被發現,雖然在平面的情境中沒有立體深度,不過 眼球可以從其它的單眼線索中推論,得出該平面中最接近自己的物件。
Lang et al.(2012)等人透過凝視點的分佈(fixation distribution)比較立體影像與平面 影像的不同。他們利用物體與鏡頭之間的距離產生不同的景深(depth of field, DOF), 結果顯示不論是平面或者立體影像,凝視點都會優先聚焦於景深較深或者景深密度較高 的區域。這是因為景深較深的影像會導致眼球先產生眼動線索調節與幅驟作用,因此凝 視點才會聚集在景深較深的區域。此結果與 Jansen, Onat & Konig 等人的發現相同,說 明立體影像的確會造成眼球運動的改變,包括凝視頻率較快、總凝視時間變短、凝視點 數量較多、凝視點分佈集中在立體深度的區域、跳視速度變快、跳視距離縮短等。
再者,過去文獻指出畫面含有演員或者人臉的畫面時,凝視點會較容易集中在這些 區域。而學者 Hakkinen, Kawai, Takatalo, Mitsuya & Nyman(2010)即以含有演員的動態影 像內容分析參與者觀看時的眼動資料,包括凝視路徑(gaze path)與熱點圖(heat map), 再以實驗參與者較感興趣的區域(areas of interest, AOI)分析,研究結果發現該區域中 的凝視點比例(percentage of fixations in areas of interest)明顯增加在含有立體深度的區 域,而不是演員或者人臉;再者,眼動指標首次凝視興趣區域之前的耗時(time to first fixation)分析結果顯示,在含有立體影像區域的耗時比演員或人臉的耗時還較短,而首 次凝視點(first fixation)出現在立體深度區域比出現在演員或人臉的機率還要高。此結 果與過去凝視點著重在演員或人臉的結果不同,說明含有立體深度的物體比影像中的演 員更容易捕捉注意力。 表 2-3:立體與平面影像比較研究一覽(本文整理) 自變項 檢視指標 顯示器 觀看 距離 資料來源 2D 3D 凝視頻率
裸視 60 cm Jansen, Onat & Konig(2009) 持續凝視時間
12 跳視長度 2D 3D 凝視路徑 偏光式 140 cm Hakkinen, Kawai, Takatalo, Mitsuya & Nyman(2010) 熱點圖 興趣區的凝視點比例 首次凝視目標的耗時 2D 3D 凝視的平均頻率
偏光式 180 cm Huynh-Thu & Schiatti (2011) 凝視的平均時間 凝視的持續時間 跳視的平均速度 2D 3D 凝視點的分佈 快門式 80 cm Lang, C., Nguyen, T. V., Katti, H., Yadati, K., Kankanhalli, M. & Yan, S.(2012)
第三節 立體深度作為-視覺顯著特徵 ㄧ 奇特特徵(novelty feature)
奇特特徵指涉畫面中有某一物體特別「突出(sticks out/singleton)」,該物體在畫 面的視覺屬性與其他視覺屬性有差異(Pashler, 1988),且相較之下可形成顯著的差異對 比,此即為奇特特徵(Atchley et al., 1997; Theeuwes, 1992)。突顯的物體會單獨突出畫面 產生奇特特徵,這些特徵包含形狀、顏色、大小、明亮、對比、移動或者是閃爍的目標 物,或者是較亮或者較吸引注意或目光的部分(Huynh-Thu et al., 2011; Land & Tatler, 2009; Theeuwes, 1992; Wolfe, 1998)。
奇特特徵可根據物理條件的變化,分為「動態不連續(dynamic discontinuities)」與 「靜態不連續(static discontinuities)」的視覺特徵(Jonides & Yantis, 1988; Tao, 2011)。動 態不連續指涉特徵會隨著時間產生變化如移動、閃爍或者突現,這種類別特徵又可稱時 間不連續(temporal discontinuities);而靜態不連續的物體不會因為時間的歷程產生改 變,且特徵屬性在時間的歷程上為固定不變,且與其他特徵存在差異性,又稱「空間不 連續(spatial discontinuities)」或者「視覺突出(visual salience)」,如形狀、顏色、密度 等顯著性特徵被歸類為靜態不連續(Folk, Remington, & Johnston, 1992; Ludwig, Ranson, & Gilchrist, 2008)。
13 動態不連續與靜態不連續的物體,會在畫面中突出形成顯著的視覺外觀,如與其它 物體的顏色不同或是突然出現在畫面,突出的特徵會影響注意力在視覺畫面上的分配 (Pashler, 1988)。這些視覺的特徵具有驅動注意力的顯著性,可以影響視覺注意力的配 置,也可中斷正在進行的資訊處理工作(Theeuwes, 1992)。例如在一堆綠色的球尋找一顆 紅色的球,此時因為紅色具有顯著且突出特徵的刺激物,因此可以很快就找到;不過當 紅色的球並非目標物時,此時紅球就是不相關的突出物體,會影響實驗參與者搜尋的任 務,為具有引發注意力的干擾資訊。 立體深度的視覺特徵乃是藉由操控雙眼像差而產生,且必須附著在某一物體上來完 成含有深度的成像,因此視覺在觀看立體影像時,會因為凝視平面的差異而感知物體為 凹陷或者突出螢幕,使得含有深度的物體不同與其他沒有深度的物體,而兩者的視覺特 徵會產生差異對比,在畫面中凸顯出來;此外,立體深度在本質上,並不會隨著時間的 前進產生變化,因此,總合上述本文將立體深度歸類於靜態不連續的視覺特徵歸類中, 且嘗試從實驗設計中推敲立體深度是否可做為視覺顯著特徵影響視覺注意力。 二 立體深度是否可驅動視覺注意力 視覺注意力的處理機制主要分成:「自動處理機制(automatic processing)」與「控 制處理機制(controlled processing)」。當使用者處於目標導向時,便會採取控制的注意 力,但前提是使用者必須先知道目標與干擾物的特徵;不過若是干擾物顯著的視覺特徵 無法被預測且不斷改變,使用者便無法忽略它,進而干擾視覺搜尋(Theeuwes & Burger, 1998),導致引發自動處理機制的注意力分佈。自動處理機制對視覺所處理的物體是非 自主性的注意力,由視覺中的顯著特徵驅動注意力,又稱為「由下而上(bottom-up)」 的處理機制。然而,若以個人當前搜尋的目標為基礎,事先設定對目標物的視覺特徵, 注意力為有意識被特定的特徵驅動,此處理機制為控制處理機制,又可稱為「由上而下 (top-bottom)」的處理機制(Folk et al., 1992; Shiffrin & Schneider, 1977)。而學者對於注 意力的驅動是由控制或者自動主宰,持有各自不同的見解,以下將針對立體深度是否可 驅動以及如何驅動注意力說明。
持控制處理機制主宰注意力配置的學者是根據「條件式注意力擷取假設(contingent involuntary orienting hypothesis)」,認為視覺搜尋的過程會因為對特徵事先的設定,而將 注意力集中在相關的物體上,因此是由上而下連續產生影響注意力的一個過程。在這樣 的情況下,是為有意識主導注意力的分佈與選擇,且不論物體是否有與目標物相關的顯 著特徵,其注意力的分佈是取決於個人對注意力的設定(Folk et al., 1992; Annie Lang,
14
2000; Wolfe, 1994)。也就是說,視覺中具有高對比特徵的顯著性雖然可以吸引注意力, 不過控制處理機制卻可藉由該視覺特徵,調節視覺注意力忽視與任務不相關的顯著性 (Stefanie I Becker, Folk, & Remington, 2013);因此,在有任務的情境之下,因為注意力 已預先配置到某一視覺特徵或者空間位置,導致視覺顯著特徵無法驅動注意力。如在搜 尋紅色目標物的任務中,紅色干擾物比綠色干擾物更能吸引注意力。這也說明注意力設 定時,「相同的/相關」視覺特徵或者空間位置為吸引注意力的關鍵,控制處理機制可 以藉由活化(activating)、抑制(inhibitung)與任務或者目標物相關的特定特徵,來調 節注意力的選擇;相關的特徵值會被視覺注意力放大,讓注意力可以快速的配置到該特 徵值上,以最佳的反應時間搜尋到相關的目標物,不相關的視覺特徵則不會產生注意力 的驅動(S. I. Becker, Folk, & Remington, 2010; Duncan & Humphreys, 1989)。
不過, 學者認為這是因為視知覺處理的過程,是由兩個獨立但連續的階段所組成 的:第一個階段為前注意力時期(pre-attentive processing),此時其不需要配置認知資源, 以平行(parallel)方式處理視覺特徵,物體突出的顯著特徵會產生干擾效果而吸引注意 力;第二個階段則為凝視的過程,需要投注注意力資源(Atchley et al., 1997; Theeuwes, 1991, 1992; Theeuwes & Godijn, 2002)。在前注意力時期,視覺無意識的平行處理掃視畫 面,分析畫面中的資訊且搜尋奇特且明顯的特徵,且將畫面區域分析標記為顯著區域, 改變視覺注意的區域。然而,若是單獨突出的干擾物出現在目標物之前,此時,早期階 段的前注意會發生在注意力選擇之前的 150 毫秒之內(Theeuwes, Atchley, & Kramer, 2000)。
根據「視覺顯著性假設(visual salience hypothesis)」觀點認為,注意力的驅動是因 為外在環境刺激所引起的,可直接由顯著的突出物體引發注意力;因此,單獨突出的視 覺特徵會導致視覺自動的活化作用,使注意力不由自主的處理該物體,即使是有意向的 將注意力配置於其它物體,終究還是會在前注意發生階段,被單獨突出特徵的刺激物所 干擾,進而中斷先前的資訊處理過程,即使干擾物與目標物的視覺特徵關或相似,也無 法將注意力設定在特定的空間上。如:目標物雖與其他干擾物不同,為突出形狀的顯著 特徵,不過顏色的突出效果比形狀的突出效果還要顯著,則顏色突出的特徵在搜尋目標 物時,就會產生干擾效果(Bernstein, 1979),這也指出了在平行處理階段,注意力不可能 被設定在特定相關的特徵上。 然而過去研究將立體深度作為視覺顯著特徵的變項,是因為立體影像具有人眼可判 別的深度資訊,在視覺中提供不一樣的視覺特徵,對畫面形成視覺顯著特徵有極大的影
15
響(Bingbing, Gang, & Moulin, 2011; C. Lang et al., 2012),且實驗結果發現,畫面中突出 或者凹陷的立體深度視覺區域,可以改變注意力的配置(Atchley et al., 1997; Finlayson et al., 2012);含有立體深度畫面的凝視點較集中且密集,沒有立體深度畫面的凝視點則較 為分散(Ramasamy, House, Duchowski, & Daugherty, 2010),且改變基本的眼球運動特 性,如凝視與跳視的眼球運動(Jansen et al., 2009)。 不過物體是否具有足夠的顯著性驅動自動處理機制,取決於物體顯著特徵對控制處 理機制的干擾效果,在視覺搜尋的過程,若發現干擾物特徵的顯著性,與目標物形成強 烈對比,則注意力會因為強烈對比的特徵產生干擾效果,對干擾物配置非自主性的注意 力,影響搜尋的反應時間。如 Theeuwes(1992) 在實驗中分別比較兩種視覺顯著特徵: 顏色(綠/紅)與形狀(圓/方),若其中一個特徵變項為目標物,則另外一個變項則 為干擾物;且在實驗開始前告知參與者,目標物被綠色的圓圈圈起來,因此參與者會將 注意力投注在此視覺特徵。結果發現不論干擾的視覺特徵是否與目標物相關或不相關, 突出的顯著特徵都會驅動注意力的配置達到干擾的效果。再者,過去文獻指出有效線索 對目標物的反應時間,比無效線索還要快;不過若是比較不同深度之間的注意力轉換, 則發現從較遠深度到較近深度的轉換時間,比從較近到較遠的轉換時間還要快(Arnott & Shedden, 2000; Downing & Pinker, 1985),且在深度差異越大的情境之下,搜尋目標物的 時間就會愈慢。 如,在空間導引線索的視覺實驗中將立體深度視為干擾變項,目標物與導引線索分 別含有深度,因此兩者的視覺特徵是相同的,所以實驗參與者會預期的將注意力投注在 相關的目標上。如 Folk(1992)雖然事先告知參與者導引線索與目標物之間的關係,研究 結果發現與目標物含有相同視覺特徵的干擾物,對反應時間沒有顯著的影響(Folk et al., 1992),不過沒有深度的線索情境之間的反應時間也沒有差異。這不僅無法排除深度是 否對反應時間造成影響,且參與者雖然在事先已知道與目標物相似或相同的視覺特徵, 不過卻沒有反映在不同的情境結果。學者認為這是因為立體深度雖具有視覺的顯著性, 不過在含有任務的情境下且與目標物不共享相同的視覺顯著特徵時,亦即注意力設定的 視覺特徵或空間不相關時,則無法有效的驅動注意力的轉換;然而若是目標物與含有立 體深度的物件具有相同的視覺特徵時,則在注意力對視覺特徵相同的設定之下,會對注 意力產生有效的干擾的效果,影響搜尋目標物的反應時間(Awh, Belopolsky, & Theeuwes, 2012; Stefanie I Becker et al., 2013)。
16 第四節 注意力測量指標
ㄧ 反應時間測量
注意力的資源配置是一種概念性的建構,它無法像指向行為利用各種生理性指標從 腦中直接測量出來;不過卻可以利用「第二任務反應時間(Secondary Task Reaction Time, STRT)」變化,來瞭解實驗參與者使用多少認知資源,如參與者正在處理當下的訊息而 使用較多的認知資源時,此時給予第二任務的信號,在參與者反應的時間速度當中,可 以得知實驗參與者的認知資源配置情況。前注意力階段的視覺資訊處理過程,主要是以 目標的物理性顯著特徵(physical saliency),以平行掃視的處理方式分辨目標物與非目 標物。晚期選擇階段則是接收所有的視覺資訊,在對與目標物相關的特徵產生反應。 二 眼球運動測量 在心理與神經科學的領域中,顯著的定義就是在視覺畫面中有某一視覺特徵特別突 出,代表較明亮、鮮艷、對比強烈、移動或者是閃爍的目標物,這些視覺的特徵都可以 驅動注意力。被驅動的注意力可分為兩種型態。為內隱性注意力(covert attention)以及 外顯性注意力 (overt attention)。內隱性注意力就是當眼睛凝視畫面中的某一目標物 時,還是可以看到凝視點之外的刺激;亦即,當眼球凝視不動時,還是可以將注意力分 配到凝視點之外的目標物。而外顯性注意力則是當接收刺激後,實驗參與者的行為伴隨 者眼睛所接收的刺激移動(Land & Tatler, 2009)。因此,本文所採用的眼動追蹤測量方法, 為屬於外顯性注意力的範疇。
不過,「眼球的凝視是因為來自外在世界中視覺顯著特徵的驅動,或者是來自內心 世界的驅使?」。學者認為為釐清問題的答案,理解眼球在視覺畫面中的運動行為則必 須從眼球的運動程序切入(Land & Tatler, 2009)。眼動程序包含凝視(fixation)與跳視 (saccade)為常使用的眼球運動指標(Land & Tatler, 2009)。眼動指標是利用眼球追蹤技 術來紀錄眼球運動,以心眼假設(eye-mind hypothesis)為學理基礎,認為當眼球凝視 於畫面中的某一點時,則進入認知處理的過程,且處理畫面的過程會反應在凝視的持續 時間(fixation duration)(Just & Carpenter, 1980),且主張眼球運動與心智反應之間存在 直接的連結關係,眼球凝視的位置會對應心智最直接的想法(Häkkinen, Kawai, Takatalo, Mitsuya, & Nyman, 2010; Huynh-Thu & Schiatti, 2011; Jansen et al., 2009)。
回顧過去針對立體視覺影像的研究,眼球運動測量指標的分析結果,主要多著重建 立視覺顯著計算的模型,此類型的研究是利用眼動的追蹤方式收集立體深度顯著地圖
17
(salience map)的數據。這些研究認為,在立體畫面中的立體深度感知是大量被用來加 強視覺經驗的重要因素,也直接影響人類的視覺行為與經驗(Wang, Perreira Da Silva, Le Callet, & Ricordel, 2013)。因此,基於視覺注意力與眼球運動之間強烈的連結,視覺顯著 計算模型以計算畫面中有興趣的區域,或者是影像像素的顯著區域,而凝視與跳視的畫 面範圍就是人類視覺中有興趣的區域。凝視指的是中央小窩注視目標的過程,在觀看畫 面時會產生許多凝視點;跳視則為眼球的快速運動的一種,凝視點到凝視點之間的過程 即為跳視(Land & Tatler, 2009; Ramasamy et al., 2010; Wang, Le Callet, Tourancheau, Ricordel, & Da Silva, 2012)。
本文以視覺顯著性檢驗立體深度是否可做為視覺顯著特徵,輔以眼球運動指標理解 眼球運動與認知歷程之間的關係,以立體視覺研究中較常被使用的眼球運動指標最為分 析對象,表 2-5 則列出過去文獻中,以眼動指標對立體深度的測量方式與意義。 表 2-4:立體視覺研究眼球運動測量指標一覽(本文整理) 指標 立體深度測量意義 參考文獻 眼 球 運 動 檢 視 指 標 凝視點數量 Fixation Count 立體視覺特徵的畫面區域會增 加凝視點數量(counts)。
Ramasamy, House, Duchowski, & Daughert(2009)、Wang, Le Callet, Tourancheau, Ricordel, & Da Silva (2012)、Wismeijer, Erkelens, van Ee, & Wexler ( 2010 )、 Wang, Perreira Da Silva, Le Callet, & Ricordel, (2013)
Jansen, Onat & Konig(2009)、 Hakkinen, Kawai, Takatalo, Mitsuya & Nyman ( 2010 )、 Huynh-Thu & Schiatti ( 2011 )、 Wismeijer, Erkelens, van Ee, & Wexler(2010) 首 次 凝 視 目 標 的 耗時 Time to First Fixation 首次凝視目標物的時間越快,表 示物件或者區域的視覺特徵較 容易捕捉注意力的特質。在立體 深度情境下,凝視點會較快凝視 在含有立體深度的區域。 總凝視時間 Fixation Duration 立體深度區域會的總凝視時間 會較長,而凝視點數量增加的同 時,但每ㄧ凝視點持續時間較 短,亦即跳視的距離與長度縮 短。 視 覺 檢 視 指 標 凝視路徑 Gaze Path 凝視路徑會先凝視立體深度區 域。
18 凝視點分佈圖 Heat Map 立體視覺特徵的畫面區域會增 加凝視點數量(counts),且凝視點 會集中在立體深度區域。
Ramasamy, House, Duchowski, & Daughert(2009)、Wang, Le Callet, Tourancheau, Ricordel, & Da Silva (2012)、Wismeijer, Erkelens, van Ee, & Wexler ( 2010 )、 Wang, Perreira Da Silva, Le Callet, & Ricordel, (2013)
第五節 立體視力檢測方式
立體視覺研究藉由直接讓參與者觀看實驗畫面所使用的立體圖,確保實驗參與者感 知立體畫面的一致性。如 Iavecchia & Folk(1996)、Atchley et al.(1997)、Arnott & Shedden(2000)等在實驗之前,讓參與者觀看與實驗相同或類似的畫面,且需感知到實驗 中使用的最大與最小的立體秒角。 Tam, Stelmach & Corriveau(1998) 、Hakkinen et al.(2000)、Huynh-Thu & Schiatti(2011)的實驗則是通過一般的立體視力與正常視力即可。 不過自製的立體深度顯然會導致一些潛在問題,如參與者感知的深度程度無法統一,以 及將實驗結果歸因於參與者沒有感知到實驗畫面的深度。然而,這些問題都是因為立體 視力檢測沒有統一的標準。因此在立體視力檢測程序的篩選上,本文比較五種立體視力 檢測程序:Titmus、Frisby、Lang II、TNO、Randot Stereo Test,其程序說明如下: ㄧ Titmus 測驗分成三大部分圓圈圖、動物圖以及蒼蠅圖,檢查距離在 35 公分,過程需配帶 偏光眼鏡。在圓圈圖中共有 9 個菱形,每個菱形當中有 4 個圓圈,4 個圓圈中只有一個 是突出於平面的,秒角範圍從 800''-40''。動物圖則有三排動物圖,每一排有 5 隻動物, 而只有其中一隻為立體的,每一排的秒角分別為 400''、200''、100''。蒼蠅圖則是翅膀和 蒼蠅身體浮出的最大立體的視角 3000'',在正常立體視覺之下,會感覺到蒼蠅翅膀突出 於平面,而若將立體上下顛倒,則會感知翅膀凹陷於平面之後。實驗參與者須通過所有 的圖形的檢測。 二 Frisby 實驗參與者以裸眼接受測驗,在距離約 35-40 公分處觀看立體圖,須固定實驗參 與者的頭部與立體檢測板間的位置。共有三塊不同厚度的立體檢測板,依序詢問實驗參 與者每塊板子中隱藏的圖形為何,每一次詢問只放一塊板子,詢問實驗參與者立體檢測 板中與其他形狀不同的圖形為何,以及該圖形為突出平面或者凹陷於平面。實驗參與者
19
說出答案後,施測者直接將立體檢測板子翻轉並檢查答案。若實驗參與者答錯則再詢問 一次,以此類推檢測實驗參與者最大的立體視力為何(Frisby, Davis, & McMorrow, 1996)。 三 Lang II 檢測設備只有一張隨機立體圖卡,實驗參與者需辨識出隱藏的三個圖形,包含大象 (秒角為 600")、汽車(秒角為 400")、月亮(秒角為 200'')。實驗參與者以裸眼接受測 量,在距離 35-40 公分處接受測驗。過程中,實驗參與者必須依序回答出突出的圖形 為何,若有任何一個圖形無法正確回答,則表示實驗參與者可能無法辨視該立體秒角範 圍的立體圖,不過因為此測驗無法精準的檢驗實驗參與者的立體視力,因此只能粗略的 判斷該位實驗參與者無法看到立體圖(Duckman, 2007)。 四 TNO 檢測圖共有 7 張紅綠隨機點立體圖卡,前三張要求實驗參與者在圖卡中找出隱藏的 蝴蝶、圓盤、三角形;第四張為測驗有無單眼抑制;後三張則是要求實驗參與者找出圓 圈的缺口方向,圓圈的秒角分別為 480"、240"、120",60"、30"、15"(Larson, 1988)。 五 Randot Stereo Test
檢測圖含有三大部分,其一:幾何立體隨機圖,此部分是以秒角 500"與 250"分成 上下兩部分,每部分共有 4 個方框,4 個方框中只有 3 個隱藏幾何圖形。其二:圓圈圖, 共有 10 組,每組裡面有 3 個圓圈,3 個圓圈中只有一個圓圈含有交叉的視差;秒角從 400"-20"之間的範圍逐漸增加。其三:是動物圖:共有三排,每一排有 5 隻動物,而只 有其中一隻為立體的,每一排的秒角分別為 400''、200''、100''。此檢測方式需配偏光眼 鏡,測量距離為 35 公分。 研究指出 Titmus 較適用 3-5 歲的幼童,這是因為動物圖、圓圈圖中的前五個圓圈 包含單眼線索,因此實驗參與者會利用單眼線所猜測圖像為何,影響立體視覺的判斷 (Duckman, 2007)。學者亦檢驗出 TNO 的檢測方式與其他的立體視力檢測圖相比較之 下,會有雙眼線索分離(Binocular Dissociation)的現象(Von Noorden, 1990),且容易造 成線索的競爭(Rivalry)、壓迫(Suppression)以及與其他雙眼線索的互動(Larson, 1988)。 Lang II 與 Frisby 在檢測的過程須固定實驗參與者的頭部與檢測圖之間的距離,否則無法 精準看到立體圖,此外,Lang II 無法精準的測量實驗參與者的最佳的立體視力,只能粗 略的檢測是否可以看到立體視力(Duckman, 2007),且因圖形過於簡單,所以經過多次測 試後會有記憶效果。
20
立體視力檢測的目的是為了確保實驗參與者在實驗過程中,不僅能接收到立體深 度,且皆收的立體深度感保有一致性。因此,若是立體檢測圖的立體深度感不一致時, 則會影響參與者皆受立體畫面時的深度感。藉由比較各個立體視力檢測的方式,本文將 選取 Randot Sterotest 做為立體視力檢測的標準。Randot Sterotest 並非完美的立體視力檢 測方式,過去研究雖指出 Randot Sterotest 的動物圖含有單眼線索,可直接辨識立體圖的 外觀,不過在 Randot Sterotest 中動物圖的檢測本質,是為 3-5 歲的幼童所設計;而幾何 圖與圓圈圖可較精確的檢測受測者的立體視力(Duckman, 2007; Ohlsson et al., 2001; Simons, 1981)。因此,綜合上述文獻,本文選擇以隨機立體圖製作的 Randot stereo test 作為實驗參與者立體視力檢測的方式。 表 2-5:立體視覺研究使用立體視力檢測一覽(本文整理) 立體視力 檢測程序 眼鏡 類別 檢測 內容 秒角 範圍 缺點 參考文獻 立體視力檢測 研究實 驗眼鏡 研究者自 製畫面 無特定範圍 立體深度感不 一致
Tam, Stelmach & Corriveau(1998)、Hakkinen et al.(2000)、Huynh-Thu & Schiatti(2011) 研究者自製畫面 研究實 驗眼鏡 實驗畫面 實驗畫面中 最大至最小 秒角 立體深度感不 一致
Atchley, Kramer, Andersen & Theeuwes(1997)、Arnott & Shedden(2000) Randot Stereo Test 偏光 幾何圖、 動物圖、 圓圈圖 20''-500'' 動物圖含有單 眼線索 IJsselsteijn, de Ridder, Hamberg, Bouwhuis & Freeman(1998) Titmus 偏光 蒼蠅圖、 動物圖、 圓圈圖 40'' -3000'' 較 適 用 3 -5 歲的幼童、蒼 蠅圖與動物圖 包含單眼線索 Ohlsson, J , Villarreal, G , Abrahamsson, M, Cavazos, H, Sjostrom, A , & Sjostrand, J (2001)、Simons, K. ( 1981 )、 Finlayson, Remington & Grove(2012)
TNO 紅藍 蝴蝶圖、 圓盤圖、 幾何圖 15'-1900'' 有雙眼線索分 離現像 Ohlsson, J , Villarreal, G , Abrahamsson, M, Cavazos, H, Sjostrom, A , & Sjostrand, J (2001)、Simons, K. (1981) Lang II 裸視 大象圖、 汽車圖、 月亮圖、 星星圖 200'-600'' 僅粗略檢測立 體視力、頭部 與檢測圖之間 的距離需精準 固定。 Frisby 裸視 幾何圖*3 55''-340'' 頭部與檢測圖 之間的距離需 精準固定
21
第参章 實驗一
第一節 實驗目的與研究問題 根據文獻回顧的討論可得知,人在接受資訊時會引發認知處理資訊的過程。認知處 理的過程指涉資訊輸入時,在接收者的認知中會引發何種處理機制,不同的處理機制選 擇會產生不同的影響效果。且在認知處理的過程,注意力會被分配到製碼、儲存、提取 三個流程,不過因為注意力為有限的資源,因此若是其中有一個過程需要較多的資源, 則其它二者的認知資源則會因此縮減。而過去比較名片與立體畫面的研究結果顯示,視 覺注意力在相同畫面時,立體情境的立體深度不僅可在視覺前注意的階段吸引注意力, 且增常眼球凝視的時間,對畫面探索的的範圍與停留的時間也明顯增加。 然而在自然環境中識別目標物是視覺注意力的主要功能。此功能可以幫忙我們快速 的找到主要目標物;在辨別目標物的搜尋過程中,視覺畫面除了將目標物的特徵視為主 要的搜尋任務(Wolfe, 1994, 1998),其餘的非目標物雖然也會落在搜尋的視覺畫面中,但 是視覺注意力無法一次同時的處理所有的訊息(目標物/干擾物)刺激。再者,過去研 究將深度作為視覺顯著特徵時,無法直接回答三種立體深度的像差類型在驅動注意力上 的差異,且實驗設計的方式無法將注意力配置直接歸因於立體深度的影響。因此實驗一 將立體深度視為-視覺顯著特徵作為引發注意力的單一變項,且將立體深度分為兩大像 差類型,排除其他可能干擾或影響的變項。探究在主要任務執行的情境下,不同的立體 深度類型與置入位置的差異是否會對反應時間造成影響。 因此,本文以反應時間與眼球運動作為測量指標,推敲立體深度的畫面區域是否能 做為視覺顯著特徵驅動注意力的配置,進而對反應時間造成影響;而不同的立體深度類 型是否會誘發不同注意力配置的程度,故總合上述對注意力的配置提出以下研究問題: 研究問題:立體深度的像差類型,在驅動注意力的程度上是否不同?22 第二節 研究方法 一 實驗設計 本實驗採用 2(立體深度)× 2(置入位置)雙因子組內的實驗設計。第一個操弄變 項是立體深度為組內因子,包含正像差以及負像差兩種類型(圖 2:實驗架構)。第二個 操弄變項是空間注意力為組內因子,分為置入目標物、置入干擾物兩種類型。 圖 3-1:實驗一研究架構 二 實驗素材 每個情境的實驗素材包含兩個畫面:凝視點畫面以及刺激物畫面。凝視畫面以黑色 為背景而白色十字呈現在畫面正中央;刺激物畫面則是由四個圍繞螢幕中心、且含有英 文字母的方框組成,方框與字母則設置為黑色背景則為白色。 刺激物畫面的目標選用環繞形狀皆類似 8 的英文字母(S、F、H、B、E)。英文字 母 S、F 為目標物,干擾物則為 H、B、E 隨機分配出現,四個方框為字母的外框且與字 母同時出現;方框與螢幕正中心的距離皆控制為相等,且字母位於方框的正中央。為保 持實驗素材一致性與降低其它干擾因子,字母與方框以 Adobe Photoshop CS6 製作編 輯,兩個實驗畫面皆搭配螢幕解析度,控制在 1920×1080 像素,方框與字母的線條寬度 設定為 5pt。 刺激物方框的長寬設定在 6.7 公分,方框彼此之間的間距則為 10 公分;以實驗參與 者雙瞳的平均距離 6.5 公分,以及瞳孔到螢幕之間的距離 90cm,計算出刺激物方格呈現 在螢幕上時的視角為 4.264o,方格之間間距的視角則為 6.362o,如圖 3-2、3-3:
23
圖 3-2:刺激物視角換算示意圖
圖 3-3:刺激物畫面示意圖
此外,刺激物畫面的製作方式,是使用線上免費軟體 Stereo Photo Maker(SPM)後 製含有立體深度的刺激物畫面(http://stereo.jpn.org/eng/stphmkr/)。SPM 是一套提供立體 靜態影像後製功能的軟體,軟體作者 Masuji Suto & David Sykes 於 2003 年開始於線上提 供 SPM1.10 版本,直至 2014 年更新至 SPM4.54 版本,為本文使用的軟體版本(Starkman, 2013.01.27)。該軟體是以水平位移圖像像素(pixel)的方式,將兩張相同的左、右眼刺
24
激物圖像,分別位移±20p 轉出含有正像差與負像差的刺激物畫面(Arnott & Shedden, 2000)。 三 自變項 立體深度。立體深度指涉目標物的凝視點突出或者凹陷於螢幕畫面,且不隨時間的 歷程而產生改變,共有兩種類型:(1)正像差,凝視點聚焦於螢幕之後,呈非交叉視差 狀態;(2)負像差,凝視點聚焦於螢幕之前,呈交叉視差。目標物與干擾物分別加上正 像差或負像差,隨機呈現在畫面中的四個平面。 置入位置。置入位置以空間注意力為基礎定義,指涉目標物與干擾物實際物理的空 間距離,因此若是將畫面中視覺特徵突出的視覺特徵置入在不同的刺激物上,如目標 物、干擾物或者同時置入兩者;那麼被置入的目標物或者干擾物在畫面上的視覺空間則 會相異於其它視覺特徵。而含有視覺突出的特徵若在目標物上會加速反應時間,若在干 擾物上則會驅動注意力干擾實驗任務,若同時置入目標物與干擾物,則會使得干擾物與 目標物被視為畫面中的相同視覺的群組,影響反應時間。然而,本文為釐清立體深度是 否可視為具有顯著性且可驅動注意力的視覺特徵,將兩種類型的立體深度,分別置入在 目標物、干擾物兩者上,如圖 4: (置入目標物) (置入干擾物) 圖 3-4:立體深度位置置入形態 四 依變項 反應時間。本文以視覺搜尋目標物的反應時間(reaction time)作為注意力變化的操 作型定義。反應時間是使用 E-prime 軟體進行,作為參與者進行反應目標物的工具。 眼球運動指標。藉由興趣區域 AOI 的繪製與分析,本文將 AOI 分類成目標物方框 區域以及立體深度方框區域,藉由 Tobii Studio3.2.2 軟體進行眼球運動分析檢定。 五 實驗設備
以 Tobii Studio3.2.1、MediaLab 以及 DirectRT 製作編排刺激物,實驗素材呈現的螢 幕為 Acer VG23A 3D,解晰度為 1920×1080,實驗過程需配戴偏光眼鏡(polarized),放
25 置在眼動儀追蹤儀器正後方。再輔以抽樣頻率一秒為 300Hz 的 Tobii TX300,做為追蹤 與紀錄眼動資料的工具。Tobii TX300 是藉由眼球運動追蹤儀器,釋放出非侵入式的紅 外線追蹤眼睛的瞳孔,以瞳孔中心/角膜反光點法(Pupil-Center/Corneal-Reflection, PCCR),利用角膜外圍的反光點(glint),與視網膜反射的亮眼(bright-eye),計算其相 對位置的改變來檢測視線。 六 實驗參與者 以公開方式招募正常視力者,或者已矯正過之正常視力者為本文之實驗參與者,透 過線上招募方式徵得 58 位實驗參與者。反應時間的樣本組成上,扣除無法通過立體視 力檢測的 1 人,樣本由 28 位男性(48%)、29 位女性(50%)所組成,年齡介於 20 至 44 歲。眼球運動測量指標的樣本組成,扣除採樣率較差以及資料遺失一半以上的 47 人, 樣本由 2 位男性(18%)、9 為女性(82%)所組成,年齡介於 20 至 31 歲。 七 實驗程序 每次實驗僅可由一名實驗參與者進行。實驗參與者正式開始實驗之前,在研究人員 的說明與伴同之下,完成實驗參與同意書的程序。其次,進行立體視力檢測,每位實驗 參與者皆須通過 Randot Stereo Test 70 秒角,確保每位實驗參與者對實驗畫面立體深度 感知的一致性。完成立體視力檢測後,實驗人員協助實驗參與者坐在與螢幕約 65 公分 的距離處,並開始進行眼動追蹤儀之 9 點校正。眼球追蹤校正程序是請參與者依序凝視 出現在螢幕不同位置的紅點,紅點位置會隨機出現且變化(一般是左上、上、右上、左、 中央、右、左下、下、右下。完成後,眼動追蹤儀會直接比較 9 點的已知位置與估計位 置之間的差異,若差異在可接受的範圍且皆有校正資料時,即完成校正方可進入正式實 驗。 本文以兩種立體深度類型、兩種置入型態為實驗設計,共包含 4 種實驗情境。每種 實驗情境的刺激物畫面,目標字母 S、F 與干擾字母 H、E、B 可能的排列組合共有 48 種;4 種實驗情境在以區間隨機(block random)方式依序呈現於實驗畫面。實驗任務要 求實驗參與者在畫面中搜尋目標字母,分別以最快的速度按下正確對應的反應鍵,若畫 面出現的目標字母為 S,則按下紅色鍵,若目標字母為 F,則按下綠色鍵;若是參與者 答錯、或者超過 4 秒沒有按下反應鍵則直接進入下一個試驗。 正式實驗開始前,實驗人員引導實驗參與者觀看指導語並理解實驗任務。實驗參與 者會先執行練習程序,以習慣實驗畫面的立體視覺以及對應的紅/綠反應鍵。練習程序 包含 4 種情境,每種實驗情境分層挑選 2 個試驗,共進行 8 個練習試驗,練習結束後休
26 息 1 分鐘。練習畫面與實驗畫面皆包含十字凝視畫面(3 秒)、刺激畫面(反應時間)以 及黑幕(2 秒)。(1)凝視畫面會在螢幕上持續出現 3 秒,實驗參與者需凝視畫面十字的 交差點;(2)每則刺激物畫面在螢幕上最多停留 4 秒,若實驗參與者超過 4 秒沒有反應 或者回答錯誤則會直接進入下一則試驗;(3)每則試驗結束會出現回答正確(O)或錯 誤的符號(╳),之後直接進入下一個試驗。正式實驗共進行 192 試驗,每 48 個試驗後 休息 1 分鐘,共休息 4 次。實驗流程如圖 5、圖 6: 圖 3-5:實驗一流程圖