國
立
交
通
大
學
生醫工程研究所
碩
士
論
文
利用視訊偵測果蠅睡眠系統之研發
The research on the motion detection system by using the video-information for fruit fly sleeping study
研 究 生：何冠緯
指導教授：荊宇泰 教授
中 華 民 國 九 十 九 年 七 月
利用視訊偵測果蠅睡眠系統之研發
The research on the motion detection system by using the video-information for fruit fly sleeping study
研 究 生：何冠緯 Student：Guan-Wei He
指導教授：荊宇泰 Advisor：Yu-Tai Ching
國 立 交 通 大 學
生 醫 工 程 研 究 所
碩 士 論 文
A ThesisSubmitted to Institute of biomedical Engineering College of Computer Science
National Chiao Tung University in partial Fulfillment of the Requirements
for the Degree of Master
in
Computer Science
July 2010
Hsinchu, Taiwan, Republic of China
利用視訊偵測果蠅睡眠系統之研發 學生: 何冠緯 指導教授: 荊宇泰 博士 國立交通大學生醫工程研究所 摘 要 一般研究果蠅睡眠行為實驗，皆為將果蠅置於ㄧ細玻璃管內，利用紅外線偵 測器置於管子中間，當果蠅通過中間時才判定移動，檢查果蠅是否在單位時間內 移動到特定地點。傳統方法屬於被動偵測模式，若果蠅長時間置於管子某一側， 則可能會造成誤判成睡眠，所以可能會忽略一些細部資料以及無法偵測區域。 本論文提出方法解決傳統實驗的問題，在此使用攝影機並利用近紅外線(波 長 850nm)當夜間照明，截取連續的果蠅影像，利用影像處理分辨出果蠅目前所 在位置，比較前後影像資訊，判別出果蠅是否正在睡眠，本論文能提供更完整的 果蠅睡眠行為資料，也提供果蠅活動行為資料等等。 i
The research on the motion detection system by using the video-information for fruit fly sleeping study
Student: Guan-Wei He Advisor: Yu-Tai Ching
Institute of Biomedical Engineering National Chiao Tung University
ABSTRACT
A traditional experiment setup for studying sleeping pattern of fly was to place a fly in a glass tube. An infrared motion detector was placed in the middle of the tube. It detected fly motion if a fly moved across the middle, and the fly was considered awake. The conventional experiment is a passive approach. It loses information if a fly moves only on one side of the glass tube.
In this thesis, we present an experiment setup that solves the problem occurred in the passive approach. Furthermore, we can design experiment that studies the impacts of social activities to the sleeping pattern. We used near infrared LED (wave length 850 nm) as the illumination light source which can be visible by a video camera that has infrared filter removed. A computer image processing was applied to compute the location of the flies. By comparing the previous and current locations of the fly, we derive the motion information of the fly. Our experimental results show that the proposed method can replace the convention method.
誌 謝
感謝指導我們大家的指導教授荊宇泰博士，細心的教導我們有關於問題探討 研究的方向，使我們在這兩年中受益匪淺，帶領我們進入生醫領域中，一窺生醫 影像處理的深澳。老師對於學問的求知更是值得我學習，感謝老師指導，使得此 論文更加完善。 在這兩年的日子中，感謝著學長、同學以及學弟妹們的陪伴，使得實驗室在 努力研究的氣氛之下，天天充滿著歡樂。我們在研究之中並不孤單，互相砥礪， 研究生活變得絢麗多彩。 最後誠摯的感謝我的家人們，大家對於我的求學以及研究，不斷的給予支持 與鼓勵，使我在這一條路上，走的充滿信心。 iii目錄
第一章 序 論... 1 1.1 研究背景 ... 1 1.2 研究動機 ... 3 1.3 研究方法 ... 4 第二章 相關研究... 5 2.1 前言 ... 5 2.2 實驗過程 ... 6 第三章 實驗流程... 8 3.1 實驗簡介 ... 8 3.2 實驗之硬體架構 ... 10 3.3 實驗之前處理 ... 13 3.4 影像處理：找出果蠅位置 ... 15 3.5 計算果蠅睡眠時間並輸出 ... 24 3.6 實驗流程圖 ... 26 第四章 統計分析及實驗結果... 28 4.1 操作介面使用 ... 28 4.2 資料轉換及統計分析 ... 30 4.3 實驗結果及統計資料... 32 第五章 結論與未來展望... 37 參考文獻... 38List of Figures
Fig. 1-1: Passive approach. ... 3
Fig. 1-2: Camera. ... 4
Fig. 2-1: Simple flow chart. ... 6
Fig. 3-1: Environment for experiment. ... 8
Fig. 3-2: Arena. ... 10
Fig. 3-3: Sectional drawing of arena. ... 10
Fig. 3-4: Camera. ... 11
Fig. 3-5: Light and Power supply ... 11
Fig. 3-6: White LEDs ... 12
Fig. 3-7: Photo stands. ... 12
Fig. 3-8: Day background. ... 14
Fig. 3-9: Night background ... 14
Fig. 3-10: The original for day image ... 16
Fig. 3-11: The original for night image. ... 16
Fig. 3-12: After division for day image. ... 17
Fig. 3-13: After division for night image. ... 17
Fig. 3-14: Subtract threshold for day image. ... 18
Fig. 3-15: Subtract threshold for night image. ... 18
Fig. 3-16: Day image using subtraction. ... 19
Fig. 3-17: Use square mask to find fly. ... 20
Fig. 3-18: Cluster the squares. ... 20
Fig. 3-19: Square mask. ... 21
Fig. 3-20: Cluster for case 1 illustration. ... 22 v
Fig. 3-21: Cluster for case 2 illustration ... 22
Fig. 3-22: Cluster for case 3 illustration ... 23
Fig. 3-23: Cluster for case 4 illustration. ... 23
Fig. 3-24: Cluster for case 5 illustration. ... 24
Fig. 3-25: Previous image ... 25
Fig. 3-26: Current image ... 25
Fig. 3-27: Flow chart for obtain background. ... 26
Fig. 3-28: Flow chart for calculating the sleeping time ... 27
Fig. 4-1: Background interface ... 28
Fig. 4-2: Main program interface ... 29
Fig. 4-3: Format for record image information. ... 30
Fig. 4-4: Experiment 1 result. ... 33
Fig. 4-5: Average sleeping time for experiment 1 ... 33
Fig. 4-6: Sleeping latency for experiment 1. ... 34
Fig. 4-7: (left) Day image, (right) Night image for experiment 1. ... 34
Fig. 4-8: Experiment 2 result. ... 35
Fig. 4-9: Average sleeping time for experiment 2. ... 35
Fig. 4-10: Sleeping latency for experiment 2... 36
第一章 序 論
1.1 研究背景 人類是高等的動物，有許多不同的行為，因為行為的不同會影響人類的生 活、情緒等等，有人容易顯得暴躁有人卻沉穩平靜。為了了解行為是否由基因所 控制影響，常用的方法是使用模式生物，用統計學來研究基因改變前跟改變後的 資料，判別是否影響行為出現次數的多寡，以及是否會改變行為活動等等。 睡眠是動物們所需要的，以人類來說一生中大約花了 1/3 的時間在睡眠[1]， 目前已經證明了睡眠與許多行為有著密切關係，例如學習，因此研究睡眠已經發 展成一個專門的研究工作。我們不知道睡眠實驗會對人體有什麼影響，而且怕對 人體產生危險或潛在的傷害，加上實驗不易且時間過於長久，取得大量資料不 易，所以先選用小動物來進行實驗，例如果蠅[2]、白老鼠等等之類。 果蠅的基因序列已經被定序的差不多，並且和人類的基因有許多相似性. 目 前為止果蠅是很方便用遺傳學的方式研究各種行為學的實驗動物。果蠅生殖快、 繁殖容易，最重要是果蠅跟人類一樣，都有每天固定時間睡覺的相同睡眠行為 [3]，所以這類實驗以果蠅(Drosophila)為主要對象來觀察研究，特別因為果蠅是 研究行為的一個重要模式生物，研究果蠅睡眠相對的更重要。一般果蠅睡眠實驗 所取得的研究數據為被動實驗數據，是利用改變基因後的果蠅(實驗組)和正常果 蠅(對照組)的實驗統計數據[4]來計算研究。 1人類有很多睡眠方面的問題，例如失眠[5]等等，我們希望可以用簡單的實 驗動物(果蠅)，針對特定的神經或組織，利用遺傳學的方法來調控特定的基因。 當我們發現果蠅有特定的分子機制可以調控睡眠，若哺乳類動物有相對應的基 因，我們可以先在果蠅上做些特定的研究，之後再經由哺乳動物的臨床實驗，進 而加以研究可以調控人類睡眠的機制，這是最終的目標。 。
1.2 研究動機
傳統睡眠資料的取得都是被動偵測[6]所取得，如 Fig. 1-1，也就是把果蠅放 在一根標準 2mm*60mm 的實驗管子(standard locomotor assay tubes)裡，利用紅 外線穿過管子正中間來感應果蠅的活動，當果蠅穿過紅外線時感應計數器自動加 1，記錄每分鐘所經過次數[7]。果蠅睡眠狀態的定義為連續 5 分鐘經過次數為 0 時，就認定為果蠅睡眠。這實驗的主要缺點是果蠅要經過紅外線才會被感應到， 而忽略小部份活動都在管子的一側，因而沒感應到紅外線，被誤認為睡眠狀態的 可能。會造成把錯誤的資料加入統計數據，進而對研究數據產生些許誤差。之後 更進階的方法，也是把果蠅放入管子內用攝影機去取得位置[8]，此外此實驗是 把一隻果蠅放入一根管子，事實上這並不客觀，果蠅是群體的生物如同人一樣， 如此一定會造成測驗結果不正確，所以本論文實驗是以新的方式，主動偵測來取 得果蠅睡眠資料，可以解決上述的缺點，使果蠅睡眠行為實驗及統計資料更準 確，用方便研究觀察。
Fig. 1-1 Passive approach
1.3 研究方法 本論文提出一個新的主動偵測果蠅觀測方法，使用設備如 Fig. 1-2，架設 一組 USB CAMERA 拍攝果蠅，透過攝影機連續擷取出果蠅活動影像[9]。除此之外， 使用白色 LED 燈光模擬白天，近紅外線燈做為夜間照明，使用 LED 燈的好處是利 於控制溫度，不會造成溫度的提升而影響到果蠅的睡眠狀態。對影像做相關處 理，取出果蠅目前位置並加以比較，每秒記錄果蠅的移動狀態，最後統計並分析 果蠅的睡眠活動行為。 本論文的實驗在於處理目前取得的影像，找出果蠅目前的位置與先前的影像 做比較。如果兩張影像中果蠅的位置相等，則判定此隻果蠅目前正處於靜止狀 態，並把靜止狀態計數器加一，反之如果果蠅位置不同，則果蠅正處於移動狀態， 把靜止狀態計數器設為一。當果蠅持續五分鐘處於靜止狀態，則我們定義此隻果 蠅正處於睡眠狀態，並且在果蠅身體上標示藍色的點，反之移動狀態標示紅色的 點。程式會自動計算與輸出每三十分鐘果蠅的睡眠時間，並且每秒輸出影片以及 圖片做記錄，以方便之後之查詢。 Fig.1-2 Camera
第二章
相關研究
2.1 前言
果蠅(Drosophila or fruit fly)的繁殖力強，生命週期短，能繁殖大量的後代， 繁殖飼養成本低，所以非常適合當作試驗生物，以下為果蠅的簡介。
果蠅英文俗名為 fruit fly 或 vinegar fly，是雙翅目 Tephritidae(大果蠅)科和 Drosophilidae(小果蠅或醋蠅)科的昆蟲，全世界發現的物種超過 1000 種，本研究 主要研究對象為黑腹果蠅，只有 4 對染色體(一對 X 和 Y 的性染色體以及第二、 第三、第四對染色體) ， 果蠅在攝氏 25 度下 14 天就能繁殖一代， 所以方便研 究觀察。果蠅廣泛分布在溫帶及熱帶區域，主要食物為腐爛的水果或植物等中的 微生物，如酵母和細菌。其雌性體長 2.5 毫米，雄性有深色後肢體型較雌性小， 生長速度，受環境溫度影響，如在攝氏 25 度中，果蠅由卵成長至成蟲大約 11 天， 溫度越低時間越久，如 18 度的時間約是 25 度的 2 倍，16 度時約是 3 倍。 5
2.2 實驗過程
本實驗用來觀察果蠅行為狀態並且記錄其行為發生的資料，最後再整理這些 實驗資料，研究統計出所需的格式資料。以下為初略流程圖：
Fig.2-1 Simple flow chart
實驗如 Fig.2-1 所示，一開始先準備實驗組(使用本論文提出的方法)跟對照組 (一般果蠅實驗的方法)的果蠅，這裡選用成長相同時間的果蠅，將果蠅分別裝入 標準的蓋子內，並且持續 3 天做觀察，將環境溫度控制在 25 度，在早上 6 點開 燈，晚上 6 點關燈，模擬白天與黑夜，因為果蠅看不見紅外線，在夜晚利用紅外 線做亮度照明。
以每秒鐘三張為頻率，拍攝果蠅並且標示出果蠅目前的位置，以前後影像位 置的差異，判斷出果蠅是否有在進行移動，並且以秒為單位，記錄累積不動位置 的時間，如果持續 5 分鐘不動則判斷此果蠅正在進行睡眠活動，輸出影像並標示 出睡眠的果蠅，每 30 分鐘輸出資料，最後收集許多果蠅的資料，轉化成統計資 料[10]加以比較。 7
第三章
實驗
3.1 實驗簡介 目前果蠅睡覺實驗是要果蠅經過紅外線才會偵測到，屬於被動偵測的形態， 所以很有可能果蠅長時間(超過 5 分鐘)都在管子另一邊活動，被誤認為睡覺，因 而影響統計資料的準確性，本論文研究用主動偵測實驗方式(如 Fig. 3-1)來偵測果 蠅活動，使得到的資料更為準確，改善其上述缺點，以便未來能更準確觀察及研 究統計果蠅睡覺行為等。 Fig. 3-1 environment for experiment本論文研究主要分成五大部分，前四部分分別在第三章介紹，第五部分則稍 後會在第四章介紹，分別如下面幾個部分: 一、 透過本研究所設置的硬體架構，自動擷取連續性果蠅活動影像。 二、 自動擷取 arena 內果蠅的影像，並計算出白天和黑夜時的背景，判斷取出的 背景是否符合此次實驗。 三、 將連續性果蠅影像，應用影像相除(Image Division)方法，獲得單位時間內的 果蠅身體的影像，分析其影像灰階直方圖(Histogram)分佈，透過閥值 (Threshold)的選取，去除影像多餘雜訊，使影像更為清晰利於實驗。 四、 模擬實驗並記錄果蠅睡眠資料，將其睡眠資料轉化成統計圖，可以看出睡眠 的時間。 五、 將第四部分所取得果蠅活動變化資料，轉檔為一般研究資料且統計分析其果 蠅睡覺種種情況，例如:Sleep Latency、Sleep Average、Sleep bout duration、 等等相關研究資料。
3.2 實驗之硬體架構 A. ARENA Fig. 3-2 Fig. 3-2 Arena 將果蠅放入 ARENA 中間凹槽內並放入食物，再將玻璃蓋上，ARENA 四周 為壓克力材質，主要用來使光線產生暈開效果，減少果蠅影子造成判斷上的誤 差，其示意圖如 Fig. 3-3 所示。Arena 是清華大學傅建中教授實驗室所設計。
B. CAMERA
使用 AISYS ALTAIR U300C 攝影機、3.0M 像素、彩色，最大解析度為 2048x1536，採用 USB2.0 傳輸，如 Fig. 3-4
Fig. 3-4 Camera
C. LIGHT
夜間照明：力丞儀器科技有限公司 KDDR-LA Series 紅外光源 LED 低角度夜 間照明，因為果蠅看不見近紅外線，故本實驗用近紅外線光源(波長 850 nm)Fig. 3-5 來當夜間輔助照明。
Fig. 3-5 Light and Power supply 11
日間照明：使用高亮度白光 LED 燈，13 顆白光高亮度 LED 燈(Fig. 3-6)，因 怕一般燈泡會改變環境溫度，故以用 LED 燈以方便控制溫度。
Fig. 3-6 White LEDs
D. Foldable photo stands
使用 E-BENK WSA-102 數位翻拍架(Fig. 3-7)，用以固定攝影機，方便觀察。
Fig. 3-7 Photo stands
3.3 實驗之前處理 此實驗需要用到背景相減除(Background Division)，背景相除法和背景相減 (Background Subtraction)[11]類似，都需要先建一個背景模型，當取得當下影像， 拿此影像與背景影像做一對一的相除，相除之後再減掉閥值(threshold)，則可以 取出果蠅的身體。影像相除和影像相減相比，可以得到更完整、更少量雜訊的影 像，所以本論文使用影像相除取代影像相減。 前處理就是取出背景，可分為白天背景與黑夜背景兩個模型，在 LED 白燈 亮時使用白天背景，關掉時使用黑夜背景，再取出背景之前，須先放入果蠅與食 物，並且搖晃 ARENA 使果蠅在內奔跑，果蠅移動的越頻繁則取出的背景越正 確。方法如下： 若取出背景的時間為 N，則有 N 張影像，影像的強度值(Intensity)記為 I(x,y)， x y 表示取出影像的大小，在此為了節省運算時間，影像大小設為 640x480 像素， 對每個 x y 有 I1 (x,y) ~ IN(x,y)強度值，共 N 個像素強度值，總資料量為 640x480 個 I1(x,y) ~ IN(x,y)強度值，取出 N 個值中的眾數設為背景，重複執行 640x480 次 即可找出背景。程式會依據使用者輸入白天或黑夜，自動存成該背景，若取出的 背景不正確，則必須重複執行，待正確後開/關燈再做一次，則可取出另一個背 景(Fig. 3-8 day background. Fig. 3-9 night background.)。
果蠅持續運動，那麼在 N 的時間內，背景出現的頻率是最高的，所以取出 N 段時間內出現次數最多的強度值設為背景，其是滿足正確性的，因為果蠅會產生 排泄物或者是因為食物減少，會有些微的誤差產生，這有可能會對觀察影像造成 影響，但若是一隻果蠅，則此影響並不嚴重。
Fig. 3-8 Day background
3.4 影像處理：找出果蠅位置 影像相除(Image Division)： 在此的影像相除是擷取當前拍攝出的影像，除去上述所抓到背景的影像。連 續影像進來之後，程式會自動判斷是屬於白天或晚上，再使用所對應的背景，把 目前的影像像素強度值放在分子，背景影像像素強度值放在分母，其方法定義如 下： 對所有( x , y )位置的像素強度值標示為 IN(x , y) 背 景 ( x , y )位置的像素強度值標示為 B(x , y) 其中 N 目前時間(單位秒) 為了怕有除以 0 的動作，這裡先把取到的影像以及背景影相加 1 IN(x , y) = IN(x , y) + 1 B(x , y ) = B(x , y) + 1 把影像相除 RN(x , y) = IN(x , y) / B(x , y) 這裡根據果蠅身體會比背景更暗為前提，除以背景後一定會小於 1，把相除 後值大於 1 的設為 1，因為該點比背景更亮，不可能為果蠅身體的一部分。 If RN(x , y) > 1 => RN(x , y) = 1 RN(x , y) [ 0 , 1 ] 因為像數強度值是借於 0 ~ 255 之間，所以必須把 RN(x , y) 還原回這區間。 RN(x , y) = RN(x , y) * 255; 原始影像如 Fig. 3-10 和 Fig. 3-11，當我們做完影像相除之後，可以看出影像 會更亮，如 Fig. 3-12 和 Fig. 3-13。 15
Fig. 3-10 The original for day image
Fig. 3-12 after division for day image
Fig. 3-13 after division for night image
接著後把該影像減去一個閥值(threshold)，此處理可以減去背景得到果蠅的 身體。如果影像中的像素強度值大於閥值，為了方便之後的處理把該點設為白色 (255)，否則的話還原成原始影像的像素強度值(如 Fig. 3-14，Fig. 3-15)，根據影 像中留下來的資訊，我們可以簡單的找到果蠅在哪裡。 If RN(x , y) > threshold ， RN(x , y) = 255 Else RN(x , y) = IN(x , y) 17
Fig. 3-14 subtract threshold for day image
比較背景相除與背景相減：
在這比較背景相減與背景相除的差異，以上述中白天影像為範例，拿白天的 影像直接減去背景的影像，如圖 3-16 所示，可以看出 arena 有一點位移，所以在 邊界的部分出現了一圈的輪廓，而使用影像相減有著更多的雜訊，所以在這我們 使用影像相除取代相減。
Fig. 3-16 Day image using subtraction
找出果蠅隻數：
使用一個正方形為基準遮罩，邊長為 n x n 大小，定義此邊長為變數 fly_size，此變數會因為白天或黑夜而有所不同，正方形作用為找出一張影像中 果蠅位於的位置(Fig. 3-17)，再把相鄰的正方形合併，即可算出果蠅的真正位置 (Fig. 3-18)。
Fig. 3-17 Use square mask to find fly
其方法定義如下：
從影像中(0,0)至(640,480)掃過一次，若該點影像像素值強度值不是 255(白 色)，則代表可能是果蠅身體之一點，利用邊長為 n (fly_size)之正方形遮罩，為 了加快運算速度，其實際形狀為 Fig. 3-19 所示，只需判斷這些點即可。
Fig. 3-19 Square mask
若在該形狀內的像素值皆不是白色(255)，則記錄該正方形左上(點 1)、右上 (點 2)、左下(點 3)和右下(點 4)四點，為該正方形的資訊，並且將影像中這正方 型的區塊減去，設為白色避免重覆算到以及增加運算速度，直至所有像素值都判 斷過為止。 合併正方形： 依據果蠅身體在影像下為橢圓形，並且從影像(0,0)開始找正方型為前提，可 分成 5 個不同情況討論，其進入的前提是彼此兩個正方形之中點距離小於某個閥 值。 紅色正方形為先找到的正方形，藍色為後找到的正方形。 情況一： 第二個正方形在第一個的右下方(Fig. 3-20)，此時比較紅色的第 2 個點與藍 色的第 1 個點(或紅色的第 4 個點與藍色的第 3 個點)，如果在黑色線上的像素強 度值皆不為白色(255)，則合併此兩個正方形，設為同一組。 21
Fig. 3-20 Cluster for case 1 illustration
情況二：
第二個正方形在第一個的更右下方(Fig. 3-21)，此時比較紅色的第 4 個點與 藍色的第 1 個點，如果在黑色線上的像素強度值皆不為白色(255)，則合併此兩 個正方形，設為同一組。
情況三：
第二個正方形在第一個的左下方(Fig. 3-22)，此時比較紅色的第 1 個點與藍 色的第 2 個點(或紅色的第 3 個點與藍色的第 4 個點)，如果在黑色線上的像素強 度值皆不為白色(255)，則合併此兩個正方形，設為同一組。
Fig. 3-22 Cluster for case 3 illustration
情況四：
第二個正方形在第一個的更左下方(Fig. 3-23)，此時比較紅色的第 3 個點與 藍色的第 2 個點，如果在黑色線上的像素強度值皆不為白色(255)，則合併此兩 個正方形，設為同一組。
Fig. 3-23 Cluster for case 4 illustration
情況五：
第二個正方形在第一個的下方(Fig. 3-24)，此時比較紅色的第 3 個點與藍色 的第 2 個點(或紅色的第 4 個點與藍色的第 2 個點)，如果在黑色線上的像素強度 值皆不為白色(255)，則合併此兩個正方形，設為同一組。
Fig. 3-24 case 5 Cluster for case 5 illustration
全部合併後就可算出總共果蠅的隻數，並顯示出來如 Fig. 3-18 。 3.5 計算果蠅睡眠時間並輸出 根據連續輸入的影像，算出果蠅目前的所在位置，比較前面影像和目前影像 中果蠅位置的差異，取影像時間為 1/3 秒，我們相信如果果蠅處於睡眠狀態下， 兩張影像中的位置應該是相同的，但是考慮到影像中的雜訊以及日光燈頻率的影 響，定義一個距離閥值(distance threshold)以及一個 no_move 計數器去決定果蠅 是否有進入睡眠狀態。
比較在時間 t 影像(current image)和 t-1 時間的影像(previous image)，若兩張 影像中果蠅的相距小於距離閥值，則判定果蠅沒有移動，把 no_move 計數器加 1， 如果距離大於距離閥值，表是果蠅正處於移動狀態，則把 no_move 計數器設為 0。 因為我們以秒為單位，所以時間 t 與 t-1 必須相差一秒以上 no_move 計數器才會 加，否則不變。每秒皆要去判斷 no_move 計數器，如果大於 300 秒(5 分鐘)，則 判定此果蠅進入睡眠狀態，必須計算睡眠時間並做記錄。
每秒輸出相關資訊，此資訊包含果蠅的位置和 no_move 計數器的值等等， 每三十分鐘輸出睡眠時間，並且記錄超過三天。程式可以每秒輸出影片或存成影 像做正確性的的比較，如果果蠅處於睡眠狀態，則標示藍色的點，處於移動狀態， 則標示紅色的點，可以在影像中清楚的看出程式是否正確，相關圖片如 Fig. 3-25 和 Fig. 3-26 所示。
Fig. 3-25 Previous image
Fig. 3-26 Current image
3.6 實驗流程圖 在本篇論文中可以分成兩部分，第一部分是取出背景，第二部分是計算果蠅 睡眠時間，第一部分的流程圖如 Fig. 3-27 所示，一開始在 start 狀態，程式會自 動擷取一連串的影像，存成背景前我們要先決定白天或夜晚，若有開燈則選擇 Day 讓程式存成白天影像，等到程式產生背景後判斷此影像是否正確，如果影像 中包含著果蠅的身體，則此背景是錯誤的，必須要重取背景，反之如果背景是正 確的，則開/關燈後再重跑一次，取出另一個背景。
第二部份的計算睡眠時間流程如 Fig. 3-28 所示，當程式取得影像後會自動 判別時間是屬於白天或晚上，使用對應的背景去做影像處理，取得影像中果蠅的 位置後，比較先前與當下的影像，決定果蠅是否有移動，計算出果蠅的睡眠時間， 最後把結果輸出到檔案中。
Fig. 3-28 Flow chart for calculating the sleeping time
第四章
統計分析及實驗結果
4.1 操作介面使用
程式開發環境是使用 Mircosoft Visual Studio 2008 和 OpenCv，因為所使用的 攝影機驅動程式是在 windows 環境下才能執行，所以我們決定使用 Mircosoft Visual Studio 2008，OpenCv 是網路上可下載 open source 的 lib，方便於影像的輸 出使用。
介面也是分成兩部分，如同流程圖一樣，第一部分為取背景專用，第二部分 為程式執行，統計果蠅睡眠時間所使用。背景的介面如 Fig. 4-1，是非常簡單而 且便利的，一開始按下 Initial 按鈕，那是用來宣告影像的空間配置，接著 Day 和 Night 分別是根據開關燈所設計，若是開燈狀態則按下 Day 按鈕在按下 Capture 開始執行。當背景取得完畢後程式會自動存成白天的背景，並且顯示出背景圖 片，跳出一個訊息框顯示「The background ok!!」，此時程式會暫停一段時間，給 使用者去關燈，之後再開始取得夜晚背景，如同白天狀況一般。如果使用者發現 取出的背景並不正確，則可以重新按下 Day 或 Night 重新取得背景。
Fig. 4-1 Background interface
當程式成功取得白天與夜晚背景後，將會計算平均的像素強度值，並且存入 檔案中，以方便之後主程式自動判斷白天與夜晚。
29 第二部分為主要判斷果蠅身體，並且計算果蠅的睡眠時間，介面如 Fig. 4-2， 當按下 Live 按鈕之後，程式會連結攝影機，擷取出即時的果蠅影像並顯示 此介面也是非常的簡單，一開始按下 Initial 按鈕，其功用是一些初始的動作，包 含先把 Day 和 Night 的背景先讀入記憶體內，以及讀取背景程式所算出的平均像 素強度值，當讀入的影像接近白天(夜晚)的平均像素強度值時候，可自動的去判 別屬於白天(夜晚)，方便於開關燈的處理。 在螢幕上，按下 start 後則開始執行本論文的方法，找出果蠅所在的位置，並且 在果蠅身上標示一點，每三十分鐘記錄果蠅的睡眠時間。show image 則是用來開 關即時影像，因為程式要跑至少三天，關閉即時影像可以節省記憶體空間。
.2 資料轉換及統計分析
程式會記錄每張圖片的資訊，可以用來檢查程式是否有出現錯誤，並且利於 eep latency 之查詢。輸出格式如 Fig. 4-3。檔案內容如下：
total second 40152 it is night sleepcount is 552
um=1 total second 40153 it is night sleepcount is 553
um=1 total second 40154 it is night sleepcount is 554
um=1 total second 40155 it is night sleepcount is 555
4 sl Tue 2010-05-25 04:33:33 台北標準時間 real_num=1 D://forfly//image//image040150.jpg 5596 93 382 Tue 2010-05-25 04:33:34 台北標準時間 real_n D://forfly//image//image040151.jpg 5597 93 382 Tue 2010-05-25 04:33:35 台北標準時間 real_n D://forfly//image//image040152.jpg 5598 94 383 Tue 2010-05-25 04:33:36 台北標準時間 real_n D://forfly//image//image040153.jpg 5599 94 384
31
Current time 是用來記錄標準時間，可以看出此影像是哪時候所拍攝的，方 便於之後的檢查與確認，real_num 為判斷出在 arena 中有幾隻果蠅，total seconds
鐘輸出一次此三十分鐘內的睡眠時間，其格式如下： 0 37 00 00 每一個數值代表此三十分鐘內的果蠅的睡眠時間，最高的數值為 1800 秒(30 鐘)皆在睡眠，當程式執行三天之後，檔案內至少會有 144 個數值，最後轉換 是目前實驗經過多久了，day or night 是判斷目前時間是處於白天或晚上，sleeping count 是以每三十分鐘為區間，輸出一次睡眠時間，所以上限值是 1800 秒(30 分)， 下一個是路徑為影像所存放的地方以及檔名，其目的是當作索引，查看影像資 訊，再下一個數值為 no_move 計數器，其功用如上所敘述，最後為果蠅所在的 目標位置。 每三十分 0 0 0 15 18 18 807 1309 1800 1495 0 0 分 此數值到直方圖與折線圖，可以簡單的做果蠅的分析討論。
果及統計資料 Cam : Camera 偵測實驗 傳統實驗 4.3 實驗結 era 偵測實驗與傳統實驗差異處如下表 主動偵測 被動偵測 利用影像處理法偵測 利用紅外線偵測 能偵測到全部區域 只能偵測中間 可有影像資料 無
有 Active time以及Sleep ti e 資料 m 只有 Sleep time 資料
可模擬被動偵測法 無
可觀察移動軌跡 不能
33 折線圖 Fig. 4-4 為一次實驗結果，縱軸為睡眠時間，以 30 分鐘為區間所以 高為 30 分，水平軸是時間，以 24 小時制表示，紅色的縱軸線表示早上 6 點和 晚上 最 6 點，標示紅色線以方便觀察，此次時間從下午 5 點開始實驗。Fig. 4-5 為 此次實驗的平均睡眠時間，可以看出白天的平均睡眠比夜晚的少，這符合之前的 研究報告。Fig. 4-6 為實驗的 sleeping latency，第一天晚上 6 點前就已經進入睡 眠，沒有因為關燈而受影響，可能是受到換環境影響而不正確，詳情需要不同的 實驗作驗證，Fig. 4-7 為實驗的實際拍攝影像，左邊是白天的影像，因為燈光非 常亮，所以畫面中只有果蠅的身體，右邊是夜晚影像，可以明顯的看出食物分兩 邊擺放。
Fig. 4-4 Experiment 1 result
Fig. 4-6 Sleeping latency for experiment 1
Fig. 4-7 (left) Day image, (right) Night image for experiment 1
果蠅統計資料如下表，平均值皆取到小數點第 2 位 Total 睡眠次 數 白天 睡眠次 數 晚上 睡眠次 數 平均一次 睡眠時間 白天平均睡 眠時間 晚上平均睡 眠時間 總共睡 眠時間 白天總 共睡眠 時間 晚上總 共睡眠 時間 87 50 27 22.68 15.07 45.16 1973.13 753.54 1219.58
35
折線圖 Fig. 4-8 另一次實驗結果，實驗從 12 點開始，但為了增加正確性， 。此果蠅為出生三天內
， 以 白 時間 的久， 生
蠅如 小嬰兒 般需要較長的睡眠時間。Fig. 4-10 為 sleeping laten 此 第二天與其他兩天差異較大，這點需要更多的統計資料才知道原因。 ig 實驗的實際拍攝影像，左邊是白天的影像，右邊是夜晚影像。 擷取資料從下午 2 點開始至三天後的下午 2 點，總共三天 的果蠅 的果 從 Fig. 4-9 同 中可 一 看出果蠅 天睡眠 比之前 這是因為剛出 cy，在 F 4-11 為
Fig. 4-8 Experiment 2 result
Fig. 4-10 Sleeping latency for experiment 2
Fig. 4-11 (left) Day image, (righ ) Night image for experiment 2
果蠅統計資料如下表，平均值皆取到小數點第 2 位 Total 睡眠次 數 白天 睡眠次 數 晚上 睡眠次 數 平均一次 睡眠時間 白天平均睡 眠時間 晚上平均睡 眠時間 總共睡 眠時間 白天總 共睡眠 時間 晚上總 共睡眠 時間 t 84 29 55 31.34 45.05 24.10 2632.35 1306.67 1325.68
37
第五章
結論與未來展望
整，也需要多筆資料做統計才可以與傳統方法做詳細比較 果蠅睡眠時間晚上比白天多，但是實驗二中是反過來的，若想要驗證結果需要多 組的實驗加以討論。以上的數據可以研究許多果蠅睡眠行為等，經由本論文的實 驗所得到資訊，更能增加果蠅睡眠資料的準確度。 本實驗提供一個更準確的果蠅活動偵測方法，為主動偵測方法，解決被動偵 可 Arena，提升至一台 影機拍攝四個 Arena，九個 Arena 等等。更希望能透過此方法，研究觀察果蠅 由上述實驗可以看出此方法初步實驗是成功的，但似乎還有些許環境需要調 。由以上實驗一可發現 測 能忽略果蠅活動資訊，進而造成誤判為睡眠的錯誤資訊，提供果蠅活動資 料。本研究更能改善被動偵測缺點並準確獲得果蠅活動資料，使得以後對果蠅睡 眠研究統計數據更為完整，有助於觀察果蠅睡眠實驗，希望能夠替果蠅睡眠實驗 提供更準確的資料獲取方法，方便觀測果蠅睡眠行為，取得更精確的資料。 未來更希望能夠一次擴展實驗數量，從一台攝影機一個 攝 的其他行為。參考文獻
[1]. J.M. Siegel, “Functional Implications of Sleep Development”, PLoS Biology, Vol 3, pp. 0756-0758, May, 2005
[2]. K. S. Ho and A. Sehgal, “Drosophila melanogaster: An Insect Model for Fundamental Studies of Sleep”, Methods in enzymology, Vol. 393, pp.772-793, April, 2005
[3]. W. J. Joiner, A. Crocker, B. H. White and A. Sehgal, “Sleep in Drosophila is regulated by adult mushroom bodies”, Nature, Vol. 441, pp. 757-760, June, 2006
[4]. Q. Yuan,W. J. Joiner and A. Sehgal, “A Sleep-Promoting Role for the
Drosophila Serotonin Receptor 1A”, Current Biology, pp.1051–1062, June, 2006
[5]. K. Koh, W. J. Joiner, M. N. Wu, Z. Yue, C. J. Smith and A. Sehgal,
“Identification of SLEEPLESS, a Sleep-Promoting Factor”, SCIENCE, Vol 321, pp. 372- 376, July, 2008
[6]. C. Cirelli, “Searching for sleep mutants of Drosophila melanogaster”, BioEssays
25, pp. 940–949, September, 2003
[7]. J. C. Hendricks, S. M. Finn, K. A. Panckeri, J. Chavkin, J. A. Williams, A. Sehgal and A. I. Pack, “Rest in Drosophila Is a Sleep-like State”, Neuron, Vol. 25, pp.129–138, January, 2000
[8]. J. E. Zimmerman, D. M. Raizen, M. H. Maycock, G. Maislin and A. I. Pack, “A Video Method to Study Drosophila Sleep”, SLEEP, November, 2008
[9]. H. Dankert, L. Wang, E. D. Hoopfer, D. J. Anderson and P. Perona, “Automated monitoring and analysis of social behavior in Drosophila”, Nature Method,
March, 2009.
[10]. W. Liu, F. Guo, B. Lu and A. Guo, “amnesiac regulates sleep onset and maintenance in Drosophila melanogaster”, Biochemical and Biophysical
39
[11]. R. C. Gonzalez and R. E. Woods, “Digital Image Processing 3rd”, Addison-Wesley Publishing Company, 2008
