國
立
交
通
大
學
生醫工程研究所
碩
士
論
文
電 子 顯 微 鏡 立 體 體 積 資 料 重 組
Alignment of a sequence of EM images to form a
three-dimensional volume data
研 究 生：吳心宇
指導教授：荊宇泰 教授
電子顯微鏡立體體積資料重組
Alignment of a sequence of EM images to form a
three-dimensional volume data
研 究 生：吳心宇 Student: Hsin-Yu Wu
指導教授：荊宇泰 Advisor: Yu-Tai Ching
國 立 交 通 大 學
生 醫 工 程 研 究 所
碩 士 論 文
A Thesis
Submitted to Institute of Biomedical Engineering College of Computer Science
National Chiao Tung University in partial Fulfillment of the Requirements
for the Degree of Master
in
Computer Science
September 2011
Hsinchu, Taiwan, Republic of China
電子顯微鏡立體體積資料重組
研究生：吳心宇
指導教授：荊宇泰 博士
國 立 交 通 大 學
生 醫 工 程 研 究 所
摘 要
電子顯微鏡是觀測微觀生物常使用到的儀器之一，在處理適合的觀 測的細胞樣本時，生物體需經過切片、染色、固定等步驟；在切片取樣 本的過程中，也許會造成影像擷取的位置上的誤差。且切片後的單層影 像所看到的只是局部資訊，倘若能把所有影像堆疊起來，那麼整體影像 所提供的資訊勢必較多。 為了能夠提供更多影像上的資訊，本篇論文藉由尋找電子顯微影像 的特徵區塊，利用影像對位（Image Alignamet）的方法將影像對位至相 對應位置，將多張影像堆疊起來進而提供多方面的參考，以彌補單張影 像的不足。Restructuring for three-dimensional volume
data of electron microscopy
Student:
Hsin-Yu
Wu Advisior:
Yu-Tai
Ching
Institute of Biomedical Engineering
National Chiao Tung University
ABSTRACT
An electron microscope is one of the common used instruments to observe microorganisms. The microorganisms need be slicing, dyeing and fixing before observation. In the slicing process, a sampling position may be shifted.
Additionally, the single layer image of the sliced microorganisms (hereafter called “samples”) only can provide partial information. Stacking all respective images of the samples will help for obtaining more information than the single layer image provided.
Therefore, in this research, the method of image alignment is achieved by finding patterns of the images of the samples and aligning the images of that with the patterns to form a three-dimension image. Accordingly, the three-dimension image of the microorganisms provides many faces
誌謝
能夠順利的完成碩士學業，首先要感謝荊宇泰教授的諄諄教誨與指 導，不論在研究上或是待人處事的道理，都令我獲益匪淺。在研究內容 有疑慮之處，老師都很有耐心的細心指導；除了研究上的事情以外，老 師也很大方的跟我們分享生活點滴，和樂融融的 meeting，使 MIP 像一個 快樂的大家庭。 在實驗室中，很感謝秉章學長以及昌杰學長在我的研究困難上提供 許多幫助與想法，使我獲益良多；感謝冠緯學長在程式以及生活上提供 許多指導與鼓勵，感謝寰宇、謹慰、小由的不吝分享與幫助，感謝欣裕、 柏淳、雅琪、炳輝一直揪團玩樂，感謝 MIP 的歡樂融融。這些日子以來， 謝謝你們。 感謝我的好室友們：之芳、信妤、愷珊、舒評、媛亭，謝謝妳們這 一年來的支持與鼓勵，謝謝那些一起聊天、一起瘋狂、一起為碩二生涯 打拼的日子，能有榮幸遇到妳們真的是我碩士生涯中的好福氣。 男友的支持與鼓勵，更是支撐著我前進的動力，謝謝你的叮嚀與囑 咐，也謝謝你的體諒與關懷。 最後，最誠摯的感謝我的父母與家人在背後不斷的支持我，使我能 沒有後顧之憂的完成碩士學位。目錄
中文摘要 ... I 英文摘要 ... II 誌謝 ... III 目錄 ... IV 圖目錄 ... V 第一章 緒論 ... 1 1.1 前言 ... 1 1.2 研究動機與目的 ... 2 1.3 論文架構概述 ... 5 第二章 相關研究 ... 7 2.1 電子顯微影像 ... 7 2.2 相關研究 ... 7 第三章 實驗流程 ... 8 3.1 影像處理 ... 8 3.1.1 影像對比調整 ... 8 3.1.2 均值濾波器（MEAN FILTER） ... 12 3.1.3 二值化影像（BINARY IMAGE） ... 13 3.1.4 連通成分（CONNECTED COMPONENT） ... 16 3.1.5 影像膨脹（DILATION）... 163.1.6 簡易匹配濾波器（SIMPLIFY MATCHED FILTER） ... 18
3.2 實驗流程圖 ... 20
第四章 研究結果 ... 21
第五章 結論與未來展望 ... 28
圖目錄
圖 1-1 電子顯微影像 ... 2 圖 1-2 搜尋到 927 個特徵點 ... 3 圖 1-3 搜尋到 342 個特徵點 ... 4 圖 1-4 只有一個點相對應，且位置不對 ... 4 圖 1-5 特徵點對位失敗 ... 5 圖 1-6 對位過程示意圖 ... 6 圖 3-1 連續影像資料 ... 9 圖 3-2 直方圖等化結果 ... 10 圖 3 -3 (a)電子顯微影像原始影像 (b) 原始影像之直方圖 ... 11 圖 3 -4 (a)經過直方圖等化後的影像 (b) 直方圖等化 ... 11 圖 3-5 常見的均值濾波器 ... 12 圖 3 -6 原始影像 ... 13 圖 3-7 通過 7 次均值濾波器的結果 ... 13 圖 3-8 影像灰階直方圖（示意圖） ... 14 圖 3-9 灰階轉二元影像的轉換函數 ... 14 圖 3-10 未經均值濾波器之二元影像 ... 15 圖 3 -11 經過均值濾波器後的二元影像 ... 15 圖 3 -12 連通方法 ... 16 圖 3 -13 影像膨脹示意圖 ... 17 圖 3-14 影像膨脹後結果 ... 17 圖 3-15 影像侵蝕示意圖 ... 17 圖 3-16 影像膨脹後結果 ... 18 圖 3 -17 結構元素 ... 18 圖 3--18 匹配過程 ... 19 圖 3--19 重疊面積最大即完成匹配 ... 19 圖 3 -20 實驗流程圖 ... 20 圖 4-1 參考影像之原始影像 ... 21 圖 4-2 目標影像之原始影像 ... 21圖 4-3 增加對比度的目標影像 ... 22 圖 4-4 均值濾波器 ... 22 圖 4-5 影像二值化 ... 23 圖 4 -6 選取大面積的連通成分 ... 23 圖 4-7 利用膨脹及侵蝕消去破洞 ... 24 圖 4-8 目標影像之特徵區塊選取完成 ... 24 圖 4-9 增加對比度的參考影像 ... 25 圖 4-10 參考影像之特徵區塊 ... 25 圖 4-11 匹配特徵區塊 ... 26 圖 4-12 算出影像偏移量 ... 26 圖 4-13 對位結果 ... 27
第一章 緒論
1.1 前言
在現今數位資訊化的世代，運用電腦來輔助分析資料是相當普及的， 再加上電腦的處理速度日以漸增，數位影像處理運用於醫學影像上之研 究已行之有年。醫學影像的進步在醫學發展上，有極大的貢獻，而醫學 影像的進步不僅增進醫護人員判讀方便、也使生技學家在判斷細胞的生 長、追蹤更為方便性及準確性，但是不同擷取方式的影像所能提供的資 訊也不為相同。 在微觀的世界中，常見的微觀觀測儀器有光學顯微鏡、電子顯微鏡、 掃描探針顯微鏡、共軛焦顯微鏡……等，其中光學顯微鏡以可見光當做 介質，電子顯微鏡則以電子束為介質，由於電子束波長遠比可見光小， 故電子顯微鏡解析度遠比光學顯微鏡高。但是，在處理適合電子顯微鏡 觀測的細胞樣本時，需經切片、固定、染色等步驟，然而，一個組織在 經過每一次的切片、放上顯微鏡觀測台的這些過程中，也許都會造成影 像擷取的位置上的誤差。並且，切片後的單層影像所看到的只是局部資 訊，倘若能把所有影像堆疊起來，那麼整體影像所提供的資訊勢必比只 觀看單張影像好。 因此，為了能夠提供更多影像上的資訊，我們使用影像對位（Image Alignment）的方法將多張同一類型的影像堆疊起來進而提供多方面的參 考，以彌補只使用單張影像的不足。所以如何將兩張影像或多張影像進 行影像的對位，將會提供生醫學家在判斷上有很大的幫助。 影像對位是將不同時間不同位置拍攝同一物體的影像，在其彼此間 尋找物體相互對應的關係，在許多大型的影像處理系統都經常使用，例 如：即時影像追蹤、衛星影像觀測、醫學影像臨床觀察……等。 本篇論文所要探討的即是如何將經過切片而造成物體移位的電子顯 微細胞影像經影像對位至相對應位置，當空間對應關係清楚之後，即可整合所獲得的整體資訊，以提供後續重建或生物醫學方面之研究。
1.2 研究動機與目的
現今影像對位等方法陸續被提出，其中常見的方法為尋找特徵點來 做影像之對位[1][2]，然而，細胞切片的電子顯微影像太過雜亂繁瑣、對 比度差以及邊界模糊（如圖 1-1）。這些現象導致特徵點的找尋不易，並 且因細胞圖樣皆於類似或很難找到一個完整的圖樣，所以所找到的特徵 點並未正確對齊至應當對齊的細胞位置，反而對齊到另一個與之無關的 細胞位置。（如圖 1-1） 圖 1-1 電子顯微影像因細胞影像扭曲雜亂，自動的找尋特徵點有時會找到影像之雜訊或 非細胞主體，因此，特徵點的找尋方法並不適用於雜亂無章的電子顯微 影像。 本論文擬採用特徵明顯的整個區塊當作對位之依據，並只在相對應 位置做對位，避免特徵區塊對位至其他相似細胞而造成對位錯誤。 圖 1-2 搜尋到 927 個特徵點
圖 1-3 搜尋到 342 個特徵點
圖 1-5 特徵點對位失敗
1.3 論文架構概述
此節簡述本篇論文的對位方法。如上節所述，以特徵點的方法無法 使細胞電子顯微影像做順利的影像對位，所以，捨棄以特徵點的方式， 而採用『特徵區塊』（pattern）作為對位的依據。特徵區塊定義為在此張 影像中比較明顯且面積較大的圖樣。 要將多張切片細胞的電子顯微影像對位，必須先兩兩影像做匹配， 如下圖所示，被當作基準影像的稱為參考影像（Reference Image），而要 被對位至參考影像的我們稱為目標影像（Target Image），先將兩張影像 分別做處理，找出兩張影像的特徵區塊，再將目標影像之特徵區塊在其 參考影像的相對應範圍內，找尋適當的對應位置，再由每個特徵區塊的 對應規則中，找出整張影像最匹配的對應轉換過程。Reference Image Target Image
Finding Significant Pattern Finding Significant Pattern
Pattern Matching
第二章 相關研究
2.1 電子顯微影像
如前言所提，微觀觀測中會利用到各種形式的顯微鏡（microscope）， 顯微鏡通常由一組鏡片所組成，其各式顯微鏡最主要差異是在於其所使 用的光源種類不同、波長不同、或是鏡片系統的特性與排列不同以及觀 察影像所使用的方法不相同而有不同的使用選擇。 一般而言，觀察微生物及其細胞組織的顯微鏡依照光源波長和透鏡 系統的不同而區分；利用一般光線經過透鏡聚焦後，使物體形成實際物 像以便觀察的顯微鏡即光學顯微鏡鏡(light microscopy)；利用雷射光的是 雷射掃描共軛焦顯微鏡(laser scanning confocal microscope)；利用波長極 短的電子束來當觀測光源的為電子顯微鏡(electron microscopy，一般簡稱 為 EM)，目前常用的電子顯微鏡依照電子束掃瞄方式分為掃瞄式電子顯 微鏡和穿透式電子顯微鏡。 本篇論文使用電子顯微鏡所拍攝的影像進行影像對位處理。2.2 相關研究
影像對位的方法近年來有許多文章被陸續發表，如前提到的特徵點 對位，是 David G. Lowe 使用尺度不變的特徵點轉換（Scale Invariant Feature Transform , SIFT）[1]，利用找尋每一層金字塔影像的範圍來找尋特徵，以進一步對位；而 Sami Brandt 等團隊也是利用特徵點萃取的方式來找尋對 位參數[2][3]。
而在本篇論文中，我們不以『點』的方式來找尋影像的特徵，而改 用『區塊』的方式來進行對位。
第三章 實驗流程
3.1 影像處理
如前言所提到，電子顯微影像之影像內容太過雜亂繁瑣，我們在找 尋特徵區塊以前，必須先對影像做前處理，以利後續特徵區塊的找尋。3.1.1 影像對比調整
在電子顯微影像的取像過程中，因更換細胞切片樣本以及電子束的 些微衰減，導致單層電子顯微影像之擷取明暗度不均，進而影響影像前 處理時，取閥值的過程可能會有所誤差，例如同一個閥值卻取到不同的 目標細胞；因此，在這些一整組的電子顯微影像要做影像對位以前，必 須先將各張影像做影像對比的調整，而使用的方法為直方圖等化 (Histogram Equalization)[4]。 每一幅灰階範圍為 N 位元組的數位影像的像數值(Pixel)都可以統計 歸納成一直方統計圖，其直方圖為一離散函數h r n ，rk是指第 k 個 灰階值，而 nk代表此灰階的像素個數。在統計完 rk以及 nk之後，通常要 做直方圖等化之前必須先將直方圖做正規化[4]： p r h r n n n 上述式子代表將影像的總像素 n 除以每一個灰階值，此時所得到的p r 即為 rk這個強度的像素值在此張影像所出現的機率。如圖 3-1 所示，在連續拍攝的過程中，可以明顯觀察出有影像移位 以及影像亮暗對比程度非常不均勻，所以需要使用直方圖等化讓所有影 像的對比度一致。 圖 3 -3 (a)電子顯微影像原始影像 (b) 原始影像之直方圖 圖 3 -4 (a)經過直方圖等化後的影像 (b) 直方圖等化 上圖 3-3(b)為一影像直方圖，橫軸代表影像灰階度，縱軸代表此灰階 值所出現的像素數目，也就是灰階強度大小，由圖可見，當直方圖分布 越往右邊時，代表此張影像亮度越高，反之，當直方圖分布越靠向左邊 時，代表影像亮度越低。另外，當直方圖分布越密集在某一區塊，則代 表影像對比度低；總結以上，一張好的影像必須要明暗對比都適中，這 代表我們需要將此影像的直方圖均勻的分布在這些灰階值，此即為直方
3.1.2 均值濾波器（Mean Filter）
在影像處理中，將影像二值化（Binary）是很常見的處理方式（3.1.3 將會詳述二值化影像），但在影像做二值化以前，先將影像以均值濾波 器處理，目的在於模糊化影像，減少影像雜訊，並且除去影像的小細節， 也可以將影像中的直線或曲線的小間隙連接起來，以利於後續提取特徵 影像之便利。 影像濾波器通常使用一個二維陣列，通常以奇數方陣來表示，此二 維陣列被稱為遮罩（mask），遮罩中心即為要運算的像素值，周圍即是 此像素值之加權方法，此加權係數即決定了此濾波性的特性。圖 3-5 顯 示為一個常用的 3x3 的均值濾波器，由此遮罩顯示，其影像的均值濾波 即為各像素之鄰域像素灰階的平均。當然，遮罩越大或是通過均值濾波 器的次數越多，其平均範圍越廣，影像則越模糊。 圖 3-5 常見的均值濾波器圖 3 -6 原始影像 圖 3-7 通過 7 次均值濾波器的結果
3.1.3 二值化影像（Binary Image）
一般常見的灰階影像，通常為 8 位元組的影像組，代表此張影像的 灰階度（gray level）為 0～255，0 代表黑色（暗），255 代表白色（亮）， 中間的值即為灰階亮暗程度。當然，如 3.2 所提到，若是灰階值接集中在某段區域，那麼雖然此張影像可能很亮或很暗，但是對比不明顯，還是 不算一個好的影像。 如圖 3-8 所示，原本影像的灰階度應是有不同明亮程度（此圖為示 意圖，不一定每張影像都均勻分布），然而若將灰階度設定閥值（threshold）， 使灰階度大於此閥值的設為 255，而小於此閥值的設定為 0，則得到一張 黑白影像，此即為二元影像。閥值的設定是讓影像可以只顯示我們感興 趣的灰階範圍（ROI, Region of Interest）。
圖 3-8 影像灰階直方圖（示意圖）
由圖 3-10 可得知，在對影像做完二值化之後，顏色較明顯的細胞就 會被我們分隔出來，且因以均值濾波器處理，較細小之雜點減少許多， 影像也較圓滑。
圖 3-10 未經均值濾波器之二元影像
3.1.4 連通成分（connected component）
任何一張影像，人眼都可以輕易的分辨各區塊的大小、分布以及相 關性，但對於電腦而言，要判斷各個『區塊』，就得觀察各像素與像素 之間的關係了。連通成分（connected component）通常以灰階程度是否滿 足某相似準則來判定兩個像素之間的關係，常用的判定方法為 4-連接 （4-adjacency）、8-連接（8-adjacency）以及 m-連接（m-adjacency）， 本篇論文以 4-連接的方法來連通各個像素。 圖 3 -12 連通方法 既然可以知道像素與像素之間的關係，也就等同知道每一個區塊有 多少的像素被連接起來，進而計算區塊的面積；在這裡，我們再一次的 捨去所有的破碎區塊，只留下面積較大的幾個區域，此即特徵區塊的範 圍。3.1.5 影像膨脹（dilation）
二元影像的膨脹（dilation）和侵蝕（erosion）屬於形態學影像處理 （Morphology），因二元影像只有 0（暗）與 255（亮）兩種，簡單來說， 就是對二元影像做邏輯運算。過影像中間時，因已經與結構元素一樣大，故不再膨脹，所以整張影像 看起來就是原始圖樣膨脹一些。值得注意的一點是，當結構元素的改變， 也會造成不同的膨脹效果。 圖 3 -13 影像膨脹示意圖 圖 3-14 影像膨脹後結果 圖 3-15 影像侵蝕示意圖
圖 3-16 影像膨脹後結果
圖 3 -17 結構元素
3.1.6 簡易匹配濾波器（simplify matched filter）
一般來說，匹配濾波器運用在處理未知的訊號是否符合某個我們已 知的訊號；其作法為未知訊號與已知訊號兩者做卷積（convolution），當 兩者訊號卷積的脈衝響應（impulse response）最大的時候，則代表訊號 匹配（match）。
對位的時候，我們將兩張影像的目標細胞都選取出來，並且以目標影像 （Target Image）的特徵區塊分別選取出來當作匹配濾波器的已知訊號， 此訊號為一個二維的訊號（也可以稱為 mask），而與參考影像（Reference Image）的特徵區塊做濾波的動作，並計算重疊面積，當重疊面積越大時， 代表這兩個目標細胞匹配程度越好，且記錄此時之移動座標以進行對 位。 圖 3--18 匹配過程 圖 3--19 重疊面積最大即完成匹配 完成特徵區塊的對位之後，記錄所有的對位座標位置，皆下來整張 影像根據這些座標來完成對位。
3.2 實驗流程圖
圖 3 -20 實驗流程圖 Load Reference Image Mean Filter Threshold Erosion Dilation Connected_ Component Choose Cell Pattern Load Target Image Mean Filter Threshold Erosion Dilation Connected_ Component Choose Cell Pattern Match Filter Image Match第四章 研究結果
程式開發環境是使用 Microsoft Visual Studio 2008 撰寫，為了對位使 用上的便利，並配合 QT 的使用，建立一組簡單的操作介面（User Interface, UI），而所使用的作業系統為 32 位元的 Windows 7。 如下圖 4-1 以及 4-2 為電子顯微影像之原始影像，可以觀察出影像雜 亂、對比度低，我們將以這兩張圖當作影像對位範例實做。以圖 4-2 對 位至圖 4-1。 圖 4-1 參考影像之原始影像 圖 4-2 目標影像之原始影像
圖 4-3 增加對比度的目標影像
圖 4-5 影像二值化
圖 4-7 利用膨脹及侵蝕消去破洞
圖 4-9 增加對比度的參考影像
圖 4-11 匹配特徵區塊
第五章 結論與未來展望
由實驗結果得知，此影像對位的方法初步是可行的，在電子顯微鏡 拍攝切片後的細胞，這些多張的細胞單層影像可經由特徵區塊的選取與 比對，而對位至相對應位置。 然而，因細胞形狀相異甚多，並不會在每一層的組織切片均相同大 小；因此，在此實驗中我們只做影像線性位移，只將影像移動至相對應 位置，而不做影像之縮放（scaling），以免造成資料失真，失去原本細 胞的型態。 未來希望能夠將已對位完成的細胞影像再重建成三維（3D）的立體 影像，這樣更可以瞭解細胞與細胞之間的相對應位置，也更有助於生醫 學家之觀察與判斷。參考文獻
[1] D. G. Lowe, "Distinctive Image Feature from Scale-Invariant
Keypoints," International Journal of Computer Vision, January 5, 2004.
[2] S. S. Brandt and J. H. P. Engelhardt, "Multiphase method for automatic alignment of transmission electron microscope images using markers.," Journal of Structural Biology, vol. 133, pp. 10-12, February 22, 2001.
[3] S. S. Brandt and U. ZIESE, "Automatic TEM image alignment by trifocal geometry," Journal of Microscopy, vol. 222, pp. 1-14, Pt 1 April 2006.
[4] R. C. Gonzalez, R. E. Woods (2008), Digital Image Processing.
[5] J. T. B. R. Foy, "Effect of Signal Contamination in Matched-Filter Detection of the Signal on a Cluttered Background," IEEE
GEOSCIENCE AND REMOTE SENSING LETTERS, vol. VOL. 3, NO. 1,, JANUARY 2006.
