摘 要
近來對於乳房 X 光影像註記的研究大多使用剛體或仿射轉換，少數使用彈 性轉換。然而乳房為彈性體，在拍攝乳房 X 光影像時，乳房遭受壓力會產生變 形。因此假設乳房是剛體的理論，將不能夠獲得良好的結果。此外，多數的研究 者對於註記工作，不是使用乳房的內部特徵，就是使用外部的特徵。由於匹配對 的數量與分佈情形對於註記的結果有重大的影響，因此本研究抽取內部與外部的 特徵當作控制點。如此一來，不但增加控制點的數量，而且確保控制點的分佈更 均勻。此外，本研究採用以特徵為基礎與以亮度為基礎之匹配演算法，藉以讓從 對應乳房 X 光影像中所抽取出的不同特徵，獲得正確的配對。
本研究結合使用共同資訊（MI）、特徵抽取、特徵匹配及薄板雲形曲線（TPS）
轉換，發展一種創新之乳房 X 光影像註記法，以便改善註記的正確性。此註記 程序如下所述。首先，利用共同資訊執行剛性註記，以移除存在於參考影像與待 註記影像之間的全域差異。接著抽取乳房的特徵，包括乳房細長的組織、乳房輪 廓及乳房組織與胸肌的邊界。再來利用匹配法則，將分別從每張乳房 X 光影像 中，所抽取出之特徵建立對應關係。最後，施以 TPS 空間座標轉換，將待註記 影像的變形恢復，並且完成乳房 X 光影像之註記。
由結果顯示，本研究所提出之註記演算法對於不同時間所拍攝之 X 光影像，
以及左右兩邊的乳房 X 光影像進行註記，已有不錯的結果。乳房 X 光影像註記 前後之間的差異可透過相似性測量與影像相減瞭解。本研究所提出的方法能夠有 效地協助醫生進行乳癌的診斷。此外，本研究的成果除了應用在乳房 X 光影像 的註記上，亦可應用於其他相關的醫學影像註記上。
關鍵詞：乳房 X 光影像註記、特徵匹配、共同資訊、薄板雲形曲線
Abstract
The recent researches on mammogram registration use either rigid-body or affine transformations. Few researchers use elastic transformation. However, a breast is an elastic body and it will experience a non-rigid deformation in response to applied forces during acquisition of the mammogram. Thus, the assumption of the theory that takes breast as a rigid body will not likely to lead us to a direction with fruitful results.
Moreover, most researchers use either internal or external features of breasts for registration. Since the influence of the amount and distribution of matched pairs on the registration results is significant, so in this research we extracted both internal and external features from breast as control point. This not only increases the quantity of control points but also guarantees a more uniformly distribution of control points.
Furthermore, we adopt either feature-based or intensity-based matching algorithm for different features to obtain a correct correspondence between features extracted from corresponding mammograms.
The current research uses mutual information, features extraction, feature matching, and thin-plate splines transformation to develop a novel mammogram registration method so as to improve the registration accuracy. The proposed registration procedures can be best described by the following procedures. First, a rigid-body registration using mutual information is performed to remove global differences existing in the reference mammogram and the mammogram to be registered. Second, we extract the features of breasts, including the elongated structures of breast, breast border, and the boundary between the pectoral muscle and the breast tissue. Third, the extracted features are used to establish a correspondence between features extracted separately from each mammogram by applying matching rules. Finally, we applied
the TPS spatial transformation to recover the deformation of the image to be registered and complete the mammogram registration procedures.
The experimental results show that the proposed registration algorithm is satisfactory for both temporal mammogram registration and bilateral mammogram registrations. The differences between pre-registered and post-registered mammogram are realized by similarity measurement and image subtraction. The proposed algorithm can efficiently assist the doctors in breast-cancer diagnosis. It is worth noting that the proposed algorithm can be applied not only to the registration of mammograms, but also to the registration of other related medical images.
Keywords: Mammogram Registration, Feature Matching, Mutual Information, Thin-plate Spline
誌 謝
時光飛逝，兩年充實的研究所生活就此結束。在此感謝指導教授邱奕契博士 在這兩年來給予的悉心指導，讓我在研究上獲益良多，並且在遭遇困難時能夠迎 刃而解。另外，感謝口試委員羅鵬飛教授與林士傑教授，對於本論文提供指正與 諸多寶貴意見，讓本論文更臻完善。
感謝梁有燈學長提供許多資料，讓我深入瞭解與本研究相關的資訊。感謝學 長張育康、徐國峰、楊禮鴻與林憲忠在生活上與學習上給予的協助與指導。感謝 同學陳學宇陪伴我度過這兩年快樂又辛苦的生活，以及感謝學弟蔡孟儒、李韋 辰、陳家振、梁鶴馨與彭勇霖的支持與協助，並在課餘之時陪我打球，讓我擁有 充沛的體力迎接不同的挑戰。
最後，感謝我的家人給予我最大的支持與照顧，讓我無後顧之憂的專心於課 業上，在此向您們分享這份喜悅。
目 錄
中文摘要...i
Abstract ...ii
誌 謝...iv
目 錄...v
表目錄...xi
第一章 緒論...1
1.1 研究背景 ...1
1.2 研究動機與目的 ...4
1.3 研究方法簡介 ...8
1.4 論文架構 ...9
第二章 文獻回顧...10
第三章 影像註記...14
3.1 影像註記之定義 ...14
3.2 影像註記之目的 ...14
3.3 影像註記之程序 ...16
3.4 應用範圍 ...20
第四章 研究方法...22
4.1 影像分割 ...24
4.2 共同資訊粗註記 ...27
4.2.1 共同資訊...27
4.2.2 共同資訊最大值... 31
4.3 內部特徵點 ...33
4.3.1 影像前處理... 34
4.3.2 特徵抽取... 34
4.3.3 計算特徵值... 37
4.3.4 特徵匹配... 37
4.4 胸肌特徵點 ...40
4.4.1 影像分割與影像前處理... 42
4.4.2 定義感興趣區域... 43
4.4.3 遮罩運算... 44
4.4.4 形態處理... 45
4.4.5 直線逼近... 47
4.4.6 直線驗證... 48
4.4.7 修正邊界點... 50
4.4.8 曲線逼近... 50
4.4.9 抽取胸肌特徵點... 54
4.4.10 胸肌特徵點匹配... 54
4.5 外部特徵點 ...56
4.5.1 影像前處理... 56
4.5.2 二值化...56
4.5.3 Laplacian 邊緣偵測...57
4.5.4 抽取外部特徵點... 58
4.5.5 特徵點匹配... 58
4.6 TPS 空間轉換 ... 59
4.7 影像相減 ...62
4.8 影像後處理 ...63
第五章 實驗結果與討論...64
5.1 TMS註記結果...64
5.1.1 MIAS 編號 004 之乳房 X 光影像註記... 64
5.1.2 MIAS 編號 019 之乳房 X 光影像註記過程與結果... 73
5.2 BMS註記結果...79
5.2.1 MIAS 編號 003 & 004 之乳房 X 光影像註記... 79
5.2.3 MIAS 編號 025 & 026 之乳房 X 光影像註記... 83
5.3 胸肌邊界偵測結果 ...86
5.4 討論 ...88
5.4.1 TMs 之註記 ... 88
5.4.2 BMs 之註記... 93
5.4.3 偵測胸肌邊界... 93
第六章 結論...95
6.1 結論 ...95
6.2 未來展望 ...96
參考文獻...98
圖目錄
圖 1.1 乳房 X 光攝影片...5
圖 1.2 頭尾投影與內外側斜位投影成像方式...6
圖 1.3 頭尾投影與內外側斜位投影之乳房 X 光影像...6
圖 1.4 自動化乳房病變偵測流程圖...8
圖 3.1 印刷電路板底片之註記結果...15
圖 3.2 二維空間轉換型式...18
圖 3.3 空間座標轉換之比較...19
圖 4.1 影像註記流程...22
圖 4.2 乳房構造圖...23
圖 4.3 乳房 X 光影像註記流程...24
圖 4.4 以直方圖為基礎之影像分割...25
圖 4.5 影像分割之結果...26
圖 4.6 影像分割之結果...26
圖 4.7 聯合直方圖之示意圖...28
圖 4.8 聯合直方圖...29
圖 4.9 共同資訊與熵之關係圖...30
圖 4.10 搜尋具最大共同資訊座標之流程...31
圖 4.11 乳房 X 光影像 MI 粗註記...32
圖 4.12 搜尋共同資訊最大值之區域 MI 值分佈...33
圖 4.13 乳房組織類型...33
圖 4.14 影像前處理前後之結果...34
圖 4.15 垂直與水平遮罩...35
圖 4.16 抽取內部組織特徵...36
圖 4.17 印刷電路板底片影像之特徵匹配...38
圖 4.18 特徵匹配示意圖...39
圖 4.19 尋找胸肌與乳房組織交界線之流程...41
圖 4.20 對比度擴張處理前後差異...42
圖 4.21 定義感興趣區域...43
圖 4.22 遮罩運算後之結果...44
圖 4.23 形態處理之3×3遮罩 ...45
圖 4.24 形態處理之結果...46
圖 4.25 最小平方法直線逼近...48
圖 4.26 胸肌邊界線之角度範圍...49
圖 4.27 最小平方法直線逼近之驗證與修正...49
圖 4.28 修正邊界點後之直線逼近...50
圖 4.29 修正邊界點後之曲線逼近...51
圖 4.30 尋找胸肌與乳房組織交界線之結果...53
圖 4.31 抽取胸肌特徵點...54
圖 4.32 匹配胸肌特徵點...55
圖 4.33 抽取外部控制點流程...56
圖 4.34 二值化處理...57
圖 4.35 乳房邊緣偵測...57
圖 4.36 設置乳房 X 光影像之外部控制點...58
圖 4.37 TPS 座標轉換之情形...59
圖 4.38 影像相減之結果...62
圖 4.39 顯示異常區域...63
圖 5.1 MIAS 004 影像之分割與 MI 粗註記...65
圖 5.2 MIAS 004 影像之內部特徵抽取結果...66
圖 5.4 MIAS 004 影像之註記結果...70
圖 5.5 MIAS 004 乳房 X 光影像註記前後之影像相減結果...71
圖 5.6 MIAS 019 影像之 MI 粗註記...73
圖 5.7 MIAS 019 影像特徵抽取與匹配之結果...74
圖 5.8 MIAS 019 影像之註記結果...75
圖 5.9 MIAS 019 乳房 X 光影像註記前後之影像相減結果...76
圖 5.10 MIAS 198 與模擬變形之乳房 X 光影像註記結果之比較...77
圖 5.11 MIAS 003 & 004 影像之分割與 MI 粗註記...80
圖 5.12 MIAS 003 & 004 影像之註記結果 ...81
圖 5.13 MIAS 003 & 004 乳房 X 光影像註記前後之影像相減結果...82
圖 5.14 MIAS 025 & 026 影像之疑似異常區域判定 ...84
圖 5.15 左右乳房 X 光影像註記結果之比較...85
圖 5.16 胸肌分割結果之比較...87
圖 5.17 胸肌邊界之資料點...88
圖 5.18 利用不同控制點之註記結果比較...91
圖 5.19 胸肌區域不存在或無法分割之影像...94
表目錄
表 5.1、圖 5.2(c)所示乳房細長組織之特徵值列表 ...67
表 5.2、圖 5.2(d)所示乳房細長組織之特徵值列表...68
表 5.3、MIAS 004 影像與模擬變形影像匹配對之特徵值...69
表 5.4、MIAS 004 註記前後 CC 及 SSD 量測值之比較...72
表 5.5、MIAS 019 影像與模擬變形影像匹配對之特徵值...74
表 5.6、MIAS 019 註記前後 CC 及 SSD 量測值之比較...76
表 5.7、TMs 註記前後 CC 及 SSD 量測值之比較 ...78
表 5.8、MIAS 003 & 004 註記前後 CC 及 SSD 量測值之比較...82
表 5.9、使用不同控制點註記結果之相似度比較...92
第一章 緒論
1.1 研究背景
在近二十年間，醫學影像的領域經歷了一段時期的快速發展，醫學的研究日 益成熟，不論在平時疾病的偵測或對於病人的追蹤檢查與治療上，都已經發展出 各種不同的技術，也有越來越多地醫學影像應用於健康診斷、計畫治療、引導治 療、疾病監控發展等方面，電腦輔助醫學影像分析與診斷已成為現今的趨勢。透 過各種醫學影像之成像設備，賦予醫護人員以非侵入人體的方式，能夠清楚地透 視人體各個組織器官之變化，取代了傳統解剖的醫療技術。
目前常見的醫學影像，依使用的成像原理和設備，總體可分類為描述生理形 態的解剖（Anatomical）成像模態（Modality）和描述人體機能或代謝機能
（Functional）的成像模態。解剖學的模態包括 X 光攝影術（Radiography）、電 腦斷層掃描術（Computed Tomography，CT）、磁共振造影術（Magnetic Resonance Imaging，MRI）、超音波掃描（Ultrasound）等。以下就針對不同的成像模態進 行說明[1]。
(1) X 光攝影術 & 電腦斷層掃描術
兩種模態的成像原理非常相似，由於人體內各部分的組織或器官其密度與厚 度皆不同，因此當 X 光穿透過人體時，人體內組織或器官會對 X 光產生不同 程度的衰減（Attenuation）作用，因而形成不同組織或器官的灰階影像對比分佈 圖。X 光攝影術的影像為二維平面影像，而電腦斷層掃描術結合使用數位電腦與 旋轉的 x-ray 儀器，產生高解析度的斷層切面或各種器官和身體部分的切片，例 如：肺臟、肝臟、腎臟、胰臟、骨盆、四肢、腦部、脊椎和血管。透過所獲得的 影像，醫護人員進而以病灶的相對位置、大小和形狀等改變，來判斷病情。上述 兩種影像所提供的皆為人體解剖結構方面的資訊。
(2) 磁共振造影術
磁共振造影術的原理，應用了「核磁共振」（Nuclear Magnetic Resonance，
NMR）的現象，即利用原子核排列與在磁場中的共振特性，經由電磁波成像。
由於人體內含有非常豐富的氫原子核（即質子），在正常的情況下，體內氫原子 核的排列並沒有特定的方向，若將人體置於強大均勻的靜磁場中，透過特定的無 線電波脈衝來改變磁場，當氫原子核吸收能量後，改變了旋轉排列方向。當關閉 無線電波後，氫原子核將恢復原來的排列狀況並釋放能量，此時藉由特定的感應 線圈，收集磁場變化的情形，經由電腦的處理而形成不同物質、組織或器官的灰 階影像對比分佈圖，其所呈現的影像為高解析度的斷層切面影像，所提供的也是 屬於人體解剖結構方面的資訊。
(3) 超音波掃描
超音波檢查的原理是利用探頭發射頻率大於 20KHz 以上的音波於人體內，
由於超音波在碰觸物體後，會產生反射、折射與散射的特性。當音波在人體內傳 遞時，由於人體內不同組織的密度與硬度皆不盡相同，所以擁有不同的音波阻 抗，因此音波通過不同組織時送回來的反射波和散射波也不同，再將這些反射和 散射音波收集處理，即可獲得各個組織或器官的灰階影像對比分佈圖，其影像所 提供的亦是屬於人體解剖結構方面的資訊。
機能的模態包括一般核子醫學掃瞄、單光子射出斷層掃描術（Single Photon Emission Computed Tomography，SPECT） 、正子射出斷層掃描術（Positron Emission Tomography，PET）等。
(1) 一般核子醫學掃瞄
核子醫學檢測的原理是利用不穩定的核子，經過特殊處理，做不同的藥劑，
然後根據檢查的目的，將藥劑讓病人口服或注射到病人體內，經過一段時間參與 體內組織器官的循環與代謝後，這些不穩定的核子，會放射出極微量對人體無害
的加瑪射線，再使用 NaI 閃爍掃描儀掃描，可得到以數字、圖像、曲線或照片的 形式顯示出人體內臟或器官的情形。一般的核子醫學影像所能提供的主要是人體 中特定組織或器官功能性方面的資訊，以及其大略解剖結構的相對位置。
(2) 單光子射出斷層掃描術
SPECT 基本原理與一般核子醫學掃瞄大致相同，但是傳統核醫掃描對於立 體影像只能從各個不同的角度去掃描，僅能表現出二維平面的影像。而 SPECT 可針對特定組織或器官做 180 度或 360 度、三度空間靜態的造影掃描，所得影像 包含立體及三個斷層切面的影像。因此 SPECT 藉由多角度偵測目標器官，再經 影像的重組，形成三度空間影像後，更能發現病灶的相關位置。此影像主要提供 的也是人體特定組織或器官功能性方面的資訊，而有時亦能提供人體中有關生 理、生化和代謝活動及定量分析的訊息。
(3) 正子射出斷層掃描術
PET 是近幾年來核子醫學中新興的醫學影像診斷技術，主要的功能為確定癌 症的發生與嚴重性、診斷神經系統的狀況，及心血管方面的疾病。PET 的成像原 理是將可以放射出帶正電荷電子的同位素藥物（正子藥劑），經靜脈注射入人體 後，經過一段時間，藥物隨著血液分佈至全身，參與組織細胞的新陳代謝，再使 用正子射出斷層掃描儀，偵測出正電子的位置與信號強弱，再利用電腦重組形成 組織或器官內分佈的圖像。由於 PET 的成像原理與人體的新陳代謝有關，因此 普遍適用於臨床各科與生命基礎的研究。而人類多數初期的疾病，在生理和代謝 功能方面所產生的變化先於解剖結構的變化，因此 PET 對於初期的疾病能夠精 確地提供多方面定性與定量的資訊。
基於多種原因，臨床上通常需要對同一位病人進行多種模態或同一種模態的 多次成像，即同時從幾張影像中獲得資訊，進行綜合分析。由於在臨床追蹤所獲 得兩張影像間的資訊通常為互補的，因此經常要從分散的影像中獲得資料適當的 整合。在整合過程中的第一個步驟為模態之間空間的對準，此程序稱為註記
（Registration）。醫學影像的註記大致上可區分為單一模態（Monomodality）與 多模態（Multimodality）的註記，單一模態成像只使用一種成像設備，拍攝的影 像經過註記後，可用於觀察病灶生長，對比手術前後的治療效果等。當一種成像 設備所提供的資訊不能滿足需要時，可以採用多種模態成像。多模態的影像註 記，可將不同模式的影像資訊整合，獲得較完整的資訊，以利於瞭解病灶的情況，
相對位置的改變等。
1.2 研究動機與目的
根據行政院衛生署 92 年的統計資料顯示[2]，惡性腫瘤仍位居國人十大死因 之首，至於肝癌、肺癌、結腸直腸癌及乳癌則是國人十大癌症死因之前四大。值 得注意的是，女性乳癌之標準化死亡率較上一年明顯增加，除此之外，罹患乳癌 的年齡已有年輕化的趨勢。值得慶幸的是，根據美國防癌協會的統計，早期發現 的乳癌個案其存活率可達百分之九十五，由此看來若能早期發現病徵並給予即時 的治療及定期追蹤檢查，對於降低乳癌致死率有相當大的幫助。
醫界目前對於造成乳癌的原因不明，但是基因遺傳與生活環境都是導致乳癌 發生的因素之一。近年來國人的生活與飲食習慣逐漸西化，對於高脂肪、高熱量 的食物攝取過多。此外，過度食用含荷爾蒙的保健食品、藥物等，也會影響內分 泌，提高乳癌發生的機率。乳房主要是由脂肪、導管、腺體組織和纖維組織等所 組成。當乳房中的細胞不正常地生長即可能產生病變並發展成腫瘤，腫瘤可區分 為良性與惡性，惡性腫瘤即是乳癌。良性腫瘤雖然會壓迫周圍的組織，但通常生 長緩慢不會發生轉移的現象，治療方式可以施行外科手術切除良性腫瘤。而惡性 腫瘤細胞除了會不斷增生並且破壞鄰近組織外，還具有侵略與擴散的能力，嚴重 情形可能經由血液與淋巴系統轉移至其他器官，產生新的腫瘤。但是一般的乳房 腫瘤 90%以上都屬於良性腫瘤，並不會威脅到生命，因此若能定期接受乳癌篩 檢，一旦發現病徵即可提早進行治療，降低致死率。
乳癌篩檢的方法眾多，包括乳房 X 光造影（Mammography）、核磁共振掃描、
超音波等。乳房 X 光造影對於早期無任何病徵的篩檢為最佳診斷方法，它提供 醫生最方便且最有效的診斷。在偵測乳癌時，尤其是早期的腫瘤，乳房 X 光照 射檢查是最好的方式，儘管醫學界不斷發展出新的科技與檢測方式，傳統的乳房 X 光攝影仍為篩檢乳癌最標準且有效的方法，也是目前最廣泛使用的方法。乳房 X 光造影在已發展國家被確認是一種有效檢查乳癌的方法，40 歲或以上之婦女 應定期作乳房 X 光造影檢查，其優點在於輻射度極低，引致癌病的機會極微；
而超音波掃描適用於 35 歲以下的女性，由於她們的乳房組織密度較高，對於乳 房 X 光造影無法形成清晰的影像。但超音波掃描對於偵測少量微細鈣化點的執 行力較低，這些鈣化點可能是早期乳癌或大多數零期乳癌的唯一徵象，因此乳房 X 光攝影仍是偵測微細鈣化點最敏感的工具。
乳房 X 光攝影片（Mammogram）是一種使用低劑量 X 光透視乳房技術所得 的影像，如圖 1.1 所示，檢查前不需任何特殊準備，也不需空腹或靜脈注射造影 劑，檢查時將乳房放在兩塊壓迫板之間給予適當的壓力使乳房呈扁平狀以獲得良 好的影像，醫生可從乳房 X 光中檢查是否有腫瘤或任何異常存在，然後再更進 一步給予治療。
圖 1.1 乳房 X 光攝影片
一般乳房 X 光造影術依成像的位置與角度可區分為內外側斜位投影
（Medio-lateral oblique view，MLO）與頭尾投影（Cranio-caudal view，CC），如 圖 1.2 所示。內外側斜位投影是從胸壁中間以斜向側邊朝向乳房外表面的方式所 形成的投影，所獲得的影像如圖 1.3(a)所示，此種方式所獲得之影像可以涵蓋更 多乳房後側組織的部位。至於頭尾投影則是由乳房上方朝乳房下方投影所得，結 果如圖 1.3(b)所示，此方法所獲得的影像可以更清楚看出乳暈附近所產生的病變。
圖 1.2 頭尾投影與內外側斜位投影成像方式
(a) 內外側斜位投影影像 (b) 頭尾投影影像（圖片來源[3]）
圖 1.3 頭尾投影與內外側斜位投影之乳房 X 光影像
在乳房 X 光造影其間，需要壓縮乳房的原因包括下列幾點：
1. 使乳房平坦可以減少重疊的組織，對於解剖學觀點與潛在的異常有較好的成 像結果。例如：不適當的壓縮會造成微鈣化與極小的鈣沈積點造影不完整，
然而這些現象通常是乳癌的早期的特徵。
2. 減少陰影的重疊，因為陰影在軟片上看起來像是可疑的區域。
3. 由於經壓縮後，需要造影的乳房組織較薄，因此只需要較低的 x-ray 劑量。
4. 使乳房固定不動以避免因移動造成影像模糊。
5. 減少因 x-ray 散射造成的造影程度降低。
對於乳癌的診斷與分析，大多數的研究均傾向於以電腦輔助分析的方式來偵 測單一影像的異常，然而在臨床實驗中，乳房 X 光檢測卻是藉由分析同一病人 左右對應乳房的 X 光影像來進行判讀，此類技術一般被稱為比較式分析
（Comparative Analysis），這種分析的方式有助於異常的識別以及臨床意義的決 定。比較式分析法又可分成時間上的比較分析（Temporal Comparative Analysis，
TCA）及左右對稱的比較分析（Bilateral Comparative Analysis，BCA）兩種形式。
TCA 主要是比較同一乳房在不同時間拍攝所得影像（Temporal Mammograms，
TMs）之間的差異，並據此判定是否有任何部位出現異常變化。BCA 則是比較 在相同觀測點，及在相同篩檢時間所獲得之左右兩邊乳房的 X 光影像（Bilateral Mammograms，BMs）。一般說來，從同一位女性拍攝所得之左乳房及右乳房 X 光影像，具有高度的對稱性，因此透過左右乳房的比較，異常部位很容易被查覺。
但由於乳房 X 光影像是三度空間物體投影所得，因此乳房 X 光影像在拍攝 時，乳房可能因為受到壓迫或位置移動等因素出現扭曲變形的現象，導致前後兩 張影像之間存有形狀或位置上的差異，因此有必要透過影像前處理及影像註記等 程序讓此差異最小化。
對於自動化之乳房病變偵測的流程，如圖 1.4 所示。乳房 X 光影像註記是自 動化乳癌偵測上極為關鍵的一個步驟，也是持續發展中的一個研究課題。傳統上 乳房 X 光影像的註記大都以剛性註記為主。剛性註記的基本假設是乳房受壓迫 時，乳房組織除了平移及旋轉外，不會產生扭曲的現象。然而實際上乳房是個彈 性體，即便是同一個乳房，在不同時間拍攝所得之影像，也會有空間上的差異存 在，更遑論左右兩邊的乳房 X 光影像。由此可見，發展對應乳房 X 光影像之自 動註記技術，在實務上有相當程度的困難與挑戰。為了克服上述問題，本研究結 合特徵匹配及共同資訊（Mutual Information，MI），發展一套以薄板雲形曲線（Thin Plate Splines，TPS）為基礎之乳房 X 光影像註記技術。有了這個系統的輔助，
醫生將可獲得更多及更深入的資訊，如此即可加速診療過程並減少誤診的機率。
開始 影像
前處理
乳房
影像註記 影像相減
影像 後處理 異常影像
結束 在影像上顯 分析
示異常部位
圖 1.4 自動化乳房病變偵測流程圖
1.3 研究方法簡介
本研究所使用之乳房 X 光影像係取自英國 MIAS （Mammographic Image Analysis Society）已數位化之乳房 X 光影像資料庫[4]。該資料庫影像是由 161 對左右乳房的 X 光影像所組成，影像大小為 1024 x 1024 個像素，其中包含了 經由醫師判讀與病理證實具有腫瘤或鈣化等異常組織的 115 張影像，其餘 207 張影像是健康正常的影像。
對於乳房 X 光之影像註記，本研究結合以特徵為基礎與以亮度為基礎的方 法 ， 首 先 將 參 考 影 像 與 待 註 記 影 像 之 間 位 置 的 差 異 ， 利 用 最 大 共 同 資 訊
（Maximization of Mutual Information）的原理進行剛性註記，將影像初步的對 準。接著，將乳房 X 光影像中內部與外部的特徵抽取出，包括乳房細長的組織、
胸肌邊界與乳房輪廓等，再分別利用特徵匹配法與 MI 匹配法，進行特徵之間 的匹配，以便獲得控制點對。最後，將所獲得的控制點代入薄板雲形曲線法的 公式中，進行空間座標轉換，完成註記。
1.4 論文架構
本論文總共分成六個章節，第一章為緒論，主要介紹目前醫學診療與研究 上，常見的醫學影像模態與成像原理，以及乳房 X 光造影原理與分析程序。第 二章為文獻回顧，內容包括剛性與非剛性之乳房 X 光影像註記、共同資訊理論 與薄板雲形曲線法的應用。第三章為影像註記技術的介紹，敘述註記技術的程 序、方法及應用。第四章為本論文之研究方法，內容包括計算共同資訊、影像前 處理、特稱抽取與匹配、胸肌與乳房組織交界線之抽取、空間座標轉換及影像後 處理等。第五章為實驗結果與討論，對於乳房 X 光註記結果進行討論，並以數 種相似性測量方法進行評估。第六章為結論，對本論文研究做一結論以及未來研 究的建議。
第二章 文獻回顧
對於不同類型影像之註記程序，已有許多不同的註記演算法被設計出。但一 般註記演算法可約略的分成以特徵為基礎（Feature-based）及以亮度為基礎
（Intensity-based）兩種註記法。以特徵為基礎之註記法，通常包括兩個步驟：(1) 從影像中抽取對應或相同的特徵；(2)利用抽取所得之匹配對（Matched Pairs），
決定空間座標轉換參數。以亮度為基礎之註記法則直接利用像素之亮度，產生一 個成本函數（Cost Function），之後再採用搜尋策略，找出一組能夠讓成本函數 最佳化之空間座標轉換參數。
在醫學影像領域中，共同資訊是以熵（Entropy）為基礎的相似性測量法，
可用來解決多模態醫學影像註記的問題。值得一提的是，共同資訊是由資訊理論 衍生出的一種觀念，其優點在於被計算的兩張影像之間不一定要存在任何的相關 性，而且對於各種模態的影像型式也沒有任何的限制，是一種強健且普遍使用的 匹配法則。在Maes等人[5]的報告中提到，共同資訊是一種用以測量兩張影像對 應像素之間亮度關係的統計值。由於此方法事先並不需進行任何的分割、特徵抽 取、或其他前處理的步驟，因此非常適合於臨床的應用上。由於共同資訊的強健 性與精確性，除了適用於多模態醫學影像註記外，也廣泛地應用於其他的領域 中，例如：遠端遙測影像之註記[6]。此外，有許多報告更以共同資訊為基礎，
改善或結合其他方法來增加相似性測量法的廣泛性。Marti等人[7]則是以灰階共 生矩陣（Gray-Level Co-occurrence Matrices，GLCM）代替直方圖，計算共同資 訊總量。此方法主要是希望以加入影像空間資訊的方式，建立一個更普遍的量測 方法。Rueckert [8]等人在報告中提出，將完成對比增強處理之乳房MR（Magnetic Resonance）影像施以不同型式之轉換，之後再以正規化共同資訊作為量測相似 度的準則。結果顯示，以非剛性註記取代剛性註記對於恢復乳房的移動或變形有 更好的結果。但是共同資訊除了其強健性之外也有缺點。對於以共同資訊理論進
行點匹配的方法，由於透過徹底的搜尋找出具共同資訊最大值的匹配對位置，所 需花費的時間較長，因此並不適用於工業上快速檢測的影像中。
早期使用之諸多乳房 X 光影像註記法，通常是假設乳房的變形為剛體變形
（Rigid-Body Deformation），並以剛性或仿射（Affine）的型式進行空間轉換以 完成註記。Giger 等人[9]提出基於左右乳房的對稱性，利用左右乳房 X 光影像相 減的方式進行電腦輔助診斷，但由於兩張影像存在空間或位置的差異，因此在影 像相減前必須進行註記的程序。註記過程中則是利用乳頭與乳房邊緣當作特徵，
並利用此特徵決定左右乳房影像之間相對的旋轉與平移關係，完成剛性註記以便 後續的診斷分析。在 Stamatakis 等人[10]的報告是利用乳房邊界上，具有最大曲 率的點來決定旋轉與平移的參數。而 Faizon 等人[11]則利用乳頭的位置決定平移 的參數。
Ertas 等人[12]提出利用 distance-map 為基礎或以 k-d tree 為基礎的方法，並 搭配剛性或仿射轉換，可成功地對準乳房 X 光影像，但此方法對於對準的精確 度容易受到局部最小值的影像，因此在對準前將乳頭的部分移除，可獲得較佳的 結果。在 Vujovic 與 Brzakovic [13]的報告中，主要目的在於找出兩張乳房 X 光 影像之間的特徵點，並且建立特徵點之間的對應關係。其方法是將先前拍攝的乳 房 X 光影像當作參考影像，並以新拍攝的乳房 X 光影像當作比對影像。首先將 乳房 X 光影像施以高斯濾波平滑處理，接著利用修正式單調運算子（Modified Monotony Operator）將乳房 X 光影像中水平及垂直的細長組織（例如血管或導 管）抽取出來作為特徵，而水平及垂直細長組織的交點則作為控制點。特徵匹配 時，建立特徵之間的相似準則，並依據控制點間的相對位置以及控制點與參考點 的相對位置，利用累積者矩陣（Accumulator Matrix）建立匹配對。
對於乳房X光影像之剛性註記逐漸不敷使用，在此同時，許多由非剛性模型 觀點出發，對乳房X光影像進行註記的方法也陸續被提出。例如Kostelec等人[14]
即是假設乳房變形為非剛性變形，並結合以金字塔形式為基礎之多重解析度技 術、剛性的相似度測量、及TPS空間轉換，對左右對稱的乳房X光影像進行匹配。
另 外 ， Wirth 等 人 [15] 在 報 告 中 ， 提 出 一 種 結 合 相 似 性 測 量 和 以 點 為 基 礎
（Point-Based）之空間轉換，用以匹配乳房X光影像之創新方法。該方法利用等 級 制 度 演 算 法 （ Hierarchical Algorithm ） 將 影 像 分 割 成 許 多 更 小 的 次 影 像
（Sub-image），而每個次影像獨立地以共同資訊進行匹配，由每對匹配的次影 像對可獲得一個位移向量，而聚集所有的位移向量可獲得位移向量場，局部位移 的向量場即代表對應的控制點，最後結合具非剛性特性之徑向基底函數（Radial Basis Functions，RBF）產生一個平滑的全域非剛性轉換。藉由這種由粗到細的 方式，對乳房X光影像提供一個自動化的彈性註記。
由於乳房 X 光影像中的雜訊與低對比度造成註記時缺少控制點，因此 Sivaramakrishna[16-18]提出一個新的組織轉換（Textural Transformation），稱為 Starbyte 轉換，用以註記不同時間拍攝所得之乳房 X 光影像。Starbyte 轉換的計 算方式是利用影像中每個像素周圍局部鄰近像素的特性，並且清楚地劃分區域將 乳房 X 光影像轉換成組織圖（Texture Maps），如此一來，即可獲得控制點。最 後利用 TPS 進行空間座標轉換，完成非剛性註記。
Marti等人[19]提出對於不同時間的乳房X光影像，進行內部組織特徵的追 蹤。首先，利用非線性線形運算子（Non-linear Line Operator）偵測出乳房X光影 像中線狀的結構。接著，沿著這些線狀的結構，在局部的鄰近區域內尋找具有最 大曲率的點，例如：局部的彎曲點或分支點，將這些點的方向與寬度等特徵抽取 出，最後建立特徵點之間的距離矩陣（Distance Matrix），完成特徵匹配。每個 距離矩陣描述特徵點之間的正規化距離，而正規化距離是由歐幾里德（Euclidean）
距離、特徵點間方向差異及寬度差異所構成，當正規化距離越小，表示匹配的結 果越佳。由獲得的匹配對可以進一步地識別與追蹤影像中線狀的結構，從所追蹤 的線狀結構可提供有關乳房結構改變方面重要的資訊，以及可用來評估異常結構 的發展情況。
在Maria等人[20]的報告中，提出註記與匹配不同時間的乳房X光影像以便偵 查異常病變的存在。首先，利用外部的特徵點將影像初步對準。從乳房的邊界上
抽取出五個特徵點，分別為乳頭、兩個點位於胸壁附近乳房邊界的末端，剩下的 兩個點則位於乳頭與已找出的兩個點之間的中心。接著，計算插補函數產生一個 變形的影像，在影像變形後可以產生一個差異影像，並由此影像中找出灰階值差 異最大的區域。再來對於影像中水平與垂直方向上，具有局部最大或最小灰階值 之像素點當作內部控制點，並利用幾何特徵與以灰階共生矩陣為基礎的紋理特徵 進行內部點的匹配，完成註記。
在Sallam [21]的報告中指出，這篇報告的目的為評估影像註記技術對於乳房 X光影像中異常所能提供有用資訊的程度。最初的變形步驟藉由沿著乳房邊緣的 對應點對準兩張影像，使乳房邊緣附近大部分全域的變形與一些局部的變形被恢 復。第二次變形使用遍佈於乳房區域較分散的對應特徵來改善註記。
TPS 屬於徑向基底函數的一種，最早是由 Harder 及 Desmarais [22]於 1972 年所提出，而 Bookstein [23]則是第一個將其應用在醫學影像上的學者。由於 TPS 主要是以讓薄板表面的彎曲能量（Bending Energy）減到最小的方式處理局部非 剛體轉換，因此非常適用於彈性體變形之影像。例如：在 Bazen[24]的報告中，
提出一個匹配指紋的方法，處理彈性扭曲的問題。首先，藉由比較局部區域的鄰 近像素平均值，決定可能的匹配對。接著，TPS 模型被用來描述兩組可能匹配對 之間的非線性扭曲。對於變形的指紋，此方法相較於剛性匹配的演算法有較好的 成 果 。 另 外 ， 在 人 臉 辨 識 的 領 域 中 ， TPS 也 是 常 用 的 空 間 座 標 轉 換 。 在 Xiaoguang[25]的報告中，提出考慮剛性與非剛性的變形，對於臉部表面的匹配工 作。剛性註記的部分，藉由修正式反複最近點（Iterative Closest Point，ICP）演 算法，以由粗到細的方式達成；而 TPS 模型則應用於評估變形位移向量場，其 用來表示非剛性變形。
第三章 影像註記
影像註記在影像分析任務中是個重要的步驟，對幾張不同影像進行分析 時，為了找出其之間的差異，首先要解決這幾張影像的對齊問題，此步驟稱為影 像註記（Image Registration）。本章中 3.1 節將介紹影像註記之定義，3.2 節中說 明影像註記的目的，接著在 3.3 節中介紹一般影像註記的程序，最後在 3.4 節中，
對於影像註記常見的應用領域詳細說明。
3.1 影像註記之定義
令I1和I2分別代表兩張已知大小影像的二維陣列，而I1(x,y)和I2(x,y)分別 代表I1和I2影像在位置(x,y)的亮度值（或是其他的測量值），則影像間的對應可 以表示成：
))) , ( ( ( ) ,
( 1
2 x y g I f x y
I = (3.1)
其中 f 為二維空間座標轉換，用來將座標x和 y 對應至新座標x'和 'y 的空間座標 轉換，亦即：
) , ( ) ,
(x′ y′ = f x y (3.2)
而 g 代表一個一維的亮度轉換[26]。
在醫學影像註記方面，則是對於一張影像尋求最佳的空間轉換，使它與另一 張影像上的對應點達到空間上的一致，即人體中同一解剖點在兩張匹配影像上有 相同的空間位置。註記的結果應使兩張影像上所有的解剖點，或所有具有診斷意 義的點及手術感興趣的點都達到匹配。
3.2 影像註記之目的
註記是一個最佳化的過程，影像註記的目的在於找到一個讓兩張（二維）或
多張（三維）影像重新對準之最佳空間和亮度的空間轉換函數，因此影像註記能 定義為兩個影像之間，空間和有關亮度的對應。
對於影像註記的重要性，我們舉例說明，在印刷電路板底片瑕疵的檢測中，
一般常見的方法為將標準影像（圖 3.1(a)）與待測影像（圖 3.1(b)）直接進行 XOR 即可，但是由於擷取影像時受到光源的影響，或位置的偏差，造成兩張影像有極 大的差異，如果直接進行 XOR（圖 3.1(c)）可能會造成判斷錯誤，因此在檢測之 前將待測影像進行註記，使兩張影像經過對準，再進行影像相減（圖 3.1(d)），
最後再進行影像後處理，即可獲得瑕疵的部分（圖 3.1(e)），並且可將瑕疵位置搜 尋出來（圖 3.1(f)）。
(a) 印刷電路板底片之標準影像 (b) 印刷電路板底片之待測影像
(c) 未註記前之影像相減結果 (d) 註記後之影像相減結果
(e) 經影像後處理之結果 (f) 顯示瑕疵之位置 圖 3.1 印刷電路板底片之註記結果
由上可知，影像註記在許多的影像分析處理中是不可或缺的一環。此外，像 是在影像鑲嵌（Image Mosaicing）的程序中也是一樣，若兩張影像中存在位置或 比例的差異，將造成鑲嵌的錯誤，如果透過註記將影像對準，則有助於後續的處 理程序。而對於醫學影像的分析來說，影像註記能夠讓對應的解剖點達到匹配，
對於後續的診斷階段，可減少誤判的情形發生。因此影像註記的目的為使兩張或 多張影像達到空間的對準，減少或降低影像間的差異。
3.3 影像註記之程序
在影像註記的程序中，通常有一張標準影像，稱為目標影像（Target Image）
或參考影像（Reference Image），而另一張待註記之影像則稱為漂浮影像（Floating Image）或比對影像（Comparative Image），藉由尋找出兩張影像之間的對應關係 而進行註記。一般註記技術大致可區分為四個步驟：
(1) 特徵抽取：註記兩張影像的第一步是決定匹配使用的特徵，它可能是影像的 亮度（灰階值）或其他一般的特徵，例如：邊界（Edges）、輪廓（Contours）、面
（Surface）、紋理（Texture）等。而顯著的特徵像是邊角點（Corners）、線交叉 點（Line Intersections）和高曲率（High Curvature）的點。而統計的特徵像是矩 量不變量（Moment Invariants）或物體形心（Centroids）等。這些特徵由一些具 代表性的點來代表，例如：形心點、線段端點或特殊點，這些點通常稱為控制點
（Control Points）。選擇最理想的控制點對於註記的結果，將有重大的改善。
(2) 相似性測量：相似性測量為計算兩張影像或特徵間之間的相似程度。當特徵 抽取後，在進行匹配之前，必須先評估兩組特徵集合之間的相似性，決定哪些點 可用於特徵的匹配。除此之外，相似性測量亦可作為影像匹配或評估匹配結果的 工具，若兩張影像間的相似程度愈高，表示匹配的結果愈理想。常見的相似性測 量方法包括相關係數法（Correlation Coefficient，CC）、差異平方和（Squared Sum
of Differences， SSD）與共同資訊（Mutual Information，MI）等。
相關係數法的原理為利用兩張影像I1和I2中，像素點之間的平均灰階值µ與 灰階變異數σ2的關係，其計算公式如下：
∑∑
= == × m
i n
j
j i n I
m 1 1 1
1 1 (, )
µ (3.3)
[ ]
∑∑
= =× −
= m
i n
j
j i n I
m 1 1
2 1 1
2
1 1 (, ) µ
σ (3.4)
µ ：影像1 I1的平均灰階值
2
σ1 ：影像I1的灰階變異數
再由兩張影像的平均灰階值與灰階變異數計算得到相關係數 CC，公式如下：
[ ][ ]
222 1
1 1
2 2
1
1(, ) (, )
1
∑∑
µ µ σ σ= =
−
× −
= m
i n
j
j i I j
i n I
CC m (3.5)
兩張影像間的相關係數值 CC 應介於-1 到 1 之間，當相關係數越接近 1 時，
表示兩張影像之間的相似度越高；反之，當相關係數越小時，表示兩張影像之間 的相似度越低。
另一種常見的相似度測量方法為差異平方和，其原理為計算兩張影像對應像 素間的灰階差異量，公式如下：
[ ]
∑∑
= =× −
= m
i n
j
j i I j i n I
SSD m
1
2
1
2 1(, ) (, )
1 (3.6)
當差異平方和的值 SSD 越趨近於零，表示兩張影像之間的差異性越小；反 之，當差異平方和的值越大，表示兩張影像之間的差異性越大。
(3) 特徵匹配：由兩張影像所抽取出之特徵，透過特徵匹配，可獲得匹配對並建 立對應的控制點。然而，通常特徵匹配的方法依據不同的特徵而有所不同，例如：
有 以 地 標 點 為 基 礎 （ Landmark-based ） 的 匹 配 方 法 、 也 有 以 面 為 基 礎
（Surface-based）的匹配方法、或以亮度為基礎（Intensity-based）的匹配方法等。
特徵匹配在影像註記程序中是極重要的一環，尤其是以特徵為基礎之註記法，其 成功與否的關鍵，在於如何建立兩張影像內物件與物件間之正確對應關係。物件 與物件是否匹配，則有賴於特徵的比對。對於不同的匹配法則各有其優點和缺 點，因此選擇適合不同特徵所需要的匹配法則，是註記成功的關鍵。
(4) 空間座標轉換：空間座標轉換是將影像透過轉換函數變成一張新的影像，ㄧ 旦找到兩張影像間對應的特徵，它們位置的資訊被用來決定將一張影像變形至與 另一張影像對準的轉換函數。常見的空間座標轉換種類包括剛體轉換（Rigid Body Transformation）、仿射（Affine）轉換、透視（Perspective）轉換、投影
（Projective）轉換、多項式（Polynomial）轉換及非線性（Nonlinear）轉換或彈 性轉換等數種不同型式，如下圖 3.2 所示。
圖 3.2 二維空間轉換型式
剛體轉換通常為座標對應座標的轉換，包含影像平移與旋轉。仿射轉換則為 平行線對應平行線的轉換，除了影像平移（Translation）與旋轉（Rotation）之外，
還包含縮放（Scaling）與剪變（Shearing）。投影轉換為線對應線的轉換，而非線 性轉換則為線對應曲線的轉換。
對於不同的影像所需使用的座標轉換方式也不盡相同，例如對於剛體的變 形，以剛體轉換即可獲得不錯的效果；但對於彈性體而言，若只以剛性轉換或仿 射轉換來處理，所獲得的結果並不如彈性轉換來的佳。如圖 3.3 所示，(a)圖為原 始影像，(b)圖為經過彈性變形後的結果。若我們將影像中幾何形狀的邊角點當 作控制點，分別以剛性、仿射與 TPS 彈性轉換嘗試將變形後的影像恢復，結果 分別如圖(c)、(d)與(e)所示。由結果發現對於彈性變形的物體，彈性空間轉換的 方式比剛性或仿射轉換更加合適。
(a)原始影像 (b)原始影像經彈性變形處理
(c)經由剛性轉換處理 (d)經由仿射轉換處理 (e)經由彈性轉換處理 圖 3.3 空間座標轉換之比較
3.4 應用範圍
影像註記技術是以電腦視覺原理為基礎，針對不同領域的影像，可設計不同 的註記技術，因此其應用範圍非常廣泛，包括：
(1) 航空衛星遙測地理影像的圖幅接合與建物辨識
由 航 空 衛 星 所 拍 攝 的 地 理 影 像 ， 通 常 作 為 地 理 資 料 系 統 （ Geographic Information Systems，GIS）整合與分析的重要依據，因此對於地理環境的監控，
包括海岸線改變、河川流域的改變、植物分佈變化等，利用影像註記的技術，可 輔助瞭解自然環境的變化。此外，在建物的辨識、道路與房屋重建分析、軍事上 境界線的辨識、影像鑲嵌等方面，也廣泛地運用了影像註記技術。
(2) 刑事鑑識上的容貌指紋辨識比對
針對刑事案件上的容貌辨識、指紋比對、鞋印證物分析等複雜且困難的任 務，電腦視覺分析是最有效的工具，其中也大量運用了影像處理、影像註記等技 術。
(3) 考古學化石骨骼形貌復原
對於古生物學中的生物化石，一直都是考古學家研究古代生物演化或環境改 變的重點，但所挖掘出的化石，都已經過了數百萬年的風化，外貌和形狀可能都 已改變，因此可利用影像處理的方式，將具有明顯特徵的部分抽取出並且進行比 對，進而將影像恢復變形，讓考古學家能夠進一步地分析與研究。
(4) 動態影像辨識追蹤
對於動態的影像追蹤可利用連續擷取影像的方式，再將所獲得的影像進行分 析，以特徵抽取與特徵匹配找出物體移動的方向與距離，即可完成動態影像的辨 識與追蹤。
(5) 醫學影像的診療及病變異位辨識
電腦輔助醫學影像診斷與分析已成為現今的趨勢，針對人體不同的器官與組 織，也發展出不同的醫學影像，而影像處理技術也廣泛地運用其中，例如：心臟 血管的異常辨識、腦部多模態的影像註記與融合、頭顱變形檢查 、視網膜病變 的偵測、乳房疾病的偵測與診斷等。
(6) 工業產品製程品管檢測
隨著產業競爭力的提升，許多的工業產品皆以自動化方式進行品管檢測，對 於以機器人視覺檢測的方式，可提高效率與減少人為誤判，但由於影像擷取時光 線或位置的差異，因此檢測前必須進行註記的程序，以避免檢測過程中出現錯誤 的情形。例如：印刷電路板的底片進行瑕疵檢測時[27]，由於底片擺放位置產生 偏移，或因為溫度變化而產生底片的縮放現象，因此經過影像註記的程序後，能 夠改善檢測的誤判率。
第四章 研究方法
影像註記技術的應用非常廣泛，但是針對於不同類型影像所設計的方法也不 盡相同，一般以特徵為基礎之影像註記流程，大致如圖 4.1 所示。首先將影像進 行前處理，而前處理的步驟可能包括：直方圖均值化、影像濾波、影像二值化等。
一般說來，對於不同的影像，所需用到的前處理方法並不相同。完成影像前處理 後，接著進行特徵抽取，本研究係利用 Blob 分析將影像中各個物體的幾何特徵 值（包括面積、周長、物體形心、真圓度、長與寬的比、最大與最小直徑 、最 大直徑角度、及最小直徑角度等）抽取出來，再來則是特徵匹配，特徵匹配主要 是利用前述特徵值進行比對，比對時則是根據事先建立之匹配法則進行。完成特 徵匹配後可得到一組匹配成功之匹配對。接下來根據匹配對之間的座標對應關 係，可獲得兩影像之間的空間座標轉換參數。最後利用所獲得之參數即可進行空 間座標轉換，將遭受變形之影像修正回來，完成所謂的註記。本章將介紹本研究 所提出之註記程序與方法，包括共同資訊粗註記、乳房內部組織、胸肌與外部特 徵點的抽取與匹配、以及 TPS 空間座標轉換等。
註記開始 影像前處理 特徵抽取
空間 特徵匹配 註記結束 座標轉換
圖 4.1 影像註記流程
一般在對乳房 X 光影像註記時，顯著的特徵可區分為外部特徵與內部特徵 兩大類，外部特徵包括皮膚表面之輪廓及乳頭等，而內部特徵包括胸肌、腺體纖 維組織、及血管等，如圖 4.2 所示。若只使用內部的特徵點，當影像變形過大時，
抽取出的內部控制點分佈情形可能不均勻或控制點數量較少，造成註記結果不 佳；若只使用外部的控制點，在乳房外型上可能達到匹配，但內部的組織分佈情 形可能有很大的差異，因此為了使控制點的分佈更均勻，本研究結合內部與外部 的特徵共同使用。此外，對於特徵匹配則同時使用以特徵為基礎與以亮度為基礎 的匹配法則，希望藉此達到更精確的註記結果。
圖 4.2 乳房構造圖
本研究首先利用影像分割，將乳房的區域分割出來，接著以共同資訊理論，
獲得影像平移與旋轉的參數並完成粗註記。再來對粗註記後之影像施以前處理，
以利後續的特徵抽取步驟，之後利用各種的演算法抽取出影像中顯著的特徵，包 括：細長組織（例如血管或腺體）、胸肌以及乳房輪廓等。當抽取出這些特徵之 後，再以特徵比對與共同資訊最大值的匹配方法找出兩張影像之間的匹配對，最 後將匹配對的座標值代入 TPS 座標轉換公式即可獲得兩影像之間的空間轉換參 數。利用此參數即可將其中一張影像修正，完成註記的程序。圖 4.3 為本研究之 乳房 X 光影像註記流程，以下就各步驟所使用之方法與原理做詳細的說明。
註記開始
共同資訊 粗註記
影像 前處理
抽取外部 輪廓特徵
抽取內部 組織特徵
外部輪廓 點匹配
內部特徵 點匹配
TPS 空間轉換
註記結束 影像分割
抽取胸肌 邊界特徵
胸肌點 匹配
圖 4.3 乳房 X 光影像註記流程
4.1 影像分割
影像分割的目的是將影像區分成目的物以及稱為背景的其他物體。由於乳 房 X 光影像中包含一些人造的標籤編號（圖 4.2），或其他不相干的物體，可能 造成特徵匹配的錯誤，因此有必要將乳房從原始影像中分割出來。另一方面，
利用影像分割可以找出整個乳房與背景之間的交界，對於抽取外部特徵的步驟 也有幫助。
文獻中所使用的分割方法，大多先建立由影像灰階值統計所產生的直方圖
（Histogram），接著再從直方圖中選擇一個適當的門檻值，將影像分割出來。
請參考圖 4.4，其中(a)圖為 MIAS 編號 008 之乳房 X 光影像，(b)圖為(a)圖所示 影像之直方圖。對於一些影像來說，選擇一個適當的門檻值並不容易，例如當 直方圖中可能並沒有明顯的波谷，或者有過多的波谷，都會增加選擇最佳門檻 值的困難度，造成分割不理想的情形。(c)圖為門檻值設為 42 時所獲得的二值 化影像，由圖所示之結果得知，乳房邊緣灰階值較低的像素點已被排除，導致 所獲得的乳房區域與原始影像之乳房區域有所差異。
(a) 原始影像 (b) 直方圖 (c) 二值化結果 圖 4.4 以直方圖為基礎之影像分割
為了將乳房區域更方便及正確的分割出來，本研究所使用的方法如下：首 先利用一個5×5的單位遮罩對原始影像（4.5(a)）進行遮罩運算，之後將計算所 得之運算值除以 25，即可得到遮罩覆蓋下 25 個像素之平均灰階值。當平均灰 階值大於 10 時，將遮罩中心像素之灰階值設為 255，否則設為 0，如此即可獲 得如圖 4.5(b)所示之二值化影像。接著將二值化影像中面積太小的物體排除，
即可得到如圖 4.5(c)所示只包含乳房區域的影像。
(a) 原始影像 (b) 遮罩運算後之結果 (c) 影像分割之結果 圖 4.5 影像分割之結果
上述方法對大部份的乳房 X 光影像皆有效。請參考圖 4.6 所示，MIAS 編號 012、051 與 132 之原始影像（ (a)、 (b)、與(c)圖），及其經過影像分割後所得 到的結果（(d)、(e)與(f)圖）。
(a)MIAS 編號 012 之影像 (b)MIAS 編號 051 之影像 (c)MIAS 編號 132 之影像
(d) 圖(a)經分割之結果 (e) 圖(b)經分割之結果 (f) 圖(c)經分割之結果 圖 4.6 影像分割之結果
4.2 共同資訊粗註記
共同資訊起源於資訊理論（Information Theory），通常用來測量兩個隨機變 數之間統計上的相依性，或測量一個變數包含另一個變數的資訊總量。在醫學影 像領域中，共同資訊對於多模態註記，是個普遍使用以熵為基礎的相似性測量方 法。在多模態影像註記的應用中，以MI為基礎之相似度量測法，通常會勝過大 部分其他以亮度為基礎之相似度量測法。本研究在粗註記階段，藉由將待註記影 像平移與旋轉之後，計算出兩張影像之間的共同資訊，並找出具有共同資訊最大 值時之影像位置參數，將兩張影像進行剛性註記，即可獲得初步的對準。
4.2.1 共同資訊
(a) 建立聯合直方圖（Joint Histogram）
一維直方圖只能表示單一影像中，具有某一相同灰階值的像素數量多寡，以 及其所呈現的分佈變化，並無法在兩張影像之間建立相關性。而聯合直方圖則是 一種二維的直方圖，可用來表示兩張影像中，對應像素光強度之間的關係。在此 以圖 4.7 為例，說明建立聯合直方圖的方式。圖 4.7(a)及圖 4.7(b)分別代表 A 影 像與 B 影像，兩影像之大小都是5×5，各像素之灰階值介於 0 至 9 之間。
圖 4.7(c)所示為 A 影像與 B 影像之聯合直方圖，橫座標與縱座標分別代表 A 影像與 B 影像的灰階值範圍，將兩張影像中相對應點的灰階值依序描繪在聯合 直方圖中（例如：兩張影像中第一個對應點的灰階值皆為 5，因此於聯合直方圖 中，縱座標與橫座標為 5 的格點上累加一次，以此類推。），即可獲得兩張影像 的聯合直方圖。當兩張影像完全相同時，其聯合直方圖將集中在對角線上，例如：
當建立影像 A 與影像 A 的聯合直方圖時，如圖 4.7(d)所示。
(a) 影像 A 之灰階值分佈 (b) 影像 B 之灰階值分佈
(c) 影像 A 與影像 B 之聯合直方圖 (d) 影像 A 與影像 A 之聯合直方圖 圖 4.7 聯合直方圖之示意圖
將聯合直方圖正規化即可獲得聯合機率密度函數（Joint Probability Density Function，PDF），pAB( ba, )。正規化的方式是將聯合直方圖除以重疊區域中的像 素總數，亦即：
( ) = ∑ab AB AB
AB
h a b
b a b h
a p
,
( , )
) ,
, (
(4.1)其中hAB( ba, )，代表在 A 與 B 影像對應像素中，影像 A 的灰階值為 a 而影像 B 的灰階值為 b 的像素總數，例如：在圖 4.7(c)中，hAB(2,6)代表對應像素中影像 A 的像素灰階值為 2 而影像 B 的像素灰階值為 6 所出現的次數為 2 次 ，因此
2 ) 6 , 2
( =
hAB 。當建立兩張相同影像的聯合直方圖時，可獲得ㄧ對角的直線，但 隨著影像間相異點的增加時（MI 值遞減），圖形變的分散或模糊，如圖 4.8 所示。
(a) MI=1.629 (b) MI=0.865 (c) MI=0.526 圖 4.8 聯合直方圖
(b) 計算臨界熵（Marginal Entropy）
就連續或離散的隨機變數 A 與 B 而言，其 Shannon-Wiener 熵 H(A)和 H(B) 可定義成：
∑
∈−
=
A a
A
A a P a
P A
H( ) ( )log ( ) (4.2)
∑
∈−
=
B b
B
B b P b
P B
H( ) ( )log ( ) (4.3)
其中PA(a)及PB(b)分別代表 A 與 B 影像之臨界機率分佈（Marginal Probability Distribution，MPD），0log0定義成零。事實上，將 A 與 B 之臨界機率密度函數 分別投影到對應影像 A 和 B 光強度的軸線，也可以得到 MPD，亦即
∑
=
b AB
A a P a b
P ( ) ( , ) (4.4)
∑
=
a AB
B b P a b
P ( ) ( , ) (4.5)
(c) 計算聯合熵（Joint Entropy）
當 A 與 B 影像之聯合機率密度函數pAB( ba, )已知，則其聯合熵，H(A,B)， 可利用下式獲得
∑∑
∈ ∈−
=
A a
AB AB
B b
b a P b a P B
A
H( , ) ( , )log ( , ) (4.6) 其中0log0定義成零。聯合熵主要是用來測量兩張重疊影像的資訊總數；當兩張 影像完全無關時，聯合熵最大，其值為個別影像熵，H( A)及H(B)的總和；當 兩張影像愈相似時，聯合熵愈小。
(d) 計算共同資訊
共同資訊可用來量測一個變數包含在另一個變數的資訊量。在獲得 A 與 B 影像之臨界熵及聯合熵後，其之間的關係如圖 4.9 所示，而 A 與 B 影像之共同 資訊即可依下式計算求得。
) , ( ) ( ) ( ) ,
( A B H A H B H A B
MI = + −
(4.7)由上式可知，讓 A 影像與 B 影像之共同資訊 MI 最大，相當於是讓兩影像之聯合 熵 H(A,B)最小；而當 A 影像與 B 影像之內容完全相同時，則 MI 值將達最大且 其值為 H(A)或 H(B)；當兩影像之差異愈大時，其聯合直方圖散佈的愈廣泛，而 其聯合熵的值愈大。
圖 4.9 共同資訊與熵之關係圖
(e) 共同資訊的特性
共同資訊具有一些特性：
․ MI 為對稱的：MI(A,B)=MI(B,A)
․ MI(A,A)=H(A)
․ (A)MI(A,B)≤H , (B)MI(A,B)≤H
․ MI(A,B)≥ 0
․ 如果 A、B 皆為獨立，MI(A,B)= 。 0
4.2.2 共同資訊最大值
在了解共同資訊的計算方式後，藉由徹底的搜尋(Exhaustive Searching)，可 以找到一組能夠讓MI值最大的參數，其搜尋流程如圖4.10所示，藉由此參數讓影 像完成粗註記。
MAX_MI
=0.0
平移至 第一個位置
建立 聯合直方圖
計算聯合熵 Joint Entropy
H(A,B)
計算Marginal Entropy H(A),H(B)
計算 共同資訊MI MI>
MAX_MI?
MAX_MI=MI 儲存偏移量 最後一點?
儲存具有最 大共同資訊 時之座標
移至 下一個位置
Yes
Yes No
No
圖 4.10 搜尋具最大共同資訊座標之流程
在本研究中，對於影像最初的對準區分為將影像平移與旋轉兩個步驟。為了 找出影像 A 與影像 B 的最大共同資訊，首先以影像 A 當作標準，將 B 影像中心 (X,Y)作為原點，即(X,Y) =(0,0)，讓 B 影像侷限在上下左右 20 個像素的區域內每 間格 2 個像素移動，並計算移動至每個位置時與 A 影像的 MI 值，藉由比較這些 值找出最大的 MI 值，當 MI 值最大時所在的位置即代表兩張影像具有最大的相 似度的位置，藉由此位置的參數，將影像進行平移。當位置參數 X=20 或 Y=20 時，此時的 MI 值未必是最大值，並且隨著位置移動有增大的趨勢，因此將影像 中心移到此位置並重複之前的步驟，繼續尋找出具最大 MI 的位置參數。
當影像經過搜尋出具最大共同資訊的位置後，將影像平移產生影像B ，接' 著仍然以 B 影像中心為中心，將 'B 影像從−15°至15°開始旋轉，每間隔 1 度計
算一次兩張影像間的共同資訊，找出具最大共同資訊的旋轉角度θ ，然後再將影 像 'B 旋轉θ 角度，即完成影像粗註記。如圖 4.11 所示，圖(a)為 MIAS 編號 008 的影像，圖(b)為以 TPS 模擬變形後的影像，圖(c)為利用搜尋共同資訊最大值的 方法，找出平移參數(X,Y)=(4,-10)，並將圖(b)向右與向上分別平移 4 個像素與 10 個像素的結果，圖(d)為圖(c)經過旋轉搜尋最大共同資訊，並順時針旋轉2 後的° 結果。
(a) MIAS 編號 008 影像 (b) 模擬(a)圖變形之影像
(c) 由(b)經過平移後 (d) 由(c)經過旋轉並完成粗註記 圖 4.11 乳房 X 光影像 MI 粗註記
圖 4.12 為影像在平移搜尋最大共同資訊的過程中，每個位置所計算得到的 MI 值繪製成三維的示意圖，其中 X 軸代表影像左右平移的位置，Y 軸代表影像 上下平移的位置，而縱軸代表 MI 值。最大值則發生在(X,Y)=(4,-10)，MI=0.530。
圖 4.12 搜尋共同資訊最大值之區域 MI 值分佈
4.3 內部特徵點
一般說來，外部特徵在外形及構造上前後較為一致，因此外部特徵的抽取較 為容易。內部特徵則因其與生俱來的可變性，例如有些乳房組織呈現脂肪型（圖 4.13(a)）、脂肪-腺狀型（圖 4.13(b)）或緻密腺狀型（圖 4.13(c)），使得內部特徵 之自動化抽取具有相當程度的困難度。本研究對於內部特徵的抽取，首先將影像 經過前處理，接著利用修正式單調運算子，抽取出腺體纖維組織與血管等細長組 織，最後由這些特徵的幾何特性完成特徵匹配。
(a) 脂肪型 (b)脂肪-腺狀型 (c) 緻密腺狀型 圖 4.13 乳房組織類型
4.3.1 影像前處理
影像前處理的目的為將影像作一些簡單的處理工作將雜訊去除，以利後續 的處理工作。在此所使用的前處理包括影像反白與高斯平滑濾波，首先將代表 乳房部份之影像反白以突顯乳房影像中之細長組織，之後再以高斯濾波器移除 具有正規化分佈特性之雜訊。影像經過反白及平滑濾波處理，有助於後續之特 徵抽取。圖 4.14(a)與(b)所示分別為 MIAS 編號 014 影像經過影像分割與再經過 高斯濾波後之結果，本研究所使用之高斯濾波器，其遮罩為
⎥⎥
⎥⎥
⎥⎥
⎦
⎤
⎢⎢
⎢⎢
⎢⎢
⎣
⎡
1 2 3 2 1
2 4 6 4 2
3 6 7 6 3
2 4 6 4 2
1 2 3 2 1
79
1 (4.8)
(a) MIAS 編號 014 影像 (b) 經影像前處理後 圖 4.14 影像前處理前後之結果
4.3.2 特徵抽取
對於細長組織的抽取，本研究是利用圖 4.15 所示之修正式單調運算子
（Modified Monotony Operator，MMO）與高斯濾波後之影像進行迴旋積運算所 獲得的。MMO 的型式有垂直（圖 4.15(a)）及水平（圖 4.15(b)）兩種，其遮罩大
小除可隨意調整外，也有大小之分。
垂直式 MMO 之定義為：
{
m n m q n q}
A= ( , )| =1,− ≤ ≤ (4.9)
{
k l k p l p}
a= ( , )| =1,− ≤ ≤ (4.10) 水平式 MMO 之定義為：
{
( , )|,− ≤ ≤ , =1}
= mn q m q n
A (4.11)
{
( , )|− ≤ ≤ , =1}
= k l p k pl
a (4.12)
其中 A 及 a 分別代表大鄰近區域及小鄰近區域，而 q > p。遮罩運算的方式是將 影像中各個像素之小鄰近區域具有最大灰階值（假設為gM）的像素與該像素之 大鄰近區域的像素灰階值作比較。如果大鄰近區域中灰階值大於gM的像素個數 超過事先設定的門檻值 T，則將該像素標為 1，反之則標為 0。值得注意的是，
參數 p、q、及 T 的設定，必須根據影像解析度、乳房 X 光之特性、及要求之目 標，選擇適當的值。本研究所使用之參數值為 p=1、q=6、及T=(q−p)。
圖 4.15 垂直與水平遮罩
(a) (b)
