資料擴增演算法與最佳傳輸理論於腦部腫瘤辨識的應用

(1)

國立臺灣師範大學理學院數學系碩士論文

Department of Mathematics, College of Science National Taiwan Normal University

Master’s Thesis

資料擴增演算法與最佳傳輸理論於腦部腫瘤辨識的應用

蔡承男 Tsai, Cheng-Nan

指導教授：黃聰明博士 Advisor: Huang, Tsung-Ming, Ph.D.

中華民國 111 年 1 月

January 2022

(2)

謝辭

待在師大的日子轉瞬即逝，從當年懵懂無知，整天嚷嚷著要教數學的小大一，跌跌撞撞過了六年半，雖稱不上已功成名就，但也算是完成了幾個小小人生里程碑，通過論文口試、完成學位論文的當下也感嘆自己至少也沒有白活了這幾年。

很感謝黃聰明教授在這些日子裡對我的指導，從大一開始就很喜歡教授的教學方式，我總是能在您的教導下對有疑惑的內容有更深入的了解，很感謝您在我去年三月那段人生低谷期仍然充滿耐心的給予我人生建議，並鼓勵我在有心力之時一步步做研究，我才有勇氣完成這次的論文；感謝樂美亨教授於碩士班開設的課程與課後指導，您總是不厭其煩地回答我有關於程式的問題；感謝英家銘教授的鼓勵與支持，您總是顧慮我的研究進度，盡力的給予我工作上的彈性；感謝關鍵科學林彥老師在口試前盡力幫我調配工作，才不至於時程爆炸；感謝簡良霖心理師的協助，我才能跳脫人生低谷的死胡同。

感謝樂揚、玹宇、柚橙從國中一路以來的陪伴，你們是世上最能容忍我如此不社會化的好友，企盼你們在未來的人生道路一切順遂；感謝昱德、清源、

秀盈、耀文、君彥在大學生涯與碩士班的協助，有你們幫忙與精神支持，我才得以堅持至此順利畢業；感謝鑫壯學長總是幫我處理自行關機的「偽」工作站；感謝宜佑，從大一國文一路 cover 我到碩士班，有你的鼓勵與樂天個性與陪伴，陪我在風雨裡追海、追曙光、追夢；感謝文佑這幾年的陪伴，一起去體育課、吃早餐、聊聊程式與人生那些爛事；感謝 Keroro 與我在風裡走過千山萬水、與我在台東的海邊午睡片刻。

感謝小夜的收留，我才不至於在論文最後階段流離失所；感謝兔子、星恨一直以來的照顧與陪伴，沒有你們的協助我連生活都無法自理；感謝花兒協助我處理下單問題，我才能用微薄的收入支撐我的生活；感謝語暄在我最茫然而遍體鱗傷的時候找到我，幫我撿回我的夢想、我的希望，無微不至的陪伴與照顧我，遇見妳是我最幸運的事情；感謝我生命中最重要的家人承祐，妳從小到大幫我擋下家裡風風雨雨，辛苦妳了，很開心在妳的認可下覺得我已是可獨當一面的大人，我很高興，未來的日子裡請繼續互相扶持，有妳的支持與鼓勵讓我可以放下一切的完成學位論文，謝謝妳。

這篇論文獻給所有我愛的人、愛我的人。

(3)

摘要

本研究主要為最佳傳輸理論 (optimal transport theory) 與資料擴增演算法 (data augmentation algorithm) 運用於腦部腫瘤病灶分析；

人體的惡性腫瘤為目前全球的 10 大死因之一，若能在早期檢測出疾病的存在，可以有效幫助治療，在醫學研究與臨床中，腦腫瘤的主要診斷方式是透過醫學影像，腫瘤的檢測透過核磁共振成像或是電腦斷層掃描以及超聲波圖像。

本文以 3D Unet 作為機器學習的演算法，並在其中應用了最佳傳輸以及資料擴增，希望在有限的臨床資料裡能夠獲得更高的病灶判斷準確度，以協助相關領域的研究人員與從業人員將影像辨識技術應用於臨床病症。

關鍵字：最佳傳輸理論、資料擴增演算法、腦部腫瘤辨識、醫學影像。

(4)

6.5 σ = 為 1.2 對於 σ =2.0 之彈性拉伸 . . . . 21 6.6 原始資料對於同時使用水平翻轉與 σ 為 2.0 之彈性拉伸 . . . 23 6.7 水平翻轉對於彈性拉伸 . . . 25 6.8 水平翻轉對於同時水平翻轉及彈性拉伸 . . . 27 6.9 σ 為 2.0 之彈性拉伸對於同時水平翻轉及彈性拉伸 . . . . 29

7 結論 31

(6)

1 前言

1.1 研究動機

　　近年來神經網路的研究有許多突破性的發展，卷積神經網路 (Convolutional Neural Network,CNN) 被廣泛的應用在影像辨識領域 [1]，

有賴於圖形處理器的快速進步，利用深度學習來協助影像辨識已經是當今的趨勢；腦部腫瘤研究則是當今學術領域中最熱門的研究主題之一，人體需要依賴大腦調節中樞神經系統，大腦對於人類來說是十分重要的器官，

而目前在醫學研究與臨床中，腦腫瘤的主要診斷方式是透過醫學影像，腫瘤的檢測透過核磁共振成像 (MRI) 或是電腦斷層掃描 (CT) 以及超聲波圖像 [2]。

　　為了預防與治療腦部腫瘤病灶，檢測腫瘤是有用且必要的行為。醫療人員與研究人員可以在觀察醫學影像，在不需要做侵入性手術之前便可以先行評估病患的腦部狀況 [3]；但常見的腦部腫瘤醫學影像，如 MRI 影像，需要一張張透過人力觀察而非常耗費人力與時間。所幸，過去幾年來，深度學習方法已經廣泛運用於腦部 MRI 的分類 [4] [5] ，事實上，深度學習的應用幾乎在每個領域都成倍的增加，特別是在生物信息學、醫學圖像分析、醫學影像處理等等領域。

　　本文希望以大腦腫瘤分割 (Brain Tumor Segmentation) 為主題，找出準確分類大腦 MRI 圖像的深度學習模型，並比較所使用的不同方法，

希望能夠找出有效、準確的模型設計，使相同領域的研究人員能夠有更多參考資料，以及能夠將所設計的模型應用於臨床診斷。

(7)

2 研究背景介紹

2.1 腦部腫瘤與醫學影像辨識

　　人類腦部的腫瘤可區分為原發腫瘤 (primary tumor) 以及次發腫瘤 (secondary tumor)，其中，原發腫瘤起源於腦細胞，而次發腫瘤則是其它器官的腫瘤轉移至大腦之中，最常見的原發腫瘤是膠質瘤 (gliomas)，其生長於大腦的神經膠質細胞，並可以分為低級神經膠質瘤 (low-grade gliomas, LGG) 以及高級神經膠質瘤 (high-grade gliomas, HGG)，低級神經膠質瘤表現出良性傾向，而高級神經膠質瘤是一種惡性腫瘤，通常需要放射治療、手術治療 [6]。

　　目前最廣泛的腦腫瘤成像方式是使用核磁共振造影 (magnetic resonance imaging, MRI)。核磁共振造影是分析、監測腦部腫瘤以及進行其手術的關鍵診斷工具；3D 腫瘤自動分割使用核磁共振造影圖像來找出腦部腫瘤位置，可以大幅度的節省醫療從業人員的時間，並且進一步地為了大腦腫瘤分析與監測提供一個準確且可重複使用的有效方案。其中，腦部腫瘤成像通常使用不同權重的核磁共振造影圖像來呈現，例如 T1 加權、

對比增強 T1 加權 (T1ce)、T2 加權及液體衰減反轉恢復 (Fluid-Attenuated Inversion Recovery,FLAIR) 圖像。這些不同的權重為腦腫瘤的不同亞區提供補充訊息 [7]。舉例來說：FLAIR 權重下更容易觀測到蜘蛛膜下腔的病灶，尤其能夠判斷出腦組織與腦脊隨液交界處的病灶、T2 與 FLAIR 權重下更能觀察腦組織水腫 (peritumoral edema) 下的病灶、反之 T1、T1ce 則可以更明顯的看出沒有腦組織水腫的病灶區。

　　利用醫學影像來自動分割出腦腫瘤具有準確且可重複使用的潛力，

我們將因此能更有效率且更好地判斷病情、規劃手術、評估治療流程 [7], [8]，然而腫瘤病灶區域與正常腦部組織的邊界通常不明確，另外，腦部腫

(8)

2.1 腦部腫瘤與醫學影像辨識 2 研究背景介紹

瘤的大小、形狀、區域都因患者而異 [9]，使得腦部腫瘤的分割是一項具挑戰性的任務。

　　近年來，卷積神經網路在多模態的腦部腫瘤分割取得了優良的成績 [10] ,[11]；CNN 作為一種機器學習方法，它們需要一組標記後的訓練圖像來進行訓練，可以自動地學習影像特徵。在 Havaei 的論文 [12] 中提出了一種 CNN 同時利用局部與總體特徵來進行穩健地腦腫瘤分割，它將傳統 CNN 中所使用的全連結層改為卷積層，提高了 40 倍的速度，當然其美中不足的地方在於其使用二維的腦部腫瘤切片，而不考慮三維腦部影像的上下文訊息。

　　而使用三維 CNN 的 DeepMdeic [13] 利用 11 層的雙通路三維 CNN 進行多腦腫瘤分割，使用三維全連結條件隨機場 (Conditional Random Field,CRF)，能夠有效降低誤報，性能上比起二維的 CNN 教好，但使用局部的圖像而導致其計算效率相對較低。三維卷積神經網路 (Fully Convolutional Networks,FCN) [14] 與 U-net [15] 則可以減少單一 CNN 模型對原始參數的依賴性，以及過度擬合 (over fitting) 至特定訓練集的問題，而代價便是需要更多的計算資源來訓練和運行一組模型。

(9)

2.2 測試資料集 2 研究背景介紹

2.2 測試資料集

　　本文使用的資料集來自於 MSD 挑戰 (Medical Segmentation De- cathlon Challenge)，MSD 挑戰測試了肝臟腫瘤、肺部腫瘤、腦部腫瘤...

等 10 種不同的任務，其中的「Task01—BrainTumor」資料集中包含了 484 張三維大腦核磁共振影像，這些核磁共振影像具有多種不同權重，分別是 T1 加權、對比增強 T1 加權 (T1ce)、T2 加權及液體衰減反轉恢復 (FLAIR)，T1、T2 是用於測量電磁波的物理量，根據 T1 成像的核磁共振影像即為 T1 加權，T2 同理、而對比增強 T1 加權則是在做核磁共振前往血液打入顯影劑、液體衰減反轉恢復加權則是做了消除流體訊號的操作；

每個權重的腦部圖片大小皆為 240× 240 × 155，故該資料的維度為一個 240× 240 × 155 × 4 的四維資料。

　　每一張腦部影像皆有三個標記區域，分別為整個腫瘤 (whole tumor ,WT)、腫瘤核心 (tumor core, TC)、增強腫瘤 (enhanced tumor, ET)，其中 ET 僅包含膠質瘤，TC 為膠質瘤區域再加上壞死腫瘤 (non-enhancing tumor,NET)，WT 則是膠質瘤區域、壞死腫瘤、水腫區域 (peritumoral edema,ED)。

(10)

3 最佳傳輸理論 (OMT)

3.1 OMT 問題

　　大約在 200 年前，Monge [16] 提出了最佳傳輸 (Optimal Mass Trans- portation,OMT) 問題，此問題涉及到一個物體從原處轉移到另一處的最小化傳輸成本，Kantorovich [17] 使用線性規劃的方式證明了 OMT 問題解決方案的存在性與唯一性。Monge-Kantorovich 最佳化是一個非常強大的工具，已經廣泛應用在各種領域，包含數據壓縮 [18]、圖像處理 [19]、

與對抗生成網路 (Generative Adversarial Network,GAN) [20]。在 1980 年，

Brenier 為特定以二次距離作為成本含數的凸域開發出了最佳傳輸理論的替代方案，與原先 Monge-Kantorovich 的方法相比，Monge-Brenier 最佳化 方法可以顯著地減少未知變量的個數，從 O(n²) 變成 O(n)，其中 n 代表 的是目標凸域上離散化樣本點的數量，該方法還可以透過某個唯一凸函數的梯度函數求解最佳化傳輸函數。

3.2 兩階段最佳傳輸演算法 (TSOMT)

　　我們考慮到 R³ 空間中的單連通 (simply connected) 離散 3-流形 (3-manifold) 在虧格 (genus) 為 0 之R³ 空間上的離散 OMT 映射。Su 等人 [25] 在其研究中提出了一種在表面為單邊界 (single boundary)、虧格為 0 的單位實心球 B³ 使用單連通四面體網格 M 實行保體積 (volume-preserving) 網格 (mesh) 參數化 (parameterization) 的方法。基於新發現的變分原理 (variational principle) [26]，在 Su 等人 [25] 提出的算法中設計為先計算 M 與 B³ 之間的體積諧波映射 (volumetric harmonic map)，之後透過 Brenier 的方法 [27] 計算最佳傳輸映射。

　　 Yueh 等人 [28] 提出了一種新算法，利用每個迭代步驟中的當前拉伸因子 (current stretching factor)，通過校正拉普拉斯係數 (Laplacian

(11)

3.2 兩階段最佳傳輸演算法 (TSOMT) 3 最佳傳輸理論 (OMT)

coeﬀicients) 來最小化體積的拉伸能量已確定 M 與 B³ 之間的體積保持參數化。不過因為在 M 與 B³ 之間有無限多種保體積映射，該方法得到的映射通常不是 M 到 B³ 的 OMT 映射。

　　我們這裡先探討 Monge 所提的經典 OMT 問題，設 (X, µ) 與 (Y, v) 為兩個可測空間 (measurable space) ，其機率測度分別為 µ 與 v，兩者 總質量相同 R

X dµ = R

Y d v。給定一個保質量的映射 T : X → Y 滿 足 µ(A) = v(T (A)) 與 µ (T⁻¹(B)) = v(B) 對於所有可測集合 A ⊆ X 與 B ⊆ Y 。

　　設 Fµ,v 為 X to Y 的保質量映射。對於給定的傳輸成本函數 κ : X× Y → R, 此 OMT 問題為找到關於 κ 的 T^∗ ∈ Fµ,ν 的最小傳輸問題。

T^∗ = argmin

T∈F^µ,ν

Z

X

κ(x, T (x))dµ ∈ Fµ,v^∗

　　 Kantorovich 放寬了最佳傳輸以證明 OMT 的存在性與唯一性，卻不能保證是否為對射映射 (bijective map)，然而在實際應用中，我們必須讓 OMT 成為一個對射映射，因此我們應該使用最初的 OMT 問題，想辦法做出一個高效且可靠的數值方法。

　　在《3D brain tumor segmentation using a two-stage optimal mass transport algorithm》[29] 中，提出了一種兩階段的最佳傳輸 (two‑stage optimal mass transport,TSOMT) 演算法；我們主要是想要讓原先的 MRI 資料轉換至一個立方體以利模型訓練，因此，我們要解決一個從 3-流形到立方體的 OMT 問題，由於數值收斂技術上無法直接做到這件事情，因此，

第一步是找到從 3-流形到單位實心球之間的 OMT 映射 f_p^∗，第二步則是找 到立方體到單位球的 OMT 映射 f_δ^∗，透過第一步的映射與第二步的逆映射 組合 f_ρ,δ^∗ = f_δ^∗−1◦ f_ρ^∗，即可獲得從 3-流形到立方體的 OMT 映射。

(12)

3.2 兩階段最佳傳輸演算法 (TSOMT) 3 最佳傳輸理論 (OMT)

　　 TSOMT 映射 f_ρ,δ^∗ : M → N 是使用 3D U-Net [15] 來對腦部圖 像進行腫瘤分割的重要關鍵。它具有下列優點 (1) TSOMT 技術可以統一轉換每一個 3D 的大腦圖像，同時保有最小的變形量並保持局部的質 量，使大腦圖像成為一個標準的三維立方體，並由 n× n × n 重新化分網 格；該立方體通常是用於 U-Net 算法的張量 (tensor) 輸入，此外該立方體的網格亦可以根據精度要求而輕鬆的變細或變粗。(2) 隨機選擇幾個小立方體覆蓋大腦圖像或移動視窗取交集的方式皆只能抓取大腦的局部訊息，且因為多個重疊區域導致準確度難以提高，相比之下，TSOMT 它可以更佳表示出大腦圖像的全面訊息，為監督式學習 (supervised learning) 演算法提供更完整的密度分佈，進而使得預測函數的訓練更加準確。(3) 大腦影像的病灶區僅僅佔據大腦一小部分區域，一般來說病灶區小於腦部總體積的十分之一，導致被標記的腫瘤區域與未標記的健康腦部組織區域比例非常不平衡，這個情況對於監度式學習的訓練強度有很大的影 響，然而對於 τ ∈ T (M)，TSOMT 映射中保留了局部測量 (local measure) ρ(τ )|τ| =f_ρ,δ^∗ (τ )，這代表著腫瘤的密度 ρ(τ ) 比較大，進而立方體中的腫 瘤局部體積也跟著變大、包含的網格點比較多，因此立方體中的腫瘤與健康腦部組織區域比例更加平衡，可以更準確地確定疾病位置，也相對的讓訓練效果得以提升。

然而，由於 OMT 問題是高度非線性的，因此仍然缺乏嚴謹的數學證明，

但數值驗證之下可以顯現出計算出的 OMT 映射幾乎式一一對應的 (one to one)，很少發生四面體翻轉。也因此可以合理的推論，大腦圖像與立方體之間的 TSOMT 映射保留了局部的質量，亦保留了密度分部的全局訊息。

藉由此方法生成的立方體，很容易能夠利用 n× n × n 統一重新劃分網格，

使其可以做為 U-Net 的輸入。基於這些優勢，TSOMT 映射可以讓 U-Net 算法提供更有效的張量輸入，因而可以得到更佳準確的訓練結果。

(13)

4 資料擴增演算法 (AUGMENTATION)

4 資料擴增演算法 (Augmentation)

4.1 簡介

　　使用大型數據集進行訓練，對於深度 CNN 模型的表現至關重要，

為了成功建構泛化能力強的深度模型，我們需要大量的真實數據來避免訓練模型的過度擬合，但在醫學影像應用領域當中，考慮到人力、患者隱私等等問題，收集一個高品質且大量的數據集很耗時且極具挑戰，尤其透過核磁共振影像來判定腦部腫瘤的資料 [21]；因此，有許多的訓練模型使用影像增強來彌補訓練集資料不足的問題。從而可以將相對較小的數據集擴大成較大的訓練集。

　　資料擴增演算法是一種技術，有助於提高深度神經網路的泛化能力 [22]，使其可以套用到更多種不同的測資，減少過度擬合的情況發生。用於 3D MRI 腦部腫瘤的資料擴增方式有不少種，根據 Marco [23] 等人的研究指出，常用的資料擴增方式有翻轉 (flipping)、旋轉 (rotation)、縮放 (scaling)、亮度調整 (brightness adjustment)、彈性拉伸 (elastic deformation)... 等，並且他們證明了許多情況下可以提高 3D U-Net 深度神經網路的訓練模型性能，尤其是彈性拉伸的效果特別良好，筆者認為若是將前述的 OMT 處理與資料擴增演算法結合，也許能夠更大程度的提升訓練後的模型準確度。

　　本文所使用到的資料擴增演算法為翻轉以及彈性拉伸，關於這兩者的詳細介紹如下。

(14)

4.2 翻轉 (Flipping) 4 資料擴增演算法 (AUGMENTATION)

4.2 翻轉 (Flipping)

　　隨機翻轉沿一個 (或多個) 軸創建原始圖像的鏡像圖案，自然界存在的圖像通常可以沿水平軸左右翻轉，但因為圖像的上下部分可能無法互換，沿垂直軸上下翻轉則不盡然可適用，大腦的 MRI 圖像便是如此—大腦有兩個半球，且大多數情況下，大腦被認為是解剖對稱的，沿著水平軸左右翻轉，將左腦與右腦資料交換是一個擴增資料的方案。翻轉的操作可以幫助各種深度分類器，尤其是本文使用了 3D U-Net 訓練，考慮到上下文腫瘤訊息，左右翻轉將使得其資訊在大腦的位置不變 [22]。

4.3 彈性拉伸 (Elastic deformation)

　　彈性拉伸算法最初是由 Patrice 等人於 2003 年發表的《Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis》

　 [24] 所提出，最初這項技術被應用在 MNIST 的手寫數字影像辨識中，

對原始圖像進行彈性拉伸以擴充樣本數，這樣的資料擴增方式對手寫數字的辨識效果有明顯提升，成為了一種常用的圖像資料擴增方式。

G(x) = 1

√2πσe⁻^2σ2^x2 (1)

彈性拉伸算法是對各像素點產生一個 (−1, 1) 區間的隨機標準偏差，並 用標準差為 σ 的高斯模糊函數 (1)(Gaussian Blur) 對各維度產生變形，一 般來說 σ 越大，產生的偏差會越小 (高斯函數的隨機值平均是 0)，獲得的 圖片就越接近原圖。

(15)

5 研究方法

5.1 Dice 分數

　　在本文中，筆者將 484 張來自「Task01—BrainTumor」資料集的影像分成訓練集與驗證集，其樣本數量分別為 400 筆與 84 筆，對整個腫瘤 (whole tumor ,WT)、腫瘤核心 (tumor core, TC)、增強腫瘤 (enhanced tumor, ET) 分別進行預測，並以 Dice 分數 (Dice score, DSC) 來做為評判標準。

實際結果 (陽性) 實際結果 (陰性) 預測 (陽性) 真陽性 (TP) 偽陽性 (FP) 預測 (陰性) 偽陰性 (FN) 真陰性 (TN)

DSC = 2T P

2T P + F P + F N (2) 後續內文將由 Dice 分數 (2) 來做評斷模型訓練是否已達過度擬合 (over fitting) 以及各項資料擴增演算法方法是否有效果，當我們驗證資料集在經過更多 epoch 的迭代訓練後 Dice 分數依然沒有上升甚至下降的話，便是開始出現過度擬合的問題，此時即可用當下的 Dice 分數表現來說明本次訓練的成果表現。

5.2 OMT 轉換原始資料

　　由於在球座標上面實現 3D CNN 很複雜，第一步是將大腦轉換成一個單位實心球體，以確保 OMT 的收斂性。第二步則是將單位球轉換為大小 96× 96 × 96 的立方體，這個步驟可以將體素 (voxel) 總數減少 90%，

筆者認為使用更少的體素可以讓 3D U-Net 可以輕鬆找到局部最小值，從而實現更好的性能。將該 96× 96 × 96 的立方體應用於 3D U-Net 訓練後，便可以利用該訓練後的模型，預測其他轉換為 96× 96 × 96 立方體大

(16)

5.3 3D U-Net 5 研究方法

腦測資的腦部腫瘤位置。最後，再將預測結果做逆 TSOMT，將維度返回 240× 240 × 155，這樣做可以大大的降低 3D U-Net 的訓練複雜性，減少其參數量，提升訓練效能。

5.3 3D U-Net

　　因為醫學影像的邊界較為模糊，且擁有複雜的梯度，需要高分辨率的訊息來做到精確分割，而 U-Net 算法 [15] 結合了高分辨率訊息 (為精確分割、定為提供依據) 與低分辨率訊息 (為物體類別識別提供依據) 的好處，適合拿來做為醫學影像分割的工具，本文採用 3 維 Unet 結構的深度神經網路算法，使用典型 3 層 U-net 架構 [30]。該網路編碼階段 (encoding stages) 具有 (96,48,24) 三個卷積核 (Kernel)，解碼階段 (decoding stages) 具有 (24,48,96) 三個卷積核。透過橋接結構 (bridge structure) 與相對應的編碼接段來補充解碼階段，編碼階段的額外訊息來提高輸出的分辨率。

　　普遍上我們認為，這種橋接結構 (編碼-橋接-編碼) 在影像分割的應用上面比沒有橋接的簡單編碼-編碼 (即自編碼，autoencoder) 的方式還要好得多。在每一個編碼階段，都有一個 3 維的 CNN，接著一個批量標準化 (batch normalization,BN) 以及一個線性整流 (Rectified Linear Unit, ReLU) 單位函數。解碼與橋接階段也有上述的相同結構。

　　最後一個卷積層為全連接層（fully connected layer），並在 CNN 的最後一層使用 softmax 分類器，其有兩個輸出節點，用以兩個所需的類 (是否為已標記測資)。

　　 3D U-net 的參數如下：學習率 (learning rate) 為 10⁻³，學習率下降周期 (learning rate drop period) 為 10，學習率下降因子 (learning rate drop period)0.95，L2 正規化因子 (L2Regularization)10⁻⁴、梯度閾值

(17)

5.3 3D U-Net 5 研究方法

(GradientThreshold)∞，每個 epoch 都做一次數據打亂 (Shuffle)、每次迭 代使用的數據量 (MiniBatchSize) 為 8。

(18)

5.4 添加資料擴增演算法 5 研究方法

5.4 添加資料擴增演算法

　　除了利用原始的 400 筆測試資料集 2.2以外，本文亦利用前文所述的資料擴增方法 4.2 、4.3，來擴增資料，利用原始的 400 筆資料做出水平翻轉及彈性拉伸的資料擴增，並且將這些資料同時丟入模型訓練以觀測其 Dice 分數的表現，本文將比較以下幾組不同測資的訓練效果：原始資料 (400 筆訓練測資)、原始資料加上水平翻轉 (800 筆訓練測資)、原始資料加上彈性拉伸 (800 筆訓練測資)、原始資料加上水平翻轉與彈性拉伸 (1200 筆訓練測資)，期待可以在增添資料集數量的時候，提高訓練模型的表現。

5.5 比較資料擴增與僅用 OMT 的差異

在前述的資料擴增 5.4後，將原始 400 筆測資的模型訓練結果與加入資料擴增後的模型做比較，用以測試資料擴增演算法對於已經做 OMT 的測資是否有明顯的 Dice 分數增長效果。

(19)

6 研究成果展示

6.1 研究結果呈現

　　本次的研究要旨在於比較資料擴增演算法對於 Dice 分數的提升是否有顯著效果，故會以不同的測資類型，兩兩一組的方式進行比較，如：原始測資與添增 400 筆水平翻轉的測資所訓練出來的模型，分別比較其 ET、

TC、WT 的分數差異。比較的數值為訓練測試資料集的 OMT Dice 分數與逆 TSOMT 後所得到的測試資料及 Dice 分數。

(20)

6.2 原始資料對於水平翻轉 6 研究成果展示

6.2 原始資料對於水平翻轉

0 50 100 150 200 250 300 350

Epoch 0.75

0.8 0.85 0.9 0.95 1

Dice Score

TC encoderDepth=3 dim=96 rand=8

Original OMT Original Val Inverse flip Tra OMT flip Val Inverse

Figure 1: TC 原始資料對於水平翻轉

0 100 200 300 400 500 600 700 800

Epoch 0.84

0.85 0.86 0.87 0.88 0.89 0.9 0.91

Dice Score

WT encoderDepth=3 dim=96 rand=8

Original Tra OMT Original Val Inverse flip Tra OMT flip Val Inverse

Figure 2: WT 原始資料對於水平翻轉

(21)

6.2 原始資料對於水平翻轉 6 研究成果展示

0 50 100 150 200 250 300 350 400

Epoch 0.68

0.7 0.72 0.74 0.76 0.78 0.8 0.82 0.84

Dice Score

ET encoderDepth=3 dim=96 rand=8

Original OMT Original Val Inverse flip Tra OMT flip Val Inverse

Figure 3: ET 原始資料對於水平翻轉

以上三張圖片 1、2、3中，探討的是原始 400 筆訓練資料集與加了 400 筆水平翻轉後的訓練資料集之訓練成果差異，對於整個腫瘤、腫瘤核心的驗證資料集 Dice 分數有些微提升。

(22)

6.3 原始資料對於 σ 為 1.2 之彈性拉伸 6 研究成果展示

6.3 原始資料對於 σ 為 1.2 之彈性拉伸

0 50 100 150 200 250 300 350 400

Epoch 0.7

0.75 0.8 0.85 0.9 0.95 1

Dice Score

Original Tra OMT Original Val Inverse Elastic1P2 Tra OMT Elastic1P2 Val Inverse

Figure 4: TC 原始資料對於 σ =1.2 之彈性拉伸

0 100 200 300 400 500 600

Epoch 0.8

0.85 0.9 0.95

Dice Score

Figure 5: WT 原始資料對於 σ =1.2 之彈性拉伸

(23)

0 50 100 150 200 250 300 350

Epoch 0.5

0.55 0.6 0.65 0.7 0.75 0.8 0.85

Dice Score

Figure 6: ET 原始資料對於 σ =1.2 之彈性拉伸

以上三張圖片 4、5、6中，探討的是原始 400 筆訓練資料集與加了 400 筆 σ 係數為 1.2 之彈性拉伸的訓練資料集之訓練成果差異，彈性拉伸對於 整個腫瘤、腫瘤核心的驗證資集 Dice 分數有明顯提升，而增強腫瘤則有些微的提升。

(24)

6.4 原始資料對於 σ 為 2.0 之彈性拉伸

0 50 100 150 200 250 300 350

Epoch 0.75

0.8 0.85 0.9 0.95 1

Dice Score

Figure 7: TC 原始資料對於 σ =2.0 之彈性拉伸

0 100 200 300 400 500 600 700 800

Epoch 0.84

0.85 0.86 0.87 0.88 0.89 0.9

Dice Score

Figure 8: WT 原始資料對於 σ =2.0 之彈性拉伸

(25)

0 100 200 300 400 500 600 700 800

Epoch 0.7

0.72 0.74 0.76 0.78 0.8 0.82 0.84

Dice Score

Figure 9: ET 原始資料對於 σ =2.0 之彈性拉伸

以上三張圖片 7、8、9中，探討的是原始 400 筆訓練資料集與加了 400 筆 σ 係數為 2 之彈性拉伸的訓練資料集之訓練成果差異，彈性拉伸對於整 個腫瘤、腫瘤核心的驗證資料集 Dice 分數有明顯提升，而增強腫瘤則有些 微的提升，這組測資的意義主要是為了測試看看不同 σ 對於彈性拉伸的影 響如何。

(26)

6.5 σ =1.2 對於 σ =2.0 之彈性拉伸 6 研究成果展示

6.5 σ =1.2 對於 σ =2.0 之彈性拉伸

0 50 100 150 200 250 300 350

Epoch 0.7

0.72 0.74 0.76 0.78 0.8 0.82 0.84 0.86 0.88 0.9

Dice Score

Elastic1P2 Tra OMT Elastic1P2 Val Inverse Elastic2P0 Tra OMT Elastic2P0 Val Inverse

Figure 10: TCσ =1.2 彈性拉伸對於 σ =2.0 之彈性拉伸

0 100 200 300 400 500 600

Epoch 0.8

0.85 0.9 0.95

Dice Score

Figure 11: WTσ =1.2 彈性拉伸對於 σ =2.0 之彈性拉伸

(27)

6.5 σ =1.2 對於 σ =2.0 之彈性拉伸 6 研究成果展示

0 50 100 150 200 250 300 350

Epoch 0.5

0.55 0.6 0.65 0.7 0.75 0.8 0.85

Dice Score

Figure 12: ETσ =1.2 彈性拉伸對於 σ =2.0 之彈性拉伸

以上三張圖片 10、11、12中，探討兩種不同 σ 參數的彈性拉伸影響力，

可以發現 σ 為 1.2 的資料擴增在本次比較下，相較於 σ 為 2 的資料擴增，

Dice 訓練分數有較佳的表現。

(28)

6.6 原始資料對於同時使用水平翻轉與 σ 為 2.0 之彈性拉伸6 研究成果展示

6.6 原始資料對於同時使用水平翻轉與 σ 為 2.0 之彈性拉伸

0 50 100 150 200 250 300 350 400

Epoch 0.75

0.8 0.85 0.9 0.95 1

Dice Score

Original Tra OMT Original Val Inverse flip&2P0 Tra OMT flip&2P0 Val Inverse

Figure 13: TC 原始資料對於同時使用水平翻轉與 σ =2.0 之彈性拉伸

0 50 100 150 200 250 300 350 400

Epoch 0.84

0.85 0.86 0.87 0.88 0.89 0.9 0.91 0.92 0.93

Dice Score

Figure 14: WT 原始資料對於同時使用水平翻轉與 σ =2.0 之彈性拉伸

(29)

6.6 原始資料對於同時使用水平翻轉與 σ 為 2.0 之彈性拉伸6 研究成果展示

0 50 100 150 200 250 300 350 400

Epoch 0.7

0.75 0.8 0.85

Dice Score

Figure 15: ET 原始資料對於同時使用水平翻轉與 σ =2.0 之彈性拉伸

以上三張圖片 13、14、15中，探討的是最原始的 400 筆訓練資料集，若同時透過水平翻轉與彈性拉伸做資料擴充，將其變為 1200 筆訓練資料，

會有如何的表現，可以發現三者的驗證資料集 Dice 分數皆有上升。

(30)

6.7 水平翻轉對於彈性拉伸 6 研究成果展示

6.7 水平翻轉對於彈性拉伸

0 50 100 150 200 250 300 350

Epoch 0.75

0.8 0.85 0.9

Dice Score

flip Tra OMT flip Val Inverse Elastic2P0 Tra OMT Elastic2P0 Val Inverse

Figure 16: TC 水平翻轉對於 σ =2.0 之彈性拉伸

0 50 100 150 200 250 300 350 400

Epoch 0.84

0.85 0.86 0.87 0.88 0.89 0.9 0.91

Dice Score

Figure 17: WT 水平翻轉對於 σ =2.0 之彈性拉伸

(31)

6.7 水平翻轉對於彈性拉伸 6 研究成果展示

0 100 200 300 400 500 600 700 800

Epoch 0.68

0.7 0.72 0.74 0.76 0.78 0.8 0.82 0.84

Dice Score

Figure 18: TC 水平翻轉對於 σ =2.0 之彈性拉伸

以上三張圖片 16、17、18中，想要探討的是水平翻轉的資料擴增與彈性拉伸資料擴增，何者對於驗證集 Dice 分數的上升貢獻較大，對整個腫瘤、

擴增腫瘤來說，彈性拉伸給予較好的訓練結果，而對於腫瘤核心來說，並未有非常大的差異。

(32)

6.8 水平翻轉對於同時水平翻轉及彈性拉伸 6 研究成果展示

6.8 水平翻轉對於同時水平翻轉及彈性拉伸

0 50 100 150 200 250 300 350 400

Epoch 0.74

0.76 0.78 0.8 0.82 0.84 0.86 0.88 0.9 0.92

Dice Score

flip Tra OMT flip Val Inverse flip&2P0 Tra OMT flip&2P0 Val Inverse

Figure 19: TC 水平翻轉對於同時水平翻轉及彈性拉伸

0 50 100 150 200 250 300 350 400

Epoch 0.84

0.85 0.86 0.87 0.88 0.89 0.9 0.91 0.92 0.93

Dice Score

Figure 20: WT 水平翻轉對於同時水平翻轉及彈性拉伸

(33)

6.8 水平翻轉對於同時水平翻轉及彈性拉伸 6 研究成果展示

0 50 100 150 200 250 300 350 400

Epoch 0.68

0.7 0.72 0.74 0.76 0.78 0.8 0.82 0.84 0.86

Dice Score

Figure 21: ET 水平翻轉對於同時水平翻轉及彈性拉伸

以上三張圖片 19、20、21中，想要探討的是水平翻轉與水平翻轉再外加彈性拉伸的資料擴增，也就是說要將彈性拉伸視為操縱變因，確認一下使用兩種以上的資料擴增方式是否對驗證集的 Dice 分數有所幫助。在腫瘤核心的訓練上並未看出太多差異，而整個腫瘤、擴增腫瘤則有 Dice 分數的進步。

(34)

6.9 σ 為 2.0 之彈性拉伸對於同時水平翻轉及彈性拉伸 6 研究成果展示

6.9 σ 為 2.0 之彈性拉伸對於同時水平翻轉及彈性拉伸

0 50 100 150 200 250 300 350

Epoch 0.74

0.76 0.78 0.8 0.82 0.84 0.86 0.88 0.9 0.92

Dice Score

Elastic2P0 Tra OMT Elastic2P0 Val Inverse flip&2P0 Tra OMT flip&2P0 Val Inverse

Figure 22: TCσ =2.0 彈性拉伸對於同時水平翻轉及彈性拉伸

0 50 100 150 200 250 300 350 400

Epoch 0.84

0.85 0.86 0.87 0.88 0.89 0.9 0.91 0.92 0.93

Dice Score

Figure 23: WTσ =2.0 彈性拉伸對於同時水平翻轉及彈性拉伸

(35)

6.9 σ 為 2.0 之彈性拉伸對於同時水平翻轉及彈性拉伸 6 研究成果展示

0 50 100 150 200 250 300 350 400

Epoch 0.7

0.75 0.8 0.85

Dice Score

Figure 24: ETσ =2.0 彈性拉伸對於同時水平翻轉及彈性拉伸

以上三張圖片 22、23、24中，想要探討的是彈性拉伸與水平翻轉再外加彈性拉伸的資料擴增，也就是說要將水平翻轉視為操縱變因，確認一下使用兩種以上的資料擴增方式是否對驗證集的 Dice 分數有所幫助。在腫瘤核心的訓練上並未看出太多差異，而整個腫瘤、擴增腫瘤則有 Dice 分數的進步。

(36)

7 結論

　　根據章節6研究成果展展示得知，資料擴增演算法在已經做了 OMT 的大腦腫瘤測資中，仍然能夠對驗證資料集的 Dice 分數做出貢獻，例如：

6.2水平翻轉、6.3、6.4彈性拉伸，都可以明顯看到驗證資料集的 Dice 分數有所上升，顯示耗費計算效能放入更多測資，在 OMT 的方法下依然有所貢獻，若是為了爭取驗證集擁有更高的 Dice 分數，可以嘗試資料擴增演算法。

　　不同的標記區域所適用的資料擴增演算法也不盡相同，好比擴增腫瘤 (ET) 在水平翻轉的資料擴增中，驗證資料集的 Dice 分數並沒有太大的改善，但這個算法可以協助整個腫瘤 (WT)、腫瘤核心 (TC) 的訓練成果上升。

　　此外，使用多個資料擴增演算法來增加 Dice 分數的方式似乎是可行的，根據同時使用水平翻轉以及彈性拉伸 6.6的 1200 筆測資結果看來，三個標記區域的驗證集 Dice 分數皆有上升，此外，透過將水平翻轉或彈性拉伸作為操縱變因6.8、6.9下，都可以發現不論是水平翻轉或是彈性拉伸，

皆對這 1200 筆測資所訓練的模型有所貢獻，未來也可多方嘗試不同的資料擴增演算法組合，嘗試是否能夠訓練出一個適應度更高、預測精確度更好的醫學影像分割模型。

(37)

參考文獻參考文獻

參考文獻

[1] Wang, G., et al, Automatic brain tumor segmentation using cascaded anisotropic convolutional neural networks. Brainlesion: Glioma, Multi- ple Sclerosis, Stroke and Traumatic Brain Injuries, 178− 190(2018) [2] Parihar, A. S. A study on brain tumor segmentation using convolution

neural network. 2017 International Conference on Inventive Computing and Informatics (ICICI) (2017).

[3] I. R. Haque, J. Neubert. Deep learning approaches to biomedical image segmentation.https://doi.org/10.1016/j.imu.2020.100297/(2020) [4] J.Kleesiek , G. Urban et al, Deep MRI brain extraction: A 3D convo-

lutional neural network for skull stripping, NeuroImage, Volume 129, April 2016, 460− 469(2016).

[5] Paul,T. Brain Magnetic Resonance Imaging (MRI) as a Potential Biomarker for Parkinson’s Disease (PD) (2017).

[6] Louis, D.N,et al. The 2016 world health organization classi

cation of tumors of the central nervous system: a summary. Acta Neu- ropathologica 131(6), 803− 820(2016)

[7] Menze, B.H,et al. The multimodal brain tumor image segmentation benchmark (BRATS). IEEE Transactions on Medical Imaging 34(10), 1993− 2024(2015)

[8] Bakas, S., et al. Advancing the cancer genome atlas glioma MRI col- lections with expert segmentation labels and radiomic features. Nature Scientic Data p. 170117(2017)

(38)

[9] G.Wang,et al. Automatic Brain Tumor Segmentation using Convolu- tional Neural Networks with Test-Time Augmentation. https://arxiv.

org/pdf/1810.07884.pdf (2018)

[10] G.Wang,et al. Automatic brain tumor segmentation using cascaded anisotropic convolutional neural networks.Brainlesion: Glioma, Mul- tiple Sclerosis, Stroke and Traumatic Brain Injuries 178− 190(2018) [11] Andriy, M. 3D MRI brain tumor segmentation using autoencoder regu-

larization. https://arxiv.org/pdf/1810.11654.pdf(2018)

[12] Havaei, M.,et al. Brain tumor segmentation with deep neural networks.

Medical Image Analysis 35, 18− 31(2016)

[13] Kamnitsas, K.,et al. Eﬀicient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation. Medical Image Analysis 36, 61− 78(2017)

[14] Long, J.,et al. Fully convolutional networks for semantic segmentation.

IEEE Conference on Computer Vision and Pattern Recognition 3431− 3440 (2015)

[15] Ronneberger, O.,et al. U-Net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Com- puting and Computer-Assisted Intervention 234− 241(2015)

[16] Bonnotte, N. From Knothe’s rearrangement to Brenier’s optimal trans- port map. SIAM J. Math. Anal 45(1), 64–87(2013)https://doi.org/

10.1137/120874850

[17] Kantorovich, L. V. On a problem of monge. Uspekhi Mat. Nauk 3, 225− 226(1948).

(39)

[18] Garg, V.,et al. Advances in Neural Information Processing Systems 32, 8014− 8025 Curran Associates, Inc (2019). https://arxiv.org/abs/

1905.12158

[19] Su, Z.,et al. Optimal mass transport for shape matching and compari- son. IEEE Trans. Pattern Anal. Mach. Intell. 37(11), 2246–2259(2015).

https://doi.org/10.1109/TPAMI.2015.2408346

[20] Lei, N.,et al. A geometric view of optimal transportation and generative model. Comput. Aided Geom. Des. 68,1–21(2019). https://doi.org/

10.1016/j.cagd.2018.10.005

[21] Marcinkiewicz M.,et al.Segmenting brain tumors from MRI using cascaded multi-modal U-Nets . Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries - 4th International Workshop. Revised Se- lected Papers, Part II, vol. 11384 of Lecture Notes in Computer Science ,13–24(2018).

[22] Jakub, N.,et al. Data Augmentation for Brain-Tumor Segmentation: A Review. https://doi.org/10.3389/fncom.2019.00083

[23] Marco,M. C.,et al. What is the best data augmentation for 3D brain tumor segmentation? https://arxiv.org/pdf/2010.13372.pdf [24] Patrice Y. S.,et al. Best Practices for Convolutional Neural Networks

Applied to Visual Document Analysis. (2003)

[25] Su, K.,et al. Volume preserving mesh parameterization based on optimal mass transportation. Comput. Aided Des. 82, 42–56(2017). https://

doi.org/10.1016/j.cad.2016.05.020

(40)

[26] Gu, X.,et al. Variational principles for Minkowski type problems, discrete optimal transport, and discrete Monge–Ampère equations. Asian J. Math. 20(2), 383–398(2016). https://doi.org/10.4310/AJM.2016.

v20.n2.a7

[27] Brenier, Y. Polar factorization and monotone rearrangement of vector- valued functions. Commun. Pure Appl. Math. 44(4), 375–417(1991).

https://doi.org/10.1002/cpa.3160440402

[28] Yueh, M.H., Li, T., Lin, W.W., Yau, S.T. A novel algorithm for volume-preserving parameterizations of 3-manifolds. SIAM J. Imag. Sci.

102(2), 1071–1098(2019). https://doi.org/10.1137/18M1201184 [29] W.W.Lin, C.Juang, M.H.Yueh, T.M.Huang, T.Li, S.Wang &

S.T.Yau. 3D brain tumor segmentation using a two-stage optimal mass transport algorithm. https://www.nature.com/articles/

s41598-021-94071-1

[30] Create 3-D U-Net layers for semantic segmentation of volumetric images:

MATLAB unet3dLayers. https://www.mathworks.com/help/vision/

ref/unet3dlayers.html.

資料擴增演算法與最佳傳輸理論 於腦部腫瘤辨識的應用

國立臺灣師範大學理學院數學系 碩士論文

Department of Mathematics, College of Science National Taiwan Normal University

Master’s Thesis

資料擴增演算法與最佳傳輸理論 於腦部腫瘤辨識的應用

蔡承男 Tsai, Cheng-Nan

指導教授：黃聰明 博士 Advisor: Huang, Tsung-Ming, Ph.D.

中華民國 111 年 1 月

January 2022

謝辭

目 錄

1 前言

1.1 研究動機

2 研究背景介紹

2.1 腦部腫瘤與醫學影像辨識

2.2 測試資料集

3 最佳傳輸理論 (OMT)

3.1 OMT 問題

3.2 兩階段最佳傳輸演算法 (TSOMT)

4 資料擴增演算法 (Augmentation)

4.1 簡介

4.2 翻轉 (Flipping)

4.3 彈性拉伸 (Elastic deformation)

5 研究方法

5.1 Dice 分數

5.2 OMT 轉換原始資料

5.3 3D U-Net

5.4 添加資料擴增演算法

5.5 比較資料擴增與僅用 OMT 的差異

6 研究成果展示

6.1 研究結果呈現

6.2 原始資料對於水平翻轉

6.3 原始資料對於 σ 為 1.2 之彈性拉伸

6.4 原始資料對於 σ 為 2.0 之彈性拉伸

6.5 σ =1.2 對於 σ =2.0 之彈性拉伸

6.6 原始資料對於同時使用水平翻轉與 σ 為 2.0 之彈性拉伸

6.7 水平翻轉對於彈性拉伸

6.8 水平翻轉對於同時水平翻轉及彈性拉伸

6.9 σ 為 2.0 之彈性拉伸對於同時水平翻轉及彈性拉伸

7 結論

參 考 文 獻

資料擴增演算法與最佳傳輸理論於腦部腫瘤辨識的應用

國立臺灣師範大學理學院數學系碩士論文

資料擴增演算法與最佳傳輸理論於腦部腫瘤辨識的應用

指導教授：黃聰明博士 Advisor: Huang, Tsung-Ming, Ph.D.

目錄

參考文獻