影像分割模型之資料集建立

在本論文中，為了使影像轉換模型得以轉換OCT 影像為 H&E 影像，必須先 訓練一個影像分割模型來輔助才行，而針對OCT 影像而言，在皮膚病理上，最 關心的結構分別是角質層與顆粒層間的交界(SC 下邊界)、表皮層與真皮層的交 界(Dermal-epidermal junction; DEJ)以及細胞核大小與位置，而這三點也是用來判 斷轉換後的 H&E 影像與轉換前的 OCT 影像是否一致的關鍵，考慮到標註影像

的取得難易度，針對SC 下邊界與 DEJ 此二者的標註影像是相對容易取得的，因 此本論文中所訓練的影像分割模型，主要以輔助轉換模型判定SC 下邊界與 DEJ 為主。

為了訓練一個SC 下邊界與 DEJ 的判定模型，針對 OCT 影像有一些標準，

包含細胞核必須要清晰並完整、SC 下邊界與 DEJ 必須要容易判斷才行，如圖 3.6 所示，通常SC 與顆粒層的交界處會有非常明顯的亮帶，原因在於 SC 為已死亡、

不具備細胞核的細胞，而顆粒層仍有細胞核並且其細胞核相當的大，因此兩介質 的折射率差相當大，反射訊號也相當強；而針對 DEJ 的判斷則是以基底層中的 黑色素細胞(Melanocyte)所包含的黑素體(Melanosomes)作為判斷依據，原因在於 其在可見光波長下擁有1.55~1.6 的折射率[25]，相對於皮膚平均折射率 1.4 而言 折射率差也是相當的大，因此其也擁有相當強的反射訊號能夠方便以肉眼辨識。

在 2.2.3 節中有說明如何取得 OCT 影像，而為了要以肉眼判斷是否符合以上三 點，通常會先將OCT 影像其鄰近的縱切面做 4 μm 的平均，以符合實際 H&E 影 像的4 μm 厚度，且將不符合以上三點的影像剔除，並進行補充，因此最終仍是 擁有8 個三維影像共 3512 張縱切面影像。

圖3.6 疊 4 μm 厚度的 OCT 影像(紅色箭頭所指的為 SC 下邊界的亮帶，綠色箭 頭所指的是黑素體，黃色箭頭所指的是細胞核)

再者，要訓練影像分割模型就必須要有標註影像建立參考標準(Ground truth;

GT)才行，因此針對 OCT 影像而言，我們請皮膚醫師幫忙標註 OCT 影像的 SC 下邊界與DEJ，如圖 3.7 所示，值得注意的是，因為此兩交界的判斷並不是很容 易，因此在標註SC 的下邊界時定義了一個寬 2.5 μm 的誤差範圍，即該範圍內都

可算做是SC 的下邊界；而針對 DEJ 時則是定義了一個寬 5 μm 的誤差區域，在 此範圍內亦可算為DEJ 的位置，而醫生標註完的結果如圖 3.7 所示。為了使用於 影像分割模型內做為標註影像，我選擇以兩交界各自誤差範圍的中心點為基準，

SC 下邊界誤差區的中心點以上定義為第 0 類，兩交界誤差區的中心點內的區域 定義為第 1 類，而 DEJ 誤差區中心點以下定義為第 2 類，以此達到每個像素有 一個對應的標註類別，如圖3.8 所示。

圖3.7 醫生標註之疊 4 μm 厚度的 OCT 影像(紅線為 SC 下邊界，綠線為 DEJ)

圖3.8 預處理後的 OCT 標註影像(黑色為第 0 類，橘色為第 1 類，白色為第 2 類) 通常要訓練一個網路所需的資料集會有兩個部分，第一個為真實用於訓練模 型的訓練集影像(Training datasets)；第二個則是作為最終標準的測試集影像 (Testing datasets)，僅在模型完成訓練後作使用，通常不會因為測試集影像不好而 再度調整超參數，其必須作為使用在未知影像上的真實回饋。然而有時會將訓練 集影像再分割出另一部分的資料集，稱為驗證集影像(Validation datasets)，用來調 整超參數與選取最佳模型的額外資料集，其雖然沒有真的讓模型學習，但卻會間 接地影響模型表現。那麼究竟甚麼時候需要驗證集呢？必須視所使用的訓練集而 定，當所使用的訓練集多樣性不足時，將很容易導致模型不是透過學習而是直接 記住答案來達到很高的訓練準確率，這時就必須利用驗證集影像來驗證是否模型

過度擬合(Overfitting)的情況，並利用驗證集影像的回饋來調整超參數，使最終在 左右翻轉來增加測試集影像的多樣性，這種方法為資料增強(Data augmentation) 的其中一種，但結果顯示有做資料增強的測試集與沒做的測試集，兩者在模型上

圖3.9 H&E 影像與其標註影像(黑色為第 0 類，橘色為第 1 類，白色為第 2 類) 透過以上步驟所得之H&E 影像，將其中的 80%用於建立訓練集影像，共有 876 張影像；而因為 H&E 影像每張皆是獨立的，因此無須額外進行篩選，將其 餘 20%中的 10%影像共 110 張作為驗證集影像，剩下的 10%影像共 110 張直接 作為測試集影像即可。