第四章 影像轉換與影像分割模型之結果分析
4.4 限制細胞核位置於 OCT2HE 模型
從4.3 節中得到的結果已顯示目前針對 SC 下邊界與 DEJ 的位置轉換上已經 相當準確了，而為了更進一步限制轉換前後的細胞核位置也要一致，於本論文中 使用了額外的神經網路─VGG16 作為特徵提取器。VGG16[43]是一個分類器並且 訓練於ImageNet[44]中的 1000 個類別共 1,200,000 張訓練影像上、50,000 張驗證 影像，以及測試於1000 個類別共 150,000 張的測試影像上，得到了僅 7.0%的誤 差在top-5 分數[45]的計算中，其整體網路架構如圖 4.17 所示。
圖4.17 VGG16 網路架構[43]
利用VGG16 限制 OCT 影像與轉換後的 H&E 影像在擁有與細胞核大小相同
segmentation A segmentation B
feature map A feature map B
L G ,D ,G ,D L G ,D L G ,D L G ,G
圖4.19 OCT 影像轉 H&E 影像於 OCT2HE 模型最終版的訓練損失值圖(左圖為每 500 個疊代顯示一次，右圖為經過 Moving average 的結果，紅線為生成器的損失 值，藍線為判別器的損失值)
且其測試結果如圖4.20 所示，經過量化後可知，對 SC 下邊界，轉換後的影 像與OCT 影像有±1.74 μm 的誤差；針對 DEJ，轉換後的影像與 OCT 影像有±2.29 μm 的誤差；並且 IOU 為 0.87±0.03、皮爾森相關係數為 0.87±0.01。從數值與圖 4.19 中可發現，細胞核的位置在有了 VGG16 的輔助後變準確了，皮爾森相關係 數也從 0.81 上升至 0.87，但是相對的兩交界的誤差也變大了，其原因在於當模 型的限制變多時，有時很難兼顧所有的損失函數，在更新中要找到兩交界位置準 確又同時細胞核抓取準確的參數或許較難，因此模型通常會選擇一個平均值，使 這兩者的損失值都不會太高。
圖4.20 OCT2HE 模型最終版的轉換結果(綠線為 OCT 之 GT，左欄為輸入影像，
呈現上為4 μm 厚度的 OCT 影像，右欄為轉換後的影像，左上角的比例尺適用全 部影像)
圖4.21 轉換前後的 OCT 與類 H&E 影像(影像中的圓圈為依照 OCT 影像的細胞 核所圈，並依依對應相同位置的轉換後類H&E 影像)
雖然使用VGG16 能夠使轉換後的 H&E 影像在 SC 下邊界至 DEJ 間的區域
以看出在僅有循環一致性與GAN 本身的對抗損失函數的限制下，生成器與判別 器數值在整個300 個周期的訓練中都是相當接近的，表示整個訓練過程中兩者的 能力都是旗鼓相當的；然而在額外加入了邊界一致與細胞核一致的損失函數限制 後，因為生成器的限制變多了，其訓練過程變得更困難，然而判別器的限制仍然 沒變，因此在對抗的過程中儘管兩者會不斷地優化自身的參數，但很快地生成器 優化的速度就會趕不上判別器優化的速度，因此在大概20 個週期後，判別器就 會穩定的顯示出其能力比生成器還要強了。但是這並不代表生成器不再優化了，
因為在神經網路中優化的過程是藉由計算損失函數的梯度，而根據損失值圖可以 看到並不是維持一條水平線，仍有上下起伏，表示其梯度仍然有值，因此可以視 為生成器仍有在優化自身參數，只是每次更新的幅度很小，因為梯度很小。
而造成生成器更新速度緩慢除了他本身限制變多的這點外，還有本身「生成 圖片」這個工作性質就比判別器的「二元分類器」工作性質還要困難，因為針對 原始CycleGAN，僅有循環一致性與 GAN 本身的對抗損失函數的限制下的模型，
若繼續訓練超過 300 個周期，其實生成器的損失值也是會漸漸比判別器損失值 大，兩損失值也是會漸漸分離[42]。
表4.1 各階段影像轉換模型的測試結果數值表
圖4.22 各階段影像轉換模型的生成器與判別器損失值圖