以 CycleGAN 做 OCT 轉類 H&E 之結果與問題

利用如 3.2.4 節中所介紹的 CycleGAN 來建立 OCT 影像轉類 H&E 影像的影 像轉換模型，如圖4.1 所示。

圖4.1 CycleGAN 應用於 OCT 轉類 H&E 之架構(上下兩個方向上的 GOCT皆是相 同的生成器，同樣地雙向的GH&E也是相同的生成器)

為了確定整個訓練過程中生成器與判別器確實有在彼此對抗，即每個周期 (Epoch)生成的影像品質愈來愈好，首先會先觀察該次訓練的生成器與判別器各 自的損失值(Loss)，不過因為訓練在不同的訓練集影像上會有不同的損失值，所 以參考CycleGAN 作者認為正常的損失值的趨勢作為對照組[42]，判別器與生成 器個別的損失值趨勢在前20~30 的週期內會有彼此重疊的情形，表示這個 GAN 有正常運作；並且因為我們只在意 OCT 影像轉為 H&E 影像方向上的判別器與

生成器各自的損失值，因此之後的損失值圖只會有此方向上的兩個網路各自的損 失值，如圖4.2 所示，其中包含每 500 次疊代(Iteration)顯示一次的損失值圖，以 及經過移動平均(Moving average)每鄰近 2 個周期後的損失值圖。此處在模型訓 練上一次只丟入一張訓練集影像做訓練並更新參數，在有2634 張訓練集影像的 情況下，完整學習完所有訓練集影像一次代表學習一個周期，而在這一個周期內，

模型參數會更新(疊代) 2634 次。

圖4.2 OCT 影像轉 H&E 影像於 CycleGAN 上的訓練損失值圖(左圖為每 500 個 疊代顯示一次，右圖為經過Moving average 的結果，紅線為生成器的損失值，

藍線為判別器的損失值)

而針對測試結果，在呈現OCT 影像時，會先將其與鄰近的縱切面做 4 μm 的 平均，以符合實際 H&E 影像的 4 μm 厚度，但是輸入網路作測試的仍是僅經過 預處理後的1 μm 厚度的 OCT 影像。整體而言，在觀察轉換是否成功時，如 3.1.2 節中所介紹的，主要會觀察 SC 下邊界是否有與 OCT 影像上的一致、DEJ 是否 有與OCT 影像上的一致，以及細胞核位置是否與 OCT 影像上的一致。

圖4.3 CycleGAN 測試結果(藍線皆是 OCT 之 GT，左欄為輸入影像，呈現上為 4 μm 厚度的 OCT 影像，右欄為轉換後的影像，左上角的比例尺適用全部影像)

測試在176 張縱切面上的結果如圖 4.3 所示，從影像上即可看出轉換前後的 紋理差距非常大。為了量化紋理差距，利用3.1.2 節中所取得的標註影像作為 SC 下邊界與 DEJ 的 GT，在由我標記出轉換後的 H&E 影像的 SC 下邊界與 DEJ，

利用轉換前後的兩交界各自對應的位置差，即可得到量化數值。再者，為了能夠 以直觀的方式描述轉換前後是否具有一致性，此處提出額外兩個量化測試結果的 方 法 ， 分 別 為 IOU(Intersection-over-Union) 以 及 皮 爾 森 相 關 係 數 (Pearson's correlation coefficient; PCC)。

IOU 指的是轉換前後兩張影像彼此面積的交集與聯集比，其最大值為 1，表 示轉換前後完全重合，最小值為0，表示完全不重合；在本論文中，針對轉換前 後的兩交界內的面積進行計算得到其 IOU 值。皮爾森相關係數指的是標準化後 的兩變數x、y 之間的相關程度，因此在本論文中適合用來比較訓練集影像的分 布與生成器所產生之影像分布，兩分布間的相關程度為何，在此僅針對交界內的

區域作計算，以用來判斷細胞核在兩分布上的相關性；最大值為1，表示兩影像 完全正相關，最小值為0，表示兩影像完全負相關。

因此量化數值如下，針對SC 下邊界，轉換後的影像與 OCT 影像有±9.21 μm 的誤差；針對 DEJ，轉換後的影像與 OCT 影像有±23.03 μm 的誤差。計算 IOU 為0.53±0.04；計算皮爾森相關係數為 0.78±0.01。

從前段的量化數值與轉換前後的影像對比，可知無法單純使用CycleGAN 來 完成轉換OCT 影像為 H&E 影像，原因在於循環一致性的損失函數 Lcycle會限制 輸入的OCT 影像與轉換後再重建的 OCT 影像兩者要一致，而這樣的特性也會同 時強迫轉換後的H&E 影像其紋理要與這兩者一致，這原本是件好事，畢竟紋理 一致是理想的結果，但是問題在於活體人類皮膚的OCT 影像有許多因為血液流 動而導致震動所產生的橫線，如圖4.4 所示，這些橫線的訊號並不是真的屬於該 位置的真實訊號，因此其被歸類為雜訊，並且不希望這部分也被轉換呈現在H&E 影像上。

圖4.4 疊 4 μm 厚度的 OCT 影像(紅色線為 SC 下邊界、綠色線為 DEJ、橘色箭 頭所指的為雜訊)