第四章 影像轉換與影像分割模型之結果分析
4.3 應用影像分割模型判定 SC 下邊界與 DEJ 之結果
此影像分割模型有兩個,一個為判斷OCT 影像兩交界位置的模型,另一個 則是判斷H&E 影像兩交界位置的模型,兩個網路都使用如 3.1.1 節所述的 U-Net 架構,然而並非採用圖3.8 的四階段上下採樣,而是使用如圖 4.8 所示的三階段 上下採樣,這是根據實驗而得到的目前較佳的模型架構。因為要做的目標為以一
個像素為單位的分類,因此其損失函數與訓練一個二元分類器時相同,都是使用 Sigmoid Cross entropy 作為損失函數,只是需要將其從二元分類改為多類別分類 的形式,如Eq. 4.1 所示。
1 1 i
1 i
y
cross entropy i y i
i i
圖4.9 OCT 影像之影像分割模型訓練損失值
圖4.10 影像分割模型於 OCT 影像的測試結果(左上角影像之比例尺適用全部影 像,紅線為兩交界之GT,綠線為模型預測兩交界之位置)
從圖4.10 中,可以看出此模型針對 SC 下邊界的判定已經相當準確了。而針 對 DEJ 的判定,此模型對於部分訊號較強、有明顯橫條紋排列的雜訊已有一定 的辨別功能,如最右下角的影像所示;然而若是在判定 DEJ 時碰上有結構性的 雜訊則會使模型容易判定錯誤,如最左上角的影像,因此這種雜訊所處的位置,
其DEJ 的預測都會誤差比較大。
H&E 影像之影像分割模型其損失值圖與測試結果如圖 4.11、圖 4.12 所示。
其量化數值,針對 SC 下邊界,模型輸出與標註影像有±3.49 μm 的誤差;針對 DEJ,模型輸出與標註影像有±4.53 μm 的誤差;並且 IOU 為 0.92±0.05。同樣地,
此處只看兩交界位置是否一致因此不需要計算皮爾森相關係數。
圖4.11 H&E 影像之影像分割模型訓練損失值
圖4.12 影像分割模型於 H&E 影像的測試結果(左上角影像之比例尺適用全部影 像,藍線為兩交界之GT,綠線為模型預測兩交界之位置)
相比於訓練於 OCT 影像的影像分割模型而言,訓練於 H&E 影像的影像分 割模型在 SC 下邊界與 DEJ 的誤差都提升了,但是 IOU 卻上升了,原因在於針 對H&E 影像而言大部分的來源為人類手掌或腳底的皮膚切片,其整個表皮層會 較OCT 影像所掃的前臂皮膚的表皮層厚,因此在相同的影像大小上,H&E 影像
的DEJ 都會比 OCT 影像的 DEJ 還要更低,而量化數值的 IOU 僅針對 SC 下邊界 至DEJ 的區域作計算,代表在 H&E 影像中的 IOU 計算區域相對於 OCT 影像而 言是比較大的,這將導致儘管誤差上升,卻因為交集的面積比較大而使得IOU 反 而上升的情況,如圖4.13 所示。
圖4.13 IOU 計算區域的面積大小影響其 IOU 值的示意圖(在一般情況下,OCT 兩 交界間的面積會小於H&E 影像,假設長 20 pixel、寬 10 pixel、誤差上下皆為 5 pixel)
理想上,H&E 影像因為較好分辨其兩交界之位置,因此使用與 OCT 邊界判 定模型同樣的模型與超參數,應該要有比較好的表現,但是從量化數值卻發現表 現變差,我推論可能原因有兩點,第一點GT 的準確度可能並非百分之一百,因 為H&E 影像的 GT 為我自行標註的,因此可能會有些許的誤差,但是整體大致 上都是正確的;第二點則是因為 H&E 訓練集影像的數量遠比 OCT 影像少了 3 倍,並且H&E 影像每一張的差異相對於 OCT 影像而言變化又更大,因此在影像 較少的情況下自然無法達到較好的預測表現。
並且根據這兩個模型各自的損失值圖也可看出,它們收斂速度很快,表示訓 練集影像過少或是多樣性太少,並且可以看出損失值收斂在0.6 即停止了,原因 在於針對判定交界的這個目標而言,對人而言也很難精確的畫出一條界線,因此 模型會傾向學習一些影像的資訊並在不違背標註影像太多的情況下更新最適當 的參數。