從生成對抗網路轉換活體皮膚斷層影像為類H&E染色影像

(1)

國立臺灣大學電機資訊學院光電工程學研究所碩士論文

Graduate Institute of Photonics and Optoelectronics College of Electrical Engineering and Computer Science

National Taiwan University Master Thesis

從生成對抗網路轉換活體皮膚斷層影像為類 H&E 染色影像

Conversion between

In Vivo Human Skin

Tomographic Images and H&E Stained-like Images via Generative Adversarial Network

蔡昇廷 Sheng-Ting Tsai

指導教授：黃升龍博士

Advisor: Sheng-Lung Huang, Ph.D.

中華民國 108 年 8 月 August 2019

(2)

致謝

在兩年的碩士生涯中，首先要先感謝我的指導教授黃升龍教授，給予我這麼好的題目去研究，並且也籌辦了每兩週定期的AI 會議，使得我能夠在每次的報告過程接收關於研究方向與實行方面的指導，並且針對非本研究範圍內的其它科技知識，在每週的會議時間內也會與大家分享近年科技發展的趨勢，使得我在兩年的碩士生涯中收穫了很多原本並不具備的知識。

接著我要感謝陳宏銘教授、邱政偉醫師與林銘儀學姊三位的幫助，在整個研究過程中，有關AI 研究方面的技巧有賴陳宏銘教授的指導才能在短短時間內有這麼大的突破；而針對整個研究方面所需的影像，非常感謝邱政偉醫師與林銘儀學姊不辭辛勞的幫我取得標籤影像，並且也在每次的會議上收穫了許多生醫相關的背景知識。

因為有了以上幾位教授、醫師與醫師助理的幫助，才能有現在這樣的研究成果以及這篇論文的產出。

接著我要感謝在這兩年內有幫助過我、給予我意見、陪我歡樂的實驗室朋友們，感謝游鈐學長在我研究生涯剛開始時提供了許多關於拉曼系統的幫助；感謝昱彤學長與庭偉學長在OCT 系統方面的操作與原理上給予我許多幫助；感謝同年的政廷、承宏與奕勳，很開心能與你們在研究中彼此討論彼此的問題，並且在休閒時間能一起玩樂，使得我在研究上的壓力大大地降低；感謝裕展學長、騰毅學長、祐維學長在光學知識上的幫助；感謝實驗室助理千真姊與群玲姊，以及行政助理雅婷姊，在行政與實驗上的眾多幫忙；也謝謝學弟柏穎、冠鳴、志傑以及俊凱，一起陪我度過碩班生涯。在此額外特別感謝實驗室助理Manu 與陳宏銘教授的指導學生詹晉誠在AI 研究上的幫助，真的在我理解機器學習上有莫大的幫助，並且在研究過程中針對程式碼的修改與優化的部分也提供了很大的協助。

最後我要感謝我的家人與朋友們，在平時能給予我讓我感到放鬆的環境，使我能在該放鬆時能得到優質的休息品質，沒有這許多人的協助與談心，這研究可能無法有現今的成果，非常感謝大家。

(3)

摘要

在臨床上，有關皮膚方面的疾病，病理學家在判斷上主要還是依靠染色切片作為黃金標準，其中又以蘇木精與伊紅染色(H&E staining)切片最為常見，但因為其製備過程的破壞性與費時，在手術上常常會造成延誤手術時間、多餘組織被破壞等缺點。而光學同調斷層掃瞄術(OCT)所展示的皮膚三維影像具有高解析度與非侵入式等特性，能夠在不破壞組織的情況下，提供皮膚的完整精細結構，然而因OCT 影像對於病理學家來說並不熟悉，因此在臨床上儘管有了 OCT 影像，病理學家仍然會製備染色切片來做更精確的診斷，顯示出了染色影像的必要性。因此本研究為了使病理學家能夠更直觀的利用 OCT 影像做診斷，建立了能夠將 OCT 影像轉換為類 H&E 染色影像的模型，稱為 OCT2HE 模型。

基於使用活體人類皮膚的 OCT 影像轉換為類 H&E 染色影像之目的，在影像轉換的領域上，生成對抗網路(GAN)相較於其餘的網路架構具有能夠使用非成對影像(Unpaired data)作訓練的潛力，而這對於本研究之目的也是最關鍵的，因為無法從活體組織中取得染色影像，因此本研究所提出的影像轉換模型

─OCT2HE 模型，其建立在以 GAN 為核心的 CycleGAN 上，並針對活體人類皮膚的 OCT 影像與人類皮膚的 H&E 影像做非成對影像的訓練，透過改善了在訓練過程中所碰到的雜訊重建問題、皮膚角質層(SC)下邊界與表皮真皮交界(DEJ) 轉換上與醫生所判定的標準答案不相符的問題，以及細胞核位置轉換前後對應不正確的問題，成功達到了使活體人類皮膚的 OCT 影像轉換為類 H&E 影像的目標，並且提供了量化數值方便比對。目前的成果為在測試影像上，SC 下邊界於模型輸出與輸入影像的位置誤差為±1.74 μm，DEJ 於模型輸出與輸入影像的位置誤差為±2.29 μm；針對 SC 下邊界至 DEJ 間的區域，此區域之 IOU 於模型輸出與輸入影像為 87%±3%，以及此區域的皮爾森相關係數於模型輸出與輸入影像為 87%±1%。

本論文利用OCT2HE 模型可將活體人類皮膚的 OCT 影像轉換為近似的 H&E

(4)

染色影像，轉換後的影像不僅針對醫生所判定的 OCT 影像之 SC 下邊界與 DEJ 有滿高的一致性，就連比較細節資訊的細胞核也能大致正確的轉換。此OCT2HE 模型利用OCT 影像的非侵入式特性與影像轉換技術的即時轉換特性，有望能改善目前臨床上染色影像所帶來的費時與必需破壞活體組織等缺點。

關鍵字：影像轉換、光學同調斷層掃描(OCT)、蘇木精與伊紅染色(H&E staining)、

活體人類皮膚影像、生成對抗網路(GAN)。

(5)

Abstract

For pathologists, histopathological analysis like hematoxylin and eosin dye (H&E) staining is considered as the gold standard for skin diagnosis. However, the long staining processing time and destroying the tissue cause pathologists inconvenience especially when surgery is progressing. On the other hand, optical coherence tomography (OCT) enables non-invasive, high resolution and 3-D imaging of the structure of skin tissue. Owing to the huge difference between OCT images and H&E images, pathologists are hard to diagnose disease with OCT images only. It shows the necessary of stained images when diagnosis.

In this research, we proposed a semi-supervised image-to-image translation model, called OCT2HE model. This model depends on the CycleGAN, but improve some problems for training on in vivo human skin OCT images and human skin H&E images.

First, we solved the problem of noise reconstruction in training. Second, we improved the problem of the stratum corneum (SC) lower boundary and dermal-epidermal junction (DEJ) mismatched to the ground truth after translation. Third, we even improve the location of nuclei before-and-after translation. Here are some quantity values to show how accurate for the translation. For the SC lower boundary, the error between input and output of the OCT2HE is ±1.74 μm. For the DEJ, the error between input and output is ±2.29 μm. For the IOU in the region between SC lower boundary to DEJ, the value is 0.87±0.03. For the Pearson’s correlation coefficient in the region between SC lower boundary to DEJ, the value is 0.87±0.01.

Our OCT2HE model provides a real time image-to-image translation between OCT and H&E stained-liked images. If combing this model with OCT technology, it could be very help for the pathologist when surgery is progressing, and it could solve the problems of H&E staining processing nowadays.

(6)

Keywords: image-to-image translation, optical coherence tomography (OCT), hematoxylin and eosin dye staining (H&E staining), in vivo human skin images, generative adversarial network (GAN).

(7)

圖目錄

圖2.1 麥克森干涉儀式意圖[6] ... 4

圖2.2 樣本內的不連續散射面... 4

圖2.3 軸向掃描單一反射面之干涉訊號[1] ... 7

圖2.4 同調函數與光程差之關係[7] ... 7

圖2.5 Mirau-based 全域式 OCT 整體系統架構[6]。LD 445：波長 445 nm 之雷射二極體、AL：非球面透鏡、OBL1：40 倍物鏡、OBL2：20 倍物鏡、OBL3： 20 倍水浸式顯微物鏡(f=9 mm)、DM：雙色分光鏡、MMF：多模光纖、L1：消色差聚光透鏡(f=45.06 mm)、L2：投影透鏡(f=150 mm)、PBS：偏振分束鏡、 AQWP：消色差四分之一波長片、PZT：壓電制動器、M：銀鏡、CCD：相機... 9

圖2.6 Ce : YAG 晶體光纖的吸收頻譜[6] ... 10 ³⁺ 圖2.7 Ce : YAG 晶體光纖的輸出光頻譜圖[6] ... 10 ³⁺ 圖2.8 445 nm 雷射二極體 L-I 曲線與Ce : YAG 晶體光纖輸出功率對照[1] .. 11 ³⁺ 圖2.9 Mirau-based 全域式 OCT 光源系統[6] ... 12

圖2.10 Mirau-based FFOCT 成像系統圖[6] ... 12

圖2.11 Mirau-based FFOCT 照明系統圖[6] ... 13

圖2.12 光偏振示意圖... 13

圖2.13 Mirau-device 系統圖[5] ... 14

圖2.14 干涉訊號載波與包絡示意圖[10] ... 15

圖2.15 四點運算示意圖[6] ... 16

圖2.16 兩點 PSF 重疊情形示意圖[11] ... 18

圖2.17 縱向解析度之量測[1] ... 19

圖2.18 橫向解析度量測結果 (a)量測影像、(b)橫向強度分布[1] ... 20

圖2.19 OCT 第一步預處理與轉為 nrrd 檔的 ImageJ macro ... 22

(10)

圖2.20 重新取樣後的 1 μm 厚的 OCT 影像(583×#) ... 22

圖2.21 該張 OCT 影像的不同灰度值所對應的像素數量... 22

圖2.22 OCT 影像的第二步預處理流程圖... 23

圖2.23 重新定義上下界後的 1 μm 厚的 OCT 影像(583×#) ... 23

圖2.24 皮膚分層結構圖[14] ... 24

圖2.25 表皮層細微結構[16] ... 25

圖2.26 蘇木精-伊紅染色後的組織 ... 31

圖2.27 顯微鏡掃描得到的 H&E 影像(2448×2048 pixel) ... 34

圖2.28 經過預處理並裁切後的 H&E 影像(576×200 pixel) ... 34

圖2.29 人體皮膚的 H&E 影像(L 為蘭嗜細胞，CP 為細胞質)[20] ... 35

圖2.30 人體皮膚的 H&E 影像(Keratinocyte 為角質細胞，Melanocyte 為黑色素細胞)[21]... 35

圖3.1 傳統 CNN 應用於細胞膜的影像分割[22] ... 37

圖3.2 FCN 的網路架構[23] ... 38

圖3.3 FCN 的模型之測試結果[23] ... 39

圖3.4 U-Net 網路架構(灰色正擺數字為特徵圖個數，橫擺數字為輸出影像大小)[24]... 40

圖3.5 U-Net 測試結果(左圖為輸入影像，右圖的黃線為 Ground truth (GT)、塗色部分為模型輸出結果)[24]... 40

圖3.6 疊 4 μm 厚度的 OCT 影像(紅色箭頭所指的為 SC 下邊界的亮帶，綠色箭頭所指的是黑素體，黃色箭頭所指的是細胞核) ... 41

圖3.7 醫生標註之疊 4 μm 厚度的 OCT 影像(紅線為 SC 下邊界，綠線為 DEJ) ... 42

圖3.8 預處理後的 OCT 標註影像(黑色為第 0 類，橘色為第 1 類，白色為第 2 類) ... 42

(11)

圖3.9 H&E 影像與其標註影像(黑色為第 0 類，橘色為第 1 類，白色為第 2

類) ... 44

圖3.10 CNN 應用於影像轉換的流程與其結果[26]。 ... 45

圖3.11 VAE 應用於影像轉換之測試結果[27] ... 46

圖3.12 原始 GNA 的網路架構圖[3] ... 53

圖3.13 使用原始 GAN 所生成之圖像(最右邊一欄為訓練集圖像)[3]... 54

圖3.14 ResNet 生成器架構[39] ... 55

圖3. 15 PatchGAN 判別器架構[38] ... 55

圖 3.16 殘差模塊的架構(包含 2 個 3×3 的卷積層與批量標準化，以及使用 ReLU 激勵函數)[39] ... 56

圖3.17 Sigmoid 函數與其導函數[40] ... 56

圖3.18 CycleGAN 工作流程圖(LGAN為對抗損失函數(如 Eq. 3.25)，其分別有對應A 類別的 LGAN與對應B 類別的 LGAN；Lcycle為循環一致性損失函數(如 Eq. 3.26)) ... 58

圖3.19 H&E 皮膚結構 ... 58

圖4.1 CycleGAN 應用於 OCT 轉類 H&E 之架構(上下兩個方向上的 GOCT皆是相同的生成器，同樣地雙向的GH&E也是相同的生成器) ... 61

圖4.2 OCT 影像轉 H&E 影像於 CycleGAN 上的訓練損失值圖(左圖為每 500 個疊代顯示一次，右圖為經過Moving average 的結果，紅線為生成器的損失值，藍線為判別器的損失值) ... 62

圖4.3 CycleGAN 測試結果(藍線皆是 OCT 之 GT，左欄為輸入影像，呈現上為4 μm 厚度的 OCT 影像，右欄為轉換後的影像，左上角的比例尺適用全部影像) ... 63

圖4.4 疊 4 μm 厚度的 OCT 影像(紅色線為 SC 下邊界、綠色線為 DEJ、橘色箭頭所指的為雜訊) ... 64

(12)

圖 4.5 OCT2HE 模型第一版架構(transform 指的是去掉 SC 下邊界以上的區域以及DEJ 以下的區域；label 指醫師幫忙標註 GT) ... 65 圖4.6 OCT 影像轉 H&E 影像於 OCT2HE 模型第一版的訓練損失值圖(左圖為每500 個疊代顯示一次，右圖為經過 Moving average 的結果，紅線為生成器的損失值，藍線為判別器的損失值) ... 65 圖4.7 OCT2HE 模型第一版轉換結果(紅線與藍線皆是 GT，左欄為輸入影像，

呈現上為4 μm 厚度的 OCT 影像，右欄為轉換後的影像，左上角的比例尺適用全部影像) ... 66 圖 4.8 影像分割模型所使用之 U-Net 架構(此處輸入的影像有兩種分別對應兩種模型，一種是輸入單通道(Channel = 1) OCT 影像的 OCT 影像分割模型，

另一種是輸入三通道(Channel = 3) H&E 影像的 H&E 影像分割模型；最後輸出的皆是3 個類別(Class)的每像素屬於該類別之機率值圖) ... 67 圖4.9 OCT 影像之影像分割模型訓練損失值... 68 圖 4.10 影像分割模型於 OCT 影像的測試結果(左上角影像之比例尺適用全部影像，紅線為兩交界之GT，綠線為模型預測兩交界之位置) ... 68 圖4.11 H&E 影像之影像分割模型訓練損失值 ... 69 圖4.12 影像分割模型於 H&E 影像的測試結果(左上角影像之比例尺適用全部影像，藍線為兩交界之GT，綠線為模型預測兩交界之位置) ... 69 圖 4.13 IOU 計算區域的面積大小影響其 IOU 值的示意圖(在一般情況下，

OCT 兩交界間的面積會小於 H&E 影像，假設長 20 pixel、寬 10 pixel、誤差上下皆為5 pixel) ... 70 圖 4.14 OCT2HE 模型第二版(Segmentation model 為判定 SC 下邊界與 DEJ 的模型，針對兩種類別的輸入影像建立 segmentation 損失函數(Lsegmentation)，

即Eq. 4.1 的交叉熵，用來使 SC 下邊界與 DEJ 在轉換前後的影像上位置能夠一致) ... 71

(13)

圖4.15 OCT 影像轉 H&E 影像於 OCT2HE 模型第二版的訓練損失值圖(左圖為每500 個疊代顯示一次，右圖為經過 Moving average 的結果，紅線為生成器的損失值，藍線為判別器的損失值) ... 72 圖 4.16 OCT2HE 模型第二版轉換結果(藍線為 OCT 之 GT，左欄為輸入影像，呈現上為4 μm 厚度的 OCT 影像，右欄為轉換後的影像，左上角的比例尺適用全部影像) ... 73 圖4.17 VGG16 網路架構[43] ... 73 圖 4.18 OCT2HE 模型最終版(VGG16 為用來提取細胞核特徵，並針對兩種類別的數入影像建立特徵圖損失函數(Lfeature map)，即 Eq. 4.5) ... 74 圖4.19 OCT 影像轉 H&E 影像於 OCT2HE 模型最終版的訓練損失值圖(左圖為每500 個疊代顯示一次，右圖為經過 Moving average 的結果，紅線為生成器的損失值，藍線為判別器的損失值) ... 75 圖4.20 OCT2HE 模型最終版的轉換結果(綠線為 OCT 之 GT，左欄為輸入影像，呈現上為4 μm 厚度的 OCT 影像，右欄為轉換後的影像，左上角的比例尺適用全部影像) ... 76 圖4.21 轉換前後的 OCT 與類 H&E 影像(影像中的圓圈為依照 OCT 影像的細胞核所圈，並依依對應相同位置的轉換後類H&E 影像) ... 76 圖4.22 各階段影像轉換模型的生成器與判別器損失值圖... 79

(14)

表目錄

表4.1 各階段影像轉換模型的測試結果數值表... 78

(15)

第一章緒論

光學同調斷層掃描(Optical coherence tomography; OCT)是一種非侵入式、高解析度且能夠提供三維影像的生醫影像技術[1]。其利用低同調光源做干涉術，能夠對掃描的樣本達到光學切片的效果，且透過收集從樣本散射回來的光，經由影像處理後即能重建出三維的樣本結構。相對於非侵入式的OCT，傳統上，病理學家在檢測人體組織時最常使用的方式為將有疑問的區域切除一小塊，透過染色後再經由顯微鏡觀測其結構，以人體皮膚為例，通常是將該塊切除的檢體進行蘇木精與伊紅染色(Hematoxylin- Eosin staining; H&E staining)[2]，因為其具有對細胞核與細胞質的針對性染色特性，因此皮膚病理學家以H&E 染色切片為病理判斷的黃金標準(Gold standard)。

將生醫影像轉換為切片染色影像的目標是很多人都在嘗試的，原因在於染色切片針對不同化學物質會顯現不同顏色，對於人眼辨識上較為容易，並且病理學家的背景知識也都是建立在染色切片上，因此為了能夠幫助醫生在臨床上的診斷，

染色的影像是必須的；然而，受限於製備染色切片所需的龐大的時間，以及必須破壞病患組織的前提下，在攸關生命的手術時，是否該染色做病理的確認變成一個難題。

而針對影像轉換(Image-to-image translation)上，在這領域中最常被使用的模型為生成對抗網路(Generative adversarial network; GAN)[3]，其包含生成器與判別器兩種神經網路，對於生成器的訓練，其會產生該類別的影像並希望判別器判斷該影像為該類別的真實影像，相反地，在訓練判別器時，會希望判別器鑑定該產生的影像為不屬於真實的假影像，因此建立在這樣互相對抗的原理下，GAN 能產生出相對於其他模型還要更清晰的影像。

目前有些團隊已成功利用 GAN 來達成將生醫影像轉換為染色影像的目的，

如Y. Rivenson 的實驗團隊在 2019 年公開說明了他們能夠將不同螢光染色後的檢

(16)

體影像轉換為不同的染色影像，如將DAPI 與 Cy5 螢光染色後的皮膚影像轉換為 H&E 染色影像，或是將 DAPI 染過的腎臟組織影像轉換為瓊斯染色(Jones Silver staining)影像等[4]。然而這僅解決了在臨床上製備染色切片費時的缺點，針對破壞病患組織的這一點並未改善，並且要達到這樣的成果必須利用上千張的成對影像(Paired data)來做訓練。

在本研究中，成功達到了將活體人類皮膚 OCT 影像轉換為類 H&E 影像的目標，並且是建立在使用非成對影像(Unpaired data)作訓練的前提下，利用 OCT 非侵入式的特性並透過影像轉換的技術，建立了 OCT2HE 模型，針對未來應用於臨床上將有機會同時改善染色影像製備費時與破壞病患組織的缺點。

(17)

第二章 Mirau-based 全域式光學同調斷層掃描與皮膚樣本的結構及製備介紹

本章會介紹光學同調斷層掃描術(Optical coherence tomography; OCT)之基本原理，由2.1 節介紹基本時域式 OCT 並帶到全域式 OCT；在 2.2 節中介紹本論文所使用的影像掃描設備─Mirau-based 全域式 OCT 與訓練神經網路所需的 OCT 訓練集影像其取得方式以及其預處理步驟；在2.3 節中會介紹人體皮膚的組成及其結構，以及本論文所使用之皮膚染色樣本的製備流程，並且介紹訓練神經網路所需的H&E 訓練集影像其取得方式與其預處理步驟。

2.1 光學同調斷層掃描術理論

光學同調斷層掃描術可大致分為頻域式(Frequency domain)以及時域式(Time domain)兩類，本論文所使用的 OCT 影像皆來自於全域式光學同調斷層掃描儀 (Full-field OCT; FF-OCT)。2.1.1 節將從最簡單的時域式光學同調斷層掃描儀 (Time-domain OCT; TD-OCT)開始，以此架構搭配干涉儀原理進行公式推導。在 2.1.2 節中，則會介紹全域式光學同調斷層掃描儀。

2.1.1 時域式光學同調斷層掃描儀

光學同調斷層掃描術為利用低同調光源進行干涉成像的技術[5]，以最簡單的基本麥克森架構為例，將光源打入系統後，在抵達分光鏡(Beam splitter)之前，

有入射光電場𝐸 ，以 Eq. 2.1 表示：

 

^{j kz ωt}^ ^

Ei s k ,ω e ^ (2.1)

在Eq. 2.1 中，s k,ω 為不同波長下對應的電場振幅、k 與𝜔分別為波數與角

 

頻率，而z 為光路中的位置(此處假設 BS 所在位置 z 為 0)、t 為時間。

(18)

圖2.1 麥克森干涉儀式意圖[6]

入射光經過分光鏡後分為兩道強度相同的參考光及樣本光，針對參考端，假設參考端的反射鏡反射率為r_R、分光鏡到參考端反射鏡的距離為z_R，則參考光的電場E_R可表示為Eq. 2.2：

 

2 

2

j k zR z ωt

R R

s k ,ω

E   r e ^^ ^{ } ^^ (2.2)

圖2.2 樣本內的不連續散射面

而針對樣本端，需要考慮樣本內有數個軸向上不連續散射面的情形，如圖2.2 所示，因此可將其看作是不同的介面各自有不同的電場反射率(r_S)、不同距離(z_S)，

最終再將所有電場疊加，樣本端電場E_S可表示為Eq. 2.3:

 

² 

2 1

Sn

N j k z z ωt

S Sn

n

s k ,ω

E r e ^^ ^{ } ^^



 



 ^(2.3)

最後參考光與樣本光會重合於光偵測器上，藉由光偵測器接收訊號，我們即可偵測到光電流，但在到達光偵測器之前會在經過一次分光鏡，因此光偵測器所

(19)

測得的光電流𝐼 為 Eq. 2.4：

2

D 2 R S

I  ρ E E (2.4)

上式中的𝜌為光偵測器的響應率(Responsivity)、〈 〉表示對時間取平均。

利用Eq. 2.4 將 Eq. 2.2 與 Eq. 2.3 代入，則整體光電流為：

   

 

2 2

1

2 2

1

2 2

2

Sn R

j kz ωt jkz N jkz

D R Sn

n

j kz ωt jkz N jkz

R Sn

n

s k,ω

I k ρ e r e r e

s k,ω

e r e r e





   



  

      

  

     

 

 



(2.5)

Eq. 2.5 再經由運算可簡化成 Eq. 2.6：

     

  

^ ^ ^ ^



  

^ ^ ^ ^



2

1 2

2 2 2

1

2 2 2

1

4 4

4

R Sn R Sn

Sn Sm Sn Sm

D R S S

N jk z z jk z z

R Sn n

N jk z z jk z z

Sn Sm n m

I k ρ s k ,ω R R R

+ρ s k,ω R R e e

  



  

 

 

      

   

 

 

   

 

 



(2.6)

其中R_R r_R²、R_Sn r_Sn²、R_Sm  r_Sm²為個別的能量反射率。

在 Eq. 2.6 中第一項為光電流的直流項；第二項為參考光與樣本背向散射光互相干涉項；第三項為樣本與樣本自身不同反射面的自相干涉項。OCT 主要利用第二項來還原樣本三維結構，藉由此項可還原樣本內不同介面的反射率及位置，

相對的第一和第三項則是雜訊來源。由於干涉訊號來源於樣本自身相干涉的比例非常小(R_S、、…₁ R_{S 2} 10 ~ 10^-4 ^-5)，因此忽略第三項，並以尤拉公式簡化 Eq. 2.6 為 Eq. 2.7：

     

     

1 2

1

4 4 2

D R S S

N

R Sn R Sn

n

I k ρ S k R R R

+ρ S k R R cos k z z



      

     

 

   ^(2.7)

上式的^{S k}

 

^ ^{s k ,ω}

 

² ^{可視為光源的頻譜。}

(20)

Eq. 2.7 為干涉訊號在光偵測器中的一般式，為解說低同調光源應用於 OCT 之方法，假設樣本中只存在一個會反射的介面，因此Eq. 2.7 可寫為 Eq. 2.8：

 

₄

  

² ²

  

D R S R S R S

I k  ρS k  R R  R R cos k z z  (2.8)

上式可將其看作一個具有偏壓之餘弦波，此偏壓由R_R R_S所決定，而振幅則取決於 R R_R _S ，週期會隨k 變化，相位由²



zRzS



決定。因為時域式光學同調斷層掃描會隨著時間移動參考端，也就是造成 Eq. 2.8 的z_Rz_S隨時間改變，因此此相位項將轉為時間的函數，考慮實際狀況的系統光源頻譜近似一高斯分布，

標準高斯函數表示：

 

^ ^

2 0

1 Δk

Δk

k k

S k = e

π



 

 

  (2.9)

其中k₀為光源頻譜中心對應之波數，Δk為光源頻寬(Full width at half maximum;

FWHM)。將此式代回 Eq. 2.8 可發現當 k 越接近k₀時，所得之I_D越大，假設𝜌、

RR、R_S皆不因k 改變而變化，則光偵測器上的光電流可視為光源頻譜上連續相異的k 所對應的不同振幅之餘弦波總和，用 Eq. 2.10 表示：

 

₄ ⁰



² ^^z^R ^z^S^²^Δk² ²

  

D R R S R S R S

I z  ρS R R  R R e ^ ^ cos k z z  (2.10)

上式中的S0 0^S k dk

 

；此表達式即對應在軸向上掃描單一反射面時光偵測器所得之干涉訊號，以圖2.3 表示。

(21)

圖2.3 軸向掃描單一反射面之干涉訊號[1]

從Eq. 2.10 中可得知當z_R z_S越小，干涉訊號就會越強，也可視為參考臂與樣本臂的反射光越同調，為量化光的同調度(Degree of coherence)，定義如下：

     

 

2 2

E α E α z dα* γ z Γ z

E α dα E α dα





 

 





 

 

^(2.11)

其中，γ z 為同調函數(Coherence function)、α為虛擬變項。

 

當參考端上下移動進行縱向掃描時，定義樣本端長度𝑧 與參考端長度𝑧 的距離差為z，若兩端反射率相同，則參考光與樣本光可寫成E z 與

 

S E z



S  ，基z



於k 為空間頻率與 z 對應，利用 Wiener-Khinchin theorem[3]：

  

^*



k

   

² k

   

E α E α z dα FT E k z FT S k z



       



^(2.12)

上式中的𝐹𝑇 [ ]是對 k-space 進行傅立葉轉換。

將Eq. 2.9 代入 Eq. 2.12 中，可得同調函數^{γ z ：}

 

k

   

^z²^Δk²

γ z FT S k  z e^ ^(2.13) 同調函數γ z 也是 OCT 系統中的軸向點擴散函數(Axial point spread function;

 

Axial PSF)，如圖 2.4 所示，其半高全寬(FWHM)可視為掃描經過一個介面時，軸向上所偵測到干涉的區段，也就是對單一介面的響應。

圖2.4 同調函數與光程差之關係[7]

而Eq. 2.13 所得知結果即為 Eq. 2.10 中得到的干涉訊號之包絡，藉此定義同調函數γ z 之半高全寬為同調長度(coherence length;

 

l_c)，即當^{γ z}

 

^¹₂^{時，即可推得}

(22)

Eq. 2.14：

2

λ0

2 2 2 2

Δk Δλ

c

ln ln

l   π  (2.14)

本節以麥克森干涉儀推導出干涉訊號如Eq. 2.10 表示，並說明了同調長度的定義及推導公式，由定義可知當光程差小於同調長度時，才能觀測到干涉訊號；

反之，則無法測得。因此，當光源為單頻光，同調長度趨於無限長，無論光程差如何變化均可觀測到干涉訊號；相對的，當光源頻譜越寬，同調長度越短，光程差就必須控制在小於或等於此長度時才能收到干涉訊號。而當OCT 在進行縱向掃描時，僅有兩臂光程差小於等於同調長度的範圍內才可收到干涉訊號，利用此特性來達到光學切片的效果。

2.1.2 全域式時域光學同調斷層掃描術

全域式光學同調斷層掃描術與時域式OCT 相似，同樣需要軸向深度的掃描，

但其與典型時域式最大的差異在於光偵測器的種類，也就是兩者在擷取訊號上的方式不同。FF-OCT 並非使用單一畫素的光電二極體以單點掃描的方式收取干涉訊號，而是利用由許多畫面組成的相機(包含 CMOS 與 CCD)，以一次擷取二維的干涉訊號，大幅加快掃描速度，再搭配移動平台進行縱向掃描，即可獲得三維立體影像資訊。

2.2 Mirau-based 全域式光學同調斷層掃描系統

本節將會於 2.2.1 節中介紹 Mirau-based FF-OCT 的系統架構與特性，並於 2.2.2 中介紹如何將取得之干涉訊號還原為影像；在 2.2.3 節中則會介紹應用於影像分割及影像轉換模型中的OCT 影像取得方式與預處理步驟。

2.2.1 Mirau-based FF-OCT 系統架構與特性

Mirau-based 全域式干涉儀指的是使用一種稱為 Mirau-device 的方式將干涉儀中的參考端、分光鏡以及樣本端三者整合於同軸上，並且如時域式OCT 般產生干涉訊號，最後由相機接收二維干涉訊號，而當環境有擾動時，因為 Mirau-

(23)

device 的關係，參考端、分光鏡以及樣本端三者會一起移動，因此可以有效的降低擾動造成的影響。圖2.5 為 Mirau-based 全域式 OCT 整體架構圖，可將其分為光源系統、成像系統與照明系統，接下來將依序介紹此三系統之架構。

圖2.5 Mirau-based 全域式 OCT 整體系統架構[6]。LD 445：波長 445 nm 之雷射二極體、AL：非球面透鏡、OBL1：40 倍物鏡、OBL2：20 倍物鏡、OBL3：20 倍水浸式顯微物鏡(f=9 mm)、DM：雙色分光鏡、MMF：多模光纖、L1：消色差聚光透鏡(f=45.06 mm)、L2：投影透鏡(f=150 mm)、PBS：偏振分束鏡、

AQWP：消色差四分之一波長片、PZT：壓電制動器、M：銀鏡、CCD：相機首先針對光源系統，其使用之光源為摻鈰釔鋁石榴石(Ce : YAG )之單纖衣³⁺

晶體光纖，是利用雷射加熱基座生長法(laser-heated pedestal growth; LHPG)，屬於一種浮動熔區法[8]，而選用單纖衣晶體光纖的主要原因在於其擁有較高的自發性輻射(Spontaneous emission; SE)功率，這正符合本實驗之全域式 OCT 架構，光源需要有較高的功率，同時也可接受較多的橫向模態，其對應的吸收頻譜如圖2.6 所示。

(24)

圖2.6 Ce : YAG 晶體光纖的吸收頻譜[6] ³⁺

圖2.7 Ce : YAG 晶體光纖的輸出光頻譜圖[6] ³⁺

(25)

圖2.8 445 nm 雷射二極體 L-I 曲線與Ce : YAG 晶體光纖輸出功率對照[1] ³⁺

由文獻與圖2.7 可得知摻Ce : YAG 晶體光纖的吸收峰約在 458 nm，因此使³⁺

用常見的445 nm 的藍光雷射二極體作為激發光源，Ce : YAG 晶體光纖經過激³⁺

發後會產生SE，其輸出光頻譜中心波長為 560 nm，半高全寬約為 99 nm。而因為Ce : YAG 的寬頻光會由晶體光纖的兩個端面輸出，因此本實驗室在製備³⁺

Ce : YAG 晶體光纖時會將一端面鍍銀，藉此達到來回兩次激發光的效果，以提3+

升Ce : YAG 晶體光纖出光功率，如圖 2.8 所示，當電流為 1000 mA 時雷射光功³⁺

率大約為930 mW，而在此雷射激發下，可產生約 26 mW 的 SE 光。

(26)

圖2.9 Mirau-based 全域式 OCT 光源系統[6]

圖 2.9 為光源系統架構，首先利用 445 nm 雷射二極體經過非球面透鏡 AL(Aspheric lens)做平行準直化，接著經分光鏡 DM1 (Dichroic mirror, LM01-466- 25, Semrock)反射進入物鏡 OBL2 (40x objective lens, PLN 40X, Olympus)，445 nm 雷射光會聚焦於Ce : YAG 晶體光纖上並激發出 SE 寬頻光源，最後返回的光在³⁺

經由DM1濾掉殘存的445 nm 雷射光，即可得到如圖 2.8 的寬頻光源。

圖2.10 Mirau-based FFOCT 成像系統圖[6]

針對成像系統的部分，如圖2.10 所示，光打到樣本後，背向散射光先經由水浸式顯微物鏡OBL3 (f=45.06 mm, Umplanfl 20X/0.5, Olympus)收光，並且因為四分之一波片的關係，使其偏振轉為S 波並可穿透 PBS，再利用 45 度反射鏡 M、

投影透鏡(f=150 mm, AC254-150-A-ML, Thorlabs) 聚焦到相機 (Charge-coupled device, B0620M, IMPERX)上。

(27)

圖2.11 Mirau-based FFOCT 照明系統圖[6]

而針對照明系統的部分，如圖 2.11 所示，從光源系統中得到的寬頻光源 (Broadband light source)，會先經由 OBL2 耦入多模光纖中，接著出來的SE 寬頻光再利用一消色差透鏡L1來進行平行準直化，再經過PBS 後會利用四分之一波片(AQWP)使光轉為圓偏振，其原因在於圓偏振光能在組織樣本中更均勻及保持更高的光強度，詳細的光偏振變化如圖2.12 所示。

圖2.12 光偏振示意圖

自行製備的Mirau-device 如圖 2.13 所示，是由兩片鍍膜的 fused silica 玻璃片(分別是有 5%反射率的 GP1 上表面以及有 30%反射率的 GP2 上表面)、兩片環形墊片與20 倍物鏡(f=45.06 mm, Umplanfl 20X/0.5, Olympus)所組成，兩片玻璃

(28)

片間會以矽油填充。整體設計上是考量所量測之皮膚與生物樣本的折射率，為避免OCT 在掃描時樣本與玻片介面有過強的反射光，因此在玻片材料與填充物選擇上均是以較符合皮膚折射率1.4 去選擇 fused silica(折射率為 1.46[8])以及矽油 (折射率為 1.4~1.42[9])。

此組件可視為一小型干涉系統，為了使參考端與樣本端的光程相等，實驗時量測平台上會再放置另一片無鍍膜玻璃片 GP3，其厚度與 GP2 相等；並且為處理參考光在打到GP2 上表面後返回的高強度直流訊號(即 Eq. 2.6 的第一項)，會在GP1 的下表面點一黑點以用來吸收雜散光，提升系統訊噪比。

因此整體照明過程如下，光經過OBL3後會先經過GP1 並打到 GP2 上表面，

接著便會分成兩部分，第一是朝向樣本端方向的光，從 GP2 上表面透射後打到 GP3 上表面(樣本表面)，接著再返回 GP2 上表面，透射後被物鏡收光；第二是朝向 GP1 方向的光，從 GP2 上表面反射回來的光會打至 GP1 上表面，再反射至 GP2 上表面，接著再返回物鏡收光，最終兩條光路將在 CCD 相機上產生干涉。

再進行掃描時，GP2 與 GP3 的距離會利用壓電制動器逐漸縮短，使得樣本端的干涉面不斷往樣本內部位移，藉此完成三維掃描。

圖2.13 Mirau-device 系統圖[5]

(29)

2.2.2 干涉訊號處理與系統之橫向與縱向解析度 OCT 干涉訊號

FF-OCT 是利用相機上的各相素所收到的干涉訊號來做影像的還原，而該干涉訊號可以看作是多個反射面的點擴散函數(PSF)在軸向上的疊加，如圖 2.14。

圖2.14 干涉訊號載波與包絡示意圖[10]

載波(Carrier)為 CCD 相機實際接受到的原始訊號，即是疊加後的 PSF，當 PSF 軸相長度極短時，其包絡(Envelope)會接近 δ 函數，而其峰值即表示在此深度位置有折射率差，亦即有介面存在。OCT 的目的為還原樣本中各層反射面的反射率，因此利用PSF 峰值和介面反射率大小成正比的特性，可由峰值推算反射率，為此我們需要的是能夠顯示一個介面對應一個峰值大小的資訊，也就是包絡訊號，而非載波相位訊號。

四點演算法

為了將載波訊號轉為包絡，可利用希爾伯特轉換(Hilbert transform)將原始訊號轉換成解析訊號，在藉由將每一個像素的解析訊號取絕對值，即為包絡訊號。

然而，若使用此方法則必須計算所有像素點的解析解，會耗費大量的時間作計算，

因此為使OCT 擁有即時顯示影像的特點，本論文系統採用四點運算法來求得包絡訊號。

(30)

圖2.15 四點運算示意圖[6]

四點運算法是用來計算單一週期正弦波振福的方法，假設一正弦波如圖2.15 所示，在其分別間距1/4 週期的位置取一點，可得到I_N'、I_{N +1'}、I_{N +2'}、I_{N +3'}四點。這四點可由Eq. 2.15 到 Eq. 2.18 表示。

0 0

I =I sinN'  aI (2.15)

1 0 0

IN+ '=I cos bI (2.16)

2 0 0

IN+ '= I sin   aI (2.17)

3 0 0

IN+ '= I cos   bI (2.18) 接著將此四點之數值依照下示四點運算的式子，即可得到此正弦波的振福，如Eq.

2.19。

 

           

 

1

4 2 2

i>j=1

2 2 2 2 2 2

0

2 2

0 0

2 4

8 8

8

i j

I I

b a b b b a a a a b b a I a b

I I

 

  

 

               



  



(2.19)

因此利用將軸向PSF 依照其載波週期切割，並經過四點運算提取每周期的振幅，

在把這些振幅以點相連即可描繪出干涉訊號的包絡，如圖2.14。為使四點運算結果正確，必須滿足 PZT 在一個載波週期內所移動的距離等於實際上樣本臂在一個載波週期內的光程變化，因為在樣本端是光是來回行走一趟，因此必須除以2，

以Eq. 2.20 表示：

(31)

0

2 v N

F n

   (2.20)

其中v 為 PZT 移動速度、N 為一個載波內的影像總張數、F 為相機的畫面更新率 (Frame rate)、λ₀為光源中心波長、n 為樣本折射率。實際使用上會將一個載波內的影像張數N 再平均分割，並且各自平均後共得到四張平均訊號，因此 N 必須為4 的倍數才行。

將Eq. 2.20 移項後可得 PZT 速度為：

0

2 v F

n N

  (2.21)

由上式可知，PZT 掃描速度與週期內的影像張數成反比，代表當影像張數增加時，

平均的張數也變多了，可以得到較佳訊噪比的影像，但是PZT 掃描速度會下降，

也將導致影像品質較容易受到量測樣本或外界震動的影響；相對地，減少影像張數可以加快 PZT 的掃描速度，減少因外界震動而影響影像品質，但平均張數變少，因此影像訊噪比也會較差。因此針對待測物的不同，需要選擇適當的掃描速度，來獲得最佳的影像品質。

縱向解析度(Axial/ longitudinal resolution)推導及分析

在光學系統中的空間解析度定義為可以分辨空間中兩點的最短距離，而在繞射極限的限制下，非同調光在經過圓形孔徑後，光點本身可視為一點擴散函數 (Point spread function; PSF)，並定義從 PSF 中心到第一個零點所形成的圓環為艾瑞環(Airy disk)，其半徑為：

1 22 f 1 22

r . . N

D

 

  (2.22)

其中D 為孔徑直徑、f 為透鏡焦距、N 為 f-number、λ 為光源波長。

瑞利準則(Rayleigh criterion)定義為當第一個艾瑞盤的中心位置與第二個艾瑞盤的第一個零點重疊時，則兩光點為可解析狀態的極限值，當兩者再度靠近的話，其將變成不可解析狀態，如圖2.16 所示。

(32)

圖2.16 兩點 PSF 重疊情形示意圖[11]

光學系統在縱向上兩個反射面可被分辨的最短距離即為縱向解析度，在 2.1.1 節中有提到同調函數 γ(z)為 OCT 系統的軸向 PSF，並且當符合瑞利準則時，

前後兩個PSF 的半高全寬的點會重合在一起，因此我們定義 OCT 系統縱向解析度為該縱向PSF 之半高全寬(光源同調長度)，其可寫作 Eq. 2.23。

2 0 coherence

2ln2 λ

Δz =

π Δλ (2.23)

其中 λ0為光源中心波長、Δλ 為光源頻寬(半高全寬)，從上式中可得知頻寬較寬的光源有助於提升縱向解析度。

然而實際的FF-OCT 系統有加裝物鏡，因此整體成相系統的縱向解析度還會受到物鏡的數值孔徑(NA)所影響[12]，如 Eq. 2.24 所示。

objective

Δz = λ

2n(1- cosα) (2.24)

因此整體而言，FF-OCT 的縱向解析度需同時考慮光源的同調長度以及物鏡的NA，因此整合 Eq. 2.23 與 Eq. 2.24 可得 FF-OCT 縱向解析度之通式：

-1 -1

system 2

objective coherence

1 1 2n(1- cosα) nπ Δλ

Δz = + = + ( )

Δz Δz λ 2ln2 λ

   

   

 

  (2.25)

在實驗上，縱向解析度的量測方法為直接量測圖2.13 的 GP3 上表面和空氣間的反射面(不放待測樣本)，可得到如下圖 2.17 的干涉訊號，其半高全寬即為縱向解析度，值約0.9 μm。

(33)

圖2.17 縱向解析度之量測[1]

橫向解析度(Lateral/ transverse resolution)推導及分析

根據Eq. 2.22，以角分率率來表示，並且考慮物體成像於焦平面上，且 θ 極小，則可寫成下式Eq. 2.26：

λf λ

Δr = f = 1.22 = 0.61

D NA

θ (2.26)

上式中，Δr 即表示光學橫向解析度、NA 為物鏡的數值孔徑(Numerical aperture)、

λ 為光源頻譜的中心波長。

然而上述橫向解析度僅考慮顯為透鏡所造成的繞射極限，因此也稱作光學橫向解析度，但整體OCT 成像系統中還包含收取干涉訊號的 CCD 相機，因此考慮 CCD 相機之解析度為相機單一相素大小除以整體影像放大倍率，可將式子改寫為Eq. 2.27[12]：

2 2

system optical sensor

optical

sensor

R = R + R

R = 0.61 λ NA Pixel size

R =

Magnification

 (2.27)

上式的R_system、R_optical、R_sensor分別為系統、光學、相機取樣之解析度。

在實驗上，量測橫向解析度的方式是藉由量測將解析度測試片於 GP3 的位

(34)

置上，並定義所得影像之訊號大小的總體 90%至總體 10%的距離差為橫向解析度，如下圖 2.18 所示，並可得知 Mirau 全域式 OCT 系統之橫向解析度值為 0.8 μm。

圖2.18 橫向解析度量測結果 (a)量測影像、(b)橫向強度分布[1]

2.2.3 用於影像轉換與影像分割之 OCT 影像取得與其預處理

本論文中用於訓練影像轉換與影像分割模型的 OCT 訓練集影像(OCT datasets)均由本實驗室所開發的 Mirau-based FF-OCT 掃描活體人類皮膚而得，如圖2.5 所示，利用此架構作掃描，掃描時受測者會將其前臂皮膚置於如圖 2.13 裡的待測物位置。此FF-OCT 系統掃描所得的影像大小為 648×488×掃描深度 pixel，

而此系統的總放大倍率為 16.7 倍且光偵測器的每個像素實際大小為 7.4 μm，因此兩者相除可得實際橫向取樣解析度為0.45 μm/pixel，而縱向取樣解析度則透過 Eq. 2.28 計算可得為 0.2 μm/pixel，也因此可得每個三維影像的實際長度為 291.6 μm×219.6 μm×(掃描深度 pixel×0.2) μm，而為了使一張影像即能涵蓋所有皮膚結構資訊，我們使用三維影像的縱切面(cross section)作為訓練集影像，如圖 2.20 所示。

axial sampling resolution = λ

2n (2.28)

皮膚影像的提供者共有兩位，總共提供了8 個三維斷層掃描影像，每張縱切面影像大小為 648×掃描深度 pixel，而掃描深度通常為 500 pixel 以上，約等於

(35)

100 μm，原因在於根據經驗，FF-OCT 所使用的Ce : YAG 光源其對於人體前臂³⁺

皮膚穿透深度約等於100 μm，當掃描至超過 100 μm 時，從樣本端回傳的光訊號已經非常微弱，也沒有辦法提供足夠的樣本資訊，故在實際掃描人體前臂皮膚時大約都只掃描至100 μm 即可。

而在進入神經網路做訓練之前必須先做預處理，本論文中針對OCT 影像的預處理可分為三步驟。第一，為了使其在橫向與縱向上的取樣解析度一致以達到還原真實皮膚結構比例，在固定的實際長度291.6 μm×(掃描深度(pixel)×0.2) μm 下，重新取樣每個像素，使其對應的實際長度改為0.5 μm，此作法的原因有以下幾點：一，根據Nyquist theorem，取樣頻率必須大於原始訊號頻率的 2 倍，才能防止訊號失真，因此針對FFOCT 的系統解析度約為 1 μm，其取樣解析度必須要小於0.5 μm/pixel 才行；二，在重新取樣影像時須符合，其取樣解析度不能太小，

這會導致影像的像素大小變得太大，使得影像的預處理或是儲存動作都會花費更多時間；並且不能使其取樣解析度過大，這將使得大部分訊號收在一個像素內，

導致某些特徵若是小於該像素大小的話將會無法辨識。因為以上原因選擇0.5 μm 作為重新取樣的數值。但是為了避免在重取樣的過程中原始影像本身的雜訊也一起與真實訊號做內插，因此會先套用一個直徑1 μm 的 3D 平均濾波器(3D mean filter)，以減少原始影像中的雜訊，接著在重新取樣每個像素為 0.5 μm 即可。為了將原始的raw 檔轉換成通用的檔案，以及將檔案資訊寫入檔案裡，選擇將原始 32-bit 的 raw 檔轉檔為 32-bit 的 nrrd 檔，並且在轉換過程中直接寫入該三維影像的(長、寬、深)為(0.5 μm/pixel、0.5 μm/pixel、0.5 μm/pixel)。

實際操作上為使用ImageJ 軟體，先針對 raw 影像使用 Filters 裡的 Mean 3D filter 針對(長、寬、深)各別輸入以(_2×0.45^1.0 = 1.11、1.11、_2×0.2^1.0 = 2.5)為半徑的 3D 平

均，然後在使用Scale 將(長、寬、高)個別乘上(^0.45_0.5 = 0.9、0.9、^0.2_0.5= 0.44)完成重取樣的動作，最後針對重取樣後的影像調整其 Property 的(長、寬、深)為(0.5 μm/pixel、0.5 μm/pixel、0.5 μm/pixel)，並直接將其另存為 32-bit 的 nrrd 檔即可。

(36)

若將這些步驟寫成單一程式則如圖2.19 所示。

圖2.19 OCT 第一步預處理與轉為 nrrd 檔的 ImageJ macro

圖2.20 重新取樣後的 1 μm 厚的 OCT 影像(583×#)

圖2.21 該張 OCT 影像的不同灰度值所對應的像素數量

第二，根據人體皮膚前臂的OCT 影像特性，在經過重新取樣後的影像如圖

(37)

2.20 所示，藉由圖 2.21 的分析可知目前該張影像的像素所擁有的最大灰度值為 14.34、最小值為 1.61，但是由圖 2.21 可看出大部分的像素所對應的灰度值都介於2 到 4 之間，為了使訓練過程不會受極值的影響，因此選定某特定值使像素總量的96%其灰度值都低於這特定值，並以此特定值作為該張影像的灰度值上界，

超過的灰度值全部改為此上界的灰度值；相對地，也取一特定值使該影像的像素總量的2%其灰度值都低於這特定值，以此特定值作為該張影像的灰度值下界，

並且低於此下界的灰度值全部改為此特定值。其流程如圖2.22 所示。

圖2.22 OCT 影像的第二步預處理流程圖

以圖2.20 為例的話，當灰度值為 4.41 時，該張影像的 96%像素數量其灰度值都低於4.41，而超過的那 4%其灰度值全部改為 4.41；當灰度值為 2.11 時，該張影像的2%像素數量其灰度值都低於 2.11，因此將低於此下界的灰度值全部改為2.11。而經過重新定義上下界後的 OCT 影像，也相對於是重新改變其影像對比度，因此OCT 影像也變得能以肉眼較清晰的觀察，如圖 2.23 所示。

圖2.23 重新定義上下界後的 1 μm 厚的 OCT 影像(583×#)

第三，為了使訓練集影像都在同一個基準下，也為了縮小資料間的離散程度，

(38)

會先將所有訓練集影像標準化(Normalize)最大值為 1、最小值為 0，且為了使每張訓練集影像的大小相等，本論文中採取剪下 576×200 pixel 的大小作為輸入神經網路的影像大小，因此從8 個三維影像總共剪取了 3512 張縱切面影像。

2.3 人類皮膚構造與蘇木精-伊紅染色(H&E)石蠟切片

本節將會於2.3.1 中介紹人類的皮膚構造及功能，並於 2.3.2 節中介紹常用的組織病理切片製備流程與其染色方法─蘇木精-伊紅染色的原理；於 2.3.3 節中則會介紹如何取得用於影像轉換與影像分割模型的H&E 影像及預處理步驟。

2.3.1 皮膚功能與其結構

皮膚為人體最大的器官，約佔全身重量的16%，表面積高達 1.8 平方公尺，

主要功能可分為保護作用、體溫調節、知覺反應、經皮吸收、合成作用、分泌作用、排泄作用[13]。

皮膚為動態器官，外層的細胞會持續凋零，並由內層的細胞持續生長在將其取代，從皮膚細胞誕生到凋亡週期約為28 天。皮膚結構由外而內可分為三層：

表皮層(Epidermis)、真皮層(Dermis)與皮下締結組織(Hypodermis/ Subcutaneous tissue)，以及其他附屬結構如毛髮、指甲、腺體等，其結構可參考圖 2.24。

圖2.24 皮膚分層結構圖[14]

針對表皮層與真皮層的部分可再做細分，下面將依序介紹。

(39)

表皮層

表皮層是皮膚的最外層，厚度約為0.03~0.3 mm 不等，隨身體部位而有所不同。其中除了有表皮細胞外，還有另外三種樹突狀細胞，分別為負責產生黑色素來吸收紫外線的黑色素細胞(Melanocyte)、負責接收外界刺激的感官神經末梢細胞─莫克氏細胞(Merkel’s cell)以及負責偵測外來病原體並具吞噬功能的免疫細胞─蘭氏細胞(Langerhans cells)，前二者分布在基底層中，後者則主要分布於棘狀層中[15]。

圖2.25 表皮層細微結構[16]

如圖 2.25 所示，表皮層可再細分為角質層(Stratum corneum; SC)、透明層 (Stratum lucidum)、顆粒層(Stratum granulosum)、棘狀層(Stratum spinosum)、基底層(Stratum basale)。

角質層

其為表皮最外層，由已死亡且不具細胞核與胞器的完全角化的表皮細胞(又稱角質細胞)一層層緊密堆疊而成，每個細胞呈現扁平狀。由於其細胞內含有纖維蛋白─角質蛋白，因此可以抵抗一定的機械作用，對於摩擦或外界壓迫具有一

(40)

定的防護作用；除此之外，角質層中含有天然保濕因子，使得角質層可以維持緊實並且提供皮膚柔軟性，以及減少水分流失。也由於角質層中細胞彼此緊密貼合，

利用細胞間的脂質膜，形成一天然保護屏障，與防止水分流失。

透明層

由2~3 層扁平而透明的細胞緊密排列而成，能防止水分、電解質與化學物質的流通，只會出現於手掌或腳掌等角質層特別厚的部位，在其他部位不會有這一層。

顆粒層

由3~5 層透明角質顆粒組成，此層細胞的特點是細胞內有較大的嗜鹼性的透明角質顆粒(Keratohyalin granule)和層板顆粒(Lamellar granule)。透明角質顆粒最後可轉變為角質細胞外膜的主要成份，而層板顆粒則會等到角質細胞移行至顆粒層與角質層交界處時，才會將其顆粒內物質釋放至細胞間隙形成細胞間脂質，可有效防止皮膚水份的流失，並且利用透明角質顆粒帶有陰電子的特性，可與外來酸性物質中和，防止極性物質進入內層。

棘狀層

由4~8 層細胞所組成，是表皮層中最厚的一層，因細胞在顯微鏡下呈現棘狀突起，故稱之棘狀層。此層細胞彼此間以胞橋小體(Desmosomes)相連，形成細胞間胞橋，彼此緊密連接，因此具備抵抗外界摩擦力之功能。此外，此層中含有具免疫作用的蘭氏細胞(Langerhans cells)，其產生自骨髓，為樹突狀細胞，雖然在表皮各層均可發現，但主要集中於棘狀層中。

基底層

由單層圓柱型或是立方形的基底角質幹細胞(Stem cell)整齊排列而成。此層細胞會不斷進行細胞分裂、增生，並逐漸往上推移、角化、變形，形成表皮層中的其他各層，最終形成皮垢而脫落。此過程稱為皮膚的更替過程，週期為28 天，

其中自基底層細胞分裂後到顆粒層最上層為14 日，形成角質層到最後脫落也為

(41)

14 日，故表皮的每一層也代表不同階段的角質細胞。此層細胞是藉由真皮層中的微血管提供所需的營養，如果這層細胞受到破壞，那麼皮膚也較難恢復平滑。

另外，根據前述，有兩種樹突狀細胞位居此層，分別為黑色素細胞(Melanocyte) 與莫克氏細胞(Merkel's cell)，前者約占整個基底細胞的 5~10％，能產生黑色素，

並傳遞到角質細胞中，以抵抗紫外線；後者則是作為觸覺受器細胞，在手指指間與嘴唇的分布最為密集。

真皮層

其厚度約為0.3~3 mm 不等，主要由纖維結締組織、基質和細胞所組成，內含膠原纖維、彈性纖維，可以幫助皮膚保存水分，有助於維持皮膚彈性。由外而內可分為乳狀層(Papillary layer)與網狀層(Reticular layer)，如圖 2.23 所示。

乳狀層

由較鬆散的結締組織(Connective tissue)所組成，為於表皮下方，呈現波浪乳頭狀。此層充斥著微血管與末梢神經，以用來提供基底層養分，並且負責運送氧氣與廢物，以及賦予感知觸覺。此層同時也是真皮層中含水量最多的區域，其與角質層的含水比例是決定皮膚彈性的關鍵。

網狀層

由膠原纖維和彈性纖維組成，形成堅韌而具彈性的網狀結構，為真皮層中最厚的一層。許多皮膚的附屬器官如毛囊、皮脂腺、汗腺等，都分布於此層。隨著年紀增長，或是過度曝曬陽光，使此層受傷萎縮的話，將導致皮膚鬆弛甚至產生皺紋。

2.3.2 組織病理切片的製備流程

目前在臨床上，針對皮膚狀況的診斷，皮膚病理學家通常會將之切除一小塊，

並作成切片搭配染色來作判斷。切片方式主要可分為兩種：冷凍切片和石蠟切片，

在本論文中所使用的

(42)

石蠟切片

石蠟切片為常規製片中最為廣泛應用的方法，其不僅用於觀察正常細胞組織的型態結構，也用於病理學、法醫學等研究、觀察及判斷細胞組織型態變化的主要方法。其製備流程包含取材、固定、洗滌和脫水、透明、浸蠟、包埋、切片、

粘片與烤片、脫蠟與醇化、染色、脫水與透明、封片等步驟[17]，其製作過程相當複雜且耗時，通常需要數日才能完成，但標本可以長期保存使用，為永久性顯微玻片標本。下面將介紹石蠟切片各步驟的詳細流程。

取材

應根據要求選取材料來源及部位，且材料必須新鮮，若擱置時間過久則易產生蛋白質分解變性，導致細胞自溶或細菌滋生等情況，將無法反映真實組織型態結構。

固定

用適當的化學溶液─固定液浸漬被切成小塊的新鮮材料，已達迅速凝固或沉澱細胞和組織中的物質成分之目的，終止細胞一切代謝過程，防止細胞自溶或組織變化，並且固定能使組織硬化，有利於切片的進行。固定液的種類繁多，針對不同的材料，可使用不同的固定液，以控制不同的組織硬化收縮程度，通常使用的是10%的中性福馬林。根據材料塊的大小、密度，以及不同固定液的穿透速度，

固定時間通常為數小時至24 小時。

洗滌和脫水

固定完成的組織材料需要除去留在組織內多餘的固定液以及其結晶沉澱，否則會影響其後續的染色作業。多數用流水沖洗；若組織是用酒精或酒精混合液固定的話，則不必洗滌，可直接進行脫水。

經由洗滌後的組織內會充滿水分，若不除去水分則無法進行之後的透明、浸蠟與包埋，原因在於透明劑多數為苯類，苯類和石蠟均不能與水相溶，因此水分不脫去的話將無法使苯類浸入。酒精為常用之脫水劑，其能與水相融又能與透明

(43)

劑相溶，通常為避免組織材料的快速收縮，會漸進式的由低濃度到高濃度酒精依序浸泡。順序為浸泡30%或 50%酒精開始，接著 70%、85%、95%酒精，在到純酒精，每次浸泡時間為一到數小時。正丁醇、第三丁醇、丙酮與1,4-二氧六環等均可作為脫水劑使用。

透明化

由於純酒精與石蠟不互溶，需要透過能與酒精和石蠟都互溶的媒浸液來替換出組織內的酒精，通常材料塊在媒浸液浸泡時會呈現透明狀態，因此稱此類液體為透明劑，並稱此過程為透明話。常用的透明劑有二甲苯、苯、氯仿、正丁醇等，

其皆為石蠟的溶劑。

通常組織材料塊會先經由純酒精與透明劑各半的溶液浸漬1~2 小時，接著再使用純透明劑浸漬。浸漬時間依據組織材料塊大小而有不同，若透明時間過短，

則透明不徹底，石蠟難滲入組織中；相反地，若透明過久，則組織硬化變脆，將不易切出完整切片。

浸蠟與包埋

用石蠟取代透明劑，使石蠟滲入組織內而達到支持作用。通常利用將材料塊浸漬在熔化的石蠟和等量的二甲苯混合溶液內1~2 小時，在移入至純熔化的石蠟液中浸漬3 小時，此過程稱為浸蠟，並全程操作在高於石蠟熔點 3 ℃的溫箱中，

以加速石蠟滲入組織內。

接著包埋材料塊，將石蠟塊熔化成液體過濾後放在容器內，並將浸蠟完成的材料塊放置其中，待蠟液表面凝固後隨即放入冷水中冷卻，即完成包埋並得到含有組織的完整蠟塊了。

切片

將包埋好的蠟塊修整成四方形並用蠟液黏附於台木上，再放置於輪轉式切片機的蠟塊鉗內，或是不使用額外台木直接放置於切片機內的固定處。切片刀的銳利度與蠟塊硬度都會影響切片品質，若銳利度不夠，則應再切片前先進行磨刀，

(44)

並在切片前會先將刀口置於放大鏡下，選擇平整無損傷的刀口位置來進行切片動作；若要調整蠟塊硬度可藉由浸泡冷、熱水來改變蠟塊硬度。切片時，切片刀會固定不動，並由輪轉台帶著蠟塊做旋轉，依照所設定的切片厚度進行上下移動以達到切片目的，通常要求切片刀平面與組織切面間要呈15°左右的夾角，且包埋塊的上下兩面需與刀口平行。通常切片厚度為 4~7 μm，切片過程會將蠟塊切成連續的蠟帶，最後再以約45 ℃的溫水將蠟帶展開。

粘片與烤片

主要以粘片劑將展平的蠟帶黏附於載波片上，以免在之後的脫蠟、醇化與染色時有蠟片脫離玻片的問題出現，常見的粘片劑為甘油蛋白溶液或5%明膠水溶液。首先將上一步驟的45 ℃溫水裡的蠟片撈起，並置於塗有粘片劑的載波片上並攤平，接著可直接在室溫下放置一天使其完全乾燥，亦或是將載波片置於 35

℃的溫箱中烘乾。

脫蠟與醇化

此步驟的目的在於通常組織切片為透明無色，需要進行染色才能便於觀察細微結構，然而大部分染色劑為水溶液，因此利用脫蠟與醇化的方式使其能在染色步驟時順利與染劑互溶。將切片浸漬純二甲苯溶液約10 分鐘，使石蠟完全溶解完成脫蠟，接著將切片依序放入75%、50%、25%的二甲苯混乙醇的溶液內，每次浸漬10 分鐘即可，並在依序浸漬 100%、95%、90%、80%、70%、60%、50%

的乙醇溶液以完成醇化動作，每次浸漬也是10 分鐘。

染色

染色目的為使組織細胞內的不同構造呈現不同顏色以便於觀察。染色劑的種類繁多，應根據觀察需求與所觀察的組織挑選不同的染色劑及染色方法，在此介紹本論文所使用的染色法─蘇木精(Hematoxylin)和伊紅(Eosin)染色，簡稱 H&E 染色[2]。H&E 染色是組織學標本及病理切片標本的常規染色法，經由 H&E 染色後的組織，其細胞核會被蘇木精染呈紫藍色，而細胞質與非細胞成分的結構會被伊

從生成對抗網路轉換活體皮膚斷層影像為類H&E染色影像

Graduate Institute of Photonics and Optoelectronics College of Electrical Engineering and Computer Science

National Taiwan University Master Thesis

In Vivo Human Skin

致謝

摘要

Abstract

目錄

圖目錄

表目錄

第一章 緒論

第二章 Mirau-based 全域式光學同調斷層掃描 與皮膚樣本的結構及製備介紹

2.1.1 時域式光學同調斷層掃描儀

 

 

 

 



   

 

     

  



  







     

     

 

 

 

  

  





 

 



  

 

     

 

 

 



 

 

 





  



   

   



 

 

   

 

 

 

2.1.2 全域式時域光學同調斷層掃描術

2.2.1 Mirau-based FF-OCT 系統架構與特性

2.2.2 干涉訊號處理與系統之橫向與縱向解析度 OCT 干涉訊號

四點演算法

 

           

 

縱向解析度(Axial/ longitudinal resolution)推導及分析

橫向解析度(Lateral/ transverse resolution)推導及分析

2.2.3 用於影像轉換與影像分割之 OCT 影像取得與其預處理

2.3.1 皮膚功能與其結構

表皮層

真皮層

2.3.2 組織病理切片的製備流程

石蠟切片

第一章緒論

第二章 Mirau-based 全域式光學同調斷層掃描與皮膚樣本的結構及製備介紹