視覺式耳穴診斷輔助系統

全文

(1)國立臺灣師範大學資訊工程學系碩士論文. 指導教授：方瓊瑤博士. 視覺式耳穴診斷輔助系統 A Vision-Based Auricular Diagnosis Assistance System. 研究生：后玲撰. 中華民國. 一百零九年七月.

(2) 誌謝首先要感謝我的指導教授方瓊瑤教授對我的指導，在我就讀研究所的期間，孜孜不倦的教誨，並且在研究上時常啟發我的思維，讓我能順利完成研究，使我的論文更加完整。同時老師對於報告上的訓練，讓我學習到如何更好的呈現報告，並且讓我在口頭報告上有更多的成長。對於文筆上的訓練，也因為老師不厭其煩的教導和批改，讓我的文筆提升許多。同時要感謝陳世旺教授在我的研究過程中給予的建議、提醒和鼓勵，讓我在看不到方向時有信心繼續研究下去。接著要感謝我的口試委員黃仲誼博士和羅安鈞博士抽空審查我的論文並在口試時給予許多珍貴的建議和寶貴的經驗，讓我了解到我的研究中的不足及需要改進的部分。還要感謝耳醫學黃碧琴老師、廣生悲院的義工們和提供耳朵讓我拍攝的參與者們，在我研究生涯中給予無私的幫助，增加我在耳醫學上的知識，使得我的研究能更豐富、更精彩。另外也要感謝建凱學長、孟霖學長、家安學姊、銘仁學長、皓中學長和靖允學長，在我碩一剛進入實驗時給予我的幫助及建議。同時要感謝實驗室同屆夥伴們佑如、耘志、日棠和建瑋，在各自忙碌研究及論文的同時，時常協助我找到程式碼上的問題，在我無法上台報告時給予我支援。也在我研究上出現問題時，協助我解決困難。另外還要感謝雅雯學妹、妤涓學妹、旭政學弟、秉琛學弟、永權學弟和柏恩學弟，在研究的最後階段包容我的煩躁，陪我舒壓及放鬆，讓我堅持完成我的研究。並且協助我校對論文和簡報中的排版、錯字及標點符號。除此之外還要感謝我的朋友們，陪我一起吃飯、聊天和玩樂，並且給予我鼓勵，讓我能在想放棄的時候有繼續堅持下去的動力。最後我要感謝我的父母及家人們時常給予我鼓勵、關心以及支持，讓我能無後顧之憂的完成我的學業。也在我心情低落、沮喪的時候想方設法的讓我恢復精神。為了讓我減輕壓力，還時常帶我去購物放鬆。謹以此論文獻給每一位給予我幫助及鼓勵的人。后玲謹致國立臺灣師範大學資訊工程研究所中華民國 109 年 7 月 I.

(3) 摘要由於現代人工作繁忙，不太注意定期進行全身健檢的重要性。而有些疾病的初期病徵並不明顯，等到病徵變得明顯時，常常為時已晚。因此，若能開發醫學相關的診斷輔助系統讓一般人隨時隨地都能做身體健康的初步檢測，即可減少因疾病發現得太晚的遺憾。同時，醫學相關的診斷輔助系統可提供醫師病人進行複檢的建議，減少醫療資源的浪費。所以本研究擬開發一套醫學相關的診斷輔助系統，即視覺式耳穴診斷輔助系統，以期達到上述的目的。視覺式耳穴診斷輔助系統使用耳朵影像進行疾病辨識。本系統可分為二個部分，第一部分為視診陽性反應區域偵測，第二部分為相關疾病辨識。當耳朵影像輸入至視診陽性反應區域偵測系統後，會先經過語義分割神經網路偵測出耳朵影像中視診陽性反應區域的位置。本研究所使用的語義分割神經網路為 U-Net 架構的改良版，針對 U-Net 原型架構進行了批量標準化、空洞卷積、調降卷積層數和整合各卷積核膨脹率等改良。接著將語義分割結果輸入至疾病辨識系統，辨識出輸入影像是否顯示出系統已知疾病。本研究辨識的疾病共有九種，分別為肝炎、乳腺炎、子宮頸炎、前列腺炎、前額痛、偏頭痛、後腦杓痛、頭頂痛以及全頭痛。使用的資料庫為作者親自拍攝收集，並命名為 CVIU 108 EAR Dataset。實驗顯示使用 CVIU 108 EAR Dataset 進行訓練後本系統之疾病辨識正確率為 97.22%，IoU 為 84.71%。上述結果顯示本研究所提出之視覺式診斷輔助系統具其有效性。. 關鍵字：耳醫學說、耳穴診斷、耳穴位置、語義分割神經網路、深度學習、疾病辨識、視診陽性反應. II.

(4) Abstract Modern people do not pay much attention to the importance of regular health examination because of busy work. This study develops a vision-based auricular diagnosis assistance system for people to do a basic health examination anytime and anywhere. At the same time, the medical-related diagnosis assistance system assists physicians in determining what kind of medical examinations patients need to do and saves medical resources. The proposed vision-based auricular diagnosis assistance system is divided into two parts in the visual auricular diagnosis. Firstly, ear images are input to detect positive diagnosis area using a semantic segmentation neural network. The semantic segmentation neural network used in this study is an improved version of the U-Net architecture. The improved U-Net architecture contains the batch standardization, atrous convolution, convolution layer reduction, and the multi-expansion-rate integration. Secondly, the results of positive diagnosis areas are used to diagnose diseases. Nine types of diseases are identified in this study, including hepatitis, mastitis, cervicitis, prostatitis, frontal headache, migraine, occipital headache, vertex headache, and headache. The dataset used in this study was collected by the author and named as CVIU 108 EAR Dataset. The experimental result shows that the disease recognition accuracy rate of this system is 97.22% and IoU is 84.71% after using CVIU 108 EAR Dataset for training.. Keywords: Otology theory, Auricular point diagnosis, Auricular point location, Semantic segmentation neural network, Deep learning, Disease identification, Positive diagnosis. III.

(5) 目錄. 誌謝.................................................................................................................................. I 摘要................................................................................................................................. II Abstract .......................................................................................................................... III 目錄................................................................................................................................ IV 表目錄............................................................................................................................ VI 圖目錄........................................................................................................................... VII 第1章緒論............................................................................................................. 1 第一節耳醫學說............................................................................................. 1 第二節研究動機與目的................................................................................. 3 第三節視診陽性反應的類型......................................................................... 6 第四節研究限制........................................................................................... 10 第五節研究貢獻........................................................................................... 11 第六節論文架構........................................................................................... 12 第2章文獻探討................................................................................................... 13 第一節耳朵與耳穴的介紹........................................................................... 13 第二節耳朵偵測........................................................................................... 15 第三節語義分割神經網路........................................................................... 18 第四節 U-Net 與相關改良............................................................................ 30 第3章視覺式耳穴診斷輔助系統....................................................................... 37 第一節系統流程........................................................................................... 37 第二節視診陽性反應區域偵測................................................................... 39 第三節系統改良........................................................................................... 45 第4章實驗結果與討論....................................................................................... 51 第一節研究設備........................................................................................... 51 第二節第三節第四節第五節第六節. 資料庫建立....................................................................................... 52 系統架構改良分析........................................................................... 57 卷積核膨脹率選擇分析................................................................... 68 整合各卷積核膨脹率選擇分析....................................................... 71 疾病辨識正確率............................................................................... 74. 第七節疾病辨識正確率討論與訓練時間................................................... 76 第5章結論與未來工作....................................................................................... 78 第一節結論................................................................................................... 78 IV.

(6) 第二節未來工作........................................................................................... 79 參考文獻....................................................................................................................... 80 附錄一........................................................................................................................... 83 附錄二........................................................................................................................... 87 附錄三........................................................................................................................... 88. V.

(7) 表目錄. 表 1.1 表 1.2 表 1.3 表 1.4. 衛生福利部統計處統計國人於 2018 年十大死因順位及死亡人數。·········4 衛生福利部統計處統計國人於 2018 年十大癌症死亡順序、死亡率與死亡人數。···········································································································5 五種視診陽性反應的類型[黃 17]。 ·······························································7 本研究所選取的疾病名稱與其對應的耳穴點和視診陽性反應[黃 17]。 ···9. 表 1.5 表 2.1 表 3.1 表 4.1 表 4.2 表 4.3 表 4.4 表 4.5 表 4.6 表 4.7. 耳穴點在耳朵上對應的位置列表。·····························································10 耳朵區域與對應的人體部位。·····································································14 疾病名稱與對應視診陽性反應區域偵測結果的顏色。·····························39 拍攝耳朵影像所使用的手機規格表。·························································51 參與者的性別、人數、耳朵數量和耳朵影像統計表。·····························52 九種疾病名稱與其影像數量統計表。·························································55 九種疾病名稱與其左右耳影像數量和標記數量統計表。·························57 訓練時所使用的參數名稱及參數統計表。·················································58 混淆矩陣。·····································································································58 批量正規化和空洞卷積的使用對 IoU 的影響。 ········································60. 表 4.8 UN-9 和 UN-7 的視診陽性反應區域偵測結果的 IoU 比較表。 ···············62 表 4.9 UN-7 和 UN-5 的視診陽性反應區域偵測結果的 IoU 比較表。 ···············63 表 4.10 UN-7BA 上卷積核膨脹率從 2 至 20、25 和 30 的未標記、九種疾病的 IoU 及平均 IoU。 ························································································69 表 4.11 UN-7BA(D15)和 UN-7BAD3(DX+Y+Z)的 IoU。 ····································72 表 4.12 平均 IoU 超過 80%之平均 AoD 的比較表。 ············································74 表 4.13 九種疾病的混淆矩陣。···············································································75 表 4.14 訓練時間比較表。·······················································································77. VI.

(8) 圖目錄. 圖 1.1 圖 1.2 圖 1.3 圖 1.4 圖 2.1. 耳穴位置圖[黃 17]，詳圖請見附錄二和附錄三。 ·······································2 電測儀。···········································································································3 視診陽性反應的範例。···················································································8 本研究所選取的症狀及其相對應的耳穴位置之分佈示意圖。···················9 耳朵的區域分割示意圖。·············································································14. 圖 2.2 圖 2.3 圖 2.4 圖 2.5 圖 2.6 圖 2.7 圖 2.8 圖 2.9 圖 2.10 圖 2.11. 傳統神經網路的結構示意圖。·····································································16 影像中耳朵地標化[Cin17]。 ········································································16 影像中耳朵地標化的結果[Cin17]。 ····························································17 影像中耳朵區域擷取[Sar16]。·····································································17 FCN 的架構[Lon15]。 ···················································································19 FCN 的分類結果[Lon15]。 ···········································································19 DeconvNet[Noh15]的架構。 ·········································································20 U-Net 的架構[Ron15]。 ················································································21 有殘差學習卷積神經網路的結構[He16]。 ···············································23 ResNet-18 的網路架構[2]。 ········································································24. 圖 2.12 圖 2.13 圖 2.14 圖 2.15 圖 2.16 圖 2.17 圖 2.18 圖 2.19 圖 2.20 圖 2.21. ResNet 和 DRN 的差異比較[Yu17]。 ························································24 CRF 的結果[Che15]。 ·················································································25 ASPP 的呈現。 ····························································································26 DeepLab v3 的結構[Che17]。 ·····································································27 DeepLab v3+的結構[Che18]。····································································27 深度卷積、點式卷積和帶有空洞率的深度卷積示意圖[Che18]。 ·········28 多路徑優化的架構[Lin16]。 ······································································28 RefineNet 的細部結構[Lin16]。 ·································································29 PSPNet[Zha16]的架構。 ·············································································30 Stacked Dilated U-Net 的結構[Rad18]。 ····················································31. 圖 2.22 圖 2.23 圖 2.24 圖 2.25 圖 2.26. 巢狀的 U-Net，稱為 UNet++[Zho18]。 ····················································32 Iglovikov[Igl18]等人所使用的改良後 U-Net 結構。 ································33 MS-UNet 的結構[Tan19]。 ·········································································34 Weighted Res-UNet 的結構[Xia18]。 ·························································35 CUNet 的結構[Gon18]。 ·············································································36. 圖 3.1 圖 3.2 圖 3.3. 視覺式耳穴診斷輔助系統流程圖。·····························································37 耳朵影像範例。·····························································································38 視診陽性反應區域偵測結果。·····································································38 VII.

(9) 圖 3.4 圖 3.5 圖 3.6 圖 3.7 圖 3.8 圖 3.9 圖 3.10 圖 3.11 圖 3.12 圖 3.13. 線性內插法與雙線性內插法的示意圖。·····················································41 最大池化與反取樣。·····················································································41 最大池化與反池化。·····················································································41 卷積與轉置卷積。·························································································43 卷積運算當作池化的過程。·········································································43 步長為1的轉置卷積運算的過程。 ······························································44 步長為2的轉置卷積運算的過程。 ····························································44 卷積核膨脹率為2範例。·············································································47 U-Net 原型架構。························································································48 U-Net 減層變型架構。················································································49. 圖 3.14 U-Net 減層變型後第四卷積階段整合各卷積核膨脹率的架構。············50 圖 4.1 耳朵影像範例圖，第一排為女性參與者，第二排為男性參與者。·········53 圖 4.2 耳朵影像最佳拍攝角度的範例圖。·····························································53 圖 4.3 視診陽性反應區域標記範例圖，第一排為女性參與者，第二排為男性參與者。·············································································································54 圖 4.4 視診陽性反應區域偵測結果，第一排為女性參與者左耳，第二排為女性參與者右耳，第三排為男性參與者左耳和第四排為參與者患者右耳。·61 圖 4.5 女性患者左耳視診陽性反應區域偵測結果。·············································64 圖 4.6 女性患者右耳視診陽性反應區域偵測結果。·············································65 圖 4.7 男性患者左耳視診陽性反應區域偵測結果。·············································66 圖 4.8 男性患者右耳視診陽性反應區域偵測結果。·············································67 圖 4.9 UN-7BA(D15)的視診陽性反應區域偵測結果。 ········································70 圖 4.10 UN-7BAD3(D11+15+19)的視診陽性反應區域偵測結果。 ·····················73 圖 4.11 AoD 高於實際疾病辨識正確率的情況。 ··················································76. VIII.

(10) 第1章. 緒論. 人的耳朵存在著與身體器官對應的穴位，若身體中的器官生病，會反應在耳朵上，稱為視診陽性反應。耳醫師能直接透過觀察耳朵的視診陽性反應的變化來初步判斷患者的健康狀況。若是能讓初步判斷的技能普及，必能減少許多因延誤就醫而失去痊癒機會的案例。故本研究發展一套讓每個人都能得到初步判斷視診陽性反應的系統，稱視覺式耳穴診斷輔助系統。. 第一節耳醫學說在兩千多年前，人體某些疾病與其相對應耳穴位置的聯繫就已經被發現[黃 17]。一些現存的古代中醫學書都對耳穴與人體健康的關係做過分析，如：秦漢時期的中醫理論《黃帝內經》、晉朝時期的針灸專書《針灸甲乙經》、隋朝時期分類編撰、研究注解《黃帝內經》的《黃帝內經太素》、唐朝時期的臨床醫學百科全書《備急千金要方》和清朝時期的診斷學專著《望診遵經》皆做過相關的論述。由此可知，耳穴與身體疾病確實有關連。隋朝時期楊上善在《黃帝內經太素》中有記述：『小腸病者，小腹痛，腰脊控睪而痛，時窘之後，當耳前熱。』表明古代醫者已把疾病與耳穴做出聯繫。唐朝時期孫思邈在《備急千金要方》中記載著：『耳中穴，在耳門孔上橫樑是，針灸之，治馬黃、黃疸、寒暑、疫毒等病。』表明古代醫者在耳穴位置進行針灸來治療對應的疾治病。在現代，經過多年的研究與實驗驗證，到目前為止發現人耳有 200 多個穴位，每個穴位都有其對應的人體部位(如圖 1.1 所示)[黃 17]。若人體的某個部位開始出現疾病的徵兆，則會在對應的耳穴上產生陽性反應。這類的陽性反應能通過耳醫學綜合系列診斷方法診斷出來，並可再針對該疾病對應的耳穴進行治療，稱為「耳穴診斷治療法」。而常見的耳穴陽性反應有九種不同的形式，變色、血管充盈、丘疹、脫屑、變形、疼痛敏感(低痛閾)、低電阻、組織化學改變和微量元素變化。 1.

(11) 結合研究、實踐和臨床總結，耳穴診斷治療法已成為一門具有獨立理論體系的自然醫學，稱作「耳醫學」[黃 17]。自然醫學是指較不具侵犯、不傷害到患者的治療方式。耳穴診斷治療法是透過人體器官對應的耳穴激活人體器官上的細胞，引發細胞自癒機制，讓細胞從根本自行治療。此法並非侵入性治療，也非藥物治療，且無副作用。原則上所有的藥物均有或多或少的副作用，有些藥物還會讓使用者產生依賴性和習慣性，因此與藥物治療相比，非藥物治療具極大的益處。耳穴診斷治療法不僅可利用來治療疾病，還能預防疾病，甚至能美容、減肥、戒菸、戒酒和戒毒品。其中耳穴戒毒在美國是被政府確認的有效療法之一，而美容和減肥則是現代人越來越重視的應用領域。. 圖 1.1. (a) (b) 耳穴位置圖[黃 17]，詳圖請見附錄二和附錄三。(a)右耳耳穴位置圖。 (b)左耳耳穴位置圖。. 前述提及的耳醫學綜合系列診斷方法共有四種[黃 17]，一視、二觸、三測聽、四辨證。一視：視診法，對患者的耳朵進行視診，了解人體器官中發生病變的部位和病程的不同階段。二觸：觸診法，包括四種方法：壓痛法、壓痕法、指腹觸摸法和探筆探觸法。探筆是搭配電測儀(圖 1.2)使用。三測聽：使用電測儀，觀察聲音、儀錶數字的變化來判斷穴位是否有陽性反應。四辨證：依照視診、觸診和測聽所得到的陽性反應，結合病史和中西醫理論，向患者進行驗證並做出診斷。這種診斷方法符合西醫的「視、觸、叩、聽」和中醫的「望、聞、問、切」。 2.

(12) 美國國際耳醫學培訓研究中心主任的黃麗春教授提出[黃 17]，透過視診並根據病理型態反應可證實「耳朵會說話」之論點。視診法可判斷五種陽性反應，分別為變色、血管充盈、丘疹、脫屑、變形。利用該法可在疾病症狀顯露初期就對耳穴陽性反應進行初步且迅速的偵測，達到預防疾病的效果。在耳穴治療方面，透過耳穴可治療的病症達 200 種[黃 17]。這些病症涉及內科、外科、婦科、兒科、骨科。耳穴治療不僅可以治療功能性疾病，還可以治療器質性疾病和由細菌、病毒、寄生蟲等所引起的疾病。功能性疾病是指由器官的神經系統所引起的，一般不會導致嚴重後果。器質性疾病是指多種原因引起人體某一器官發生的疾病，並且會造成該器官永久性的損害。耳穴治療的方法有 20 多種，最常用的方法為：耳穴放血法、耳穴按摩法和耳穴貼壓法。. 圖 1.2. 電測儀。. 第二節研究動機與目的現今醫學界有幾種方式可以有系統的得知並治療疾病，1.西醫 2.中醫 3.耳醫 (耳醫是結合中西醫的醫理，所衍生出的新興醫學)。由於現代人工作繁忙，生病時往往沒有時間在醫院等待看診。更何況很多疾病需要另外排時間做檢驗，檢驗後還需要一段時間等待檢驗報告。在不停等待的過程中，會浪費很多時間。另有些患者會因為不想去醫院而自己買成藥吃，如此根本無法對症下藥。也有些患者在身體剛生病時覺得是小病痛而不去在意，使得原本輕微的疾病也可能因此累積成 3.

(13) 炎症，甚至是癌症。若此時能通過耳穴的陽性反應檢測出可能患有的疾病，將會省下不少的醫療成本與時間。今年(2020 年)爆發的新型冠狀病毒傳染性疾病的特性更提升了本系統開發的必要性。新型冠狀病毒在發病前即具傳染性的特性，提高了人與人間接觸的風險，使得醫院成為非必要不宜踏足的地方。同時，新型冠狀病毒確診者的治療亦佔用了許多醫療資源，在尚未找到有效治療方式的前提下，長期以往容易導致一般疾病的醫療資源不足。此時，疾病診斷輔助相關系統的開發將會成為未來的趨勢。這類的系統，包括本研究所提出的視覺式耳穴診斷輔助系統，可以讓使用者在家進行各類疾病的初步檢測。若初步判定為可能生病，再去醫院做進一步的檢測，不僅可減少醫療資源的浪費，並且可以減少得到傳染病的風險。根據衛生福利部統計處統計[1]，2018 年國人十大死因依序(表 1.1)為(1)惡性腫瘤(癌症)；(2)心臟疾病；(3)肺炎；(4)腦血管疾病；(5)糖尿病；(6)事故傷害；(7) 慢性下呼吸道疾病；(8)高血壓；(9)腎炎、腎病症候群及腎病變；(10)慢性肝病及肝硬化。從表 1.1 中可以得知，惡性腫瘤(癌症)的死亡人數排名第一。另外，根據衛生福利部統計處統計，癌症自 71 年起，連續 37 年皆為國人死因首位。故本研究選擇從癌症初期的症狀檢測系統開始著手開發。表 1.1 順位. 衛生福利部統計處統計國人於 2018 年十大死因順位及死亡人數。疾病名稱. 死亡人數(人). 1. 惡性腫瘤(癌症). 48784. 2. 心臟疾病. 21569. 3. 肺炎. 13421. 4. 腦血管疾病. 11520. 5. 糖尿病. 9374. 6. 事故傷害. 6846. 7. 慢性下呼吸道疾病. 6146. 8. 高血壓性疾病. 5991. 9. 腎炎、腎病症候群及腎病變. 5523. 10. 慢性肝病及肝硬化. 4315. 癌症可依器官做區分，如：肺癌、肝癌、胃癌、子宮頸癌……等。2018 年國人十大癌症死亡順序如表 1.2 所示為(1)氣管、支氣管、肺癌；(2)肝和肝內膽管癌； 4.

(14) (3)結腸、直腸和肛門癌；(4)女性乳癌；(5)口腔癌；(6)前列腺(攝護腺)癌；(7)胃癌； (8)胰臟癌；(9)食道癌；(10)子宮頸及部位未明示子宮癌。癌症及早發現，及早治療，皆有痊癒的可能。為了降低因疾病而死亡的死亡率，故本研究考慮器官特性和檢測及治療特性，目前僅針對以下數個器官常見的疾病：肝、子宮頸、前列腺、乳腺及頭部進行疾病輔助分析。肝癌在 2018 年十大癌症死亡順序(表 1.2)中排名第二，且肝臟疾病初期表徵不明顯，通常發現時已為時已晚。若能於初期發現，應可增加治癒的可能性。子宮頸癌在 2018 年十大癌症死亡順序(表 1.2)中排名第十，因其為私密器官，檢測及治療皆為侵入性，故有些女性會因為心理因素而拒絶或逃避檢測。若此時能通過耳穴的陽性反應檢測出，將會提升檢測意願。前列腺癌在 2018 年十大癌症死亡順序(表 1.2)中排名第六，選擇前列腺癌的原因與子宮頸癌類似，前列腺屬於男性私密器官。乳腺炎及頭痛在與其人體器官相對應的耳穴位置上有視診法可辨認之明顯特徵。乳腺炎若不及早治療，則有機會形成乳腺癌。頭痛則因世人多有其症狀，故其研究資料較方便收集也是最能對本系統的檢測成效進行驗證的部位。表 1.2 順位. 衛生福利部統計處統計國人於 2018 年十大癌症死亡順序、死亡率與死亡人數。癌症名稱. 每十萬人口死亡率(%). 死亡人數(人). 1. 氣管、支氣管、肺癌. 39.8. 9388. 2. 肝和肝內膽管癌. 34.9. 8222. 3. 結腸、直腸和肛門癌. 24.7. 5823. 4. 女性乳癌. 20.4. 2418. 5. 口腔癌. 12.8. 3027. 6. 前列腺(攝護腺)癌. 11.8. 1377. 7. 胃癌. 9.7. 2299. 8. 胰臟癌. 9.7. 2292. 9. 食道癌. 8.2. 1929. 10. 子宮頸及部位未明示子宮癌. 5.5. 653. 因癌症不是突發性的，癌症大多由該部位的相關疾病惡化而成。並且患有癌症的患者較少，導致實驗資料的收集困難。炎症則不然，有炎症的患者較多。並且因炎症初期發生時，患者可能不會感覺到疼痛，從而形成患者不知道自己的身 5.

(15) 體器官已經發炎的情況。因此能收集到炎症的實驗資料較多，較易驗證系統的準確性，故本研究之實驗目標由「癌」症改為「炎」症。總而言之，本研究發展一套「視覺式耳穴診斷輔助系統」，利用耳穴上的視診陽性反應檢測疾病，讓患者可以及早發現病徵及早接受治療。還可以讓醫師結合觸診、電測儀測聽和辯證，搭配耳穴治療法，達到輔助醫師判斷疾病並且治療患者的效果。. 第三節視診陽性反應的類型關於陽性反應的定義，簡單來說，在醫學檢查中若檢測目標高於標準值，則稱為陽性反應。一般產生陽性反應代表身體有某種疾病正在發生。在耳醫學中，常見的陽性反應有九種[黃 17]，而這九種陽性反應皆有各自對應的診斷方式。前面曾經說過，九種陽性中可以視診的陽性反應有五種，如表 1.3 所示。表 1.3 中顯示這五種陽性反應的名稱與其說明。一般而言，陽性反應的類型與疾病有特定的規律。在「急性病症」發生時其對應的耳穴大多呈現色澤紅潤，伴有點狀、片狀或不規則的改變，並可在耳穴區看見脂溢及光澤。而「慢性病症」發生時其對應的耳穴大多呈現白色和褐色，伴有點狀、片狀、線狀隆起或凹陷，水腫、白色或褐色丘疹或脫屑，並且在耳穴區無脂溢及無光澤。「慢性病症急性發作」的時候其對應的耳穴大多為白色片狀隆起，並且中間則呈現紅色。當患者患有「皮膚病」時，其對應的耳穴大多呈現褐色，且有糠皮樣或鱗狀脫屑，褐色丘疹。另外，「腫瘤疾患」有良性及惡性之分，若為良性，則耳穴大多色澤正常，且呈現結節狀隆起。若為惡性，則耳穴大多色澤灰暗，且呈現蠅屎狀或結節狀隆起。「手術瘢痕」即身體器官經過手術切除後在對應的耳穴上呈現褐色或暗紅色，且有瘢痕樣改變，耳穴皮膚皺褶似線條或半月形。圖 1.3 為視診陽性反應的範例。圖 1.3(a)顯示「變形」和「丘疹」陽性反應在視診時呈現的現象，同理圖 1.3(b)(c)(d)分別顯示「血管充盈」、「變色」、以及「脫屑」等陽性反應在視診時呈現的現象。由圖 1.3(a)中可以看出，「變形」即形狀改變。在「變形」處(即標示變形紅圈內)，原本耳朵內緣應為一個平滑的弧度，因為該部位呈陽性反應，導致內緣隆起。另外，在「丘疹」處(即標示丘疹紅圈內)可觀察到皮膚上有少許黑點，類似黑頭粉刺，此陽性反應的呈現即為丘疹。圖 1.3(b) 6.

(16) 中在「血管充盈」處(即標示變形紅圈內)，可以觀察到較深色的線條，此陽性反應的呈現即為血管充盈。圖 1.3(c)中的「變色」處(即標示變色紅圈內)，可見耳朵的皮膚上有褐色的小區塊，此陽性反應的呈現即為變色。圖 1.3(d)中的「脫屑(脫皮)」處(即標示脫屑紅圈內)，則可以看到皮膚上有少許的白色皮屑，此陽性反應的呈現即為脫屑。表 1.3 編號. 五種視診陽性反應的類型[黃 17]。. 陽性反應名稱. 類型. 1. 變色. (1)紅色反應。(2)白色反應。(3)灰色反應。(4)青紫色反應。(5)深褐色反應。(6)有無光澤。. 2. 變形. (1)隆起。(2)凹陷。(3)隆起伴凹陷。(4)水腫。(5)皮膚粗糙。(6)瘢痕樣改變。. 3. 脫屑. (1)白色糠皮樣。(2)白色鱗狀。. 4. 丘疹. (1)點狀。(2)水皰樣。(3)脂溢性。另伴有顏色改變，如 (1)紅色。(2)白色。(3)褐色。(4)白色中間有紅色。. 5. 血管充盈. (1)血管擴張。(2)血管扭曲。(3)網狀擴張。(4)血管走行中主幹中斷。. 表 1.4 呈現本研究所選取的疾病名稱與其對應的八個耳穴點及視診陽性反應。由表 1.4 可知： (1) 肝炎的症狀會使得「肝」的耳穴點呈現陽性反應。若為急性肝炎，該耳穴區呈點狀或片狀紅潤，有光澤之現象。若為慢性肝炎，則該耳穴區呈現白色腫脹，且隆起處可見點、片狀色暗之現象。 (2) 乳腺炎的症狀會使得「乳線」的耳穴點呈現陽性反應。在乳腺炎發時，乳腺穴區呈現片狀紅潤、腫脹，有光澤之現象。 (3) 子宮頸炎的症狀會使得「子宮頸」的耳穴點呈現陽性反應。在子宮頸炎發時，子宮頸穴區呈現色紅或見上有色白脫屑、有脂溢或有丘疹之現象。 (4) 前列腺炎的症狀會使得「前列腺」的耳穴點呈現陽性反應。在前列腺炎發時，前列腺穴區呈現點片狀紅色反應之現象。 (5) 前額痛的症狀會使得「前額(額)」的耳穴點呈現陽性反應。在前額痛發時，額穴區呈現圓形隆起或見條片狀似大米粒樣隆起之現象。. 7.

(17) (6) 偏頭痛的症狀會使得「偏頭(顳)」的耳穴點呈現陽性反應。在偏頭痛發時，應偏頭痛不一定會兩側同時發作，若只有一側發作則一側顳穴區呈現片狀或不規則隆起，另一側則正常之現象。 (7) 後腦杓痛的症狀會使得「後腦杓(枕)」的耳穴點呈現陽性反應。在後腦杓痛發時，枕穴區呈現片狀隆起之現象。 (8) 頭頂痛的症狀會使得「頭頂(頂)」的耳穴點呈現陽性反應。在頭頂痛發時，頂穴區呈現片狀隆起之現象。 (9) 全頭痛的症狀會使得「額、顳、枕和頂」的四個耳穴點同時呈現陽性反應。在全頭痛發時，額穴、顳穴、枕穴和頂穴區呈現不規則隆起之現象。. (a). 圖 1.3. (b). (c) (d) 視診陽性反應的範例。(a)變形和丘疹的範例。(b)血管充盈的範例。 (c)變色的範例。(d)脫屑的範例。 8.

(18) 表 1.4. 本研究所選取的疾病名稱與其對應的耳穴點和視診陽性反應[黃 17]。. 編號. 疾病名稱. 耳穴點. 視診陽性反應. 1. 肝炎. 肝. 1. 急性肝炎：肝穴區點狀或片狀紅潤，有光澤。 2. 慢性肝炎：肝穴區白色腫脹，隆起處可見點、片狀色暗。. 2. 乳腺炎. 乳線. 乳腺穴區片狀紅潤、腫脹，有光澤。. 3. 子宮頸炎. 子宮頸. 子宮頸穴區色紅或見上有色白脫屑、有脂溢或有丘疹樣改變。. 4. 前列腺炎. 前列腺. 前列腺穴區成點片狀紅色反應。. 5. 前額痛. 額. 額穴區圓形隆起或見條片狀似大米粒樣隆起。. 6. 偏頭痛. 顳. 一側顳穴區片狀或不規則隆起，另一側則正常。. 7. 後腦杓痛. 枕. 枕穴區片狀隆起。. 8. 頭頂痛. 頂. 頂穴區片狀隆起。. 9. 全頭痛. 額、顳、額穴、顳穴、枕穴和頂穴區不規則隆起。枕、頂. 圖 1.4. 本研究所選取的症狀及其相對應的耳穴位置之分佈示意圖。. 因每個人的耳朵形狀皆不同，所以耳穴點的定位需依據耳朵整體形狀來決定。圖 1.4 為表 1.4 中本研究所選取的疾病名稱及其相對應的耳穴位置[黃 17]之 9.

(19) 分佈示意圖。圖 1.4 紅點(字)為本研究所選取的耳穴點，藍點(字)為表 1.4 中所提到的額外耳穴點。圖 1.4 中藍色區域為三角窩區，子宮頸穴(表 1.4 中第 3 項)位於此區。綠色區域為對耳輪區，乳腺穴(表 1.4 中第 2 項)位於此區。土色區域為耳甲艇區，肝穴(表 1.4 中第 1 項)、前列腺穴(表 1.4 中第 4 項)位於此區。紫色區域為對耳屏區，額穴(表 1.4 中第 5 項)、顳穴(表 1.4 中第 6 項)、枕穴(表 1.4 中第 7 項) 和頂穴(表 1.4 中第 8 項)位於此區。表 1.5 編號. 耳穴點在耳朵上對應的位置列表。. 耳穴點. 耳穴位置. 1. 肝穴. 耳甲艇區的後下方。. 2. 子宮頸穴. 子宮穴與盆腔穴連線的中、前 1/3 交界處。. 3. 前列腺穴. 耳甲艇區的前上角。. 4. 乳腺穴. 胸椎穴與肋脇穴連線的中點。. 5. 額穴. 對耳屏區外側面前下方下緣中點。. 6. 枕穴. 對耳屏區外側面外下方下緣中點。. 7. 顳穴. 對耳屏區外側下緣的中點，在枕、額之間。. 8. 頂穴. 枕穴垂直向下 0.15 釐米處。. 表 1.5 整理出上述的耳穴點在耳朵上對應的位置，這些資訊可提供較明確的耳穴定位。參考圖 1.4 所畫的區域範圍，可知肝穴(表 1.5 中第 1 項)可以在耳甲艇區的後下方找到。同樣能在耳甲艇區找到的前列腺穴(表 1.5 中第 3 項)，其位於耳甲艇區的前上角。子宮頸穴(表 1.5 中第 2 項)可以在三角窩區找到，其位於子宮穴與盆腔穴連線的中、前 1/3 交界處。乳腺穴(表 1.5 中第 4 項)可以在對耳輪區找到，其位於胸椎穴與肋脇穴連線的中點。額穴(表 1.5 中第 5 項)可以在對耳屏區外側面前下方下緣中點找到。枕穴(表 1.5 中第 6 項)可以在對耳屏區外側面外下方下緣中點找到。顳穴(表 1.5 中第 7 項)可以在對耳屏區外側下緣的中點找到，其位於枕穴與額穴之間。頂穴(表 1.5 中第 8 項)可以在對耳屏區找到，其位於枕穴垂直向下 0.15 釐米處。. 第四節研究限制本研究利用患者耳穴產生的陽性反應來判斷其對應的人體疾病，由於本研究為較新穎且較少人進行的題目，在資料收集上和耳穴定位上有一定的困難程度。 10.

(20) 1. 資料收集不易因本研究為較新穎的題目，在資料收集上，除頭痛為較常出現的疾病外，其餘的疾病，病患人數皆不多，導致所需的耳朵照片難以收集。因本研究無法大量取得相關癌症病患的實驗影像，進行系統的測試與驗證。故實驗目標由肝「癌」、子宮頸「癌」、前列腺「癌」、乳腺「癌」及頭痛等症狀改為肝「炎」、子宮頸「炎」、前列腺「炎」、乳腺「炎」及頭痛等症狀。 2.. 參考文獻較少如上所述，因本研究的題目較為新穎，在找尋參考文獻方面，幾乎都是在研究如何從一張影像上找到耳朵的所在位置和輪廓。尚未搜尋到利用耳穴上的視診陽性反應來判斷疾病的相關文獻，僅能借用其他領域的技術來進行研發。. 3.. 同一患者有無患病之對比資料難以取得因部分疾病的治療療程較長，且無法保證痊癒，故幾乎無法取得同一患者有無患病的對比資料來進行系統訓練。但耳穴上的視診陽性反應會因疾病逐漸痊癒的過程中產生變化，因此，患者不一定要完全痊癒也可能利用變化過程中的資料進行對比。. 第五節研究貢獻本論文之貢獻為耳朵影像資料庫的建立、耳穴診斷輔助系統的開發以及將語義分割神經網路應用到新興領域。本研究所建立的耳朵影像資料庫，將其命名為 CVIU108 耳朵影像資料庫。耳穴區域影像資料中的每筆資料包含一張影像、陽性反應耳穴灰階標記。資料庫中共有 2270 筆資料，其中耳朵影像均經過被拍攝者簽名同意。每位被拍攝者的耳朵影像都會通過所詢問之耳醫師認證該耳朵影像有本研究擬偵測的疾病。每張耳朵影像上標記本研究擬偵測的疾病皆為人工標記。每張耳朵影像皆從耳朵正面拍攝，拍攝角度與張數不等。耳穴診斷輔助系統是一個極少人研究開發但卻相當重要的系統。本研究改良 U-Net 作為視診陽性反應的偵測系統。實驗顯示原始 U-Net 無法順利偵測出視診陽性反應，本研究減少 U-Net 卷積層數，加入批量標準化(batch normalization)、調整卷積核(kernel)之膨脹率並整合各卷積核之膨脹率來改良 U-Net，使得本研究 11.

(21) 獲得良好的偵測結果影像。同時，本研究經由實驗過程對 U-Net 的特性有更深一層的分析與探討，未來亦可加速 U-Net 在其他領域的應用。本研究將語義分割神經網路技術應用到耳醫學領域。在本研究發表之前，幾乎沒有看到有研究者在耳醫學領域中使用語義分割神經網路進行患者是否患病的初步輔助診斷。通過本研究，提供了語義分割神經網路應用於耳醫學中進行視診陽性反應偵測的可行性，未來也許可以嘗試經由類似的技術辨識更多種類的疾病。. 第六節論文架構本論文共分為五章，第一章說明本研究的動機與研究限制；接著第二章為文獻探討；第三章則說明本研究的系統流程；第四章則是實驗結果展示，探討系統流程中每一個主要步驟的必要性與正確率；最後，第五章為結論和未來工作。. 12.

(22) 第2章. 文獻探討. 在進行視覺式耳穴診斷輔助系統開發前，需先探討兩個在影像中擷取耳朵相關特徵的技術。耳穴的偵測可以分為兩種，第一在影像中找出耳朵輪廓的方法。第二在影像中找到耳朵的區域，以利後續的疾病辨識。本章將會介紹在影像中擷取耳朵相關特徵的技術。第一節介紹耳朵與耳穴。第二節介紹耳朵偵測的方法。第三節介紹語義分割神經網路架構。第四節則介紹本研究所使用的語義分割神經網路與其相關的改良。. 第一節耳朵與耳穴的介紹耳朵是由 16 個區域所構成的，每個區域都有其相對應的人體部位。耳朵區域示意圖如圖 2.1 所示，它們對應的人體部位列在表 2.1 中。耳朵的 16 個區域分別為(1)粉藍色區域的「耳垂」反應人體五官的疾病、(2)淺橘色區域的「對耳屏」反應人體頭部的疾病、(3)淺紫色區域的「輪屏切跡」反應人體腦幹的疾病、(4)橘色區域的「耳輪角周圍」反應人體消化道的疾病、(5)粉紅色區域的「對耳輪」反應人體軀幹的疾病、(6)淺綠色區域的「耳舟」反應人體上肢的疾病、(7)淺藍色區域的「對耳輪上腳」反應人體下肢的疾病、(8)紫色區域的「耳輪」反應人體外生殖器的疾病、(9)黃色區域的「三角窩」反應人體內生殖器的疾病、(10)紅色區域的「對耳輪下腳」反應人體臀部的疾病、(11)淺黃色區域的「耳甲艇」反應人體腹腔的疾病、(12)灰色區域的「屏上切跡」反應人體外耳的疾病、(13)藍色區域的「耳輪腳」反應人體膈肌的疾病、(14)綠色區域的「耳甲腔」反應人體胸腔的疾病、(15) 深藍色區域的「耳屏」反應人體鼻咽的疾病和(16)咖啡色區域的「屏間切跡」反應人體內分泌的疾病。上述的每個區域皆有落在其中的耳穴，如(1)眼穴落在耳垂，(2)額穴落在對耳屏，(3)腦幹穴落在輪屏切跡，(4)胃穴落在耳輪腳周圍，(5)乳腺穴落在對耳輪，(6) 肩穴落在耳舟，(7)膝關節穴落在對耳輪上腳，(8)直腸穴落在耳輪，(9)子宮頸穴落 13.

(23) 在三角窩，(10)坐骨神經穴落在對耳輪下腳，(11)肝穴落在耳甲艇，(12)外耳穴落在屏上切跡，(13)耳中穴落在耳輪腳，(14)心穴落在耳甲腔，(15)喉穴落在耳屏和 (16)內分泌穴落在屏間切跡等。. 圖 2.1 表 2.1 編號. 耳朵的區域分割示意圖。耳朵區域與對應的人體部位。. 耳朵區域. 人體部位. 1. 耳垂. 五官. 2. 對耳屏. 3. 編號. 耳朵區域. 對人體部位. 9. 三角窩. 內生殖器. 頭部. 10. 對耳輪下腳. 臀部. 輪屏切跡. 腦幹. 11. 耳甲艇. 腹腔. 4. 耳輪腳周圍. 消化道. 12. 屏上切跡. 外耳. 5. 對耳輪. 軀幹. 13. 耳輪腳. 膈肌. 6. 耳舟. 上肢. 14. 耳甲腔. 胸腔. 7. 對耳輪上腳. 下肢. 15. 耳屏. 鼻咽. 8. 耳輪. 外生殖器. 16. 屏間切跡. 內分泌. 在各個耳朵區域的說明後，接著探討疾病分類的技術部分。因疾病分類需要獲得耳穴的座標和視診陽性反應的特徵來判斷相對應的器官是否患病。耳穴在耳朵上都有其固定的位置，但不同的耳穴或許會有相同的視診陽性反應。因此，在進行疾病辨識時需將這一特性納入考慮。 14.