公共衛生及健康醫療應用之物聯網數據智慧加值技術-公共衛生及健康醫療應用之物聯網數據智慧加值技術( III )

全文

(1)科技部補助專題研究計畫報告. 公共衛生及健康醫療應用之物聯網數據智慧加值技術-公共衛生及健康醫療應用之物聯網數據智慧加值技術(3/3). 報計計執執. 告畫畫行行. 類類編期單. 別別號間位. ：：：：：. 成果報告整合型計畫 MOST 108-2218-E-006-036108年06月01日至109年05月31日國立成功大學資訊工程學系（所）. 計畫主持人：高宏宇共同主持人：謝孫源、莊坤達、李政德. 計畫參與人員：碩士級-專任助理：涂智雯學士級-專任助理：郭毓芝碩士班研究生-兼任助理：陳彥儒碩士班研究生-兼任助理：鄭宜崴碩士班研究生-兼任助理：呂伯駿碩士班研究生-兼任助理：丁羅邦芸碩士班研究生-兼任助理：李俊德碩士班研究生-兼任助理：巫子軒碩士班研究生-兼任助理：李美鳳碩士班研究生-兼任助理：陳冠友碩士班研究生-兼任助理：丁怡婷碩士班研究生-兼任助理：林雨瑩碩士班研究生-兼任助理：潘昌義碩士班研究生-兼任助理：蔡文傑大專生-兼任助理：詹永裕大專生-兼任助理：李艾霓大專生-兼任助理：吳政峰大專生-兼任助理：曾大瑋大專生-兼任助理：張財實大專生-兼任助理：廖家緯大專生-兼任助理：林謙慈.

(2) 博士班研究生-兼任助理：周子軒博士班研究生-兼任助理：寒山博士班研究生-兼任助理：林英嘉博士班研究生-兼任助理：李仁傑博士班研究生-兼任助理：蘇嘉納報告附件：移地研究心得報告出席國際學術會議心得報告. 本研究具有政策應用參考價值：■否 □是，建議提供機關（勾選「是」者，請列舉建議可提供施政參考之業務主管機關）本研究具影響公共利益之重大發現：□否 □是 . 中華民國 109 年 08 月 31 日.

(3) 中文摘要：隨著社會經濟的發展與科技的進步，全球人口由鄉村往都市集中，已是一個不可逆的現象。都市人口急速膨脹雖帶動經濟成長，卻也因此造成環境以及健康的隱性風險，其中傳染性疾病即為現今人口集中城市的一大考驗，由於疾病的接觸密度高，一旦新型態的疾病與流行性疾病造成小規模的感染群聚，都極有可能在短時間內引發大規模的爆發。不僅如此，全球氣候變遷與人口移動快速等因素，更使得國家及地方政府對於都市防疫與疫情控制已受到前所未有的挑戰。成功大學曾於 2015 年協助台南市政府，透過資料科學的技術，透過化學防治方法的建議，與患者人數暴增時醫學分流策略規劃，克服登革熱帶來的嚴峻損害，並協助台南市衛生局有效精準的找出病媒蚊的孳生源，快速控制疫情。透過此經驗，成功大學與聯發科技於 2016 年底，透過成功大學與縣市政府於智慧城市議題上的合作基礎，將以物聯網的角度切入，著手創新設備及整合公共衛生服務，並期許配合國家政策輸出至南向國家。透過我們過去實務協助台南市政府，以科技防疫的角度，對抗蚊媒傳染病的經驗，我們於本計畫提出四大技術面向，分別為:防疫大數據最佳化平台設計，公衛與醫療資料智慧運算，社群監控與擴散分析與防疫物聯網人工智慧技術整合應用。使政府防疫單位能事先透過監控高風險群聚並了解疫情擴散之趨勢。中文關鍵詞：物聯網, 登革熱, 數據分析, 社群分析英文摘要： As the development of modern technologies, it is believed that the style of big city becomes the common trend worldwide. Along with the crowded situation in the city, the issue of to ensure people’s health will be highly important but challenging. If an epidemic disease cannot be efficiently controlled by the government, the outbreak in the whole city will cause huge damage to the human life and the economy. In 2015, we have successfully collaborated with the authority of Tainan city in the task of controlling the outbreak of dengue fever which happened in the summer, causing more than 25,000 people infected. Our team utilized the technology of data science and spatiotemporal data mining, analyzing the highly risk region and identifying the appropriate strategies for chemical manner. In this project, we will cowork with Mediatek, the big giant of IC design house. Mediatek is currently pursuing the applications to deploy its IoT platform and the kind of epidemic control will be the unique niche for large scale in-house IoT services. We will deploy different data science and AI-based solutions to enhance the public health service while also integrating the information collected from IoT devices. We believe this project can contribute to the development of future smart city, realizing a better life quality for people living in the city. 英文關鍵詞： IoT, dengue fever, data analytics, social network analysis.

(4) 一、第三年計畫內容：隨著社會經濟的發展與科技的進步，全球人口由鄉村往都市集中，已是一個不可逆的現象。都市人口急速膨脹雖帶動經濟成長，卻也因此造成環境以及健康的隱性風險，其中傳染性疾病即為現今人口集中城市的一大考驗，由於疾病的接觸密度高，一旦新型態的疾病與流行性疾病造成小規模的感染群聚，都極有可能在短時間內引發大規模的爆發。不僅如此，全球氣候變遷與人口移動快速等因素，更使得國家及地方政府對於都市防疫與疫情控制已受到前所未有的挑戰。成功大學曾於 2015 年協助台南市政府，透過資料科學的技術，透過化學防治方法的建議，與患者人數暴增時醫學分流策略規劃，克服登革熱帶來的嚴峻損害，並協助台南市衛生局有效精準的找出病媒蚊的孳生源，快速控制疫情。透過此經驗，成功大學與聯發科技於 2016 年底，透過成功大學與縣市政府於智慧城市議題上的合作基礎，將以物聯網的角度切入，著手創新設備及整合公共衛生服務，並期許配合國家政策輸出至南向國家。透過我們過去實務協助台南市政府，以科技防疫的角度，對抗蚊媒傳染病的經驗，我們於本計畫提出四大技術面向，分別為:防疫大數據最佳化平台設計，公衛與醫療資料智慧運算，社群監控與擴散分析與防疫物聯網人工智慧技術整合應用。使政府防疫單位能事先透過監控高風險群聚並了解疫情擴散之趨勢。「公共衛生及健康醫療」即是智慧城市發展中最重要卻也最具挑戰的應用之一。此外，A 型流感以及腸病毒等, 也幾乎是歷年來困擾民眾最大的群聚型傳染疾病,均對生命以及財產經濟等造成龐大的損失。而以這幾個月來 COVID-19 大流行危及民眾健康、國家安全且重創產業及經濟，公共衛生實是我們現在必須面對且提前部署的一個議題，而且如何導入科技防疫也將是未來公共衛生以及健康醫療的發展重點。台灣 2020 年 2 月已進入近似社區感染及院內群聚感染的階段，醫院為傳染病防疫之最後一線堡壘，預防院內群聚感染擴大，及早追蹤病患接觸者尤其重要。人類移動軌跡與接觸潛在 COVID-19 感染者的機率為引發社區感染及醫院群聚感染重要關鍵。迄今全球仍無有效系統輔助追蹤人群接觸與室內軌跡變化，僅能在疫情發生後，藉由疫調，以訪談進行回溯性紀錄可感染期所經過的地方，除了耗費人力、時間外，紀錄亦可能出現回憶偏差。若平時沒有建立起整個防疫的資訊平台，國家與社會在這樣突如其來的疫情襲擊下，都會因各種資訊無法整合而導致決策緩慢與失準，並更可能使得國家資源無法被有效地利用。所以本計劃這三年整合計畫的開發成果, 結合更多的健康與疫情資料以建構一個異質性的醫療與疫情整合平台, 並提供相關智慧運算功能與社群模型運算機制, 讓國家整體醫療訊息能夠真正發揮即時應用的價值。以傳染病相關的技術需求軸度來說,從醫療救護端到區域疫情防治端,我們整合了三年的開發成果, 認為以下三大主軸是需要特別考量的: l 醫學數據化輔助研究彙整平台:在 2015 年南台灣爆發登革熱疫情時,即發現過往國際衛生組織 WHO 的醫療建議多數以小孩子的治療為主。因為東南亞國家的疫情均以小孩子為主;然而我國因為過往公衛體制的健全,反而多數體內沒抗體的年老者受感染,演化為重症死亡。由於這些年長者多數容易有其它如心血管疾病或糖尿病等慢性病,均十分不利過往所知的支持性救治療法。如何透過 2014 及 2015 年累積的醫學資料,加以分析,. l. 了解各種共病的影響以及治療機制,將有助於提出更有效的醫療建議。然而過去醫療分析技術,均為同質資料的統計方法,無法即時考量如 X 光診斷影像或血清及病患切片化驗資料,一個能處理異質資料的分析系統將極有助益。醫療現場即時分析及病患追蹤:傳染性疾病的爆發,病人的湧入醫院,通常都會造成醫療現場很大的負擔。在 2015 年登革熱爆發期,成大醫院因為每日需收治上百位登革熱高風險.

(5) 病患,嚴重排擠了其它如婦產科及內科相關的病床等醫療資源。如何透過新科技的加值, 如智慧手環以及智慧型居家病情追蹤服務。讓臨床徵狀較為緩和的病患,於返家後上傳相關生理資訊變化給醫學中心,透過智慧分析服務及人工智慧對答,詢問病患有無危險徵狀 l. 出現,家人有無相似感染徵狀, 均對防疫現況十分有幫助。城市防疫即時決策支援與低基期監控預警:在公共醫療上,市政衛生單位的防治決策是防止疫情擴散最關鍵的一環。一個能提供全域的視野,防治資源的運用安排(如防治人員的環境滋清路徑安排)、防治區域的規劃(如登革熱的化學防治區域規畫),以及高風險區域的預警等,將能有效的提供市政單位即時性的做出正確的防疫決策。在 2015 年,由莊坤達教授所提供的資料科學技術,即在台南市的疫情防治上有顯著的助益。如能透過智慧城市環境監控及時間空間資料分析等做法,更進一步的提供全面性的醫療及環境資訊的整合, 能讓台灣在防疫科技應用裡,更提升為全球領先地位。在流行病開始之前,通常都是民眾及防疫單位容易疏忽的時期。包含流感以及登革熱,這多是由各地小小的疫情種子開始, 然後指數式的擴散開來。在過往,Google Flu Trends 及 Google Dengue Trends,即實驗發現, 透過社群及網路應用,分析一些類徵狀如發燒, 喉嚨不舒服等關鍵字眼,能比疫管單位更早發現疫情的演化及預測可能的爆發。這樣的技術如何深化引入台灣防疫體系中,將不是公衛學者的問題,更需要人工智慧專家的協助。一個有效的預警,將能更成功的守護民眾生命財產,以及減少大量防疫資源的投入(2015 年台南市防治登革熱即花費超過 2 億元的開支)。⽽在前三年的計畫中，我們主要以利用物聯網結合公共衛⽣偵測裝置來進⾏有效的健康衛⽣與環境數據加值的應用，計畫中以捕蚊燈與誘蚊裝置進⾏ IOT 裝置與數據分析等加值應用系統開發。其中為能有效了解環境病媒指數變化，本計畫整合物聯網、⼈⼯智慧及巨量資料分析等技術研發智慧誘卵桶，透過影像辨識與⼈⼯智慧判讀了解蚊媒卵數，並即時了解區域病媒指數變化，如圖⼀。. 圖⼀智慧誘卵桶⽽在數據分析與加值應用中，我們除了整合各種環境訊息，包括網路新聞與公共衛⽣公告系統等，並透過我們開發的 chatbot 進⾏訊息的收集，透過這些訊息我們開發了資訊擷取的核⼼關鍵技術，讓重要資訊能夠完整且正確地被擷取與分辨。⽽這些核⼼自然語⾔處理技術，在其後也陸續有相關的加值應用場域結合，如在公共衛⽣的初步快篩上，民眾可以跟去 line bot 上面的問題，了解自⼰的狀況是否需要立即就醫等。以及將每日的公共衛⽣訊息進⾏整合與摘要快速提供給民眾與將重要訊息快速傳遞給相關政府單位。重要學術成就為發表 13 篇頂尖國際會議論⽂，包含 ACL 2019, ACM KDD 2019 與 The Web.

(6) Conference (WWW) 2019，以及 11 篇重要國際期刊論⽂。其中最重要的科學發現有⼆，透過穿戴式裝置如智慧⼿環的感測數值資料，我們可追蹤使用者的⽣理資訊變化，並設計出能預測⽣理資訊的未來趨勢之模型，可準確事先發現未來⽣理資訊異常之使用者，可有用疫情監控與感測上；此外，我們針對異質性資訊網路，例如由使用者、地點、區域特性、以及所屬醫院所相互連接⽽成的圖形結構，能夠有效學習出不同類型節點的特徵表示項項，實驗發現能準確預測節點標籤與未來連結，將可應用於疫情擴散分析。另外我們也著重在自然語⾔處理中的預訓練模型研究，並也在 2019 七月在 ACL 發表了⼀篇探討 BERT 的論⽂．ACL 是計算語⾔領域 Top-1 conference, 此篇論⽂ 2019 六月發表⾄今, 在 google scholar 已經有 16 citations.此篇論⽂發表後在國際上有相當多討論, 認為是目前預訓練語⾔模型主流 BERT 的⼀個重要問題研究, 以下是部. 份. 討. 論. 連. 結. (https://bheinzerling.github.io/post/clever-hans/. ,. https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017 https://zhuanlan.zhihu.com/p/76935785 https://www.linkresearcher.com/theses/d2ec69f5-4266-49e0-ab2c-1cdcb4204ecc ).. 2019 年 9、10 月國立成功⼤學爆發小型登⾰熱群聚感染，本團隊將智慧誘卵桶實際佈建於校園各處，以實際了解校內環境病媒指數變化，如圖⼆。該技術獲台南市政府與國家衛⽣研究院肯定，期將此技術與地⽅政府及中央政府系統串接，達落地推廣，並討論進⾏相關延伸整合，應用科技研發的⼒量，藉由整合異質且即時性資料，分析社區環境系統，以達全面防疫，降低傳染病對於台灣的威脅。. 圖⼆智慧誘卵桶於實際場域佈建情形. ⽽與業界合作部分，2019 年 12 月台南市政府正式啟動「台南市政府 AI 發展計畫」，其中，緯創醫學科技及 Linker Networks 於微軟協助下，欲執⾏⼯業局智慧城鄉計畫，進⾏ AI 蚊媒防治平台計畫，欲與團隊討論相關技術轉移內容，現相關計畫正在申請當中，期望進⾏合作技術研發、場域實證與產業鏈結，以有效防治並控制台灣傳染病疫情。詳細新聞報導詳見： https://newtalk.tw/news/view/2019-12-03/335176。此外，針對國際需求，本團隊研發之技術深獲國際認可，有鑑於東南亞傳染病疫情居⾼不下，經邀請與新加坡樟宜綜合醫院執⾏長與其團隊、馬來西亞馬六甲衛⽣部長進⾏報告及推廣。計畫中所開發之推薦系統演算法，現正推廣⾄產業界永豐銀⾏，透過產學合作，於永豐定存⾦融商品之精準⾏銷上，較該公司現⾏⼈⼯篩選法，可提升⾏銷準確率達 225%。今年我們應用.

(7) 預訓練語⾔模型建構的單元擷取與關聯，以及知識建構系統，也成功幫⼯研院 IEK 中⼼，以及中鼎集團在知識圖譜建構系統上有⼀些突破，開發的相關系統也實際在應用場域開始試⾏, 真正將 AI 技術落地應用.⽽在 2019 年透過參加 CES2019 參展, 我們開發的公共衛⽣智連網也受到不少的廠商關注，其中也包含來自非洲的奈及利亞, 我們也了解不同場域與不同資料源會有相當不同的需求，底層從物聯網的基礎建設，到上層的分析決策應用都有多樣客製化的需求。⽽這三年計畫中，我們也感受到⼀個智慧物聯網平台的建置與推廣都有任務性與特殊性，並不易在不同場域不同需求端中施⾏，往往我們需要更改相當多的設計與分析模組，甚⾄資料來源才能符合問題需求，這確實是⼀個智慧物聯網系統的限制。針對智慧誘卵桶研發部分，為有效監測蚊媒產卵數，團隊透過影像辨識與⼈⼯智慧判讀技術研發智慧誘卵桶，然⽽如何吸引蚊蟲產卵亦為誘卵桶設置重點，故團隊藉由與專家諮詢，於誘卵桶中放置落葉⽔，並與現⾏誘卵桶進⾏比較，結果顯示無明顯差異。此外，針對智慧誘卵桶推廣部分，目前的傳染病防治⼯作皆為政府對民眾(上對下)，主要領導⽅為政府端，因此對於社區民眾或企業⽽⾔較無吸引⼒，然⽽，就現階段防疫⽽⾔，單純透過政府，對於實現「健康城市」目標是⼗分困難的，不僅耗費⼈⼒、資源，效果也往往不如預期。因此，本團隊竭⼒建造防疫⽣態系，以易發⽣嚴重疫情之東南亞國家為推廣目標，保持與業界連結，並積極了解彼此需求，期望能打造⼀套完整的系統，以學、產、官三贏為目標，創造多⽅合⼒防疫的管道，不僅能即時反映周遭環境狀況、讓疫情透明化，以有效防治並控制台灣傳染病疫情。於智慧誘卵桶推廣過程中，團隊首先與政府端進⾏接洽，然從智慧誘卵桶推動過程中，如何有效推廣⾄社區與產業⽅仍需進⼀步思考。另外，發現對於傳染病防疫⽽⾔，除了蚊媒卵數、環境監測外，如何有效了解社區民眾⽣理指標變化亦顯得重要，未來建議可結合⼈體⽣理指標連續監測，以作為預測潛在病例的指標，進⽽提供傳染病防疫情策略參考依據，可使科技防疫措施更臻完善。可改善之處為目前技術研發多針對線上所取得之資料，較無採用實際疫情資料來進⾏分析，我們將嘗試獲取疫情擴散資料，或者以對⼈或環境不利的資訊(如空氣品質與交通流量)來代替，盼能對廣義疫情有更具體的⽅法與發現。疫情感測未必針對真實世界中發現的疾病，它也可以是網路世界中的不道德或非法⾏為，如假資訊擴散以及網路霸凌，我們將對廣義的「疫情」建立模型，並實驗在社群媒體上的異常⾏為偵測上。相關 AI 技術發展進度與效能在這⼀兩年進展快速, 但跨領域間的溝通與需求理解不是太容易達到, 這⽅面確實是未來 AI 技術導⼊實際場域以及能夠落地的⼀個重點努⼒⽅向. 本計畫這三年的三大面向成果分述如下防疫物聯網數據智慧運算平台.

(8) 疫情數據的種類與醫院各方相關的資料非常多樣化,有即時的資料流、影像與文字、也有大量由 IoT 設備及醫療設備產生的各項資料,單一的大數據平台並不易掌握所有種資料特性,必須根據使用目的與需求去特製化整合各項資料特徵的處理平台。以登革熱病患來說,醫院感染科內包含了病患的生理數據、出血熱症狀的影像資料,血清病毒量的化驗資料等。目前我們已跟成大醫院深入討論相關資料的整合,在考量資料隱私的情況下,如何將系統置於醫院中,主動分析病患即時資料,除能了解疫情的演化情況,也能協助個別病情的狀態推估,協助第一線醫生,更快的鎖定重症病患加以醫治。我們預計先整合各種疫情數據與醫院裝置的即時資料流平台,並在進行平台最佳化整合設計並於成大醫院驗證,及協助利用大數據技術分析各項傳染病的特徵性,並在擴展為可適性的架構,協助台南市衛生局推動區域醫院疫情資料整合,提供市政決策單位即時區域疫情的演變狀態。目前我們將以捕蚊燈與病媒蚊統計資料為基礎，目前先結合體溫手環獲得的使用者體溫為輔，並再結合各項醫院提供的基本與環境公開的資訊來建構此一防疫資料整合平台，其使用情境如下圖所示。. 圖四: 異質資料應用情境透過結合病媒蚊數據與醫院受測者體溫表現，我們可以進行有效地評估疫情分布狀況與決策系統設計。再者，如在目前 COVID-19 疫情中，我們也可以與衛生署的相關確診與接觸史資料整合，監控居家隔離的疑似病患體溫，並作即時資訊的回報，這在一些疫情控管與決策上都能提供相當好的資訊與判斷。除了醫病資料外，一般民眾也非常仰賴 Google,連生病了也會用 Google 查詢症狀。因此當感冒的人多了,在網路上查詢「發燒」的活動強度跟著提高,讓特定關鍵字的搜尋熱門度,這也成了疫情變化的指標之一。患者會因為發燒、痠痛而搜尋特定關鍵字,醫師也會利用 Google 等網路工具來查詢患者的症狀,因此網路活動的變化會立即地反應出民間和第一線醫院的嚴重度。傳統的實驗室檢測, 一般有 1~5 日的等待期,但在少數特殊案例,也可能會出現長達 20 日的等待期。此空窗期正好可透過分析網路活動的變化,來掌握疫情。過去傳染病的大數據研究,如 Google Flu Trends 和 Google Dengue Trends 即是利用網路搜尋關鍵字來預測傳染病疫情之發展,然而,這樣的預測常高估疫情,造成民眾恐慌。傳統方式將醫院端的病患數據彙整到疾病管制中心,雖然在疫情發展監測上比較準確,但是由醫院端的病患數據彙整到疾病管制中心可能會有數天到兩周的延遲,導致無法即時監控疫情發展,錯失防疫先機。近三十年來, 台灣幾乎每年都有因境外病毒移入,造成本土性登革熱的流行,主要流行地區在埃及斑蚊分布的台灣南部縣市,包含台南高雄屏東地區,然而台灣卻不是 Google Dengue Trends 的研究區域範圍內。成大醫院累積了大量的大數據病患資料,成大醫院合作,建立防疫 (例如: 登革熱、腸病毒、流行性感冒) 大數據資料庫平台,利用深度學習 (deep learning),預測重症病患與疫情發展,是本子計畫的重要工作。.

(9) 物聯網技術整合應用. 本計畫在第一年與物聯網平台領導廠商—聯發科技(MediaTek)進行新一代補蚊燈裝置的開發設計(如圖 4.1(a)所示)，透過雲端服務及資料科學分析技術，即時性的分析蚊媒指數上升偵測，回報衛生單位。在實際佈建智慧型捕蚊物聯網裝置測試後，發現第一個版本的捕蚊燈誘捕效果不佳，在與國家病媒蚊防治中心之專家討論後，採用一個新型的做法，改良過去已普及之誘卵桶 (ovitrap)，做為引誘病媒蚊產卵之簡易裝置。在第二年計畫中我們與聯發科技投資子公司—磐旭智能 (AMobile Solution) 合作，以低功耗開發板 (磐旭智能開發) 結合影像辨識技術 (成功大學開發)，再加上吸引病媒蚊產卵的化學藥劑 (國衛院提供) 為主要關鍵，透過三方合作進行實驗，在同時考量成本、電池功耗、耗材更換便利性等因素的前提下，設計並完成新一代的蚊媒引誘產卵感測裝置(如圖五(b)所示)。. 圖五: 智慧捕蚊燈與誘卵桶裝置開發在三年的計畫中，分別開發了登革熱風險偵測系統、防疫孳清規劃系統、物聯網即時熱區偵測查詢系統，在第四年的計畫，我們將持續改良各項系統之演算法，除此之外，也將建置誘卵桶於成功大學場域進行實驗，並且進行推廣。以下我們簡要回顧本子計畫在三年所開發之內容，如圖六所示。 l 時空間事件關聯性分析（登革熱風險偵測系統）我們將各個統計區的時空間發病資料，透過時空間資料分析風險指標的變化。分析三個不同量級的統計區內的群聚感染風險指標，即一級、二級與最小統計區。即可將每個屬於個體病歷資訊轉化為空間整合之統計資料。我們預期會採用時間序列分析，分別對個別與整體統計區的感染人數進行評估。以目前學界所提的技術，針對時間序列可採用循序樣式探勘（Sequential Pattern Mining. l. [1]）的方式分析隱藏在各地的風險改變規律，此外採用移動平均法可探究整體風險序列的時間規律性，因此我們將可探討時間特性對於風險值的影響。多路線覆蓋率分析（防疫孳清規劃系統）我們將使用台南市的重要孳生源清理點的資料，並結合地理資訊系統做呈現與分析，進行多個孳清點的路線規劃，此步驟將參考最小路徑覆蓋（Minimum path cover[2]）的方式，將圖上的多個.

(10) l. 指定點用多條路徑進行覆蓋，而這個解法與我們基礎版道路規劃的目標十分相近。空間條件限制搜尋初步分析（物聯網即時熱區偵測查詢系統）處理即時性時空間的事件偵測技術，對於旅遊規劃、犯罪防治等都非常重要，而針對登革熱防疫而言，為了使防疫專家能夠採取最合適策略，需要導入公衛系統中對於疾病防疫的定義原則，以符合實際需求，更可以利用視覺化技術，除輔助防疫人員外也能讓民眾了解登革熱防疫的熱區變化。目前學術界針對在空間資料查詢架構，主要探討索引技術上的優化，我們將在此項目中探討分群技術與格狀分割等空間索引技術對實際發病資料的效能與偵測成果分析。. 圖六: 本子計劃三年開發之系統對於三年已開發的登革熱風險偵測系統、防疫孳清規劃系統以及物聯網即時熱區偵測查詢系統，我們將其三種研發成果整合至智慧防疫平台，以下我們說明三種系統。登革熱風險偵測系統. 為了精確偵測小範圍地區的風險與重點防治區域，我們以空間為出發點，針對台灣地區，依照人口數與行政區劃分之統計區視為空間分析的對象，依照其層級可分為一級、二級與最小統計區。目的為將每個屬於個體病歷資訊轉化為空間整合之統計資料，且所屬之一級、二級發布區編號可利於查詢統整。在登革熱風險偵測模型，我們主要考慮時間與空間的特性，去探索登革熱疫情的時間空間變動模式，此種波動模式可以發掘在登革熱病例資料中，哪些特性(例如：年齡、性別、病人所在區域)能夠幫助偵測登革熱病例。在時間特性方面，每種病毒可能引發不同種症狀，過往研究通常根據每個症狀的時間變化去偵測登革熱的疫情狀況，然而此種方式有可能會由於流行病毒隨著時間轉變而無法準確偵測。下圖反映病毒變異的情況，可以看出當病毒由 V1 轉變為 V3 時，症狀 S2 以及 S4 數量減少，而過往研究可能會判斷為登革熱疫情已經減緩，忽略了病毒轉型的狀況，因此在我們的登革熱風險偵測模型中，會透過發掘疫情時間變動模式來解決此問題：.

(11) 圖七：流行病毒的轉變以及相關症狀數量變化另外在空間特性方面，鄰近區域因為病毒傳染的特性，有一定機率會擁有相同種類的病毒，而我們則透過疫情的時間空間變動模式來結合了空間相關性以提昇偵測登革熱疫情的準確性。防疫孳清規劃系統. 登革熱爆發期間，醫院因病患湧入而手忙腳亂，政府也高度警備，並針對病例密集發生的區域號召大批人力進行孳生源清掃與噴藥等動作，在病情延燒之際，隨著蚊蟲孳生與及疾病爆發，在市區內遍布著高風險、多病例的區域，如下圖幾年前台南登革熱爆發的熱區，再加上人力及時間有限，因此如何有效分配人力，規劃人員各自負責的清掃區域與路徑，考慮著人員的體力，並結合時間上的排程，以達到最佳的環境清潔效果。. 圖八、台南登革熱熱區圖物聯網即時熱區偵測查詢系統. 現今物聯網發展迅速，運算單元都比以往的體積來的小、低功耗，但仍能提供極佳的效能；感測器也比舊有的版本具有更高的精準度。本系統預計使用計畫內包含物聯網設備的誘卵桶，將收集到的資料加以整合時、空的資訊，以發揮更大價值。原有的資料系統僅包括各個誘卵桶站點之蚊子幼蟲數量，防疫人員卻不易直接更進一步的利用這些資料，做出對於防疫更加的策略，因此我們欲透過大數據資料分析技術，整合公部門疫情資訊，將病媒蚊分布、地理資訊視覺化並疊加在一起，做出即時「登革熱病例演化熱區」，有效精準地尋找隱蔽的病媒蚊茲生源點。將過去只能多日規劃、大範圍，且粗略式的化學防治噴藥作為，有效地轉換為小範圍、即時性、重點式打擊的防治模式，協助台南市政府在 2 萬多例的嚴峻情況下快速控制疫情。不僅可以加速防疫決策，也方便一般民眾瞭解防疫狀態。在這三年的努力下，我們在成功大學的多個地點建置了新型誘卵桶並分析獲得之資料以利防疫主軸之研究進行。在此次的實地佈建中，我們發現由於成功大學當時大規模對校區噴灑蚊藥，所以蚊卵着床率不高。除此之外，在這次的經驗中，我們也發現裝置電池可供誘卵桶運行的總時間爲五天左右，目前還沒有辦法快速進行充電，而誘卵桶待機時的耗能爲每小時 200 mAh 左右，在 20000 mAh 的電池裝備只能運行 5 天左右，所以降低裝置待機所消耗的能源是計劃的目標。我們亦與緯創資通(wistron) 洽談科學防疫上的合作，如圖九所示。.

(12) 圖九與緯創資通簽訂保密合約本次計畫目標「防疫整合平台」期望為現代公民之公共衛生及健康需求提供解決方案，而本子計畫將結合過去三年中開發「物聯網即時熱區偵測系統」、「防疫孳清規劃系統」、「登革熱風險偵測系統」所打下的厚實資料分析及服務基礎，集成功能完善且符合需求的整合平台。系統的推廣上，我們在實務合作及能見度上已取得相當優異的成果，除了與台南市政府及國家衛生研究院攜手對抗疫情，驗證服務及技術具體成效以外，本團隊研發之技術深獲國際認可，有鑑於東南亞傳染病疫情居高不下，經邀請與新加坡樟宜綜合醫院執行長與其團隊、馬來西亞馬六甲衛生部長進行報告及推廣。在 2019 年 1 月更是獲邀參加全球最大消費性電子展 CES (Consumer Electronics Show)，並於成功大學主題館專區，展示智慧捕蚊燈的研發成果。. 圖十智慧誘卵桶推廣. 社群疫情擴散技術之落地應用. 本子計畫在這三年主要針對社群疫情擴散分析開發三個演算法，以下我們簡要回顧本子計畫在這三年所開發的主要內容，如圖 1 所示，接著我們會說明各演算法將如何延伸應用。 l 疫情擴散感染預測：我們將根據初期疫情擴散資料與初期被感染者，來預測出疫情如何於社群網路中進行擴散，意即根據歷史傳染病擴散資料，以及新傳染病之初期疫情於地理空間和社群網路.

(13) l. l. 擴散之情形，找出哪些人在未來可能被感染。網路特徵表示學習：給定一疫情擴散社群網路結構，我們已開發出異質性特徵表示學習演算法 (Heterogeneous Network Representation Learning)，即對於網路中的每一個節點，我們能夠根據節點鄰近不同類型的鄰居與連結，產生其特徵表示向量，該向量目前被用於推薦可能的有群聚疫情擴散的地點。潛在感染者推薦系統：給過去群眾被傳染病感染之歷史序列紀錄，我們基於深度學習開發出序列學習(Sequential Learning)推薦演算法，能夠對於未來新出現的初期感染序列，進行推薦未來潛在的感染者，藉此提供政府單位進行疫情控管，降低大規模擴散的風險。. 圖十一：本子計畫第四年之規劃。對於已開發的疫情擴散感染預測、網路特徵表示學習、以及潛在感染者推薦系統，我們規劃第四年之落地應用如圖十一所示，以下我們概要說明這三個落地應用的情境、目的以及合作規劃，此外，對於各自應用。應用 1：線上造假資訊偵測. 傳染病疫情是在現實線下世界中進行感染散播，於此同時，最新研究指出關於疫情的造假資訊或負面資訊可能會因為政治因素，被不肖團體製造出來，並且在社群媒體中進行擴散(Mejova and Kalimeri 2020)。換言之，在線下疫情於真人世界中擴散的同時，線上假資訊的疫情亦隨之散播。我們在前三年計畫中所開發的疫情擴散預測模型是針對線下社群網路，在第四年之中，我們將應用線下疫情擴散預測模型於線上假資訊預測。應用 2：疫情擴散知識圖譜建構. 在傳染病疫情擴散之際，伴隨而來的是各種出現在線上媒體的人、事、時、地、物各種物件名詞的產生，為能讓更了解疫情擴散的趨勢，以及未來可能發生的各種事件以及參與的人，而知識圖譜 (Knowledge Graph)是表示這些不同物件彼此間因果關聯的最合適方式，知識圖譜由不同類型的節點以.

(14) 及不同類型的邊所構成，邊用來描述不同類型節點之間的關聯。我們將基於前三年所開發的網路特徵表示學習演算法，來進行疫情擴散之知識圖譜建構，預計建構疫情知識圖譜之示意圖如圖 3 所示(以武漢肺炎為例)，圖中不同顏色的節點表示不同類型(綠色表示國家、紫色表示區域、藍色表示事件、以及橘色表示政策)，而邊是有方向性的，邊上帶有描述邊類型的標籤。我們預計從新聞文本中提取出名詞實體(Named Entitiy)，並透過關係萃取(Relation Extraction)，找出名詞實體間的關聯，進而建構出初步疫情知識圖譜，在經由網路特徵表示學習，修正並預測完整知識圖譜。. 圖十三：疫情知識圖譜系統示意圖。應用 3：金融商品推薦系統. 在前三年的計畫中，我們已開發出一推薦演算法用來找出潛在疫情感染者，我們打算將此演算法落地應用至金融科技領域，我們已與永豐銀行以及玉山銀行簽署產學合作。我們將序列推薦演算法運用至為客戶推薦金融商品，給定一用戶之屬性以及過去金融交易紀錄，即該用戶在過去曾經購買或互動過的金融商品序列，我們的目的在於替該用戶推薦出一金融商品排序列表，使得她最可能購買或互動的商品被排序在較前面的位置。一旦為客戶產生金融商品，便可讓銀行或金控的理財專員進行精準行銷，藉此提高成交率以及成交金額。.

(15) 出國報告（出國類別：移地研究）. 服務單位：國立成功大學／資訊工程學系姓名及職稱：莊坤達副教授派赴國家、城市：日本、東京出國期間：2019/7/30~2019/8/13 報告提交日期：2019/8/26. 1.

(16) 摘要. 本次日本之行，主要有三個目的，第一項是應教育部「大學產業創新研發計畫」的合作廠商 BiiLabs 公司邀請，共同前往日本相關可能與台灣合作的 IT 整合廠商 ACCESS、IT 顧問公司如三菱顧問公司（MUFG）、日本資誠公司（PwC），以及日本內閣官房情報通信技術總合戰略室，討論可能的智慧城市及物聯網區塊鏈技術相關合作機會。第二項是原訂與台南市政府包含黃市長，共同前往東京電力公司、前往柏之葉的城市介紹以及能源管理服務系統、以及日本電池公司。最後一個目標是與聯齊科技 Nextdrive 這裡討論未來可能的物聯網資料分析的產學合作方案。. 2.

(17) 一、目的本次日本之行，主要有三個目的，第一項是應本人執行教育部「大學產業創新研發計畫」的合作廠商 BiiLabs 公司邀請，共同前往日本相關可能與台灣合作的 IT 整合廠商 ACCESS、IT 顧問公司如三菱顧問公司（MUFG）、日本資誠公司（PwC），以及日本內閣官房情報通信技術總合戰略室，討論可能的智慧城市及物聯網區塊鏈技術相關合作機會。第二項是原訂與台南市政府包含黃市長，共同前往東京電力公司、前往柏之葉的城市介紹以及能源管理服務系統、以及日本電池公司，後因台南市登革熱疫情關係，市府出席人員僅以台南智慧城市合作廠商為主，代表市府了解能源管理議題。最後一個目標是與聯齊科技 Nextdrive 這裡討論未來可能的產學合作方案。整體行程為： 7/30-高雄到東京 7/31-前往株式會社 ACCESS（東京秋葉原） 8/1-與 BiiLabs 執行長共同前往日本內閣官房情報通信技術總合戰略室及日本資誠顧問公司與三菱顧問公司（東京新宿） 8/2-前往 Azbil 水管公司，討論人工智慧漏水偵測計畫（東京新橋） 8/3-與東京電力公司開會討論（東京新橋） 8/4~8/5-與成大團隊於柏之葉（千葉柏市） 8/6~8/12-前往 Nextdrive 公司，討論跨國物聯網資料分析合作內容（東京六本木） 8/13-東京回高雄 3.

(18) 二、與會過程此次到東京，主要定位為與不同的日本廠商公司討論，並了解其 IT 系統變革與可能的合作契機。其中一開始包含日本的內閣官房情報通信技術總合戰略室及日本資誠顧問公司與三菱顧問公司等單位，主要提供了日本的智慧城市相關的發展案例。日本目前正推動國家層級的 Society 5.0 國家長程策略(https://www.gov-online.go.jp/cam/s5/eng/)，勾勒出下一個世代的主要科技發展方向，是以數位資料流動來驅動各種的服務應用。此行由三菱（MUFG）顧問公司，提出請我們協助，介接日本的鎌倉市與台南市，透過新的旅遊資料交換，形成一個新的城市資料交換應用。相關資料回國後已呈交台南市政府參考。. 圖：與 MUFG 共同討論智慧城市合作機會本次也與日本水表製造大廠 Azbil 進行跨國產學的合作提案。之前 Azbil 與我們有機會接觸，提出一個可以偵試居家漏水事件的合作機會。本次更進一步的討論了我們初步 Survey 的技術提案。討論後決定於今年底前，Azbil 將派人來成大再討論合作的細節及可能性，期望下一次能正式敲定此項合作案。. 4.

(19) 圖：與 Azbil 於 work style 共享辦公室討論另外我們也持續與東京電力公司持續討論合作開發電表資料分析的研究事宜。目前此計畫正進行規劃，於沙崙綠能城落地實驗。目前來說，東京電力公司積極的希望能以能源服務 BOT 廠商的角度切入台灣的電力輔助事業市場，我們的合作將做為其與台灣能源市場十分重要的介接。此次與東電的討論，主要是討論醫療與電力使用資料的創新可能的商業模式及研究方向。本次我陪同前往的重點行程是柏之葉的能源管理系統。此行也安排了台南市府相關合作廠商來共同學習。個人來柏之葉已經 4 次了，每次的收獲都不一樣，每次都看到它像一個生命體，提供一些值得學習的變化。. 圖：柏之葉街景。柏之葉為三井集團開發的一個以創新能源服務方式為基礎打造的智慧城市 5.

(20) 每次來，都會對日本在執行及整合端的能力越來越佩服。柏之葉城市的經營者很明白的跟我們說，從 2000 年開發到現在，有近一萬人的生活人口，要進展到 2030 年以 30,000 人口數為目標的過程中，最基本的挑戰問題是：如何改變現在大多數人依舊是到東京市內工作的情況？如何讓居民除了安居在這裡，也能樂業同一塊土地上。有種日夜生活圈不要超過方圓 1 公里的終極目標。以 Community 為經營的目標，他們要擴長到下一階段，不能只是蓋房地產、建百貨公司、蓋飯店，而是必須建立自己區域對國際頂尖大公司的吸引力，包含申請國際綠建築 LEED 綠色社區認證，是日本第一個獲得此認證的社區，這是他們吸引國際有企業社會責任要求之企業進駐，提供良好的工作機會的重要指標。仔細想想，我們現正大量回流的台商，是否有同樣的社會責任認知呢？也回饋讓我們居住環境，有合理的經濟誘因讓整體環境跟產業良性成長？此外我們也聽到一個很好的再生能源及儲能技術推動策略：電力公司允許區域經營者能透過新的技術在電價較低的時候進行儲電動作，然後在電價高的時候進行其他的調配；相反地電力公司在讓渡這樣子的權利過程，也在契約容量相關的合約上，強化一些附帶的懲罰機制，如果對方沒辦法同等在技術上有一些提升的話，不投入研發提升能源管理技術，一但不小心超過契約容量，難電費就變高很多難。在兩造雙方共同往後退一小步的共識下，才能創造共同往前跨一大步的機會，這是十分值得學習的一種模式。此外這次在東電部長的幫助下，得以直接進入他們的 AEMS（Area Energy Management System）的操作室！並且看到他們細部的各種能源曲線、即時利用狀況還有災難發生下的即時管理系統，並說明他們如何在電網斷電的情況下維持三天的區 6.

(21) 域電力穩定，如果有瓦斯供氣的話，可以延長到十天的區域必需電力，讓醫院電梯這些必要設備得以延續使用。水資源調度也是同樣有完善的對應策略。在台灣，多數民眾還是覺得電力供應穩定是電力公司、是國家的必要責任，而不是你的社區大樓的經營就必須要有這樣子的抗災韌度思維。此外在很多 stakeholder 的狀況下，建商將社區的經營權以及未來的城市規劃權利讓交給一個產（土地建商）、官（柏市政府）、民（社區居民）、學（東京大學、千葉大學）共同經營的中性單位 UDCK(Urban Design Center Kashiwa-no-ha)。UDCK 由東大教授主導，因為這個單位的關係，讓很多跨單位整合性變得更好。舉例來說，他們可以在靠近馬路的地方（地權屬地方政府），讓商圈經營者可以彈性擺設適合場域的設施（如桌椅），達到多贏的目的。此次去，也看到過去是 POC 階段(Proof of Concept)的車輛充電服務，進入下一個擴大服務的 POS、POB 階段。穩扎穩打，一步一步穩健的往前走下去的 Action Plan，實在令人折服。. 圖：柏之葉城市即時能源使用資訊. 7.

(22) 圖：柏之葉城市使用現況此行最後幾天，主要是與日本聯齊科技深度且多次討論未來的合作機會。聯齊為台灣出發的研究型公司，主軸為新能源資料介接物聯網設備廠商，目前其公司的產品已打進日本的前幾大電力公司。由於聯齊的下一代開發計畫，即為發展其能源資料應用的人工智慧技術，正好是我的研究重點。所以此次特別了解了一些可能的合作方式，也在此次的討論過程中，了解到日本正在開發的電力情報銀行概念，以及日本目前由幾大電力公司共同成立的 Grid Data Bank Lab（https://www.gdb-lab.jp/）。正積極的探討著可能的能源整合生活應用服務機會。我們也將透過聯齊的介紹，在接下來與此單位進行合作探討。 8.

(23) 圖：聯齊科技研究合作討論. 三、心得主要心得內容如上述。四、建議事項無。五、其他柏之葉 coworking space 相關資訊。. 9.

(24) 行政院科技部補助專題研究計畫移地研究暨專題演講心得報告 108 年 9 月 2 日計畫編號. MOST 108-2218-E-006-036 -. 計畫名稱. 公共衛生及健康醫療應用之物聯網數據智慧加值技術. 出國人員姓名. 謝孫源 108 年 8 月 21 日至. 會議時間. 服務機構國立成功大學資訊工程學系講座教授及職稱兼研發長. 地點. 日本北海道. 108 年 8 月 27 日名稱. (中文) 日本北海道大學電子科學研究所移地研究暨發表演講 (英文) Overseas Research and Invited Talk at Research Institute for Electronic Science, Hokkaido University, Japan. 研究題目. (中文) 網路最佳化問題之近似演算法設計與分析 (英文) Approximation Algorithms on Some Network Optimization Problems. 一、經過此次很高興接受北海道電子科學研究所教授 Dr. Akira Ishibashi 之邀來到亞洲頂尖大學之一 b 日本北海道大學移地研究，針對幾個網路最佳化問題尋求國際合作，並做專題演講，談我在幾個網路最佳化問題之近似演算法設計與分析的研究成果，並利用此機會介紹 NCKU Research 與教學創新場域。. 二、心得此次有機會受邀前往日本重點大學從事移地研究及發表專題演講，宣揚我國演算法的成果與實力，個人感到很光榮也很高興。在此特別感謝科技部計畫差旅費的補助，才使得此次演講能夠成行。我國在電腦理論基礎的研究在國際有很高的能見度，也希望科技部能持續支持國內電腦基礎理論:如演算法設計與分析、圖形理論、資料結構、計算幾何、互連網路的研究。進而匯集科研實力發展量子電腦。任何困難的題目都是由基本做起。三、研究內容題目：Approximation Algorithms on Some Network Optimization Problems 研究內容簡要說明: Given a metric graph G = (V, E, w), a center c  V , and an integer k, the Star k-Hub Center Problem is 1.

(25) to find adepth-2 spanning tree T of G rooted by c such that c has exactly k children and the diameter of T is minimized. Those children of c in T are called hubs. A similar problem called the Single Allocation k-Hub Center Problem is to find a spanning subgraph H* of G such that (i) C * is a clique of size k in H*; (ii) V \ C * forms an independent set in H*; (iii) each v V \ C * is adjacent to exactly one vertex in C*; and (iv) the diameter D(H*) is minimized. The vertices selected in C* are called hubs and the rest of vertices are called non-hubs. Both Star k-Hub Center Problem and Single Allocation k-Hub Center Problem are NP-hard and have applications in transportation system, telecommunication system, and post mail system. In this talk, we give 5/3-approximation algorithms for both problems. Moreover, we prove that for any.   0 , the Star k-Hub Center Problem has no ( 1.5   )-approximation algorithm unless P = NP. Under the assumption P ≠ NP, for any   0 the Single Allocation k-Hub Center Problem has no ( 4 / 3   )approximation algorithm.. 1) Professor Akira Ishibashi 希望我能用演算法及大數據分析技術幫忙分析他所研發之空氣清淨系統與睡眠品質相關性的數據。 2) 另外，北海道大學機械系助理教授水野雄太亦表達高度合作的興趣，後續會進一步討論相關之合作項目： From: 水野雄太 <mizuno@es.hokudai.ac.jp> To: <hsiehsy@mail.ncku.edu.tw> Sent: Wed, 28 Aug 2019 12:23:37 +0900 Subject: Thank you for your presentation at RIES, Hokkaido University on August 27 Dear Prof. Sun-Yuan Hsieh, My name is Yuta Mizuno from Hokkaido University. Thank you for your nice talk about approximation algorithms on network optimization problems yesterday. Your presentation was very interesting to me, because our laboratory is now exploring applications of Ising-type computer, which is a kind of dedicated computers for solving combinatorial optimization problems. I attached an image of my new business card. I look forward to a successful working relationship in the future. Sincerely yours, Yuta Mizuno --------------------------------------------------------------------------------Yuta Mizuno, Ph.D. (Assistant Professor) Research Institute for Electronic Science (RIES), Hokkaido University Graduate School of Chemical Sciences and Engineering, Hokkaido University 2.

(26) Institute for Chemical Reaction Design and Discovery(ICReDD), Hokkaido University Kita 20-jo Nishi 10-chome, Kita-ku, Sapporo, Hokkaido 001-0020, Japan E-mail: mizuno@es.hokudai.ac.jp ----------------------------------------------------------------------------------. 四、建議在此感謝科技部計畫差旅費的補助，才使得此次移地研究能夠成行。日本科研實力具增，有目共睹。此次與日本教授群做學術交流，得知日本政府對基礎研究投入大量經費支持。我國科技部在陳部長領軍之下，各方面都有長足進步，也將重要資源集中在人工智慧、量子電腦等領域，在資源稍嫌薄弱的我國亦屬明智之投資，但也希望高層莫忘基礎理論的研究，因為有紮實的理論基礎，才有重要的應用突破。. 五、攜回資料名稱及內容北海道大學電子科學研究所簡介。六、其他. 3.

(27) 4.

(28) 科技部補助專題研究計畫出席國際學術會議心得報告日期： 108 年 10 月 19 日. 計畫編號計畫名稱出國人員姓名. 會議時間. MOST 108-2636-E-006-002 MOST 108-2218-E-006-036 隱私保護社群資料探勘及其應用(2/3) 公共衛生及健康醫療應用之物聯網數據智慧加值技術(3/3) 服務機構成功大學統計系暨數據所副教授李政德及職稱 ACII 2019 108 年 9 月 3 日至 108 年 9 月 6 日 ACM UbiComp 2019 ACII 2019: 英國劍橋 108 年 9 月 9 日至 108 年 9 月 13 日 ACM UbiComp 2019: 英國倫敦會議地點 ACM RecSys 2019 ACM RecSys 2019: 丹麥哥本哈根 108 年 9 月 16 日至 IOSec 2019: 盧森堡盧森堡市 108 年 9 月 20 日 IOSec 2019 108 年 9 月 26 日至 108 年 9 月 27 日 (中文) 2019 情感運算與智能互動國際會議 (ACII 2019) (中文) 2019 AI 普及計算頂尖國際會議 (ACM UbiComp 2019) (中文) 2019 AI 推薦系統頂尖國際會議 (ACM RecSys 2019) (中文) 2019 資訊與操作科技國際研討會 (IOSec 2019) (英文) The 8th International Conference on Affective Computing & Intelli-. 會議名稱. gent Interaction (ACII 2019) (英文) The 2019 ACM International Joint Conference on Pervasive and Ubiquitous Computing (ACM UbiComp 2019) (英文) The 13th ACM Conference on Recommender Systems (RecSys 2019) (英文) International workshop on Information & Operational Technology (IT & OT) security systems (IOSec 2019) ACII 2019: 無。 ACM UbiComp 2019: 無。 ACM RecSys 2019:. 發表題目. (中文) 融合卷積與遞迴神經網路模型之金融序列預測與異常推薦 (英文) FineNet: A Joint Convolutional and Recurrent Neural Network Model to Forecast and Recommend Anomalous Financial Items IOSec 2019: 無。 1.

(29) 一、參加會議經過 ACII 2019 這是我生平第一次參加關於情感運算與智能互動應用的 ACII 會議，在這個會議中一切都是相當新鮮且充滿創意的，我來到這個會議找尋關於資料科學人工智慧應用於情感運算之相關研究成果。ACII 這個會議在我親身體驗後，認為它的定位應該在於融合自然語言處裡 ACL、電腦視覺 CVPR、資料探勘 KDD 與人機介面 CHI 這幾個頂級會議，融合這些領域的多模態(multi-modality)資料與技術來做偵測人類情感，並開發以情感情緒為基礎的應用介面或互動方式，回饋給使用者。 ACII 2019 的其中一位 keynote speaker 是來自 Northeastern University 的 Prof. Lisa Feldman Barrett，它的演講“How Machines Perceive Emotions?”主要想傳達的精神是人們數位裝置已經可以從各種類型的資料感知使用者的情緒，包含智慧型手機相機、貼文或文章自然語言資料、社群網路互動、影音多媒體聲音訊號等，尤其是從影像與多媒體影片中的人類臉部表情，深度學習能夠準確辨識情緒，甚至透過生成對抗網路能產生出逼真但是造假的影片，更有趣的是，他將偵測人臉情緒的技術和資料改訓練到動物與漫畫人物上，有能取得還不錯的成果。最後 Prof. Barrett 將偵測情緒的技術與心理學結合討論，認為除了資料本身，蒐集資料的 contexts 訊號將更能補充情緒發生時，周遭的反應，於此可以建構出具情感互動的人工智慧世界。關於大會的 main conference sessions，我從中挑選幾場值得分享的，撰寫其核心概念如下。 (1) 透過穿戴式裝置與人體行為多重感測器，加上深度學習方法，可有效對社群媒體上使用者所沒有提供的 missing data values 進行 imputation，並且獲得不錯的誤差減少，顯示感測資料明顯與社群媒體個人屬性欄位有所關聯，不過要能取得感測資料與社群媒體資料的配對是蠻不容易的。 (2) 一般進行文字探勘多是從社群媒體使用者貼文中，預測使用者屬性或情感，然而對實際應用來說，尤其是憂鬱症或躁鬱症偵測，不僅與情感相關，使用者屬性也很有關聯，因此有學者同時結合屬性資料與多媒體感測行為資料，來準確預測使用者是否有憂鬱症或躁鬱症。 (3) PyPLT 是今年 ACII 研究人員所開發的 preference learning toolbox，主要提供目前最好的 ordinal data processing 演算法，能有效且方法地從資料中產生物件彼此間的 ordinal relations 如 ranking 與 subjective ratings，可有效應用於推薦系統與精準行銷，目前提供演算法包含 RankSVM、RankNet 與 ANN-Backpropagation。 (4) 澳洲南昆士蘭大學研究人員提出 Unsupervised Adversarial Domain Adaptation，可有效針對跨語言對話資料進行使用者情緒識別，主要概念是透過生成對抗網路 GAN 來學習 language-invariant feature representations，且其中不需要目標語言的情緒標記資料，這是該方法最具貢獻之處。 (5) 德州大學研究人員開發出融合主動學習 active learning 的深度神經網路模型，來進行 speech emotion recognition，可透過使用者回饋有效解決標記資料不足的問題。 ACM UbiComp 2019 ACM UbiComp 是一個資訊科學中跨領域的頂尖國際會議，主要涉及的領域包含機器學習、資料科學、穿戴式裝置、行動運算、以及人機互動介面，從 2017 年開始，UbiComp 僅接受來自 Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (IMWUT)的論文發表，藉此提高所收錄論文的曝光度，並讓相關學者有一個頂尖互動交流的論壇。 2.

(30) 在今年 ACM UbiComp 2019 會議中，我最想分享的是來自英國牛津大學電腦科學系的 Prof. Marta Kwiatkowska 的 keynote talk，“Machine Learning Models for Ubiquitous Systems with Safety and Reliability Guarantees”，在演講中 Prof. Kwiatkowsk 一直強調 predicting multimodal features 的概念，她認為從智慧型手機到穿戴式裝置、乃至於無人自駕車與機器人，背後人工智慧模型必須要能隨時感知環境的各種模態資料，如影像、影片、文字、對話、聲音、甚至物理世界的實體互動與變化，然而目前的人工智慧機器學習模型多只能針對單一模態進行模型訓練與建立，研究人員應透過深度學習逐步邁向有效的萃取不同模態的特徵，方能做到具有足夠可靠性 reliability 的世界模型，進而對於智慧醫療儀器、生化安全預測、以及自駕車，產生夠穩定且夠安全的智慧服務。此外，這些人工智慧模型在融合不同模態的同時，必須要建構一種驗證機制，讓使用者的個人隱私能被多模態感測資料給還原，否則就喪失多模態資訊帶來的好處與意義了。關於 ACM UbiComp 2019 的 main conference sessions，內容主題涵蓋從深度學習、推薦系統、隱私保護資料分析、文字探勘、以及社群網路分析，面向十分多元且收穫也蠻多的。以下我就最深刻且最有收穫的所見所聞的幾項研究進行報告。 (1) LeakDoctor 這個系統能夠自動診斷並偵測智慧型手機是否有被洩漏個人隱私資料的風險，尤其針對某一個被安裝的 app，主要利用使用者使用 app 的習慣、時間、功能所組成的 log 資料，從中透過機器學習方法建立模型，來對使用者隱私欄位進行預測，進而獲得風險機率值。 (2) Confidence-aware Collective Matrix Factorization (CCMF)這個新的方法能產生具有隱私保護的跨領域地點推薦結果，其精神是採用 differential privacy 來對使用者去過的地點進行隱私保護，接著再用矩陣分解來完成推薦，但我個人認為該 CCMF 模型遺漏了 sequential features，也就是假定地點拜訪彼此是獨立的，或許序列特徵也會洩漏個人隱私。 (3) Animo 是一款研究人員開發的 app，它能讓安裝該 app 的使用者們分享彼此的生理訊號，進而輔助社交互動經驗，譬如分享心率 heart rate 給朋友，進而探討生理訊號如何影響社交互動的樣式。 (4) GeoLifecycle 探討線上與線下 location-based social networks (LBSN)中使用者參與社團(communities) 對於地點拜訪之間的影響，目的使找出並預測哪些人究竟最終會離開該 LBSN 服務(churn prediction)，並進行地點推薦，實驗結果發現探索新地點以及具足夠的線上討論，對於預測離開以及地點推薦而言，有最大的貢獻與影響。 (5) PANDA 是一個融合 deep multi-task learning 的空氣品質預測演算法，該方法解決了傳統空氣品質預測的三個難題：只有一部分的時間序列與空氣品質有關、特徵都是事先定義好並且計算而得的、卻少足夠量測站來建構有效的訓練模型。 ACM RecSys 2019 ACM RecSys 是推薦系統領域的頂尖國際會議，會議最大的特點是 single session，也就是所有與會學者只會在同一個大演講廳中聆聽，因此格外能引起討論與互動，並且能夠讓每一個最新研究有最大的曝光度。推薦系統典型作法是透過使用者與商品之間的互動來建立監督式模型，近年來隨著深度學習技術的普及，深度學習相關進階演算法逐漸被應用在建構更有效的推薦系統上，因此今年 ACM RecSys 2019 可以在各場演講中聽到深度學習的各種延伸與變形，而應用的領域也從傳統的商品推薦，推廣到精準行銷、智慧醫療、金融科技、智慧型個人助理等重要人工智慧議題上。從今年的大會 tutorials，更可知到目前推薦系統的趨勢，即公平性 fairness、市場區域 marketplaces、圖形特徵表示學習 graph embedding、以及多任務學習 multi-task learning。 3.

(31) 關於今年推薦系統大會的 keynote，來自蘇黎世大學的 Prof. Eszter Hargittai 讓我最有感，她的講題是 “Whose Data Traces, Whose Voices? Inequality in Online Participation and Why it Matters for Recommender Systems Research”，其主要精神是要告訴我們推薦系統產生的結果仰賴於使用者群眾是哪些、他們的網路數位足跡長什麼樣子、他們具備什麼技能、他們所見所買是來自於服務提供者所給的呈現方式，此外，對各個人屬性（如性別、種族、年齡等敏感欄位）對於推薦系統將造成不可忽視的不公平性，使得推薦系統朝向某一屬性值產生偏差(bias)，譬如黃種人男性在電子商務平台上的行為，將使得同樣是黃種人男性的使用者獲得類似的偏差推薦結果。最核心的問題是，除了使用者與商品之間的互動、使用者彼此間的社群網路結構、商品與商品之間基於 metadata 所構成的知識圖譜 knowledge graph，如何蒐集且利用使用者的數位足跡，並透過深度學習來進行特徵學習，將是下一階段推薦系統的主要課題，而其中蒐集到數位足跡又涉及隱私與個資，在 GDPR 的規定下又形成另一個挑戰。今年 ACM RecSys 的論文發表十分多元有趣，以下就我聽到比較有趣的進行報告分享： (1) Deep Generative Ranking (DGR)模型為解決推薦系統中 user-item 互動稀疏性與最佳化過程中的不穩定性，提出透過 Wasserstein auto-encoder 來產生 pointwise implicit feedback 來生成 pairwise ranking list，並且透過理論證明來確保它能在極端稀疏資料上維持足夠的 generalization error。 (2) Style Conditioned Recommendations (SCR)透過將風格作為條件來達到多樣化推薦，這個作法以 Conditional Variational Autoencoder 為基礎，讓 encoder 與 decoder 能把 user profiles 當成 condition 來學 user-content interactions，藉此能將原先應用在影像風格轉換上的 style transfer 應用在推薦系統上。 (3) 有學者嘗試探討 session-based item recommendation 的預測極限，在多種資料集包含電子商務、音樂串流、打卡地點，並透過 entropy rate 作為量測指標，系統性比較在不同訓練技巧下，過去 items 如何對未來 items 預測產生影響，並分析預測準確性的 upper bound。 (4) LORE 是一個考慮資格 eligibility 與個數限制 capacity 的推薦演算法，尤其應用於有限制資料並限量的折扣券發放上，需要推薦感興趣且有可能帶來吸引更多相關客戶的目標客戶，LORE 透過 Min-Cost Flow network optimization 來使得方法能在 polynomial time 下滿足 constraints，並進一步分成 single period solution 與 sequential time period offering 來討論時間對於限制與效果的影響。 (5) FiBiNET 進一步考慮 user features 與 item features 的重要性以及彼此間的特徵互動所建構的 click rate prediction 演算法，其主要想法是透過 Squeeze-Excitation network (SENET)機制來學習特徵的重要性，並透過 bilinear function 來學習特徵互動，實驗發現比經典的 FM 與 FFM 模型還要有更好的推薦準確性，若再加上 deep neural network layers，更可勝過 SOTA 的 XdeepFM 模型。 IOSec 2019 由於人在盧森堡大學進行移地研究訪問，在 Dr. Jun Pang 的邀請下，一同前往他們主辦的 Information & Operational Technology (IT & OT) security systems workshop 聆聽資料科學在資訊系統安全中的最新研究，該會議中我發現為了達到資訊系統安全性，各種感測器與監控裝置紀錄了許多文字與影響的 logs，這些感測而得的資料通常在資訊安全領域是缺少被利用的，主要原因是這些感測資料許多都和使用者個人隱私有關，因此就衍生出不侵犯隱私的機器學習、推薦系統與深度學習演法的機會，目的是不能讓所建構的模型得以回推使用者敏感欄位，並同時提高偵測惡意入侵與提早偵測異常行為的準確性。 IOSec workshop 是附屬在 The European Symposium on Research in Computer Security 2019 會議下，因此可以聽到大師級的分享。我去聆聽來自以色列大學 Prof. Adi Shamir 的 keynote talk，講題是“The Insecurity of Machine Learning: Problems and Solutions”，Prof. Shamir 藉由僅通過少數改變原始資料的 adversarial examples 就能欺騙深 4.

(32) 度學習神經網路模型作為開頭，來探討我們該如何信任機器學習產生的預測結果。在 Prof. Shamir 的演講中，它透過一個簡單的數學模型，將電腦視覺物件辨識、無人自駕車、國家安全等問題給抽象化，藉此表示 adversarial examples 是一種在深度學習架構下無可避免會產生的結果，它的數學證明在以 Hamming distance 下的幾何空間中能夠被用來進行量化分析。在整個會議論文 sessions 中，與 machine learning 和 data science 相關且值得一提的報告如下： (1) 在醫學時間序列上，如各種身體健康指出的感測監控數據，設計以 dynamic time warping 為基礎的搜尋與預測模型，如何讓模型難以用來反推病患的個資，做到 privacy-preserving medical analysis。 (2) 當機器學習的模型被 adversary 入侵竊取時，如何在不同 datasets 上進行數位浮水印，藉此確保模型訓練在另一資料集上，難以用來反推原始資料的使用者隱私敏感欄位。 (3) 推薦系統典型作法是透過深度學習來取得 user embedding 與 item embedding，雖然這種作法以普遍有效，但 user embeddings 很容易讓人能反過來預測個人檔案資訊，在深度學習的架構下，研究人員已著手設計具備差分隱私 differential privacy 的 user embedding learning，讓即使 adversary 取得模型甚至 embeddings，也無法猜出該 embeddings 是來自哪一位具有什麼特質的 users。 (4) Homeland security 一直是歐美國家重點關注的議題，大量裝設感測器與監控裝置在 GDPR 的規範下已逐漸成為爭議的話題，人們不想讓自己的資料因國家安全而被暴露在陽光下，因此衍生出的研究題目包含 privacy-preserving data sensing、defensing ML model leakage 與 unsupervised target embedding learning，目的都是想要在儘量不採用使用者標註資料的設定下，達到符合 GDPR 規範的國安感測與監控資料蒐集、並兼顧準確打擊恐怖行為。. 二、與會心得此次出國參與了四個頂尖與重要國際會議，主要的心得如果用一句話來形容，大概是深度學習、隱私保護、多模態特徵融合、以及情緒作為高階特徵這四個面向是目前資料科學與人工智慧領域實務上各國學者所共同致力解決得課題，設計能夠融合不同模態 modalities 的深度神經網路架構，搭配使用多個不同但是類似的任務的 multi-task learning，在使用者辨識、類別預測、情感偵測等不同題目上都獲得普遍的效果提升，但要能針對同一份資料集蒐集得到不同任務的預測標籤，或許是給 crowdsourcing 技術一個新的研究機會。此外，在 GDPR 的規範下，使用者隱私逐步獲得重視，使得社群媒體以及各種感測與監控設備能蒐集到的使用者資料越來越稀疏且越來越具各種雜訊，預測標籤只會越來越難取得，因此這幾個資料科學運用深度學習技術逐漸朝向非監督式特徵表示學習，試圖在不考慮標籤下學習出影像、文字、使用者與商品各自的 embeddings，於是類似 BERT 的 pre-training model 越來越受重視，今年最熱門的圖神經網路 graph neural network 也已有研究人員開發出 pre-trained 版本。另一方面，圖像從低階像素影像特徵，透過多個隱藏層的設計，目的在抓取某些模組化高階特徵，然而對於文字資料或社群媒體資料，個人認為在聽過許多場演講下來，高階特徵應該是情緒，或者稱為喜好、主題或個性化，但這種高貼特徵不像人臉或其他影像中的物件容易被視覺化呈現，因此 attention-based model 可以看到被廣泛用在非影響特徵的深度學習可解釋性上，目的是讓預測結果能同時透過注意力權重來進行解釋呈現。. 三、發表論文全文或摘要 ACM RecSys 2019 發表論文摘要: Financial technology (FinTech) draws much attention in these years, with the advances of machine learning 5.

(33) and deep learning. In this work, given historical time series of stock prices of companies, we aim at forecasting upcoming anomalous financial items, i.e., abrupt soaring or diving stocks, in financial time series, and recommending the corresponding stocks to support financial operations. We propose a novel joint convolutional and recurrent neural network model, Financial Event Neural Network (FineNet), to forecast and recommend anomalous stocks. Experiments conducted on the time series of stock prices of 300 well-known companies exhibit the promising performance of FineNet in terms of precision and recall. We build FineNet as a Web platform for live demonstration.. 四、建議人工智慧和資料科學是跨領域的，多次參加國際頂尖會議下來，有深深的這種感覺，對於 AI 跨領域研究，若相關單位能儘可能給予補助，讓國內學者有機會與世界級的研究人員進行互動，將對國內跨領域研究之潛能有所提升。所幸在相關單位的爭取下，明年 2020 The Web Conference (WWW)這個網路人工智慧的頂尖國際會議將在臺灣台北舉辦，讓人十分期待。. 五、攜回資料名稱及內容 ACII 2019 大會議程與論文集。 ACM UbiComp 2019 大會議程與論文集。 ACM RecSys 2019 大會議程與論文集。 IOSec/ESORICS 2019 大會議程本。. 六、其他無。. 6.

(34) 科技部補助專題研究計畫出席國際學術會議心得報告日期：108 年 8 月 8 日. 計畫編號計畫名稱出國人員姓名會議時間. 會議名稱發表題目. MOST 108－2218－E－006－036－公共衛生及健康醫療應用之物聯網數據智慧加值技術(3/3) 服務機構國立成功大學資訊工程學系教授高宏宇及職稱 108 年 7 月 19 日日本大阪至會議地點 108 年 7 月 22 日 (中文) 2019 國際創新計算與管理科學國際會議 (英文) 2019 International Conference on Innovation Computing and Management Science (ICMS 2019) (中文) (英文) Latent Aspect Mining for Short and Unrated Reviews. 一、參加會議經過二、與會心得三、發表論文全文或摘要四、建議五、攜回資料名稱及內容六、其他.

(35) 參與 2019 International Conference on Innovation Computing and Management Science (ICMS 2019)會議報告高宏宇教授成功大學資訊工程學系 (一) 參加會議經過 2019 International Conference on Innovation Computing and Management Science (ICMS 2019) (國際創新計算與管理科學國際會議)於 2019 年 7 月 19 日在日本大阪舉辦，此會議是收錄了許多創新的計算科學與管理科學文章，這一次我們被接受的論文主要探討在網路評價中有很多評價是有不同面向，我們的方法可以在文章中判斷出不同面向的正反意見，這確實是相當重要的技術，對於大量且快速產生的網路訊息來說，這一自動判斷的系統，可以讓產品公司很快地知道商品的個面向優劣點．我們團隊的論文在此次會議中還獲得最佳論文獎，實屬難得．以下為報告與獲獎照片.. 此次會議中與多位學者或專家做經驗交流。我們彼此分享在深度學習與資料探勘之研究心得，實為一難得之機會。並藉由此次交流，加強了我們在學術發表的方向下, 對於智慧運算的努力方向與國際學術單位的合作關係。.

(36) (二) 與會心得筆者非常感謝國科會與校方的補助，才能夠參加此次國際性會議, 並藉由此次之參與將對未來之研究之領域擴展有莫大之助益。與其他相關領域學者的交流, 也擴展了我們恰與我們團隊的研究領域文字理解相當有關，演講中介紹相當多應用與其技術，收穫相當多。.

(37) (三) 參觀活動無. (四) 建議人工智慧時代需要的的確是運算的戰力，這次在其他場次的論文中，我們發現有相當多不同的運算應用，這的確是我們可以努力的方向。 (五) 攜回資料名稱 ICMS program 手冊.

(38) 108年度專題研究計畫成果彙整表計畫主持人：高宏宇. 計畫編號：108-2218-E-006-036-. 計畫名稱：公共衛生及健康醫療應用之物聯網數據智慧加值技術(3/3) 成果項目. 質化（說明：各成果項目請附佐證資料或細單位項說明，如期刊名稱、年份、卷期、起訖頁數、證號...等） . 量化. 期刊論文. 0. 研討會論文. 0. 篇. 專書國學術性論文內專書論文. 0 本. 技術報告. 0 篇. 其他. 0 篇. 期刊論文. 0. 研討會論文. 0. 0 章. 篇. 專書國學術性論文外專書論文. 0 本. 技術報告. 0 篇. 其他. 0 篇. 大專生. 7. 詳細人員如參與計畫人員資料登錄. 碩士生. 12. 詳細人員如參與計畫人員資料登錄. 博士生. 3. 詳細人員如參與計畫人員資料登錄. 博士級研究人員. 0. 專任人員. 2. 大專生. 0. 碩士生. 0. 博士生. 2. 博士級研究人員. 0. 專任人員. 0. 本國籍參與計畫人力非本國籍. 其他成果（無法以量化表達之成果如辦理學術活動、獲得獎項、重要國際合作、研究成果國際影響力及其他協助產業技術發展之具體效益事項等，請以文字敘述填列。） . 0 章. 人次. 詳細人員如參與計畫人員資料登錄. 詳細人員如參與計畫人員資料登錄. (1)智慧城市疫情監控系統：整合國家蚊媒中心之蚊媒數值；與衛生局合作取得疫情資訊回報予系統；以物聯網技術加上雲端運算在短時間內產生分析儀表板，提供第一手疫病狀態以利有效的解決疫情。 (2)跨計畫整合平台：與醫院合作，取得病人即時資訊更新病例。預測疫病體溫風險指標。.

(39)