深度學習之專利分析研究

全文

(1)國立臺灣師範大學圖書資訊學研究所碩士學位論文. 指導教授：曾元顯博士. 深度學習之專利分析研究 Patent Analysis of Deep Learning. 研究生：陳綺萱撰. 中華民國一 ○ 八年一月.

(2) 謝辭論文研究的過程，非常感謝指導教授曾元顯老師不厭其煩的教導，讓我學習到許多，也很感謝口試委員柯皓仁老師與黃元鶴老師的建議，讓我的論文能夠更加完整與流暢。另外，也要感謝研究夥伴古怡巧的相互鼓勵與協助，讓整個過程更加順利，也讓我安心許多。起初，我曾猶豫是要繼續唸碩士，還是要休學找工作，還好在徬徨的時候有家人與朋友的陪伴，還有研究所同學的鼓勵，讓我最後能夠堅持到這一刻，回想起這一年半的時光，總覺得過得十分充實，也學習到許多，成長許多。最後，還是要感謝這一路走來陪伴我學習與成長的家人、朋友、同學以及老師。. 陳綺萱謹誌 2019 年 1 月. i.

(3) 摘要本研究旨在探討深度學習在各國的發展時間與成長趨勢，以及在相關學科與應用領域上之發展狀況。研究採用專利計量分析法與內容探勘工具 CATAR，針對美國專利及商標局 1976 至 2018 年之深度學習領域專利進行分析。研究結果分為四個面向：（1）專利成長趨勢與技術生命週期；（2）專利數分析與趨勢分析；（3）專利引用分析；（4）專利主題與專利關聯度分析。研究發現：（1）深度學習領域的技術生命週期正處於成長階段，其專利申請與公告的延遲時間平均約為 1.75 年；（2）高生產力專利權人國別依序為美國、日本、以色列、韓國、中國、德國以及加拿大，這七個國家的專利就佔了整體的 93%，專利高生產力發明人國籍依序為美國、中國、韓國、以色列、日本、印度以及加拿大；（3）在 103 組專利權人與專利發明人國家組合中，有 78 組與美國有關；（4）主要引用的學科領域為深度學習、神經網絡以及語音識別；（5）應用領域有語音識別、影像分析、圖像識別、醫學圖像、以及車輛控制系統等；（6）臺灣可以參考與學習以色列與韓國的發展模式，在研究領域方面，臺灣可以往醫學圖像與診斷、外科以及鑑定這個方面多加琢磨。研究建議：（1）增加關鍵詞（2）針對不同面向進行更深入與更具主題性的研究（3）針對深度學習領域之研究論文進行研究。. 關鍵字:深度學習、深度神經網絡、專利分析. ii.

(4) ABSTRACT The purpose of this study was to explore the development and the growth trend of deep learning in different countries. Also, the situation of deep learning in other related subjects and the application in different fields. This study used patent analysis and the content mining tool - CATAR to analyze the patents in the field of deep learning from 1976 to 2018 searching from USPTO. The findings of this paper are as follows: (1) The technology life cycle of deep learning is in the growth stage, and on average, the issue date is 1.75 years later than the applied date. (2) On patent assignee's nationality, the countries of high productivity are the US, Japan, Israel, South Korea, China, Germany, and Canada, and patents in these countries account for 93% of the total. On patent inventor's nationality, the countries of high productivity are the US, China, South Korea, Israel, Japan, India, and Canada. (3) Among 103 national groups of assignees and inventors, there are 78 groups related to the US. (4) Citations are mainly related to deep learning, neural networks, and speech recognition. (5) Applications focus on speech recognition, image analysis, image recognition, medical image, and vehicle control systems. (6) Taiwan can learn from Israel and South Korea, and research on medical image. Based on the findings of this study, there are three suggestions: (1) Add keywords. (2) Research on specific subjects intensively. (3) Research on papers in the field of deep learning.. Keywords: Deep Learning, Deep Neural Network, Deep Neural Networks, Patent Analysis. iii.

(5) 目錄第壹章緒論........................................................ 1 第一節研究背景與動機 ............................................. 1 第二節研究目的與問題 ............................................. 2 第三節研究範圍與限制 ............................................. 3 第四節名詞解釋 ................................................... 4 第貳章文獻探討.................................................... 6 第一節深度學習 ................................................... 6 第二節專利分析 .................................................. 13 第三節專利資料庫、專利分析軟體以及參考文獻剖析工具 .............. 22 第參章研究設計與實施............................................. 29 第一節研究方法 .................................................. 29 第二節研究對象與工具 ............................................ 30 第三節研究實施與步驟 ............................................ 32 第肆章研究結果與分析............................................. 40 第一節專利成長趨勢與技術生命週期 ................................ 40 第二節專利數分析與趨勢分析 ...................................... 43 第三節專利主題與專利關聯度分析 .................................. 56 第四節專利引用分析 .............................................. 64 第伍章研究發現與建議............................................. 71 第一節研究發現 .................................................. 71 第二節研究建議 .................................................. 75 參考文獻........................................................... 76 附錄............................................................... 82. iv.

(6) 表次表 2-1 神經網絡的發展................................................ 7 表 2-2 專利分析的功能............................................... 17 表 2-3 專利分析相關研究............................................. 22 表 2-4 參考資源剖析工具、剖析結果呈現方式以及正確率................. 28 表 2-5 參考資源剖析工具與各項目正確率............................... 28 表 3-1 第一階段檢索條件與筆數（檢索日期：2018/2/20）................ 32 表 3-2 第二階段檢索條件與筆數（檢索日期：2018/9/14）................ 34 表 4-1 專利申請時間與專利公告時間相差年份敘述統計表................. 42 表 4-2 專利發明人數敘述統計表....................................... 54 表 4-3 被引專利文件之國家與其被引總次數與被引總篇數................. 65 表 4-4 高被引專利文件與其專利權人、公告年份以及被引用次數........... 67 表 4-5 高被引非專利文獻與其出刊年份與被引用次數..................... 69 表 4-6 高被引期刊與其被引用次數..................................... 70. v.

(7) 圖次圖 3-1 美國專利：基本資訊、題名、摘要以及分類號（資料來源：USPTO） . 37 圖 3-2 美國專利：專利引用文件與非專利引用文獻（資料來源：USPTO） ... 37 圖 3-3 美國專利：權力範圍與描述（資料來源：USPTO） ................. 38 圖 4-1 專利成長趨勢圖 .............................................. 41 圖 4-2 技術生命週期圖 .............................................. 41 圖 4-3 專利申請時間與專利公告時間相差年份次數分佈圖 ................ 42 圖 4-4 TOP13 專利權人次數分佈圖..................................... 44 圖 4-5 TOP13 專利權人成長趨勢圖..................................... 45 圖 4-6 TOP7 專利權人國別次數分佈圖.................................. 46 圖 4-7 TOP7 專利權人國別成長趨勢圖.................................. 47 圖 4-8 TOP2~TOP7 專利權人國別成長趨勢圖............................. 47 圖 4-9 TOP14 專利發明人次數分佈圖................................... 49 圖 4-10 TOP14 專利發明人成長趨勢圖.................................. 50 圖 4-11 TOP7 專利發明人國籍次數分佈圖............................... 51 圖 4-12 TOP7 專利發明人國籍成長趨勢圖............................... 52 圖 4-13 TOP2~TOP7 專利發明人國籍成長趨勢圖.......................... 52 圖 4-14 每篇專利發明人人數分佈圖 ................................... 53 圖 4-15 Top11 專利權人/專利發明人關係次數分佈圖..................... 54 圖 4-16 臺灣專利權人/專利發明人關係次數分佈圖 ...................... 55 圖 4-17 TOP7 五階層合作專利號(CPC)次數分佈圖........................ 57 圖 4-18 TOP11 三階層合作專利號(CPC) 次數分佈圖...................... 58 圖 4-19 TOP9 五階層國際專利號(IPC)次數分佈圖........................ 59 圖 4-20 TOP7 三階層國際專利號(IPC)次數分佈圖........................ 60 圖 4-21 共現字歸類第三階段主題地圖 ................................. 61 圖 4-22 被引專利文件年代次數分佈圖 ................................. 66. vi.

(8) 第壹章. 緒論. 第一節研究背景與動機在科技發展相當迅速且商業競爭非常激烈的背景下，若能提早預測新興技術，便能提前進行策略規劃與技術發展，進而提早進入市場佔得先機。近幾年，大數據與人工智慧的議題相當熱門，而最近相當熱門的議題則是深度學習，時常可以看到有關深度學習研究與應用的報導或文章，從 Gartner 預測的 2018 十大科技趨勢與 PwC Next In Tech 的 2018 十大人工智慧趨勢預測可以看出深度學習所佔的比例頗高（36 氪，2017；Rao, Voyles, & Ramchandani, 2017）。深度學習是近期科技發展的重要趨勢與核心，對企業來說，若是能找出深度學習領域中的新興技術或是發展空間較大、較具價值的領域，便能根據企業的優勢預先制定發展策略，並評估競爭對手的情報，若是能及早在市場佔得先機，便能確保自己近幾年的優勢，甚至能影響得更為長遠。預測新興技術、評估企業優勢以及蒐集競爭對手情報的方法有很多，其中最有效的方法為專利分析，它是企業戰略與競爭分析中一種獨特而實用的分析方法，是企業競爭情報常用的分析方法之一（智庫百科，2014）。除了企業，政府也時常透過專利分析來處理科學政策，特別是在美國，這一趨勢促使決策者在創新政策和技術管理領域使用客觀數據，讓這些決策者能在更早的階段尋求更可靠的研究和開發，為國家經濟做出貢獻（Iwami, 2017）。因此，本研究希望透過專利分析的方法探討深度學習在各國的發展時間與成長趨勢，以及在相關學科與應用領域上之發展狀況，並進一步了解臺灣的發展現況與未來可能的研究方向。. 1.

(9) 第二節研究目的與問題本研究針對美國專利及商標局（United States Patent and Trademark Office，簡稱：PTO 或 USPTO）收錄之深度學習專利文件進行分析，探討深度學習在各國的發展時間與成長趨勢，在相關學科與應用領域上之發展狀況，並進一步了解臺灣的發展現況與未來可能的研究方向。基於上述需要，本研究使用專利分析法分析 USPTO 的深度學習專利文件，期望達到的具體目的如下：一、了解深度學習領域專利的成長趨勢與技術生命週期，並了解專利申請日期與專利公告日期的延遲關係。二、了解深度學習領域專利數量較多的專利權人、發明人以及國家。三、了解深度學習領域國際間專利權人與專利發明人之關係。四、了解深度學習領域專利的主題分佈與應用。五、了解深度學習領域專利大多應用哪些學科領域的知識與技術。六、了解臺灣在深度學習領域專利的發展狀況與發展優勢，並找出臺灣未來可以發展的方向。針對上述的研究目的，本研究提出的研究問題如下：一、深度學習領域的專利，其成長趨勢為何？在技術生命週期的哪一個階段？專利申請日期與專利公告日期平均相差多久時間？二、深度學習領域的專利，其專利權人大多為哪些企業或機構？大多由誰發明？大多屬於哪些國家？. 2.

(10) 三、深度學習領域專利權人與專利發明人所屬不同國家的專利有多少？有哪些組合？四、深度學習領域的專利，其分類號大多為何？主要分佈與應用在哪些領域？五、深度學習領域的專利，其大多引用哪些專利、文章以及期刊？六、臺灣在深度學習領域中，其發明與擁有專利所有權的比例有多少？未來發展的優勢與方向為何？. 第三節研究範圍與限制本研究針對深度學習的專利文件進行分析，其研究範圍與限制如下：. 一、研究範圍： 1.. 本研究在 USPTO 以「((TTL/"deep learning" OR ABST/"deep learning" OR ACLM/"deep learning" OR SPEC/"deep learning") OR (TTL/"deep neural network" OR ABST/"deep neural network" OR ACLM/"deep neural network" OR SPEC/"deep neural network") OR (TTL/"deep neural networks" OR ABST/"deep neural networks" OR ACLM/"deep neural networks" OR SPEC/"deep neural networks"))」作為檢索條件，檢索專利題名、摘要、權力範圍以及描述中，含有 deep learning 或 deep neural network 或 deep neural networks 的專利。. 2.. 本研究透過 USPTO 檢索深度學習的專利文件以進行分析，時間範圍為專利公告日期在 1976 年到 2018 年有全文的專利文件。. 3.

(11) 二、研究限制： 1.. 本研究僅探討深度學習在 USPTO 的專利文件，其他相關資訊，如：學術論文、會議論文以及其他專利資料庫的專利文件等，不在探討範圍內，但是，它們可能也有刊載關於深度學習專利的相關資訊與應用概念。. 2.. 本研究僅以 Deep Learning、Deep Neural Network 以及 Deep Neural Networks 作為關鍵詞進行檢索，但是，深度學習的領域可能還包含其他重要的詞彙，只採用這三個關鍵詞可能會造成搜尋到的專利不夠完整與全面。. 第四節名詞解釋一、深度學習（Deep Learning）深度學習是機器學習的一個分支，是一種基於對資料進行表徵學習的演算法，深度學習目前已有數種框架，如：卷積神經網絡與遞迴神經網絡，深度學習的應用領域相當廣泛，如：圖像識別、語音識別以及自然語言處理。. 二、專利分析（Patent Analysis）針對專利資訊進行分析、加工以及組合，並利用統計學的方法加以整理與分析。專利分析具有預測新興技術、制定研發策略以及評估競爭對手等功能，專利分析是企業戰略與競爭分析中一種獨特而實用的分析方法，是企業競爭情報常用的分析方法之一。. 4.

(12) 三、專利號碼（Patent Number）美國專利分成發明專利、設計專利以及植物專利三種類型（United States Patent and Trademark Office, 2015），每一個專利都有其專屬的專利號碼，會放在文件的右上角，不同類型的專利，其專利號碼格式不相同。本研究分析的專利為發明專利，發明專利的專利號碼是由六到八位純數字所組成（United States Patent and Trademark Office, 2018a）。. 四、專利分類號（Patent Classification） USPTO 專利文件的專利分類號包含美國專利分類號（United States Patent Classification，簡稱：USPC）、合作專利分類號（Cooperative Patent Classification，簡稱：CPC）以及國際專利分類號（International Patent Classification，簡稱：IPC）。 USPTO 官方網站說明自 2013 年 1 月 1 日起從美國專利分類號轉向合作專利分類號，並且不再使用美國專利分類號（United States Patent and Trademark Office, 2018b），故本研究僅分析合作專利分類號與國際專利分類號。美國專利分類是官方的專利分類，由美國專利及商標局使用和維護，國際專利分類是用於專利文件分類和檢索的國際標準，合作專利分類則是國際專利分類更為具體和詳細的版本，合作專利分類號與國際專利分類號的分類架構，按階層次序分為五個等級，包括：部(section)、主類(class)、次類(subclass)、主目(group)以及次目(subgroup)（葉士緯、黃振榮，2017），本研究針對合作專利分類號與國際專利分類號的五階層與三階層進行統計。. 5.

(13) 第貳章. 文獻探討. 本研究主要是針對 USTPO 深度學習領域的相關專利進行專利分析，本研究將文獻探討分為三節：第一節介紹深度學習的定義、發展以及應用；第二節說明專利分析的定義、功能以及相關研究；第三節介紹常見的專利資料庫、專利分析軟體以及參考文獻剖析工具。. 第一節深度學習一、深度學習的定義深度學習是機器學習的一種方法，機器學習技術就是讓機器可以自我學習的技術，一般機器學習方法要經過三個步驟：首先，人類提供機器一個由函數構成的集合，接著，人類根據訓練的資料定義函數的優劣，最後，機器自動從函數集內找出最佳的函數。深度學習亦是如此，深度學習是讓機器模擬人腦的運作方式，進而和人類一樣具備學習的能力，它讓電腦可以自行分析資料找出「特徵值」，而不是由人類來決定特徵值，就好像電腦可以有「深度」的「學習」一樣。深度學習的三個步驟和機器學習一樣，包含：選擇函數集、定義優劣以及挑選函數，其中，人類提供的函數集是由神經網絡的結構所定義，神經網絡和人腦有幾分相似之處，人腦是由神經元所構成，神經網絡也是由神經元連接而成。深度學習使用多層神經網絡，理論上隱藏層越多自由度與精確度就越高，但是，結果剛好相反，因為，誤差反向傳播很難傳遞回更上一層的神經元，當階層太多時效果不佳，因此，深度學習不但使用多層神經網絡，同時還使用自動編碼器來進行非監督式學習（李宏毅，2016；曲建仲，2017）。. 6.

(14) 二、深度學習的發展人工智慧、機器學習以及深度學習是密切相關的，深度學習是機器學習的分支，機器學習又為人工智慧的分支。人工智慧在 1950 年代的發展是以數理邏輯為基礎。機器學習是人工智慧領域的一個重要學科，1980 年代多層神經網絡失敗，淺層機器學習方法興起，此時，機器學習在演算法、理論以及應用等方面都獲得巨大的成功。深度學習是機器學習的第二次浪潮，2006 年 Hinton 成功訓練多層神經網絡，Hinton 和他的學生在 Science 期刊上發表了一篇文章，讓深度學習在學術界和工業界獲得了廣大的關注，但深度學習真正的轉折點是在 2012 年的 ImageNet 比賽，這次的比賽讓深度學習與圖形處理器（Graphics Processing Unit，簡稱：GPU）一戰成名，同時，NVIDIA GPU 也成為運算中不可或缺的硬體，直到現在，深度學習已經成為大數據和人工智慧的一個熱潮（余凯、贾磊、陈雨强、徐伟，2013；Lynn, 2017）。深度學習的概念源自於神經網絡的研究，神經網絡技術在 1980 年代就已經發展成熟，只是當時並不常用「深度學習」這個詞彙（李宏毅，2016）。直至今日，在深度學習領域中，神經網絡仍是相當重要的核心價值，神經網絡的發展深深影響著深度學習，Schmidhuber（2015）針對神經網絡的發展進行了詳細的回顧，本研究將其整理如表 2-1。表 2-1 神經網絡的發展年代 1940 年代. 發展早期的神經網絡，還沒有學習。. 1960 年左右. 視覺皮層為深度學習提供了靈感。. 1960~1981 年. 為神經網絡開發反向傳播（Backpropagation，簡稱：BP）。. 1965 年. 基於數據處理分組方法（Group Method of Data Handling，簡稱：GMDH)的深度網絡。. 1979 年. 引入卷積神經網絡（Convolutional Neural Network，簡稱： CNN）、權重重置以及色度抽樣。. 7.

(15) 1980~2000 年. 神經網絡的大量改進。. 1987 年. 通過自動編碼器（Autoencoder，簡稱：AE）層級的非監督式學習（Unsupervised Learning，簡稱：UL）。. 1989 年. 卷積神經網絡的反向傳播。. 1991 年. 基礎深度學習梯度下降的問題與時間遞迴神經網絡（Recurrent Neural Network，簡稱：RNN）。. 1992 年. 卷積神經網絡的最大池化（Max-Pooling，簡稱：MP）。. 1994 年. 早期競賽獲勝的神經網絡。. 1995 年. 長短期記憶（Long Short-Term Memory，簡稱：LSTM）。. 2003 年. 更多獲獎、創紀錄的神經網絡與成功的深度神經網絡。. 2006~2007 年. 深度信念網絡（Deep Belief Network，簡稱：DBN）、針對 MPCNN 與 LSTM 提升 CNN 的 BP 與 GPU。. 2009 年. 由 RNN 和 MPCNN 贏得首次正式比賽。. 2010 年. GPU 上的反向傳輸打破了 MNIST（Modified National Institute of Standards and Technology，簡稱：MNIST）的記錄。. 2011 年. GPU 上的 MPCNN 實現視覺性能。. 2012 年. 用 Hessian Free 方法優化 RNN。. 2013~. 更多比賽和記錄。. 三、深度學習的應用深度學習的應用領域相當廣泛，包括：圖像識別、語音識別、自然語言處理、目標檢測、藥物發現、基因學以及廣告點擊率預估等。深度學習為現代社會的許多方面提供了動力，從網路檢索到社交網絡上的內容過濾，再到電子商務網站的推薦，以及相機和智慧型手機等產品的功能，都能發現深度學習的蹤影（LeCun, Bengio, & Hinton, 2015）。以下針對深度學習的應用進行舉例與說明。. 8.

(16) （一）圖像識別圖像識別的發展已有相當長的一段時間，圖像識別也是深度學習最早嘗試的領域，它可以應用的範圍相當廣泛，像是基於內容的圖像檢索、最近相當熱門的臉部辨識以及近期發展相當快速的醫學圖像分析等。在臉部辨識方面，由於複雜的臉部變化，預測臉部屬性是具有挑戰性的， Liu 等人提出了一個新的屬性預測的深度學習框架，該框架包含了 CNN、LNet 以及 ANet，這個框架不僅比現有技術大得多，而且還揭示了有關人臉表徵的價值，這將有益於未來的人臉辨識和深度學習研究（Liu, Luo, Wang, & Tang, 2015）。Parkhi 等人的目標是從單張照片或從視頻中追蹤一組人臉，最近在這方面取得的進展是由於兩個因素：使用卷積神經網絡端到端的學習與超大規模訓練數據集的可用性，Parkhi 等人展示了一個大規模的數據集（2.6M 圖像，超過 2.6 萬人）並透過深度網絡訓練和人臉識別的複雜性來介紹方法和程序（Parkhi, Vedaldi, & Zisserman, 2015）。Wang 等人則是將臉部辨識用於安全監控，由於安全監控實際應用的需求，在現實世界的監控影像中進行穩健性的人臉識別是一個具有挑戰性的重要問題，儘管當前的臉部辨識系統在相對受限的場景中表現良好，但它容易因為姿勢、照明或臉部表情的變化而有所影響，Wang 等人因而提出了一種透過深度學習在實際監控影像中進行臉部辨識的方法（Wang, Bao, Ding, & Zhu, 2017）。臉部辨識除了許多相關的研究外，也有一些實際的應用，像是 iPhone 的 Face ID、Google 相簿中的人臉辨識功能以及人臉辨識門禁系統等。在醫學圖像分析方面，近年來也有相當多的研究，深度學習演算法，特別是卷積神經網絡，已經迅速成為分析醫學圖像的首選方法。Litjens 等人回顧了與醫學圖像分析有關的主要深度學習概念，他們調查了使用深度學習進行. 9.

(17) 的圖像分類、目標與病變檢測以及器官與子結構分割等任務，並對每個應用領域的研究提供簡明的概述，包括：神經、大腦、視網膜、胸部、乳房、心臟、腹部以及肌肉骨骼等的圖像分析。從他們回顧的 308 篇論文中可以看出，深度學習已經應用到醫學圖像分析的各個面向，而且發展相當迅速，絕大多數的貢獻都是在 2016 年左右發布的（Litjens et al., 2017）。 Gulshan 等人就是以深度學習進行的圖像分類來檢測糖尿病視網膜病變，它以高靈敏度和高特異性鑑別糖尿病視網膜病變或雙眼黃斑水腫，這種檢測糖尿病視網膜病變的自動化系統具有多種優勢，包括解讀的一致性、高靈敏度、特異性以及即時的結果報告。但這類型的研究依然有它的限制，Gulshan 等人所使用的參考標準是所有眼科醫生分級的主要決定因素，這意味著大多數眼科醫師無法識別的細微結果的圖像可能無法完成，另一個限制來自深度神經網絡的性質，神經網絡僅具有圖像和相關等級，沒有明確定義特徵，最後，尚未解決的問題是，眼科醫師使用的界面設計和分級設置是否會影響臨床表現，這還需要進一步的實驗來解決（Gulshan et al., 2016）。近期，醫學領域應用圖像識別的研究相當多且發展相當迅速，但是，應用於醫學的圖像識別往往需要進一步的評估和驗證，才能明確瞭解實驗研究與實際臨床狀況的差距。. （二）語音識別語音識別也是深度學習領域中發展相當久的技術，Facebook、Google、 IBM、微軟以及百度等企業針對語音識別技術的應用與發展投入了不少心力，深度學習正成為工業領域語音識別的主流技術。以微軟為例，Deng 等人概述了自 2009 年以來微軟語音研究人員在該領域的工作，並介紹了最近的進展，為當前的深度學習技術的基本功能和局限性提供了解決方案，他們提供了最. 10.

(18) 近將深度學習方法用於提升語音技術和相關應用的實驗樣本，與其他近年來的工作表明，深度學習是一項強大的技術，他們今後在深度學習研究方面的工作主要針對三個基本方向：更有效的深層架構和學習算法、使用越來越大的數據集對深度學習模型進行訓練以及將深度學習模型的應用擴展到其他語言和語言處理領域以及其他領域（Deng et al., 2013）。. （三）無人機深度學習最近在各種機器人任務方面表現相當出色，其在實際環境中獲取複雜數據，並有出色的學習能力，這讓它非常適合多種自主機器人的應用。無人機目前正廣泛應用於安全、監控、災難救援、包裹運輸以及倉庫管理等多種民用任務，Carrio 等人評估無人機深度學習的應用，包括開發與其性能和局限性，並描述無人機深度學習應用的主要挑戰。現在的機器人能夠執行複雜的操作，但是並不容易適應環境中的變化，在這種情況下，就必須依靠經驗學習，而深度學習就是解決這個困境相當有用的技術（Carrio, Sampedro, Rodriguez-Ramos, & Campoy, 2017）。. （四）金融市場預測大數據分析和深度學習是數據科學的兩大重點，大數據對於需要收集大量數據的組織非常重要，因為許多組織都在收集大量特定領域的資訊，這些資訊可能包含國家情報、網路安全、詐欺檢測、市場營銷以及醫療資訊等有用的資訊，而深度學習幫助了大數據的收集、分類以及應用，這使得深度學習成為極具價值的工具（Najafabadi et al., 2015）。舉例來說，人類沒有辦法預測未來某個時期可能表現良好的股票，但是，深度學習對於這樣的問題可能是有用的，深度學習提供了使用大型數據集來優化預測性能的框架，因此，深度學習框架非常適合金融領域的實踐與理論， 11.

(19) Heaton 等人使用深度學習分層模型來解決財務預測和分類問題，期望能透過深度學習的方法來提高傳統應用的預測性能，甚至是能夠顯著提升（Heaton, Polson, & Witte, 2017）。. （五）情感分析社群媒體使用者生成內容的情感分析對於許多社群媒體分析任務來說相當重要，研究人員依靠文本情緒分析來開發系統，以預測政治選舉與衡量經濟指標等。最近，社群媒體使用者越來越多地使用圖像和影像來表達他們的觀點與分享他們的經驗，這種大規模視覺內容的情感分析有助於更好地提取使用者對於事件或主題的觀點，以便從視覺內容中預測情緒。 You 等人為圖像情感分析設計卷積神經網絡架構，透過使用情感分析方法標記 Flickr 圖像來獲得 50 萬個訓練樣本，此外，他們透過使用少量手動標記的 Twitter 圖像來提高 Twitter 圖像的性能，結果表明，提出的卷積神經網絡在圖像情感分析方面可以取得更好的性能（You, Luo, Jin, & Yang, 2015）。Sohangir 等人則針對股票市場進行情緒分析的研究，股票市場是增加財富的熱門場所，但何時買入與賣出股票，或購買哪些股票的基本問題尚未解決，透過如 StockTwits 與 SeekingAlpha 等金融社交網絡的普及，世界各地的投資者都有機會收集和分享他們的經驗，Sohangir 等人調整深度學習模型以改善 StockTwits 的情緒分析性能，他們應用了幾種神經網絡模型來發布 StockTwits 的股票市場意見，研究結果表明，深度學習模型可以有效用於金融情緒分析，而卷積神經網絡是預測 StockTwits 數據集中使用者情緒的最佳模型（Sohangir, Wang, Pomeranets, & Khoshgoftaar, 2018）。深度學習的發展已經有一段時間了，深度學習的發展算是相當出色，應用的領域也相當多元與廣泛，對實際應用的貢獻來說，深度學習可能是機器. 12.

(20) 學習領域最近這十年來最成功的研究方向，但是，深度學習的發展仍存在著一些問題，像是理論、建模以及工程上的問題，尤其是深度學習的理論研究，這是相當困難的，舉例來說，它缺乏關於深度神經網絡中目標函數幾何的知識，或是難以了解為什麼某些架構比其他架構更好，所以，即便現在的深度學習技術相當出色，但它仍然有很大的空間值得去研究與發展（余凯等人， 2013；Carrio et al., 2017）。. 第二節專利分析一、專利分析的定義隨著世界技術競爭的日益增長，各國企業紛紛展開專利戰略的研究，其核心為專利分析，意即針對專利資訊進行分析、加工以及組合，並利用統計學將這些資訊轉化為具有綜觀全局與預測功能的競爭情報，進而為企業的決策提供參考。專利分析不僅是企業爭奪專利的前置工作，更能為企業在發展技術策略與評估競爭對手方面提供有用的情報，因此，專利分析是企業戰略與競爭分析中一種獨特而實用的分析方法，是企業競爭情報常用的分析方法之一（智庫百科，2014）。也有人將專利分析稱為專利地圖，意即透過專利檢索，檢索與研究主題相關的專利資訊，並以統計學的方法整理成各種加值化的專利資訊，讓使用者可以用簡單與清晰的圖表獲取豐富的專利資訊內涵。專利地圖分析則是運用專利分析技能，將零散瑣碎的專利資訊藉由專利地圖分析轉化成系統性的市場與技術資訊，並對研究主題進行多面向的分析與規劃，若將專利地圖分析用於策略規劃，則稱為專利佈局。近年來，專利地圖已逐漸與技術路徑圖整合，以進一步瞭解技術的未來發展，此外，專利地圖也經常與市場資訊搭. 13.

(21) 配，成為監控企業研發與產品佈局的指標，最後，專利地圖亦可用於分析國家的產業競爭力與研發實力（維基百科，2016）。專利分析可以分為定量分析與定性分析，定量分析主要是透過專利文件的固有項目來進行統計分析，如申請日期與專利權人，定性分析則是以專利說明書、權利要求等技術內容來識別專利，在進行專利分析時，通常需要將定量分析與定性分析相結合，才能達到較好的分析成果（智庫百科，2014）。除了定量分析與定性分析，專利分析亦能基於引文進行分析，其基本概念是當一項專利引用另一項專利時，這兩項專利間就存在著技術的聯繫，視覺化專利間的引用關係，對於了解技術的整體狀態非常有用，並且有助於專家分析技術網絡與識別技術，簡而言之，專利引用對科學和技術政策的規劃與評估是有用的（Gavilanes-Trapote, Río-Belver, Cilleruelo, & Larruscain, 2015）。綜合上述的說明，可以了解專利分析的定義與其重要性，在技術發展迅速且商業競爭相當激烈的背景下，能夠掌握未來的發展趨勢、預先規劃發展目標、掌握競爭對手的戰略資訊以及在市場佔得先機就顯得相當重要，專利分析就是掌握現況與預測未來趨勢相當有用且迅速的方法之一，因為，專利文件清楚的描述了技術的相關資訊，而且，它是公開、免費且容易取得的。. 二、專利分析的功能與相關研究透過專利分析，能夠掌握當前的發展狀況與預測未來的發展趨勢，專利分析的功能有很多，如掌握競爭對手的戰略資訊與了解企業當前的優勢和劣勢，由於專利文件容易取得的特性與專利分析多樣的功能，因此，應用專利分析的研究也相當廣泛，下列整理與歸納了專利分析的功能與相關的研究。. 14.

(22) （一）專利分析的功能專利分析的功能相當多樣，研究者對於專利分析功能的詮釋也有所不同。陳達仁與黃慕萱認為專利的功能主要可以分為五項，包括：獲利-授權帶來營收、策略-保持競爭優勢、分析-監控技術發展、防禦-保障企業權益以及攻擊控告他人侵權，透過專利分析，可以掌握新技術的發展動向、追蹤競爭對手的研發成果，甚至可以監測是否有專利侵權的情形發生，專利分析亦可作為企業市場行銷與產業分析的分析指標，對公司的經營提供更有效的管理與規劃，並決定自己的開發方向，簡單來說，透過專利分析可以知悉技術領域現況、監控技術領域趨勢、瞭解競爭對手研發狀況、掌握競爭對手全球布局、確認研發策略以及促進技術加值應用（陳達仁、黃慕萱，2018，P.21~P.26、 P.272）。由於沒有可以使用的歷史數據，因此預測新興技術相當困難，在這種情況下，專利分析提供了有用的數據（Daim, Rueda, Martin, & Gerdsri, 2006）。專利分析也可以用來評估企業的競爭力，Song 等人提出基於專利分析的企業技術競爭力評價方法，以企業作為研究對象，針對其在某一技術領域的研究和競爭力進行評估，評估的目的是先調查企業的整體技術競爭力，並評估企業的競爭對手，期望能找到企業與其競爭對手的優勢和不足（Song, Geng, & Wang, 2013）。 Ernst 認為專利資訊可用於技術管理的三個重要領域，首先，專利資訊提供了有關競爭對手研發戰略的相關資訊，有助於評估技術的競爭潛力，其次，專利包含技術管理的重要資訊，最後，專利資訊可以用於將相關知識作為知識管理的核心要素，並作為研發中的人力資源管理工具，Ernst 根據這三個領域將專利分析的功能分為六個項目，包括：監測競爭對手、評估技術、管理研發投資組合、識別和評估知識生成的外部來源（例如併購，研發聯盟等）、. 15.

(23) 評估重要的市場合作夥伴（尤其是客戶和供應商）以確定公司研發戰略是否與主要客戶的研發戰略一致，以及規劃特定技術領域領先發明人的人力資源管理（Ernst, 2003）。Porter 等人則認為專利保護了知識產權，同時，專利亦提供了關於技術環境的關鍵資訊，包括：研發管理、技術智能、確定理想的知識產權、兼併與收購、競爭對手情報、國際市場分析以及人力資源管理（Porter & Cunningham, 2004, P.215~P.248）。 Tseng 等人的研究中提到，專利文件包含重要的研究成果，它的功能包括：做出對於未來技術發展的決策、激發新的解決方案以及預測商業趨勢，但是，它們通常冗長且具有豐富的技術和法律術語，閱讀和分析它們可能會耗費很多時間，甚至對於專家來說也是如此，為了讓使用者容易使用這些資訊，需要自動化技術來幫助分析師與決策者進行專利處理和分析（Tseng, Lin, & Lin, 2007）。除此之外，近年來，專利分析也逐漸與技術路徑圖互相搭配，以進一步瞭解技術的未來發展（維基百科，2016）。 Lee 等人就針對企業如何根據其技術能力來尋找新的商業機會提出了一個技術路徑圖，技術路徑圖可以分為四個階段，包括：研發規劃、技術規劃、產品規劃以及市場規劃，他們認為技術路徑圖與專利分析可以互相搭配，結合起來可以提高技術路徑圖的客觀性和可靠性，而將受限於技術資訊的專利分析與技術路線圖相結合，可以確保從專利中提取更多有價值的戰略資訊（Lee, Yoon, Lee, & Park, 2009）。將上述專利分析的功能整理如表 2-2。. 16.

(24) 表 2-2 專利分析的功能作者. 陳達仁、黃慕萱. 年代. 專利功能. 1. 2. 3. 2018 4. 5. 6.. 知悉技術領域現況監控技術領域趨勢瞭解競爭對手研發狀況掌握競爭對手全球布局確認研發策略促進技術加值應用. 1.. 企業技術競爭力評估. 2.. 競爭對手競爭力評估. Song et al.. 2013. Tseng et al.. 1. 2007 2. 3.. 做出對於未來技術發展的決策激發新的解決方案預測商業趨勢. 2006 1. 1. 2. 3. 2004 4.. 預測新興技術. 5. 6.. 國際市場分析人力資源管理. Daim et al.. Porter & Cunningham. Ernst. 1. 2. 3. 2003 4. 5. 6.. 研發管理技術智能確定理想的知識產權、兼併與收購競爭對手情報. 監測競爭對手評估技術管理研發投資組合識別和評估知識生成的外部來源評估重要的市場合作夥伴規劃特定技術領域領先發明人的人力資源管理. 綜合上述的說明與整理，可以歸納出專利分析的十一項功能，包括：了解技術領域現況、監控技術領域趨勢、預測新興技術、企業技術競爭力評估、掌握競爭對手的情報、市場分析、制定研發策略、識別和評估知識生成的外部來源、評估重要的市場合作夥伴、促進技術加值應用以及人力資源管理。另外，為了讓專利資訊能夠被更容易地使用，常常會搭配各種自動化技術，為了從專利中提取更多有價值的資訊，讓專利得以更妥善的運用，研究者也時常會搭配技術路徑圖等其它工具，使研究結果能更加完善。. 17.

(25) 本研究針對深度學習進行專利分析，即是出於了解技術領域現況與監控技術領域趨勢的目的，此外，本研究還透過深度學習專利的成長趨勢圖與技術生命週期圖來了解深度學習專利目前的發展階段。技術生命週期是用來描述技術的發展階段，了解技術的發展階段，有利於及早擬訂發展策略，技術生命週期可分為四個階段，包括：萌芽期（導入期）、成長期、成熟期以及衰退期（飽和期），李春燕（2012）歸納出五種判斷技術生命週期的典型方法，包括：S 曲線法、專利指標法、相對增長率法、技術生命週期圖法以及 TCT（Technology Cycle Time，簡稱：TCT）計算法。技術在萌芽階段成長緩慢，此時期需要進行不同的實驗與研究，一旦突破某個界限之後，其成長就會變得相當快速，此時技術進入成長期與成熟期，當技術無法再突破，進步的速度又變得緩慢，此時技術邁入衰退期（飽和期），這四個階段的成長曲線就如同 S 形狀一般，故稱為 S 曲線法；專利指標法是透過計算技術生長率、技術成熟係數、技術衰老係數以及新技術特徵係數來計算專利技術生命週期；相對增長率法是用某技術領域的相對增長率與相對增長潛力率構成的二維矩陣分析技術的生命週期；技術生命週期圖法是利用專利數與專利權人數隨時間的推移而變化的數據繪製而成，專利數反映技術發展的程度，而專利權人數反映了該技術領域參與技術競爭的企業或個人，透過專利數與專利權人數之間的相互關係可以推斷技術的生命週期，從而擬定企業的技術投入與開發策略；TCT 計算法則與上述研究某一領域整體技術生命週期不同，該方法主要針對的對象是某件專利文件所代表的技術生命週期，它可以用專利中所有引證文獻技術年齡的中間數表示（李春燕，2012；Aslani, Mazzuca-Sobczuk, Eivazi & Bekhrad, 2018）。本研究採用 S 曲線法與技術生命週期圖法來判斷深度學習專利的技術生命週期。. 18.

(26) （二）專利分析的相關研究人工智慧在知識經濟中有著關鍵的作用，它可以用來開發像人類一樣思考與行動的系統。Tseng 與 Ting 表示在此研究之前還沒有基於專利分析來解決人工智慧技術發展的研究。Tseng 等人針對 USPTO 1976 年至 2010 年的專利進行分析，他們利用美國專利分類號將人工智慧領域分為四個子技術領域，包括：問題推理和解決、機器學習、網絡結構以及知識處理系統，並以四項專利數量指標與三項專利質量指標進行分析，專利數量指標包括：專利權人的專利數量、專利發明人的專利數量、國內申請人和外國發明人在該國的國內總申請中所佔比例以及國內發明人和外國申請人在該國國內發明總量中的比例，專利質量指標包括：引用率、引文影響指數以及技術週期時間。他們研究與人工智慧技術發展相關的三個主要問題，首先，研究人工智慧的總體技術發展，並比較人工智慧的四個子技術領域，接著，採用專利數量和專利質量來展示不同國家的人工智慧技術發展，最後，研究不同國家在人工智慧四個子技術領域的技術地位。研究結果表明人工智慧專利總數在 1998 年之前並不高，在 2003 年之後逐漸增加，並在 2010 年達到頂峰，而且機器學習與知識處理系統領域的專利較多。人工智慧專利數量排名前十的國家依序是美國、日本、德國、英國、加拿大、法國、臺灣、韓國、義大利以及荷蘭，九成的人工智慧技術集中在這十個國家，而美國就佔了將近七成，這些國家超過 50％的專利是由國內發明人發明的，而荷蘭則是有 89.83％的專利是由外國發明人發明的，此外，在英國、加拿大、法國以及荷蘭，外國公司控制著超過 45％的國內發明，在美國、日本以及臺灣，外國公司對國內發明的控制則較少，另外，專利質量分析表明，荷蘭擁有最好的專利質量，美國第二，而臺灣、法國、韓國以及義大利的專利質量則較差（Tseng & Ting, 2013）。. 19.

(27) 機器人為機械自動化、計算機科學以及人工智慧等多學科交叉的技術，在製造業、醫療以及國防等各領域得到廣泛的應用。專利是技術創新的載體，在當今的知識經濟時代，亦是一種戰略性資源，在國際市場競爭中有著重要的作用。傳感控制系統為機器人的「感覺器官」和「大腦」，是機器人智慧水平的關鍵，也是當前機器人領域的研究重點。柳倩等人利用 Derwent Innovations Index 對全球工業機器人傳感控制技術領域的專利文件進行檢索，分析工具採用 Thomson Data Analyzer，從專利分析的角度客觀揭示技術研發歷程、研發佈局以及熱門議題，並觀察中國技術研發存在的問題，為今後相關研究提供借鑒與參考。柳倩等人就專利申請趨勢、技術研發佈局、主題聚類分析、技術發展脈絡以及國內技術研發這五個面向進行分析。分析結果表明工業機器人傳感控制技術進入快速發展期，研究與應用規模不斷擴大，其技術構成主要包括機械手、控制、測量計算等，透過專利文本挖掘和聚類，揭示歷年技術研發多集中在檢測傳感與控制硬件裝置、測量計算以及控制方法等方面，近年來，移動機器人控制與多機器人協調運動控製成為兩大研究熱點，而工業機器人傳感控制核心技術仍掌握在發達國家手中，如：美國、日本以及德國，中國存在創新能力不足、科研成果轉化率不高以及知識產權保護和運用能力較弱等問題，成為制約中國國產工業機器人研製與應用的瓶頸（柳倩、桂建军、杨小薇、曲艳丽，2016）。人型機器人指的是類似於人體的機器人，模仿人類的智慧、行為、感覺以及互動，以提供各種類型的服務與進行人類難以處理的工作。科技發達的國家，如：美國與日本，已經開始研究人型機器人，以便主宰機器人市場。人型機器人比其他類型的服務機器人更理想，因為它具有通訊或交互的能力，如果人型機器人能夠處理工具或車輛，就意味著它可以擴展到自動駕駛的領域。具有人工智慧的類人生物對社會將更加方便，其應用將在不久的將來出現，因此，有必要製定技術管理戰略。Kim 等人透過數據挖掘技術針對人型技. 20.

(28) 術相關的結構化專利數據進行分析，以提出技術管理戰略，他們主要採用的分析方法有交叉影響矩陣、主題模型、關聯規則挖掘、共現分析以及社交網絡分析。首先，他們使用關聯規則挖掘和關鍵字分析生成交叉影響矩陣，並且利用主題模型對子技術進行分類，接著，提出了一種使用加權網絡的專利分析方法，並視覺化子技術之間的關係，以預測人型技術的發展趨勢，此外，還進行專利權人分析以了解人型技術領先公司及其佔技術市場的比例，並將結果視覺化，最後，建議技術管理戰略。研究分析出十三個子技術群與專利申請前十名的公司與機構，包括：Honda、iRobot、Sony、Microsoft、Intouch、 Samsung、GM、Disney、Primesense 以及 MIT，Kim 等人最後也將十三個子技術群與專利申請前十名的公司與機構進行交叉分析與比較（Kim, Lee, Kim, Park, & Jang, 2016）。無人機技術在過去 20 年中發展迅速，預計將對其他行業產生廣泛的溢出效應。然而，之前沒有研究調查過這種溢出效應，Kim 等人提出了雙模式網絡分析的框架，使用 USPTO 的專利來量化無人機技術對各行業的溢出效應。 Kim 等人使用無人機技術的關鍵詞檢索 USPTO 1995 年至 2014 年的專利，共有 10,826 項專利。分析結果表明 USPTO 中近四分之一的無人機專利由十三家公司和機構註冊，包括：Boeing、Airbus、Honeywell、Rockwell Collins、 General Electric、Thales、Lockheed Martin、Eurocopter、Raytheon、U.S Navy、 United Technologies、Northrop Grumman 以及 U.S. Air Force，對各行業產生有影響的溢出效應的無人機技術是發動機、泵和渦輪機、運輸、電信、測量、電腦以及控制技術，在 1995 年至 2014 年間，無人機技術的溢出效應廣泛傳播到電機、電子、儀器以及計算機等行業，特別是在 2005 年至 2009 年期間，無人機技術廣泛傳播到武器工業，最後，在無人機技術方面，可以透過檢查網絡分析來比較每個公司和機構的競爭力（Kim, Lee, & Sohn, 2016）。. 21.

(29) 將上述專利分析的相關研究，針對其作者、年代、數據來源以及研究領域整理為表 2-3。表 2-3 專利分析相關研究作者. 年代. 數據來源. 研究領域. 柳倩等人. 2016. 機器人. Kim et al.. 2016. Derwent Innovations Index （未提及）. 人型機器人. Kim et al.. 2016. USTPO. 無人機. Tseng et al.. 2013. USTPO. 人工智慧. 深度學習是近年來相當熱門的議題，但是，針對深度學習進行專利分析的文章卻不多，表 2-3 所整理的文章是較接近深度學習領域且分析較完整的專利分析研究。臺灣博碩士論文知識加值系統收錄的論文也有許多是屬於專利分析的論文，但是，屬於深度學習專利分析的研究僅有「以專利分析探討深度學習之應用與發展趨勢」一篇而已，而這篇論文於 2022 年才公開。. 第三節專利資料庫、專利分析軟體以及參考文獻剖析工具一、專利資料庫專利資料庫可以分為官方資料庫與非官方的付費資料庫，官方資料庫大多免費且涵蓋多數功能、內容新穎性高且更新速度快、技術分類詳細且分類號的賦予可信度高、檢索結果呈現專利首頁及圖示；非官方的付費資料庫大多提供線上分析功能與專利的法律狀態資訊。常見的官方資料庫有 Espacenet、 J-PlatPat、USPTO-PatFT（United States Patent and Trademark Office，簡稱： PTO 或 USPTO）、SIPO-PSS（State Intellectual Property Office of the P.R.C.，簡稱 SIPO）、KIPRIS-KPA、PATENTSCOPE 以及中華民國專利資訊檢索系統；常見的非官方付費資料庫則有 APIPA 全球專利檢索分析系統、 Derwent Innovation、Patentcloud、WIPS（World Intellectual Property Search，簡稱： WIPS）以及 Google Patent Search（陳達仁、黃慕萱，2018，P.196~P.256）。 22.

(30) Espacenet 由歐洲專利局提供，涵蓋世界各地一億多篇的專利文件，於每日更新，使用者可以免費取得 1836 年至今發明與技術發展的資訊，透過 Espacenet，可以使用機器翻譯專利文件、追蹤新興技術的進展、找到技術問題的解決方案、了解競爭對手的發展現況以及了解專利是否已被授權與是否仍然有效（Espacenet, 2018）。J-PlatPat 提供日本專利全文影像檔，有日文與英文的使用介面，提供申請案件的訴訟、訴願、異議、智慧財產權判決結果的英文翻譯，此外，日本專利局採用的分類號是其特有的 FI/F-Term（File Index / File Forming Term）分類（Book 思議，2017a）。USPTO-PatFT 提供免費查詢的資料檢索服務，其中，1976 年 1 月以後的美國專利提供全文檢索，1790 年至 1976 年僅可以使用專利號及分類號查詢，且僅提供專利全文影像，資料庫每週二更新一次（United States Patent and Trademark Office, 2018c）。SIPO-PSS 是中國國家知識產權局綜合服務平台，可以免費使用，但需要註冊，其收錄了 103 個國家、地區以及組織的專利，並提供查詢工具，可快速查詢專利家族、引用/被引用、法律狀態、申請人/專利權人別名、分類號關聯以及雙語辭典等資訊（Book 思議，2017b）。 KIPRIS-KPA 為南韓專利檢索系統，提供 1979 年以後之南韓專利書目、專利說明書以及圖形檔，KIPRIS-KPA 亦提供英文檢索與英文摘要，並提供專利自動韓翻英付費服務。PATENTSCOPE 為 WIPO 的專利資料庫，提供多種語言的使用介面與跨語言的檢索功能。中華民國專利資訊檢索系統提供中華民國核准公告專利及早期公開專利的專利說明書線上全文檢索，檢索結果呈現方式共有三種，包括：條列式、表格式以及文字形式（陳達仁、黃慕萱，2018）。 APIPA 全球專利檢索分析系統為付費的專利檢索與分析系統，可同時檢索臺灣、中國、美國、歐洲、日本以及 WIPO 等地的專利資訊，並進行專利分析與圖表製作。Derwent Innovation 為付費的專利檢索系統，結合 Derwent World Patents Index 與 Derwent Patents Citation Index，收錄全球 50 個國家或地. 23.

(31) 區之專利局的專利文件，整合專利與科技文件，並提供專業資訊加值與專利分析。Patentcloud 分為免費與付費版本，提供美國、歐洲、中國、日本、臺灣、韓國以及 WIPO 等專利局之專利，檢索結果呈現方式共有三種，包括：圖文瀏覽、圖文摘要以及列表清單。WIPS 為付費專利檢索系統，包含全球 10 多個國家、地區以及組織之專利，提供一套簡易的檢索語法與申請人名稱權威控制工具，並給予標準化的申請人代碼（陳達仁、黃慕萱，2018）。Google Patent Search 是 Google 的一個專利搜尋引擎，包含 17 個國家、地區以及組織的專利（Wikipedia, 2018）。專利資料庫相當多，數據來源也非常廣泛，考慮到目前大多企業與機構在申請專利時仍以美國為主，加上 Sharma 與 Tripathi 對專利分析進行了全面的調查，他們發現與專利主題相關的已發表研究論文中有 98％使用了 USPTO 的數據進行研究工作，與中國、臺灣以及韓國有關的專利研究也使用了 USPTO 的專利數據，這反映了 USPTO 提供的資訊可以作為該領域研究目的的可靠來源（Sharma & Tripathi, 2017），因此，本研究以 USPTO 作為專利數據的來源。. 二、專利分析軟體 Breitzman 與 Mogee（2002）整理了七個專利分析軟體與服務，經過查詢，目前尚能使用的專利分析軟體有兩個，為 VantagePoint 與 PatentLab-II。 VantagePoint 是由 Search Technology 所設計的一款功能強大的商業文本和資料探勘工具，可以免費試用，在 2018 年 9 月發布第 11 版，其功能大致可以分為五類，包括：導入數據、清理資料、分析、報告結果以及自動化編碼，它可以在大多數資料庫中找到的字段，例如：專利權人、發明人、日期，描述、以及分類號，除了一維（列表）和二維（共現矩陣）分析，VantagePoint 還可以執行多維統計分析，VantagePoint 的優勢是它有預處理與數據清理工具，使用者還可以使用同義詞庫編輯器定義自己的同義詞庫或編輯現有的同義詞庫，. 24.

(32) 此外，它還有共現矩陣、自相關矩陣、互相關矩陣以及因子矩陣，可以進行多面向的分析（VantagePoint, 2018; Cobo, López‐Herrera, Herrera‐Viedma & Herrera, 2011）。PatentLab-II 是 Delphion 專利資料庫的專利分析軟體，分析和視覺化工具可以創建 2D 和 3D 的圖表，行的選項有專利權人、專利類別、優先權國家，發明人以及優先年份/專利年份，列的選項則有專利權人，專利類別以及優先年份，透過各種圖表，可以顯示專利之間的關係、競爭對手的發展狀況、重點領域以及新開發項目也可以了解重要發明人的當前成就（Breitzman & Mogee, 2002）。前面提到的十二個專利資料庫中，有的資料庫也具有專利分析的功能，包括：SIPO-PSS、Derwent Innovation、Patentcloud 以及 WIPS。SIPO-PSS 提供了六項專利分析功能，包括：申請人分析、發明人分析、區域分析、技術領域分析、中國專項分析以及高級分析，一般註冊用戶無法使用高級分析與其餘五項分析中的部分細項分析，此外，分析文獻庫最大容量是 10000 筆專利。 Derwent Innovation 提供四種專利分析功能，包括：圖表分析、文本聚類分析、專利地圖以及引用關係圖。Patentcloud 提供三種專利分析功能，包括：統計分析、進階分析以及多維矩陣分析，付費使用者可使用完整的分析功能，免費註冊的使用者僅能使用統計分析功能。WIPS 提供三種專利分析功能，包括：智能分析、專利引文分析以及權力範圍分析，智能分析使用者可將所選的檢索結果進行圖表分析、交叉矩陣分析以及分類；專利引文分析可分析特定專利的引用關係，包含前引證與後引證，並可區分引文具體出現的位置；權力範圍分析可針對隨著專利文件狀態變動的權利要求範圍進行分析（陳達仁、黃慕萱，2018）。專利分析軟體大多都需要註冊與付費才能使用，本研究分析的面向包含專利數分析、專利引用分析以及專利關聯度分析，內容探勘工具-Content Analysis Toolkit for Academic Research（簡稱：CATAR）可以同時滿足這三個 25.

(33) 面向，並且可以免費使用，CATAR 可以擷取各項結構性資料（如：專利權人、發明人、國家以及年代）與半結構性資料（如：題名、摘要以及非專利引用文件）匯入至 ACCESS 資料庫，並統計、運算以及排序各項欄位，CATAR 亦可以進行共現字分析，計算文件的相似度，進而將相似的文件歸類，以便瞭解待分析文件中包含的各種主題概念，並對各個主題與各個欄位進行多樣的交叉分析，以利進行深入的探索與解讀（曾元顯，2011）。. 三、參考文獻剖析工具科學研究不會憑空出現，它是建立在先前的研究上，而了解先前研究的方法之一便是透過科學論文和期刊中的引用與參考文獻，因此，剖析參考文獻以提取作者、題名、期刊、年份等資訊是必要的預處理步驟（Gupta, Morris, Catapano & Sautter, 2009; Zhang, Zou & Thoma, 2011）。參考資源剖析是指從書目參考資源的字串中提取機器可讀的詮釋資料，例如：作者姓名、題名或期刊名稱，Tkaczyk 等人應用、評估以及比較十個參考資源剖析工具，包括： Anystyle-Parser 、 Biblio 、 CERMINE 、 Citation 、 Citation-Parser、GROBID、ParsCit、PDFSSA4MET、Reference Tagger 以及 Science Parse，除了這十個參考資源剖析工具外， Tkaczyk 等人還有提到 BibPro、Free_cite 以及 Neural ParsCit 這三個工具，只是由於安裝錯誤與資源缺失，他們並沒有評估這三個工具（Tkaczyk, Collins, Sheridan & Beel, 2018）。對專利來說，除了引用先前的專利外，引用非專利參考文獻也是十分常見的，透過分析專利的引用專利文件與非專利參考文獻，可以了解特定領域知識的發展、演變以及應用，有些專利分析軟體也具有分析專利中非專利參考文獻的功能，但大多數的軟體都需要付費，而上述的參考資源剖析工具都是可以免費下載使用的，但是，不同的會議論文與期刊論文可能會採用不同. 26.

(34) 的引用方式，準確地從引用字串中提取詮釋資料是一大問題（Chen, Yang, Kao & Ho, 2008），專利的非專利參考文獻更是如此，因為專利的非專利參考文獻並沒有特定的撰寫格式。為了解上述的十三個參考資源剖析工具是否適用於剖析專利的非專利參考文獻，本研究從 1636 篇深度學習領域之專利的非專利參考文獻中抽取 100 筆資料進行測試，由於這十三個參考資源剖析工具只有 Anystyle-Parser、 ParsCit 以及 FreeCite 有提供網頁版的操作平台，其餘的參考資源剖析工具需要執行程式，例如：JavaScript、ruby 以及 python，需要對程式有一定的了解才能使用，因此，本研究僅針對 Anystyle-Parser（https://anystyle.io/）、ParsCit （http://parscit.comp.nus.edu.sg）以及 FreeCite（http://freecite.library.brown.edu）進行測試，並與 CATAR（http://web.ntnu.edu.tw/~samtseng/CATAR/Readme.html）進行比較。每個參考資源剖析工具提取的字段都不太相同，本研究比較的項目有六個，包括：作者、題名、書名/刊名、出版年、刊期以及頁碼。表 2-4 與表 2-5 為剖析結果的比較，Anystyle-Parser 的結果是以標籤的方式呈現，使用者可以直接修改標籤，正確率為 86%；ParsCit 的結果是以顏色標示的方式呈現，不同的字段用不同的顏色，使用者不能修改，正確率為 80%；FreeCite 的結果也是以顏色標示的方式呈現，使用者亦不能修改，正確率為 76%；CATAR 則是將剖析結果匯入 Access 資料庫，並分成六個欄位，使用者可以在 Access 修改，正確率為 85%。從各項目的正確率來看，四個參考資源剖析工具在作者、題名以及頁碼上，正確率都滿高的，差異也不大；在書名/刊名方面，除了 Anystyle-Parser，其餘工具的正確率都較低；在出版年方面，CATAR 的正確率特別高，其餘工具的正確率都較低，特別是 FreeCite，正確率僅有 53%；在刊期方面，ParsCit 與 FreeCite 的正確率特別低，正確率各僅有 56%與 58%。. 27.

(35) 表 2-4 參考資源剖析工具、剖析結果呈現方式以及正確率參考資源剖析工具. 剖析結果呈現方式. 正確率. Anystyle-Parser. 以標籤的方式呈現. 86%. ParsCit. 以顏色標示的方式呈現. 80%. FreeCite. 以顏色標示的方式呈現. 76%. CATAR. 匯入 Access 資料庫，並分成六個欄位. 85%. 表 2-5 參考資源剖析工具與各項目正確率參考資源剖析工具. 作者. 題名. 書名/刊名. 出版年. 刊期. 頁碼. Anystyle-Parser. 91%. 92%. 85%. 73%. 86%. 88%. ParsCit. 89%. 94%. 76%. 73%. 56%. 91%. FreeCite. 83%. 92%. 75%. 53%. 58%. 92%. CATAR. 89%. 83%. 67%. 94%. 87%. 87%. 28.

(36) 第參章. 研究設計與實施. 本研究使用內容探勘工具 CATAR 擷取 USPTO 深度學習領域之專利文件，以深度學習領域的發明專利為研究對象，針對專利文件的欄位內容進行概要分析與交叉分析，並針對題名進行共字分析，最後，分析臺灣在深度學習領域專利的發展狀況與優勢，找出臺灣未來可以發展的方向。. 第一節研究方法一、專利計量分析專利計量是運用書目計量、科學計量以及資訊計量的研究方法。書目計量是應用數學和統計學的方法研究某一學科發展的性質與趨勢，科學計量是用計量方法研究科學技術的發展，而專利計量則是以計量的方式來分析與研究專利資訊（羅思嘉，2007）。常見的專利計量主要包括專利數分析、專利引用分析以及專利關聯度分析，專利數分析可視為生產力的表現，從國家、機構、個人以及技術領域等面向建立產出指標；專利引用分析可得知技術間相互替代、互補應用以及演變歷程；專利關聯度分析則包括書目耦合分析、共被引分析以及共字分析（陳達仁、黃慕萱，2018，P.299~P.303）。本研究使用專利計量分析法，針對 USPTO 深度學習相關的專利文件進行分析。分析的項目包含：專利權人、專利發明人、專利申請日期與公告日期、分類號以及引用等專利內容。. 29.

(37) 二、內容探勘使用內容探勘工具 CATAR 分析本研究之專利，透過 CATAR 針對專利文件的各項欄位資料（如：專利權人、發明人、國家、年代以及分類號等）進行擷取、統計、運算以及排序，進行概要分析與交叉分析，並擷取專利文件的題名，進行共字分析，本研究使用的查詢 SQL 語法詳見附錄一。. 第二節研究對象與工具一、研究對象本研究以美國專利及商標局（United States Patent and Trademark Office，簡稱：PTO 或 USPTO）收錄的深度學習領域專利文件為研究對象，根據 2019 年 1 月檢索的結果，專利公告日期在 1976 年到 2018 年有全文的發明專利共有 1636 篇。. 二、研究工具本研究使用的相關工具，簡介說明如下：（一）美國專利及商標局資料庫美國專利及商標局是美國專利和商標事務的專責行政機構，負責美國專利的申請案件，也開放免費查詢的資料檢索服務，其中， 1976 年 1 月以後的美國專利提供全文檢索；1790 年至 1976 年僅可以用專利號及分類號查詢，且僅提供專利全文影像。資料庫每週二更新一次（United States Patent and Trademark Office, 2018a）。. 30.

(38) 本研究於 2019 年 1 月檢索 USPTO 深度學習領域相關的專利文件，時間範圍為專利公告日期在 1976 年到 2018 年的專利文件，有全文的專利文件扣除非發明專利之專利文件，共有 1636 篇。（二）內容探勘工具 CATAR CATAR 為曾元顯教授設計的內容探勘工具，提供研究者進行科學計量等分析。其可進行概要分析，針對待分析文件的各項欄位(如：作者、機構、國家、出處、年代、被引用情況等)進行擷取、統計、運算以及排序，也可根據書目對或共現詞進行分析，擷取待分析文件中的主題，並與各項欄位進行多樣的交叉分析，其中，CATAR 共字分析採用的歸類策略為多階段主題歸類，多階段主題歸類僅是一種類別合併或類別排序的策略，以方便管理與辨識類別，在某一階段無法解讀出類別主題時，可以回溯上一階段去解讀其所包含的概念，而不必受限與拘泥於在同一階段作主題上的判讀，意即在進行多階段歸類結果的分析時，分析焦點可能會在不同階段的類別之間來回遊移，以便進行有意義的結果歸納與解讀。CATAR 適用於任何具備自由文字的中、英文文獻，如：學術論文、專利、新聞、訪談稿等具備主題論述的文件。（曾元顯，2011；曾元顯、林瑜一， 2011）。本研究透過內容探勘工具 CATAR 擷取 USPTO 深度學習領域的專利文件，針對各項欄位資料（如：專利權人、發明人、國家、年代以及分類號等）進行概要分析與交叉分析，並針對專利文件的題名進行共字分析，以了解專利文件的主題歸類。. 31.

(39) 第三節研究實施與步驟本研究是使用內容探勘工具 CATAR 擷取 USPTO 深度學習領域的專利文件，針對專利文件的欄位內容進行概要分析與交叉分析，並針對題名進行共字分析。本節將針對「確定研究範圍與工具」、「文件下載與剖析」、「CATAR 欄位資訊正確性的檢驗」以及「分析面向」這四個部分進行說明。. 一、確定研究範圍與工具 USPTO 負責美國專利的申請案件，並提供免費查詢的資料檢索服務， 1976 年以後的美國專利皆提供全文檢索，專利文件的檢索操作容易、便利且資料內容完善。另外，曾元顯教授設計的內容探勘工具 CATAR 可以擷取 USPTO 的專利文件，進行科學計量等分析。故本研究將 USPTO 與 CATAR 作為研究工具。確定檢索條件主要分為兩個階段：第一階段為根據深度學習的意涵查詢相關詞彙，並使用這些詞彙在 USPTO 的題名與摘要欄位進行檢索；第二階段為根據深度學習領域的文獻與第一階段所檢索到的專利，找出常出現的詞彙，並以這些詞彙作為關鍵詞在 USPTO 的題名、摘要、權力範圍以及描述欄位進行檢索。最後根據這兩階段的檢索結果確定最終的檢索條件。兩個階段的檢索條件與結果整理如表 3-1 與表 3-2。. 表 3-1 第一階段檢索條件與筆數（檢索日期：2018/2/20）檢索條件. 筆數. 結果說明. deep learning. 540. 未限定欄位，有些專利不符合研究範圍。. (TTL/"deep learning" OR ABST/" deep learning "). 34. 符合研究範圍。. 32.

(40) deep structured learning. 4. 專利文件少且多與深度學習領域無關。. (TTL/"deep structured learning" OR ABST/" deep structured learning "). 0. 查無結果。. feature learning. 431. 未限定欄位，檢索結果不符合範圍的比例較多。. (TTL/"feature learning" OR ABST/" feature learning "). 20. 範圍較大，有些專利並不屬於深度學習。. hierarchical learning. 94. (TTL/"hierarchical learning" OR ABST/" hierarchical learning "). 2. 專利文件少且多與深度學習領域無關。. nervous system. 82545. 未限定欄位，檢索結果不符合範圍的比例較多。. (TTL/"nervous system" OR ABST/" nervous system "). 4347. 專利文件多，但多與醫學領域有關。. neural coding. 189. 未限定欄位，檢索結果不符合範圍的比例較多。. (TTL/"neural coding" OR ABST/" neural coding "). 6. 專利文件少且多與深度學習領域無關。. neural network. 28722. 未限定欄位，檢索結果不符合範圍的比例較多。. (TTL/"neural network" OR ABST/" neural network "). 3321. 範圍較大，有些專利並不屬於深度學習。. neurometric. 70. 專利文件少且多與深度學習領域無關。. (TTL/"neurometric" OR ABST/" neurometric "). 5. 專利文件少且多與深度學習領域無關。. 專利文件少且多與深度學習領域無關。. neuroscience. 27334. 未限定欄位，檢索結果不符合範圍的比例較多。. (TTL/"neuroscience" OR ABST/" neuroscience "). 18. 專利文件少且多與深度學習領域無關。. representation learning. 181. 專利文件少且多與深度學習領域無關。. 專利文件少且多與深度學 (TTL/"representation learning" OR ABST/" 1 習領域無關。 representation learning ") 註：TTL 為 USPTO 的題名欄位；ABST 為 USPTO 的摘要欄位。. 33.

(41) 表 3-2 第二階段檢索條件與筆數（檢索日期：2018/9/14）檢索條件. 筆數. 備註. reinforce learning. 143. 未限定欄位，檢索結果不符合範圍的比例較多。. reinforcement learning. 1839. 未限定欄位，檢索結果不符合範圍的比例較多。. ((TTL/" reinforce learning " OR ABST/" reinforce learning " OR ACLM/"reinforce learning") OR (TTL/" reinforcement learning ". 194. 專利文件少且多與深度學習領域無關。. OR ABST/" reinforcement learning " OR ACLM/"reinforcement learning")) (TTL/"deep structured learning" OR ABST/" deep structured learning " OR ACLM/"deep. 10. 專利文件少且多與深度學習領域無關。. structured learning" OR SPEC/"deep structured learning") artificial intelligence. 32259. 未限定欄位，檢索結果不符合範圍的比例較多。. TTL/"artificial intelligence". 175. 範圍較大，有些專利並不. ABST/"artificial intelligence". 572. 範圍較大，有些專利並不屬於深度學習。. ACLM/"artificial intelligence". 1260. 範圍較大，有些專利並不屬於深度學習。. 7696. 範圍較大，有些專利並不. 屬於深度學習。. ((TTL/" deep learning " OR ABST/" deep learning " OR ACLM/"deep learning") OR (TTL/" feature learning " OR ABST/" feature learning " OR ACLM/"feature learning") OR. 屬於深度學習。. (TTL/" neural network " OR ABST/" neural network " OR ACLM/"neural network")) TTL/" neural network ". 1232. 範圍較大，有些專利並不屬於深度學習。. TTL/" neural networks ". 419. 範圍較大，有些專利並不屬於深度學習。. TTL/"deep learning". 32. 符合研究範圍。. 34.

(42) ABST/"deep learning". 46. 符合研究範圍。. ACLM/"deep learning". 89. 符合研究範圍。. SPEC/"deep learning". 789. 符合研究範圍。. (((TTL/"deep learning" OR ABST/" deep learning ") OR ACLM/"deep learning") OR SPEC/"deep learning"). 804. 符合研究範圍。. 602. 符合研究範圍。. ((((TTL/"deep neural network" OR ABST/" deep neural network ") OR ACLM/"deep neural network") OR SPEC/"deep neural network") OR. (((TTL/"deep neural. networks" OR ABST/" deep neural networks") OR ACLM/"deep neural networks") OR SPEC/"deep neural networks")) 註：TTL 為 USPTO 的題名欄位；ABST 為 USPTO 的摘要欄位；ACLM 為 USPTO 的權力範圍欄位；SPEC 為 USPTO 的描述欄位。根據兩階段的檢索結果與評估，最終決定以 ((TTL/"deep learning" OR ABST/"deep learning" OR ACLM/"deep learning" OR SPEC/"deep learning") OR (TTL/"deep neural network" OR ABST/"deep neural network" OR ACLM/"deep neural network" OR SPEC/"deep neural network") OR (TTL/"deep neural networks" OR ABST/"deep neural networks" OR ACLM/"deep neural networks" OR SPEC/"deep neural networks"))作為檢索條件，檢索專利題名、摘要、權力範圍以及描述欄位中，含有 deep learning 或 deep neural network 或 deep neural networks 的專利，並將時間範圍訂為 1976 年到 2018 年，最終專利共有 1636 篇。. 35.

(43) 題名與摘要會有相關的專利詞與專利的概要，權力範圍明確定義出專利的主題，描述則包含研究背景與專利詳細描述等資訊，雖然描述欄位不如題名、摘要以及權力範圍欄位那麼明確的定義出專利的相關詞彙與主題，但是，它還是會說明專利所用到的知識背景、技術、方法以及研究基礎。本研究比較沒有加入描述欄位的檢索結果與加入描述欄位的檢索結果，發現兩者間的成長趨勢、專利權人、專利發明人、國家以及分類號等項目並沒有太大的差異，但是，加入描述欄位後能夠看出更多深度學習的應用，因此本研究除了題名、摘要以及權力範圍外，也將描述欄位納入檢索條件。. 二、文件下載與剖析圖 3-1 到圖 3-3 為美國的一篇專利，A 到 D 標示的是專利的結構性資料，包含專利號碼、專利公告日期、發明人（Inventor）、專利權人（Assignee）、專利家族 ID（Family ID）、專利申請號（Appl.NO）、專利申請日期（Field）、專利分類號、審查員審查時所檢索過的專利號範圍（Field of Search）、引用美國專利（U.S. Patent Documents）以及引用國外專利（Foreign Patent Documents），發明人與專利權人包含姓名、城市、州（僅美國有）以及國家代碼的資訊，引用美國專利包含專利號碼、專利公告日期以及發明人，引用國外專利包含專利號碼、專利公告日期以及國家代碼；a 到 d 標示的是專利的半結構性資料，包含題名、摘要（Abstract）、非專利引用文獻（Other Reference）、權力範圍（Claims）以及描述（Description），描述包含背景（Background）、概要（Summary）、附圖說明（Brief Description Of Drawings）以及詳細描述（Detailed Description）。 CATAR 擷取各項結構性資料與半結構性資料匯入至 ACCESS 資料庫，每項資料會有對應的欄位，以供進一步的分析。. 36.

(44) 圖 3-1 美國專利：基本資訊、題名、摘要以及分類號（資料來源：USPTO）. 圖 3-2 美國專利：專利引用文件與非專利引用文獻（資料來源：USPTO） 37.

(45) 圖 3-3 美國專利：權力範圍與描述（資料來源：USPTO）. 三、CATAR 欄位資訊正確性的檢驗由於 CATAR 是將專利文件的結構性資料與半結構性資料匯入至 ACCESS 資料庫，因此，需要檢驗匯入資料的正確性。. 38.