大數據分析時代壽險業之因應對策 - 政大學術集成

全文

(1)國立政治大學商學院經營管理碩士學程國際金融組碩士論文. 立. 論文題目政治大. ‧ 國. 學. 大數據分析時代壽險業之因應對策. ‧ sit. y. Nat. n. al. er. io. 指導教授：蔡政憲博士 Ch. engchi. i n U. v. 研究生：廖晨旭撰中華民國一○三年十二月.

(2) 摘. 要. 自工業革命之後，人類與科技間關係的變化牽引著整個社會、經濟的發展，而其中泛用型科技(GPTs)又扮演著要角，科技持續以指數式速度發展，大數據的出現是有脈絡可循的，某個程度上來說(從資料及分析兩方面的演進觀之)，可以說是必然發生的。大數據分析，不是時尚名詞，而是一個影響著現在及未來的大趨勢，縱有許多反對的聲音與論述，但它確實已經是國家安全戰略的一環，也是企業生存戰賴以維生的命脈。大數據與過去不同的是我們擁有更多資料的來源，資料可能來自外部. 政治大. (Open Data、第三方資料)，也可能是更精進的資料蒐集機制得來(如：設計. 立. 誘因機制使顧客自願提供其資料或設計隨機試驗取得異於歷史資料的新資. ‧ 國. 學. 訊)，而在資料種類格式、資料取得與回饋反應的速度上，在新興的 MapReduce 技術、NoSQL 資料庫及串流資料處理技術支撐下，均可有效即. ‧. 時或近即時地被完成。. y. Nat. sit. 大數據分析最重要的還是在於「預測分析」，而為了讓資料說話，我們. n. al. er. io. 要熟悉大數據的特性與缺點，而支持大數據的硬技術與軟技術發展上一日. i n U. v. 千里，更提升了大數據在各產業的應用可能，而投資大數據的企業營收比. Ch. engchi. 那些沒有投資大數據的企業可以高出 12％以上，在多數產業紛紛投入這場軍備競賽取得初步成效之際，而傳統壽險產業在大數據及其他科技變革的因應上不如別的產業時，則應在壽險價值鏈上去觀察並利用大數據分析，突破現有商業模式，選擇最佳導入策略，尋覓理想的資料科學家擔任 CDO，委任其組織分析團隊並擬定大數據成長策略，建立適切軟硬體的架構，並完成第一個先導計畫取得小規模成功，進而加強企業高層大數據分析的信心與投資意願，使得一的又一個專案得以遂行，最終形塑成資料導向的決策文化，成為可以因應未來的壽險公司，避免在這波科技變遷中成為被淘汰者。 i.

(3) 關鍵字：大數據、資料科學、資料採礦、預測分析、壽險業. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. ii. i n U. v.

(4) 目. 第三章第一節第二節第三節. 第一節第二節. 立. 政治大. 壽險業之因應對策 ................................................................... 74 大數據對壽險業之挑戰與機會 ................................................ 74 導入策略 .................................................................................... 83. 結論與建議 .............................................................................. 98. Nat. 第一節第二節. 大數據技術發展現況 ................................................................ 42 各產業導入趨勢與應用狀況 .................................................... 44 趨勢及衍生議題 ........................................................................ 55. ‧. 第五章. 大數據技術及各產業應用現況 ................................................ 42. 學. 第四章. 大數據是科技指數式成長下的必然產物 .................................. 6 大數據的價值在於「分析」 .................................................... 22. 結論 ............................................................................................ 98 未來研究挑戰及建議 .............................................................. 100. y. 第一節第二節. 大數據分析趨勢觀察 ................................................................ 5. io. sit. 第二章. 研究動機與目的 .......................................................................... 1 研究方法與範圍 .......................................................................... 2 研究架構 ...................................................................................... 4. er. 第一節第二節第三節. 緒論 .......................................................................................... 1. ‧ 國. 第一章. 次. 附錄A ....................................................................................................... 108. n. al. Ch. i n U. v. 附錄B........................................................................................................ 109. engchi. 參考文獻 .................................................................................................. 114. iii.

(5) 圖. 一-1 研究方法示意圖 ................................................................................... 4 二-1 歐洲書本的生產 .................................................................................... 7 二-2 全球每人平均所得 ................................................................................ 7 二-3 人類歷史的重要轉折：第一次工業革命 ........................................... 8 二-4 速度趨勢曲線 ..................................................................................... 10 二-5 最早的摩爾定律只有五個資料點 ..................................................... 11 二-6 摩爾定律的諸多面向 ......................................................................... 12 二-7 數位科技採用到被接所費時間比較圖 ............................................. 15 二-8 Data Analytics與Data Analysis之差異 ............................................. 23 二-9 DIKW體系 ........................................................................................ 25 二-10 分析類別及解決議題圖 ................................................................... 29 二-11 三種分析類別之比較 ....................................................................... 29 二-12 Hype Cycle for Big Data, 2014 ....................................................... 33 二-13 大數據分析階段 ............................................................................... 34 三-1 Google與開放原始碼基礎技術的對應關係 ...................................... 42 三-2 美國各產業採用大數據潛在可獲得的產值 ..................................... 46 三-3 大數據投資繼續上升 ......................................................................... 47 三-4 各地區大數據投資趨勢 ..................................................................... 47 三-5 大數據的業務問題按優先級 ............................................................. 48 三-6 大數據的運用模式 ............................................................................. 49 三-7 被機器人取代的職位數多與創造的職位數贊成與反對意見佔比 . 65 四-1 各產業對大數據重要性認知與實際投入狀態圖 ............................. 75 四-2 各產業於數位互動方式上的消費者滿意度 ..................................... 76 四-3 保險業與相鄰進入者間之未來互動關係上之情境模擬 .................. 78 四-4 保險業當前SWOT分析 ..................................................................... 79 四-5 保險業當前 14 個重點趨勢 ............................................................... 80 四-6 大數據在保險價值鏈上之衝擊程度 ................................................. 80 四-7 壽險公司利用大數據的四種成長策略 ............................................. 88 四-8 Aviva 核保預測模型考量因子示意圖 ........................................... 89. 立. 政治大. ‧. ‧ 國. 學. n. al. er. io. sit. y. Nat. 圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖. 次. Ch. engchi. iv. i n U. v.

(6) 表. 二-1 能源系統與資訊傳播技術躍進之里程碑 ........................................... 9 二-2 分析資料使用與術語歷程 ................................................................. 26 二-3 演算法種類與應用方式 ..................................................................... 35 三-1 RDBMS與NoSQL資料庫的不同之處 ............................................... 43 三-2 決策新境界 .......................................................................................... 59 三-3 全世界目前已建立資料開放門戶網站的國家或地區 ..................... 68 四-1 如何找到適合的資料科學家 ............................................................. 84. 立. 政治大. 學 ‧. ‧ 國 io. sit. y. Nat. n. al. er. 表表表表表表表. 次. Ch. engchi. v. i n U. v.

(7) 第一章. 緒論. 第一節研究動機與目的大數據 (Big Data，另有中譯為海量數據、巨量資料)，這個名詞起源於 2005 年由O’Reilly Media公司的Roger Magoulas所創 1，其原意為指「幾乎是不可能於分析過程中使用傳統商業智能工具來管理的一組大數據」，從 2011 年開始，在我們的生活周遭，都開始聽到這個名詞，「大數據就像是十幾歲人的性一般：每個人都在談論它，沒有人真正知道如何做到這一點，每個. 政治大 Ariely在 2013 年 1立月 6 日於Twitter及Facebook寫下對大數據的經典形容. 人都認為別人都在做，所以每個人都聲稱，他們正在這樣做。」這句由Dan. ‧ 國. 學. (Ariely, 2013)，最能表示我們聽到時的反應。. 2. 史隆管理學院教授班 Erik Brynjolfsson 說：「四百年前發明了顯微鏡，. ‧. 改變了測量的標準，人類研究物體的細微程度從此不同。大數據分析將帶. al. er. io. 程度，也將從此進入全新的境界。」 (Lohr, 2012). sit. y. Nat. 來的革命，就像四百年前的顯微鏡一樣，我們能夠掌握事件、行為的精細. v. n. 美國政府於 2009 年領先各國政府開始推動資料開放政策(Data.gov上. Ch. engchi. i n U. 線) 3，隨即歐盟委員會於 2010 年 5 月 19 日公布了所謂「A Digital Agenda for Europe，(簡稱DAE)」計畫來因應整個數位潮流，期許藉由建構多項基礎合作建設，至 2020 年時歐盟國家得以成為單一數據的市場整合體 (European Commission, 2010)。美國又於 2012 年 3 月砸下 2 億美元，啟動了多項大數據國家級計畫來應戰(PCAST, Obama Administration Unveils "Big Data" 1. http://www.bigdata-startups.com/big-data-history/ 原文為 ”Big Data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it…” 3 大資料發展，從政府的資料開放做起：美國政府的大數據發展要溯及在 2009 年 1 月，歐巴馬上任後即簽署了「透明與開放政府」的備忘錄，宣示了三大施政準則，包括了政府透明、公民參與，與協同合作，目的是希望打造一個開放、透明的政府，而其中最重要的成果就是建立了「美國聯邦政府的資料平臺（Data.gov）」，將聯邦政府機關的資料開放，與全美人民共享。 1 2.

(8) Initiative, 2012)，隨後聯合國 (Emmanuel, 2012)、英國 (HMG, 2013)均相繼公布其國家大數據戰略。德國則是在 2013 年將其「Industry 4.0」計畫提升至戰略層級，而東亞的日本第二次安倍內閣也於 2013 年 6 月正式公佈了日本新IT戰略—「創建最尖端IT國家宣言」。這篇「宣言」全面闡述了 2013 ～2020 年期間以發展開放公共資料和大數據為核心的日本新IT國家戰略 (IT総合戦略本部, 2013)，儼然大數據已成為近年各國國家戰略迫切追尋的一環。歐巴馬總統在 2014 年 1 月一場公開演講之中提出對美國既有大數據發. 政治大員會（PCAST），進行一個為期九十天的全面審查，來檢討美國過去這 2 年立展的擔憂，並要求總統顧問John Podesta帶領總統直屬的科學與技術顧問委. 出一份大數據政策研究報告. (PCAST, Big Data:Seizing. ‧. Opportunities,Preserving Values, 2014)。. 4. 學. ‧ 國. 內的大數據政策成果。PCAST也在 2014 年 5 月 1 日公開了審查結果，並提. y. Nat. 為何各國政府都在關注大數據? 而台灣的產官學界對此趨勢的反應是. er. io. sit. 什麼? 為何有人認為台灣在大數據投資不足 5? 在回答這個問題前，我們需要先知道大數據到底是什麼? 是一個重要的科技轉折點抑或只是一個被炒. al. n. v i n 它改變了人類生活什麼?都是一些好處抑或是有其黑暗面? Ch engchi U. 作的時尚名詞?. 這些議題都是值得我們去研究探討，才可能進而在變動快速的未來取得自己的定位。. 第二節研究方法與範圍壽險業與大數據分析之間，本質上就存有某個程度以上的相似度，在數據分析的運用上，現代人壽保險制度從「生命表」6運用於計算人壽保險 4. 報告中指出了大資料的 3 大機會點，以及 3 大疑慮，並以此向歐巴馬政府提出了 6 項政策建議。同時，PCAST 也做了一項大資料隱私調查，調查結果發現高達 8 成的受訪民眾非常在意政府如何使用和收集資料，且對於相關資料收集的機構並不信任。 (PCAST, Big Data:Seizing Opportunities,Preserving Values, 2014) 5 詳「馬總統：台灣巨量資料投資不足」 (鄭杰, 2014) 6 所謂生命表，就是利用大數法則統計出來的死亡率表。公元 1762 年英國倫敦的「衡平保 2.

(9) 的保費開始。由於計算過程十分科學化，逐漸改變了一般人對人壽保險的看法，自此人壽保險也受到大眾的接受而開始快速發展。經歷二百多年的發展，目前人壽保險已成為自由經濟國家重要的社會保障經濟制度之一，本研究希冀藉由對當今大數據潮流宏觀的分析了解其衝擊與影響，並取其他產業發展上的成功關鍵因素，進而於壽險業未來的發展上注入此關鍵性的科技，甚或取得產業轉型的契機。本研究採取方法如下：瞭解研究背景引發研究動機. 政治大確認研究範圍與方法. 立. ‧. ‧ 國. 學. 擬定研究架構與流程. 現況分析與資料收集. n. al. er. io. sit. y. Nat. 資料檢視. 文獻探討. Ch. e n g資料篩選 chi. i n U. v. 壽險產業之分析與研究. 影響層面與因應做法探討. 結論與建議. 險社」（ Equitable Assurance Society）首先根據生命表，按年齡及身體健康狀況計算合理的保險費。 3.

(10) 圖一-1 研究方法示意圖. 第三節研究架構本研究第一章先就研究動機與目的敘明，再於第二章針對「大數據分析時代」文獻進行探討與歸納，其中特別針對「大數據」與「資料分析」兩部分分別敘明其演進過程、當前所處狀況及其中利用之理論及實務，之後於第三章針對第二章所訴內容，分析其帶給人類社會之影響及各產業實務應用情形進行歸納整理，希冀於大數據的光明面與黑暗面中求得一最適的成功關鍵因子，得以在第四章對壽險產業的大數據導入策略有較全面具. 政治大. 體可操作的解決方案，最終，於第五章總結全篇研究結果並針對未來提出. 立. 方向上之建議。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 4. i n U. v.

(11) 第二章. 大數據分析趨勢觀察. 現實是可以從三個不同的層次來展開研究的：事件(event)、趨勢(trend) 和系統(system)。從事件的層次接收資訊，你將會收到最多的資訊：哪裡發生了爆炸、哪裡有大天災人禍、哪裡有霧霾，或是在公司裡最經常思考的是「誰搞砸了」。重點是，我們都會習慣將這些事情看似毫不相干的「個別事件」看待。趨勢，不同於事件，是從一堆事件中找尋有趣或有意義的連續性發生. 政治大中，故它也不容易被一、兩件「個別事件」所左右。立. 事件。趨勢的形成，往往來自背後的勢力 (driving force)。既然是有力於其. Peter Drucker說過「未來已經發生在今天」(Drucker, 1959)。即只要我. ‧ 國. 學. 們細意觀察，敏感地留意周遭的事，哪怕是打開背包盤點一下身上的物品，. ‧. 也能有所發現。趨勢之所以稱為趨勢，是因為它有一種延續。即昨天已經. y. Nat. 發生，今天也發生，明天也極可能會延續下去。然而它又不同於太陽從東. er. io. sit. 方升起的那種恆常現象。趨勢是有其「勢力」的，預期其累積的力度猶如滾雪球一樣，愈滾愈大，力度愈來愈猛。例如城市化就是一例。而所謂的. al. n. v i n 大趨勢（megatrends），是指今天已經在發生的改變。你是可以感受到的， Ch engchi U. 但這些改變並不是表面、易見的改變。例如時裝潮流是一種顯而易見的改變：今年會流行什麼顏色，流行怎樣的配搭等等。這種「來時急，去時快」的現象為「時尚（fads）」。社會上出現的大趨勢，應被視為是一些無論你做. 什麼都不能逆轉的社會現象。大趨勢可比喻為在地球底層慢慢移動的板塊，而且涵蓋性很廣大 7，而當你看清大趨勢本質及特色時，才能主導議題，應用科技來創造價值。大數據分析是個事件?還是趨勢?它是如何形成?影響及衝擊是什麼?因應之道為何?未來會往哪個方向? 這些都是要在本章節進行探討的議題。 7. http://birdviewjoey.blogs.com/trends/page/5/ 5.

(12) 第一節大數據是科技指數式成長下的必然產物一、資訊及知識的傳播是推動人類文明發展的根本 1989 年，未來學者 Alvin Toffler 在出版的「第三波」（The Third Wave）書中，依據人類生產模式的演進，提出人類社會發展的板塊活動，這種板塊活動稱之為「波浪（waves）」，有一浪蓋一浪的意思，他區分了三個波段：第一波（first wave）為農業式的生產模式，大致時間為十八世紀中葉以前，其動力是勞力，接踵而來的是第二波（second wave），就是工業式的生產模式，大致時間為十八世紀中葉到二十世紀末為工業波段，其動力是. 政治大國家，尤其是歐、美、日本等地，已經同時地進入了所謂的第三波（the third 立. 機械和藍領工人。第二波是大部分國家仍然在經歷的階段，但很多已發展. ‧ 國. 學. wave），大致時間是從二十世紀末開始則進入第三波段，即資訊或數位波段，其動力則是資訊和知識工作者，第三波是一個與知識、資訊緊扣的年代，. ‧. 人類大量地利用知識與數據、並展開多維度的分析作為他們生產的手段. sit. y. Nat. (Toffler, 1989)，1990 年，更於其「大未來」中直指社會主宰的力量由金錢. al. er. io. 轉向知識。Peter Drucker 所提出的知識工人，剛好也與 Alvin Toffler 提出的. v. n. 第三波不謀而合，而在分期背後最主要原因可從其資訊知識傳播與文明推進的關係觀察。. Ch. engchi. i n U. 最早的資訊科技革命起因於 1440 年約翰尼斯 . 古騰堡 (Johanner Gutenberg)印刷術的發明，讓知識得以低成本地累積及傳播，結束中古歐洲黑暗時代，啟動文藝復興（Renaissance）及啟蒙時期(Age of Enlightenment)，而提供了 1775 年之後的兩次機器時代（the Age of Machines）。充沛的動能 (參圖二-1 歐洲書本的生產及圖二-2 全球每人平均所得)。. 6.

(13) 政治大. 圖二-1 歐洲書本的生產. 立. (Kelly, 2012). ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖二-2 全球每人平均所得 (Kelly, 2012). 二、科技是進步的引擎，影響力無遠弗界人類文明直至第一次工業革命 8才開始突飛猛進，帶動人類進入第一次 8. 工業革命一詞源於 1799 年，出自法國外交官易斯.季洛米.奧圖(Louis Guillaume Otto) (Anderson, 自造者時代：啟動人人製造的第三次工業革命, 2013) 7.

(14) 機器時代，而背後的驅動力是科技(Technology) 9的發展，而最重要的開端科技是在十八世紀下半葉經過James Watt與其同行開發改善的蒸汽機，有史以來，科技創新首度成為推動人類進步的主要驅動力，人類社會歷經了前所未見、影響深遠的重大轉型 (Brynjolfsson & McAfee, 2014)。(參圖二-3 人類歷史的重要轉折：第一次工業革命). 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. 圖二-3 人類歷史的重要轉折：第一次工業革命. n. er. io. al. (Brynjolfsson & McAfee, 2014). i n U. v. 第一次工業革命始於 18 世紀末，人類使用煤與蒸汽機，帶動紡織業的. Ch. engchi. 機械化，以機器代替手工，造就了繁榮的城市、拔地而起的工廠。第二次工業革命是以電力的廣泛應用、內燃機（石油）和新交通工具（汽車）、新通訊方式（電話、廣播和電視），開啟了 20 世紀的大量生產時代 10，催生了市郊大片房地產以及工業區的繁榮，但如今石油資源日漸枯竭，而天然氣和煤又會造成嚴重的地球暖化。第三次工業革命將由再生能源和網路建設所構成，在 21 世紀，由於數位技術的演進（例如 3D列印），人人都可成為. 9. Technology 此字的概念是在 1802 年德國哥廷根大學經濟系貝克漢教授所寫的「科技指南」(德文書名為 Technologie)所確立。 (Kelly, 2012) 10 第二次工業革命的三項核心創新：電力、內燃機和室內水管及衛生設備，都在 1870 至 1900 年之間出現 (Brynjolfsson & McAfee, 2014) 8.

(15) 製造者的自造者運動（Maker Movement）即將展開 (Rifkin, 2013) 。綜觀三次的工業革命，均具備了能源系統及資訊傳播兩者科技上的大躍進特色 (參表二-1 能源系統與資訊傳播技術躍進之里程碑) 。表二-1 能源系統與資訊傳播技術躍進之里程碑. 工業革命. 能源系統. 資訊傳播. 第一次工業革命. 煤炭/蒸汽機. (平版)印刷術. 第二次工業革命. 石油/內燃機. 電信技術. 第三次工業革命. 再生能源. 數位化/Internet 技術. (本研究整理). 立. 政治大. 而像蒸氣動力或電力之類具深度的新觀念或新技術，對經濟的各部分. ‧ 國. 學. 產生重要衝擊之科技創新，在經濟史學上以「泛用型科技」(GPTs，General Purpose Technologies 11)稱之，其特徵上須符合下列四點 (Wright, 2000)：. ‧. 普及性(Pervasiveness)：非常普及的技術. （二）. 技術活力(technological dynamism)：會不斷改進. （三）. 創新的互補性(innovational complementarities)：而且能孕育出創新. sit. n. （四）. al. er. io. 的產品. y. Nat. （一）. Ch. engchi. i n U. v. 大幅度改善(great scope for improvement) ：生產力大幅提升，促使產出激增，而使經濟上有所衝擊。. 第三波工業革命又稱數位革命(Digital Revolution)，其中扮演關鍵技術的資通科技(ICT，Information and communications technology )，多數經濟史學家均認為 ICT 是 GPT，而且在 GPT 排行榜上，僅次於蒸汽動力而與電力並列第二 (Field, 2008)，人類也因此正式進入了「第二次機器時代」，如同. 11. 該名詞首次出現於在 1995 年 Timothy F. Bresnahan 及 Manuel Trajtenberg 合寫的 "General Purpose Technologies: 'Engines of Growth?"' 乙文中 (Bresnahan & Trajtenberg , 1995) 9.

(16) 「第一次機器時代」人類得以克服先天體能的限制一般，這次人類將突破心智能力(運用大腦來了解和塑造環境的能力)的限制，跨入新的疆界。. 三、大數據時代產生的背景（一）. 資通科技以指數型的成長模式發展. 1950 年代開始，很多人都在想一件事：「科技一切進步這麼快、這麼有規律，或許背後有一種進步的模式」(如圖二-4 速度趨勢曲線)，. 立. 政治大. ‧. ‧ 國. 學 er. io. sit. y. Nat. al. n. v i n Ch 1950 年代以前美國空軍的歷史速度紀錄圖，以及 i U年代當時他們預測未來會達到的最 e n g c h 1950 圖二-4 速度趨勢曲線. 高速度。(Kelly, 2012). 1965 年，英特爾(Intel)創辦人之一的Gordon Moore首次發表了著名的預測 12，也就是之後所謂的「摩爾定律(Moor’s Law)」。(參圖二-5). 12. Moore 於 1965 年發表於 Electronics Magazine，題目為「Cramming Components onto Integrated Circuits」 10.

(17) 圖二-5 最早的摩爾定律只有五個資料點. 政治大. 圖二-5 最早的摩爾定律只有五個資料點以及對接下來十年的推斷(左)；1968 年後的摩爾定律(右). 立. ‧ 國. 學. 摩爾定律預測每經過 18 個月到 24 個月，電腦晶片的尺寸和價格就會減半，而過去五十來摩爾定律方向上都沒有出錯，且目前也還看不出任何. ‧. 跡象顯示無法持續 (Shankland, 2012)，而如此指數型(exponential)的發展模. sit. y. Nat. 式除了電腦晶片外，主要展現在產品尺寸縮小的效果或發明物微型化(如儲. al. er. io. 存容量、能源效率、網路速度、數位相機解析度、DNA 定序等) (參附錄 A. v. n. 之附表 1)，而科技是屬於放大規模的態樣(如太陽能板或電池的績效)時，. Ch. engchi. i n U. 是不會找到指數型的進步 (Kelly, 2012)。如前述 GPTs 第一名的蒸氣科技，近兩百年來只出現 3 次或 4 次的倍增，而資通科技因為摩爾定律使得這些產品變得越來越便宜，功能越來越強大(圖二-6)。. 11.

(18) 圖二-6 摩爾定律的諸多面向 (Brynjolfsson & McAfee, 2014). （二）數位化潮流. 學. ‧ 國. 立. 政治大. ‧. 所謂「數位化(digitization)」係指將各種資訊和媒介，如文本、聲音、. sit. y. Nat. 相片、影像、從儀器和感測器獲得的資料等，轉換為電腦的母語 0 與 1。數. al. er. io. 位化目的是著眼於數位資訊的經濟特性：共享性(可完美複製)、即時性(傳. v. n. 輸)、幾近免費(邊際成本趨近於零)，而數位化浪潮也深深影響了獲取知識. Ch. i n U. e n(Brynjolfsson g c h i & McAfee, 2014)。在 2000 年. 的新方式以及快速的創新速度. 時，全球資訊仍只有 1/4 是以數位化方式儲存，但到了 2013 年時，全球資料量為 1,200EB，其中不到 2%為類比資料格式(如紙張、書籍、相片等) 只要用一點想像力，不論是什麼東西，都能夠化為資料形式，後續也會驚喜連連，情緒可以轉換為可分析的形式，地板上的活動也可以量化成店家所需的人流資訊，這與「量化生活」(Quantified Self) 13當初發起的宗旨是相同的，資料化代表的是對人類的理解事物的本質更為豐富，如果能把 13. 量化生活(Quantified Self) 是一個將個人日常生活中用輸入、狀態和表現這樣的參數，將科學技術引入日常生活中的技術革命。其中輸入是人體吸收的外界因素，例如消化的食物，空氣質量等；狀態是人體當前的特徵，例如心情、arousal(皮膚電導)、blood oxygen levels （血氧飽和度）等；表現是人體表現的行為，分為心理上和物理上的表現。( (WIKI, 2013) 12.

(19) 世界看成資訊，就像是一片能讓人探索得更深更廣的資料海洋，我們對於現實社會就會有前所未有的認識，資料化可以說是給了我們工具，讓我們能夠用資料來繪出世界的真實樣貌。 (Mayer-Schonberger & Cukier, 2013). （三）網際網路(Internet)與全球資訊網(World Wide Web)的興起網際網路(Internet)是指網路與網路之間所串連成的龐大網路，這些網路以一組通用的協定相連，形成邏輯上的單一巨大國際網絡。這種將電腦網路互相聯接在一起的方法可稱作「網路互聯」，在這基礎上發展出覆蓋全. 政治大並不等同全球資訊網，全球資訊網只是一建基於超文字相互連結而成的全立世界的全球性互聯網路稱網際網路，即是互相連接一起的網路。網際網路. 球性系統，且是網際網路所能提供的服務其中之一。. ‧ 國. 學. 自 1990 年代網際網路及全球資訊網向公眾公開後，至 2014 年底全球. ‧. 網際網路用戶普及率將達到 40%，約 30 億人 14。其中最重要的里程碑是 2004. y. Nat. 年後「Web 2.0」的出現，它指的是一個利用Web的平台，由用戶主導而生. al. v i n 的特點是分享機制和去中心化，主要功能呈現於：部落格 Ch engchi U n. Web 2.0. er. io. 定義為Web 2.0。. sit. 成的內容網際網路產品模式，為了區別傳統由網站僱員主導生成的內容而. （BLOG）、RSS、wiki 百科全書（Wiki）、網摘、社群網站（SNS）、P2P、即時資訊（IM）、基於地理資訊服務（LBS）等，有名的網站如：維基百科、 Twitter、Facebook、YouTube、flickr、Google。隨著網路普及率提高及Web 2.0 的推出，使用者製作內容的趨勢於是興起，全球十大最受歡迎的內容網站，有六個網站主要就是由使用者創作的 15。. 14. 隸屬於聯合國的國際電信聯盟（International Telecommunication Union, ITU），每一年都會針對全球進行調查與發布相關 ICT 最新數據預測。該數據係於 2014.05.05 公布於 http://www.itu.int/net/pressoffice/press_releases/2014/pdf/23-zh.pdf 15 詳參 http://www.alexa.com/topsites 13.

(20) （四）物聯網與 M2M─3i 新世界的到來物聯網（Internet of Things，縮寫 IOT）是一個基於網際網路、傳統電信網等資訊承載體，讓所有能夠被獨立定址的普通物理對象實現互聯互通的網路。物聯網一般為無線網，由於每個人周圍的設備可以達到一千至五千個，所以物聯網可能要包含 500 兆至一千兆個物體，在物聯網上，每個人都可以應用電子標籤將真實的物體上網聯結，在物聯網上都可以查找出它們的具體位置。通過物聯網可以用中心計算機對機器、設備、人員進行. 政治大. 集中管理、控制，也可以對家庭設備、汽車進行遙控，以及搜尋位置、防止物品被盜等各種應用。. 立. M2M（Machine to Machine）是通過移動通訊對設備進行有效控制，從. ‧ 國. 學. 而將商務的邊界大幅度擴展或創造出較傳統方式更高效率的經營方式亦或. ‧. 創造出完全不同於傳統方式的全新服務，如目前方興未艾主要的應用有：. y. Nat. 移動物流管理（M-logistic management）、移動支付（M-POS）、移動監控. er. io. sit. （M-monitoring）等。M2M與物聯網的核心理念一致，不同之處是物聯網的概念、所採用的技術及應用場景更為寬泛。而M2M則聚焦在無線通信網. al. n. v i n 路應用上，是物聯網應用的一種主要方式，而這一切都聚焦在感知化 Ch engchi U (Instrumented)、物聯化(Interconnected)及智能化(Intelligent)三者上(故又稱為 3i新世界) (胡世忠, 2013)，世界隨時都在發生數不清的M2M即時通訊，而機器間的對談資料，恐怕在 10 年內就會超過人類在無線網路上進行語音對話的總和了 16。（五）科技普及速度倍數成長科技技術變革如前所述正以加速以驚人的指數速度成長。而技術發展. 的速度與使用者普及速度間的關係也發生了戲劇性變化，每個新的技術達 16. 參閱 http://www.nytimes.com/2012/07/30/technology/talk-to-me-one-machine-said-to-the-other.html ?pagewanted=all&_r=0 (O'brien, 2012) 14.

(21) 到 10 億用戶，所需花費的時間被減半。例如，固定電話花了 110 年的才達到 10 億用戶，但電視達到一樣的人口普及率水平只花了 49 年。就最近的技術而言，移動電話花了 22 年，而網際網路花了 14 年取得一樣的普及程度。而智能慧型手機和 Facebook 都僅花費短短 8 年既已達到 10 億用戶。當然有部分原因是人口的增長所致，但普及的速度是從根本上增加，例如一個新的技術假設發動在 2017 年，可能只有需要 5.5 年就可以達到 10 億用戶。. 立. 政治大. sit. y. ‧. ‧ 國. 學. Nat. 圖二-7 數位科技採用到被接所費時間比較圖. io. n. al. er. (Morgan Stanley Research & Boston Consulting Group, 2014). （六）小結. Ch. engchi. i n U. v. 在資通科技指數化的成長下，資通產品更為便宜而更普及，而資料生成者主要是使用者時，資料的生成形式除了以數位化方式為之外，數量上也由於Web2.0 及M2M交流互動更為頻繁下，過程中便產生了大數據，從 2005 年至 2018 年，全球網際網路的交易量將增長 64 倍，達到了每個月 102.2EB (1EB=1018 bytes) 17 。. 17. http://www.cisco.com/web/solutions/sp/vni/vni_forecast_highlights/index.html(VNI Forecast Highlights) 15.

(22) 四、大數據定義與特性如前述 Web2.0 的興盛的背景下，約莫在 2010 年第四季大數據開始開始熱門起來，2011 年 5 月麥肯錫全球研究(McKinsey Global Institute)出版了「大數據：下一個前沿領域的創新，競爭和生產力」(Big data: The next frontier for innovation, competition, and productivity)這份報告後，更加速各國政府紛紛於 2013 至 2014 年間訂定國家或區域層級的大數據策略與機制，這短短數年間，大數據這個名詞，儼然季節時尚一般充斥在我們周遭，我們應該如何看待這個名詞呢?. 政治大 1. 大數據是指大量、高速、及/或多變的資訊資產，它需要新型的處理方立. （一）. 名詞定義：. 式去促成更強的決策能力、洞察力與最佳化處理 (Laney , 2012)。. ‧ 國. 學. 2. 所涉及的資料量規模巨大到無法透過人工，在合理時間內達到擷取、. ‧. 管理、處理、並整理成為人類所能解讀的資訊 18 (wiki pedia). y. Nat. 3. 大數據係指是一個企業具備存儲(Store)、處理(Process)和獲取(Access). er. io. sit. 資料，而讓這些資料可有效地運作、並援引分析結果進行決策及降低風險，而為客戶提供服務的能力。 (Gualtieri, 2012). al. n. v i n 4. 大數據是個不精準而不幸的名字，有太多人 (特別是供應商)，意指任 Ch engchi U 何的商業分析，或是以曾經被報導過及傳統商業智慧的案例來定義「大. 數據」這個詞，讓這個名詞更為新穎及火紅以便可以導入這些供應商或顧問公司早已存在的商品。(Davenport, 2014) （二）特性：在一份 2001 年的研究與相關的演講中，麥塔集團（META Group，現為高德納）分析員道格·萊尼（Doug Laney）指出資料增長的挑戰和機遇有三個方向：量（Volume）、速度（Velocity）與多樣性（Variety），合稱「3V」. 18. http://zh.wikipedia.org/wiki/%E5%A4%A7%E6%95%B8%E6%93%9A 16.

(23) 或「3Vs」19。另外，也有人在 3V之外定義了多個V (Rijmenam, Think Bigger: Developing a Successful Big Data Strategy for Your Business, 2014)，也有人認為原始定義的 3V更本無法彰顯大數據的含意。 (Gualtieri, 2012). 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 19. http://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-Controlling-Dat a-Volume-Velocity-and-Variety.pdf 17.

(24) 1. 量（Volume）：目前全球已產生的資料量 90％均是在過去兩年所創建。從現在起，2012 年全球每天產生的資料量為 2.5EB，而這個數字會在每四十個月左右增加一倍，到 2020 年，我們擁有的資料量將是 2011 年的 50 倍量的資料量，這數量絕對是巨大的，而這不斷擴大的數字中一個非常大的貢獻是來自物聯網與遍布世界所有設備的傳感器網絡每一秒所創建的資料。一兆個傳感器的時代已經來臨。飛機每年從安裝在發動機的傳感器產生大約 25 億TB的數據。自動駕駛汽車(Self-driving cars)，每年將產生 2 PB級的資料。另外，在農業上安裝在拖拉機上的. 政治大機械，並幫助農民更好地做出決策。殼牌(Shell)則採用超靈敏的傳感立. 傳感器也產生大量資料，來監控機器優化狀況，控制日益龐大的耕耘 20. 器，以找到更多的石油井，如果他們在所有 10,000 井安裝這些傳感器，. ‧ 國. 學. 他們將每年收集約 10 Exabyte的數據。但這些與預計 2024 啟用SKA望. ‧. 遠鏡 21(The Square Kilometer Array Telescope)每天所產生的 1Exabyte資. y. Nat. 料相較，又是小巫見大巫。在過去，創造如此多的資料會造成嚴重的. er. io. sit. 問題。如今，隨著存儲設備因摩爾定律持續縮小且成本低廉下，更好的儲存解決方案紛紛出現(如Hadoop等)，這意味著資料量已不是一個. n. al. 問題了。. Ch. engchi. i n U. v. 2. 速度（Velocity）：速度是指數據被創建，存儲，分析和可視化的速度。在過去，批次處理是常見的做法，每天晚上或者甚至每星期。主機和伺服器需要大量的時間來處理資料並更新資料庫。而在大數據時代，資料是在即時或近即時下被創建。與網際網路連接的設備，在無線或 20. http://www.bigdata-startups.com/BigData-startup/john-deere-revolutionizing-farming-big-data/( Rijmenam, John Deere Is Revolutionizing Farming With Big Data, 2014) 21 這革命性的設備, The Square Kilometre Array (SKA Telescope), 每秒要接收的信號有 20G 的數據, 所以需要一個全球最大型的電腦, 20 個國家花 5 億歐元建的, 這座巨大望遠鏡要做 3000 千台 5 公呎高的天線, 佔地三千平方公里, 要在 2016 年動工建造 , 2024 年開始實現, 這個地球之眼建好後, 整個太空我們看不見的地方也會看到, 是歷來所有天文器的一萬倍, 所以可以觀察到宇宙年青到成長的過程, IBM 也準備為這計劃建迼一個超級容量的電腦。 18.

(25) 有線的可用性下，機器和設備可以傳遞關於它們被產生的的數據。在該資料目前正在建立的速度幾乎是不可想像的：如每一分鐘我們上傳 100 小時的視頻在 Youtube 上。在此外，每分鐘超過 200 萬封電子郵件被發送，大約 20 萬張照片查看和 30.000 上傳 Flickr 上，幾乎 300,000 微博的發送和差不多 250 萬個查詢在 Google 被執行。組織的挑戰就在於因應這些資料被產生的同時如何進行即時的分析。 3. 多樣（Variety）：過去創建了結構化的資料，所有的資料，它整齊地陳列於列和行中，但那些日子已經一去不復返了。如今，90％的資料的. 政治大半結構化資料，非結構化資料，甚至複雜的結構化資料。在各種各樣立生成的組織是非結構資料。資料今日有許多不同的格式：結構化資料，. 的數據，需要一種不同的方法以及不同的技術來儲存所有的原始資料。. ‧ 國. 學. 有許多不同類型的資料，並且每個這些類型的資料所需要使用不同類. ‧. 型的分析或不同的工具進行。社群媒體如 Facebook 的帖子或推文可以. y. Nat. 給不同的見解，比如對你的品牌的情感分析，而這些資料會為提供你. er. io. 其他特點： (Rijmenam, Why The 3V’s Are Not Sufficient To Describe. al. n. 4.. sit. 有關顧客是如何使用產品，而其中什麼又是錯誤的資訊。. Big Data, 2013). Ch. engchi. i n U. v. (1). 準確性(Veracity)：指的是當資料的來源變得更多元時，這些資料本身的可靠度、品質是否足夠，若資料本身就是有問題的，那分析後的結果也不會是正確的，Veracity 其實點出一個很關鍵的問題，過去的數據分析，資料大多來自於內部的系統，例如從客戶滿意度來分析使用者對產品的意見，在做滿意度調查時，我們往往會設計一份問卷，然後透過服務人員或者委託其他單位代為調查，將上萬份的問卷收集回來後再做分析，這些資料在可靠度上相對較高，但這種調查的問題在於，願意接受調查的人，往往已經對公司的產品抱持著一定的好感，而你並沒有 19.

(26) 接觸到那些對公司產品抱持不好觀感的客戶(連接受調查都不願意)，以及那些對公司產品壓根兒不感興趣的人，若你真的想要改善產品、擴大市場，那這些人的意見對你來說，可能才是關鍵，所以你開始委託擅長社交分析的公司幫你分析在社群網路上大家是怎麼談論公司的產品，但因為來自社群網路的資料並非經過正式管道，有機制的被取得，所以真偽難辨，品質也很難被識別，若要依據這些網路上收集到的資料來做決定，其實是有很大的風險的，而這就是 Veracity 這個 V 所提出的觀點(胡. 政治大也就是有很多不同管道進來的高速數據都是毫無價值的，如果立世忠, 2013)。. 數據不正確。不正確的數據可能會導致很多問題的組織以及消. ‧ 國. 學. 費者。因此，組織需要確保數據的正確性，以及對數據進行的. ‧. 分析是正確的。尤其是在自動化的決策，在沒有人的參與下，. y. Nat. 必須確保這數據和分析是正確的。如果你希望組織成為以資訊. er. io. sit. 為中心，就應該要能夠相信數據及其分析，令人震驚的是，1/3 企業領導人不信任其決策用的資訊。因此，如果你想發展一個. al. n. v i n 大數據策略，就應該強烈關注的數據的正確性以及分析的正確 Ch engchi U 性。. (2). 變異性(Variability)：大數據是變化極大。Forrester 的首席分析師布賴恩·霍普金斯(Brian Hopkins)，定義變異性為「在詞彙含義上的變化」(variance in meaning, in lexicon)。他指的是贏了益智節目「危險邊緣」(Jeopardy!)的華生超級電腦(Watson computer)。這台超級電腦不得不「分析一個答案到它的涵義……而找出正確的問題是什麼」。這是非常困難的，因為詞有不同的意義的，一切都取決於上下文。為了求得正確的答案，華生必須去了解整個情況。 20.

(27) 而變異性經常與多樣性混淆的。假設有家麵包店，出售 10 種不同的麵包。這就是所謂多樣性。現在想像一下你連續三天去一樣的麵包店，每一天你都買同類型的麵包，但每一天它的味道和氣味不同。而這就是變異性。變異性因而在進行情緒分析上是非常相關的特性。變異性表示的含義是變化的（快速地）。在（幾乎）相同的推特上的一個字可以有完全不同的含義。為了進行正確的情緒分析，演算法需要能夠理解上下文，並能夠在這方面破譯一個詞的確切含義。這仍然是非常困難的。. 政治大量的資料很容易被理解及讀取。原始資料一定要用正確的分析立. (3). 可視化(Visualization)：這是大數據的最困難的部分。讓所有大. 及可視化的方式，否則原始資料基本上仍然是無用的，可視化，. ‧ 國. 學. 當然不是指一般的圖形或圓餅圖。意思所指的是即便包括多維. ‧. 度的複雜圖形仍具可理解和可讀性。可視化可能不是技術最困. y. Nat. 難的部分；但可以肯定的是最具挑戰性的部分。講述一個複雜. er. io. sit. 故事中的圖形是非常困難的，但也是非常關鍵的。幸運地是越來越多的大數據新創企業在這個方面有所聚焦，畢竟最終可視. al. n. v i n 化可帶來差異化。而其中之一是Ayasdi，他們使用拓撲資料分析 Ch engchi U. 法(Topological data analysis)透過令人驚嘆的 3D圖形來發現大數據的模式。這將是未來的方向，可視化可以幫助企業回答那些他們不知道要問的問題 22。 (4). 價值(Value)：所有可用資料將創造巨大的價值，而為企業，社會和消費者所青睞。大數據意味著大企業和每一個行業將從中獲得大數據帶來的好處。麥肯錫指出，大數據對美國醫療保健的潛在價值每年 3,000 億美元，這是西班牙每年的總醫療保健支出的一倍以上。報告中還提到，大數據在歐洲的公共部門管理 22. http://www.bigdata-startups.com/BigData-startup/ayasdi/ 21.

(28) 潛在的年產值具有 2,500 億歐元。更有甚者，在這份 2011 年廣受好評的報告中提及，在 2020 年從全球範圍內使用個人位置資料的年度潛在消費者剩餘可高達 6,000 億美元以上，這是一個很大的價值 (McKinsey Global Institute, 2011)。當然，資料本身是沒有價值的。價值是在資料被變成資訊，並最終把它變成知識，以及如何進行的分析。價值端視組織將如何看待與利用這些資料，進而組織成一個以資訊為中心，仰賴從資料分析衍生見解進而決策的公司。. 政治大第二節大數據的價值在於「分析」立. ‧ 國. 學. 「大數據」可貴的價值並非資料本身的巨大(這也是前述所謂這個名詞的不幸之處)，而是在於之後的資料分析，而資料為何要分析?分析學是如. ‧. 何演進的?如何才可以做到有效的分析?. sit. y. Nat. 一、資料分析的定義. al. er. io. 從收集來的資料中分析有用資訊，發現知識，而對資料加以詳細研究. v. n. 和概括歸納的過程，稱為資料分析(Data Analysis)，而在不同背景或應用場. Ch. engchi. i n U. 合上，資料分析與資料採礦(Data Mining)、資料分析學(Data Analytics)均有概念上互用的情形 (譚磊, 2013)，但事實上三者本質上有以下的差異：. 22.

(29) （一）. 資料分析學(Data Analytics)：是一門多面向而廣泛地使用數學與統. 計學的學科，其內涵比較不涉及個別的資料分析或資料分析步驟，而泛指整個方法論，簡言之，它包含了資料分析(Data Analysis)及所產生的洞察(Insights)及決策(Decision making) (如圖二-8)。這個詞通常於商業上使用，目前也有逐漸增加使用在先進的資料分析方法上，特別是涉及描述分析學上的技術層面時，如預測建模，機器學習技術，神經網絡技術 23。. 政治大. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. 圖二-8. 23. i n U. v. Data Analytics與Data Analysis之差異 24. Ch. engchi. http://en.wikipedia.org/wiki/Analytics#Analytics_vs._analysis. 24. http://www.quora.com/What-is-the-difference-between-Data-Analytics-Data-Analysis-Data-Min ing-and-Data-Science 23.

(30) （二）資料採礦(Data Mining)：一般係指從資料庫中自動搜尋隱含於大量資料中之相關性及樣態的過程，是目前資料分析(Data Analysis)中「資料庫知識發現」（Knowledge-Discovery in Databases，縮寫：KDD）的技術方法之一。簡言之，資料分析是資料採礦的上位概念，而也因資料採礦隨著大數據時代來臨而成為資料分析主要方法後，兩者互用情形頻仍。. 二、資料分析的目的. 政治大有人說「資料是 21 世紀新時代的石油」。而Francis Bacon曾在沉思立. （一）. 可成為有意義的資訊，進而成為知識，乃至產生智慧 25. 錄(Meditations Sacrae)中寫出：「知識就是力量」， Peter Drucker也於 1965. ‧ 國. 學. 年預言「知識將取代土地、勞動、資本與機器設備，成為最重要的生產因. ‧. 素。」那資料與知識之間存在怎樣的關係呢?. y. Nat. 依據DIKW體系 (DIKW Pyramid、DIKW Hierarchy) 26指出資料(Data)、. er. io. sit. 資訊(Information)、知識(Knowledge)及智慧(Wisdom)四者間關聯的體系。當中每一層比下一層賦予某些特質。而資料層是最基本的。資訊層加入內容。. al. n. v i n 知識層加入「如何去使用」。如此，DIKW體 C，智慧層加入「什麼時候才用」 hengchi U. 系是一個模型讓我們了解分析、重要性及概念工作上的極限。主要是透過以下的步驟來協助研究及分析：(參圖二-9) 1. 原始觀察及量度獲得了資料。 2. 分析資料間的關係獲得了資訊。這些資訊可以回答簡單問題，譬如： 25. "Data is the new oil!" 是由 Clive Humby,於 ANA Senior marketer’s summit 首次說出 (Palmer, 2006)，而於 2013 年 3 月 IBM CEO Virginia Rometty 改寫這句為「big data is the new oil.」 (Hirsch, 2013)，但也有論者認為這樣比喻不妥。 (Thorp, 2012) 26 這個模型可以追朔於托馬斯·斯特爾那斯·艾略特所寫的詩－《岩石》（The Rock）。在首段，他寫道：「知識中的智慧我們在那裡丟失？資訊中的知識我們在那裡丟失？」（Where is the wisdom we have lost in knowledge? / Where is the knowledge we have lost in information?）。哈藍·克利夫蘭根據這個 1982 年 12 月在《未來主義者》雜誌中的文章－「資訊有如資源」的基礎來建設這個體系。後來這個體系得到米蘭·瑟蘭尼（Milan Zeleny）及羅素·艾可夫（Russell .L. Ackoff）不斷的擴展。 24.

(31) 誰？什麼？哪裡？什麼時候？為什麼？資訊是信息，意味著有聽眾及目的。 3. 在行動上應用資訊產生了知識。知識可以回答「如何？」的問題。知識是一些可行的關係及習慣工作方式。 4. 透過智者間的溝通及自我反省而利用知識會產生了智慧。我們可以利用智慧解答關於行動的為什麼及什麼時候的問題。智慧是關心未來而含有暗示及滯後影響的意味。. 立. 政治大. er. io. sit. DIKW體系 27. y. ‧. ‧ 國. 學. Nat. 圖二-9. 從「知識就是力量」到「資訊有如資源」，再到「資料是新世紀的石油!」. al. n. v i n 可以看出人類在 DIKW 體系的重視視角越趨於細微根本，而資料要如「石 Ch engchi U. 油」般淬鍊而成為可資利用的「資源」的步驟就是透過資料分析，故資料分析之目的就希冀獲得「資訊」、「知識」，甚至於「智慧」。. 27. http://blog.pluralsight.com/knowledge-management-success-secrets 25.

(32) （二）依據分析深度可滿足不同的目的：這與之後商業分析的分類有密切相關(詳 28 頁) 1.. 掌握過去與現狀. 2.. 發現行為模式. 3.. 預測. 4.. 優化. 三、資料分析的演進. 政治大業分析學誕生在 1950 年代中期，而後有許多不同的切入觀點及技術，而為立. 利用資料作出決定，並不是新想法，而是和決策本身一樣古老，但商. 何大數據現在才出現呢? 它與之前的分析技術或觀點有何不同?. ‧ 國. 學. 科技產物準備好所有必要條件時，下一項科技產品就能興起，科技產. ‧. 物跟生物一樣，需要一系列發展，才能到達特定階段，這是所謂「科技的. 在成就現今大數據分析(詳表二-2)。. io. al. n. 術語. Ch. 決策支援(Decision Support) 主管支援(Executive Support). er. 表二-2 分析資料使用與術語歷程. sit. y. Nat. 規則」 (Kelly, 2012)，從 1970 年迄今，一連串的技術發展與分析的聚焦才. 時間 1970-1985. i v 特點 n 使用資料分析來支援決策 U. e 1980-1990 n g c h i 聚焦於以資料分析來支援高階主管. 線上分析處理 (Online analytical Process； OLAP). 1990-2000. 商業智慧(Business Intelligence). 1989-2005. 分析學(Analytics) 大數據(Big Data). 2005-2010 2010-present. 決策在多維度資料表下，可彈性地提供積存（Roll-up）、下鑽（Drill-down）、和樞紐分析（pivot）等操作，呈現整合性決策資訊的方法/軟體支持數據驅動決策模式的工具，比較強調報表聚焦於統計與數學上的決策分析聚焦於大量而非結構化、快速移動的資料. (Davenport, Big Data @ Work, 2014). 知識管理大師 Thomas H.Davenport 將商業分析區分為兩個時代，一為「大數據之前」(BBD, before big data)和「大數據之後」 (ABD, After big data)， 26.

(33) 另外又就分析學內涵或主體上之差異區分為「分析學 1.0」、「分析學 2.0」、「分析學 3.0」 (Davenport, Analytics 3.0, 2013)進行期間的比較理解。（一）分析學 1.0 時代：商業情報時代 (長達半世紀) 開始有了廣義地理解到以分析學當作競爭優勢來源的想法，主要展現在獲取較高的營運效率，在某些關鍵點作出較佳決策，方式上客觀而深入了解重要商業現象，以讓經理人在決策時能超越直覺，這也是首次開始記錄、匯集並分析有關生產流程、銷售與顧客互動資料，而在這期間，新的運算技術興起是關鍵，資料倉儲(Data Warehouse)及商業智慧(Business. 政治大. Intelligence)被廣泛使用，但此時期的分析是艱苦而緩慢的工作，經常要耗費數周或數月去執行。. 立. （二）分析學 2.0 時代：大數據時代 (2000 年中期之後至今). ‧ 國. 學. 雖然「大數據」這個名詞是之後才出現，但在矽谷的網路原生公司與. ‧. 社群公司(internet-based and social network firms)，如 Google、eBay 等公司. y. Nat. 已開始匯集並分析新種類的資訊，這樣的新現實，迅速改變了資料與分析. er. io. sit. 在公司裡的角色，資料來源上也開始從企業內部的少量資料移到外部，如網際網路、各類感應器、公共資料計畫(如人類基因組計畫)以及擷取各種影. n. al. 音的紀錄等。. Ch. engchi. i n U. v. 如此大量而多樣化的外部資料，很快就凸顯企業需要更大的新工具，以及提供新工具帶來的獲利機會，因而引發一股令人印象深刻的熱潮，如：類似 LinkedIn 商務社群網站群起、Hadoop 架構、NoSQL 資料庫、In-memory 或 In-Database 分析的興起以及資料科學家炙手可熱現象。. （三）分析學 3.0 時代：資料強化產品時代 (現在進行式) 在 2.0 時代目光銳利的觀察者，可能已看到分析學的下一個大時代正在展開，當其他非網路原生的這些大型組織開始跟進之時，正式開啟了 3.0 時代，代表如今不只是資訊公司和網路公司能從資料分析中創造商品與服 27.

(34) 務，而是每個產業的每家公司都可以，3.0 時期為想運用分析學來競爭的公司及想提供資料與工具以便企業運用分析學來競爭的供應商，帶來新的挑戰與商機，這種策略焦點的改變，意味著分析學在企業內有了新角色，企業必須看出許多挑戰，並且以新的能力、位置和優先要務來因應。分析 3.0 時代是否為以分析學來競爭的終極形式?也許不是，但可以很肯定地說分析學 3.0 出現的時間點，資料經濟的參與(participation in the data economy)與規範分析(Prescriptive Analytics)的使用將成為主流。. 政治大企業長期以來一直隨著時間推移下進行各類的分析。就如前述資料分立. 四、資料分析的類別. 析事實上早已存在，人們試圖通過分析現有數據來理解企業在各地的行為. ‧ 國. 學. 是如何的。在過去，這就是敘述性的分析。這回答了問題：「企業在過去發. ‧. 生了什麼事？」隨著大數據的可用性，我們進入了預測性分析的新領域，. y. Nat. 其重點是回答這個問題：「什麼是未來可能會發生的」，但是，分析的真正. er. io. sit. 的優勢來自於分析的最後階段：規範性分析。這種類型的分析中試圖回答這樣一個問題：「現在怎麼辦？(Now what?)」或「那又怎麼樣？(so what?)」. n. al. i n 它嘗試給出了基於未來結果的關鍵決定的建議。 Ch engchi U. v. 這三個種分析在企業中各有其存在目的，欲解決的問題、分析的議題、. 分析預期產出的結果、對企業的價值程度皆有所不同(參圖二-10 及圖二-11)。. 28.

(35) 立. 政治大. 圖二-10 分析類別及解決議題圖 28. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖二-11 三種分析類別之比較 (IBM, 2013). 28. 圖片來源： http://ifii-enews.blogspot.tw/2013/08/mining-data-for-library-decision-support.html 29.

(36) （一）. 敘述分析(Descriptive Analytics)：關於過去的. 敘述分析可以幫助企業了解過去發生的事情。在這方面，過去可以從一分鐘前到幾年前。敘述分析有助於理解客戶和產品之間的關係，目標是獲得什麼方法把對未來的認識：從過去的行為影響未來的結果。超過 80％的商業分析是描述性的分析(尤其是社交分析)。他們計算敘述統計（即計數，求和，平均值，百分比，最小值，最大值和簡單的算術題：+ - ×÷），總結某一分組或數據，這通常是一些事件的簡單計數的過濾版本。使用到基本統計（如標準差，方差，p 值等）是相當罕見的 (Wu,. 政治大敘述分析中常見的例子是有關銷售，客戶，業務，財務的管理報告和立. 2013) 。. 尋找各種變量之間的相關性提供資訊。如 Netflix 公司的例子使用敘述性. ‧ 國. 學. 分析發現在用戶租用不同電影的相關性，以提升其銷售數據及其客戶推薦. ‧. 引擎效能。. y. Nat. 因此，在進行敘述分析時，應確定下一步該怎麼做，並可提供有關事. er. io. sit. 件可以轉化為未來預測分析的資料來源。. n. al. i n （二）預測分析(Predictive C hAnalytics)：關於未來的 engchi U. v. 預測分析為企業提供了基於資料而產生的切實可行洞見(actionable. insights)。它提供了關於未來結果的可能性的估計。為了做到這一點，各種技術的使用(如機器學習，數據挖掘，建模和賽局理論)。例如預測分析可以幫助企業辨識在未來的任何風險或機會。預測分析技術可以在所有部門使用，從預測銷售和市場行銷的客戶行為，預測營運需求或金融決定的風險狀況。預測分析模式最廣為人知的就是金融服務上的信用評分機制，用來決定顧客未來信用還款的可能性，而要確定這樣的風險概況，需要數據的數量繁多，包括了公開和社交的資料。預測性分析的另一個例子是用於預測某一地區或客戶群的需求，並根 30.

(37) 據預測來調整生產。這是一個相當普遍的分析，並考慮到了許多不同的資料集，從來自公開資料，天氣資料及如銷售資料和社群媒體資料等。歷史交易數據常用來識別模式，而統計模型和演算法則被用來捕捉在各個資料集的關係。在大數據時代預測分析技術已真正實現了，有很多可用的工具來組織預測未來結果。對預測分析而言，盡可能越多的資料越好，這是非常重要的，因為更多的數據意味著更好的預測。. （三）規範分析(Prescriptive Analytics)：基於預測而提供建議 1.. 政治大 (1). 所謂「規範分析」係指一系列指出首選行動方案的分析能力。立. 涵義：. 最常見的例子是優化方法(optimization methods)；如線性規劃. ‧ 國. 學. (linear programming)、決策分析方法(decision analysis methods)；. ‧. 如影響圖(influence diagrams)、和與規則協同運作的預測分析. sit. y. Nat. (predictive analytics working in combination with rules)。 (Gartner,. io. er. 2014). (2). 預測分析告訴你會發生什麼事；規範分析告訴你該怎麼做 .. n. al. Ch. (Bertolucci, 2013) 2.. 對企業的利益：. engchi. i n U. v. 規範分析在商業和社會具有極為廣泛的適用性。它可以適用於策略，戰術和運營決策，以降低風險，實現利潤最大化，成本最小化，或更有效地分配資源。顯著商業利益是共同的，通過提高決策的質量，降低成本和風險，提高效率和利潤的獲得。該方法的一個重要組成部分，是可以在多個目標和限制下做出決策。成功的關鍵因素是有企業的高層領導積極參與，使得有關的權衡決策與組織目標保持一致。 3.. 目前發展的位置與發展速度： (Gartner, 2014) 雖然優化和決策分析的概念已經存在了幾十年，他們現在伴隨著先進 31.

(38) 的分析技術重新出現，圍繞著大數據更深刻的被認識及蓬勃發展。決策管理(Decision management)是一個較新的概念，在過去的十年中被具體化，與規則協同使用的分析（例如，預測性模型）而作出主要業務決定的價值也已被承認。規範分析不同於敘述分析、診斷分析(diagnostic Analytics)和預測分析之處在於它的輸出是一個「決定」(decision)。該建議的決定可以被傳遞到決策支持環境的人，或者可以被編碼成自動化決策系統。由於規範分析大約從 2003 年開始出現，市場上的最佳實踐尚不多。只有 3％的公司擁有這種技術，過程中仍然有很多的錯誤。但也有一些使用案. 政治大間、路線及每個轉彎)，交叉銷售，資料庫行銷和客戶流失管理優化，但很立例是非常成熟的，如在供應鏈和物流(如 UPS 以規範分析計算其物流上的時. 多新的使用案例出現了未知的潛力，如 Google 的自駕車，基於各種預測和. ‧ 國. 學. 未來的可能結果進行決定。這些車需要預見到什麼是未來，影響決定的是 (Rijmenam, The Future of. ‧. 什麼，並要在事故發生前作出相應的預防決定. y. Nat. Big Data: Prescriptive Analytics Changes the Game, 2014)。. er. io. sit. 雖然規範分析目前仍然是處於起步的初期階段，由於規範分析往往會利用預測分析，在具有預測分析能力的公司間被採用機會會較高。規範分. al. n. v i n 析中是種「創新觸發」(Innovation C h Trigger)，故在未來的三到五年後，Gartner engchi U. 預計，在增加規範分析的推廣下，在未來 5 到 10 年內達到廣泛採用和具生產力的時期(參圖二-12)。. 32.

(39) 圖二-12. 學. ‧ 國. 立. 政治大 Hype Cycle for Big Data, 2014. ‧. (Gartner, 2014). y. Nat. sit. 五、資料分析的生命週期階段. n. al. er. io. 想要從巨量多結構化資料裡頭提煉出價值，其實是要走一趟資料科學. i n U. v. (Data Science) 的生命週期。這個過程有頭有尾，即所謂「End-to-End」(端. Ch. engchi. 到端)。起頭端在資料的蒐集 (Collect Data)，結尾端是以完成某種的應用或呈現告終。不管是內部使用，或是要對外(免費或收費)提供，End-to-End 最終交付的，就是一個「資料產品」或「資料服務」(Data Product or Data Service)。「End-to-End」具體過程依據CRISP-DM 29提供之資料採礦生命週期階段與Orange Consulting闡述之大數據資料分析的價值鏈(如圖二-13)綜合整理如下：. 29. CRISP-DM 是 1999 年歐盟資助下，由 SPSS、DaimlerChysler、NCR 和 OHRA 發起的 CRISP-DM Special Interest Group 組織所頒布之標準開發流程。 (譚磊, 2013) 33.

(40) 立. 圖二-13 大數據分析階段. (Orange Business Services, 2013). ‧ 國. 學. （一）. 政治大. 業務及資料的了解 (Business & Data Understanding). ‧. 面對滿坑滿谷的資料，儘管擁有各種數據分析的工具，若是缺乏相關. y. Nat. sit. 領域 Know-How，也無法獲得有價值的資訊。換句話說，在找到答案之前，. n. al. er. io. 必須要能夠先問對問題。沒問對問題，是難以找到有意義的解答的。. i n U. v. 而面對大數據訊息間錯綜複雜的連結，如何找出隱藏其中的總關聯，. Ch. engchi. 是大數據分析的方向。而首要步驟就是決定你的目標是甚麼，也就是要問甚麼問題。有了目標，接下來才能針對問題的屬性來決定要如何去問問題 (model 設計)，以及解題的工具 (技術或方法)。. （二）. 大數據管理 (Big Data Management). 大數據收集、儲存、運行之架構，也是所謂資料準備的階段(Data Preparation)，除了基礎儲存架構外，一般有收集、整合、精簡、清理及轉換等活動要進行。. 34.

(41) （三）大數據分析(Big data analytics) 1.. 建立模型(Modeling) 數據分析是為了萃取有用資訊和形成結論而對數據加以詳細研究和概. 括總結的過程。分析方法包含了可能用到的統計、資料探勘、等複合式演算法及機器學習。 (1). 演算法(Algorithm)：演算法就是用口語化的方式，描述出解決問題的步驟。是由有限的步驟組成，只要依其指示的步驟順序執行，一定可以完成某一特定的工作。. 政治大技的核心，演算法正在改變世界與你我的生活 (John, 2014)，一般而言，有立. 理想的演算法必須滿足輸入、輸出、明確性及有效性等要求。做為電腦科. 學. ‧ 國. 如表二-3 所列種類及應用方式。表二-3 演算法種類與應用方式. io. 集群分析. 關聯規則. 關聯分析. 預測. al. n. 聚類. 序列關聯分析相似時間序列分析. 時間序列預測. engchi. 探測收益率分析，收入預測，信用價值預測，客戶潛在價值預測客戶分割. iv n U交叉銷售。捆綁銷售. K-平均值，神經網路聚類統計學，集合理論. Ch. 風險分析、客戶輓留分析、欺詐. y. 決策樹、神經網路分類、區別分析、邏輯回歸、概率回歸線性回歸、非線性回歸. sit. 分類. 預測. 典型應用. er. 演算法. Nat. 分類預測. 功能. ‧. 種類. 統計學，集合理論統計學，集合理論統計時間序列模型、神經網路. 交叉銷售產品生命周期銷售預測、利率預測、損失預測. (本研究整理). (2). 機器學習(Machine learning) 機器學習 (machine learning)是對給定的一些量測或觀測的資料建立一個預測模型(即學習機)，而當有新的輸入資料時，這已經訓練好的預測模型就可以預測出相對的輸出值。這樣的問題與一般的統計回歸理論所面臨的問題是沒什麼兩樣，推論(Inference)是其主要核心依據，在訓練資料時，會 35.

(42) 需要一個有效率的演算法來做最佳化問題，並處理大量的資料(空間)，再來當一個模型被學習後，這代表演算法的推論能力要更有效率(時間)，因此空間和時間的複雜度(Space and Time Complexity)也和預測準確度一般重要。另外機器學習又分為監督式學習(supervised Learning)、非監督式學習 (Unsupervised Learning)與加強式學習(Reinforcement Learning)。監督式與非監督式的差別在於有無訓練資料，非監督式學習直接以我們投入的價值觀做判斷，機器學習並非只是用在處理資料庫問題，它是屬於人工智慧 (Actifical Intelligence)的一部分。也被廣泛應用在視訊辨識(Vision&Speech. 政治大模型評估(Evaluation) 立. Recognition)與機器人學(Robotics)上。 2.. 組織在每次推動預測分析前，必須透過「預測過去」─也就是回測. ‧ 國. 學. (Backtesting)─來建立預測分析的信心。當答對這些回測問題，我們就有證. 大數據專業服務部署與運用(Big Data Professional Services). y. Nat. （四）. ‧. 據證明這個模型有效。 (Siegel, 2014). 2.. 可能包含搜尋、查詢、推薦、決策輔助等；呈現可能包含資料視覺. er. sit. 內部和外部的客戶提供專業的服務. io. 1.. al. n. v i n 化、報表、數位儀表板、說故事等溝通的工具。 Ch engchi U. 六、大數據時代下資料分析原則（一）重視資料的選項價值(Option Value)及資料貶值資料真正的價值就像是漂浮在海上的冰山，看的到的只是一小部分，其餘隱藏的價值就端視我們看待資料的新想法、創意和工具，去挖掘出來，所以資料的總價值就是我們所做的選項產生的價值總和，而要釋放資料選項價值的方式有以下種重要方式： (Mayer-Schonberger & Cukier, 2013) 1.. 重複使用資料一般物質性的東西依但使用，價值便會降低，但資料卻不同，可以一 36.

(43) 次又一次處理，價值並不會因而減少，這就是所謂資料的「非競爭性」 (Non-rivalrous)，而這裡的重複使用，不限任何目的，如最有名的例子，沃爾瑪找出颶風和小甜點的相關性，就是仰賴舊有結帳資料。有些機構目前手中就握有大批資料，卻很少使用，而這種情形資料科學家稱這類機構資料儲存處為「資料墳場」，其實即使是最平凡的資料，只要用法正確，也能創造特殊價值，如有時候價值不是來自單個資料點，而是來自許多資料點的集體呈現，如藉由手機訊號點得知周五晚上人潮所在、或是交通狀況，進而可用於房地產或廣告刊版位置部署使用。 2.. 政治大有些時候，想要釋放潛藏的資料價值，就必須與其他資料結合，甚至立重新組合資料. 是和截然不同的資料結合。靠著用全新方式混合資料，就能達到創新。在. ‧ 國. 學. 巨量資料時代，整體會比部分更有價值，而我們結合多個資料集的時候，. ‧. 最後的價值也會大於原本的各個資料集。現在的網路用戶都很熟悉基本的. y. Nat. 混搭（mashup）概念，也就是以新穎的方式，結合兩種以上的資料來源。. er. io. sit. 舉例來說，美國的房地產網站 Zillow 就是先取得房地產價格資訊，再結合當地的地圖來顯示，該網站也收錄像是最近成交的房屋物件規格、實際成. al. n. v i n 交價格，經過處理之後，便能預測該地區特定房屋物件的價格。有了視覺 Ch engchi U 效果，這種實價登錄的資料就讓人更容易閱讀理解了。 3.. 讓資料「買一送一」大多數資料都會隨著時間而失去部分效用---不同的資料，折舊速率或. 折舊方式也有所不同---這時如果還一直仰賴舊資料，非但無法增加價值，還會影響到新增資料的價值，所以企業應發展方法確認只使用仍具價值的資料，而這需要不斷對資料加以檢視並剔除已經失去價值的資料，如 Google 以顧客的 IP 位置方法論維護其資料在某方面的價值雖降低，其整體的選項價值還是仍夠保持在高檔。. 37.

(44) （二）. 預測本身就是模糊不清，準確地預測通常是不可能的. 統計學家George Box曾說過一句名言：「所有的模型都是錯的，但有些還滿有用的」 30 ，預測雖然不很準確就能產生很大的價值，預測總比臆測來得好，而且我們對本身預測能力越感謙卑，我們對未來做的規劃就會越成功. (Nate, 2013). （三）. 預測分析時應清楚分析的產出與產出的應對方式. 預測分析時，要問以下兩個問題：. 政治大要預測結果做什麼用：針對有反應的顧客進行郵購行銷立要預測什麼：如那些顧客會對郵購行銷有反應. 1. 2.. 所以預測分析的結果要是可採取行動的(actionable)。. 樣本=母體時代來臨. ‧. ‧ 國. 學. （四）. y. Nat. 樣本規模越大，誤差幅度越小，越能肯定樣本的觀察結果接近於真實. er. io. sit. 答案，大數據會帶來大的樣本規模，以至於簡單的數據資料彙總就能夠達到很高的統計顯著性，剩下的一些誤差幅度，已經不會對業務造成什麼影. al. n. v i n 響 (Franks, 2012)，因此過去囿於資料蒐集及處理的成本而採「抄捷徑」的 Ch engchi U. 隨機抽樣技術將因為大數據時代能夠取得與分析的資料量大為增加而被改變. (Mayer-Schonberger & Cukier, 2013)。而且如果為了不同的問題擷取了. 不同的樣本數據，最終，你還是會需要 100%的數據資料，不要因為目光短淺而把某個分析主題暫時不需要的數據資料丟棄，企業數據資料環境本既不是為了樣本數據而存在，相反地，樣本數據資料來自於企業數據資料環境。. 30. "All models are wrong, but some are useful." 38.

(45) （五）. 資料「越多」比「品質越好」更重要. 讓數據的重點從「精準」走向「可能性」，也就是接受一點雜亂，換得更多的回報資料，犧牲一點準確度，求得整體的大趨勢，因為資料集已走向完整而全面時，不需要擔心單一資料點的偏差會影響整體的分析，如 Google 的語意資料庫、Flickr 的文字標籤成功的關鍵都是接受雜亂，而這種擁抱全新可塑性的觀點也讓 NoSQL 這樣容許結構雜亂的資料庫興起。. （六）. 重視相關性(Correlation)而放下長久以來對因果關係的堅持. 人類長久以來是用因果關係來看這個世界，如果援引Daniel Kahneman. 政治大. 解釋人類的思考模式來看這個問題 (Kahneman, 2012)，方式有二：利用系. 立. 統一(快思) 31 推斷的因果關係，而這樣的推斷易成偏見，而利用系統二(慢. ‧ 國. 學. 想) 32得到的因果關係，則常是要靠嚴格控制且費時成本高的實驗中獲得。 1. 相關性已有各種數學和統計方法得加以分析，快速且便宜，可以提供. ‧. 預測(可能性)分析，這樣的方法顯然在現實世界中遠優於追求因果關係. y. Nat. n. al. er. io. 主流. sit. 的方式，而因果關係並不是從此黯然退出，只不過不再是探究意義的. i n U. v. 2. 也因為大數據的特性，過去相關性分析依賴預設假說的因素也不復存. Ch. engchi. 在而可以找出所謂過去不為人知的「隱性的相關性」，如 Google 的流感預測、麥克雷格(Carolyn McGregor)博士的早產兒診斷改善系統. （七）. 集體預測比群體中任何個人的預測更為精準. 協同過濾(Collaborative Filtering) 法利用某興趣相投、擁有共同經驗之群體的喜好來推薦使用者感興趣的資訊，個人透過合作的機制給予資訊相. 31. 快思的系統一，它很情緒化，依賴直覺，見多識廣又很會聯想，擅長編故事，系統一能迅速對眼前的情況做出反應。但它很容易上當，以為親眼所見就是事情的全貌，任由損失厭惡和樂觀偏見之類的錯覺引導我們做出錯誤的選擇。 32 慢想的系統二，它動作比較慢、擅長邏輯分析，系統一無力解決的問題，都丟給系統二處理。它雖然不易出錯卻很懶惰，經常走捷徑，直接採納系統一的判斷結果。 39.