國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
19
技術層面,有論者將其定義為典型資料庫無法處理的資料集,而 Microsoft 則強 調機器學習(machine learning)、人工智慧(artificial intelligence)的應用,63亦有 論者藉由特定資料庫之選用作為判定其是否為巨量資料技術的依據;至於衝擊層 面,boyd 及 Crawford 則以批判的角度將巨量資料視為一種在科技、分析與神話 之間互相交織的文化、技術和學術現象,64而 Mayer-Schönberger 與 Cukier 則從方 法論的角度,定義巨量資料的「相關性」取向取代傳統「因果關係」取向的運作 邏輯。
縱然目前仍無出現巨量資料的權威定義,且作為一個相對新穎的技術,巨量 資料的定義也可能隨著其發展而持續演變,但是透過其字源脈絡、不同層面定義 的爬梳,本文認為還是得以標誌出以下的核心概念:
(1) 資料具備容量(volume)、速度(velocity)、多樣性(variety)的規模特徵。
(2) 需運用特定資料庫工具與演算法儲存、處理、利用資料。
(3) 統計相關性作為「知識論」與「方法論」的知識生產模式,形成不同的洞察。
第三項 巨量資料之發展現況 第一款 產業現況
2012 年,哈佛商業評論(harvard business review, HBR)的一篇文章:「資料 科學家:21 世紀最性感的職業」(Data Scientist: The Sexiest Job of the 21st Century), 描述資料科學家(data scientists)如何應用巨量資料技術及思維,改造 2006 年時 雖已掌握大量用戶資料但始終無法開創新價值的專業社群網路 LinkedIn,65該文 主張,為了因應前所未見的多樣性及容量規模的資料型態,掌握大量且混雜資料 的公司,尤其是以資料驅動(data-driven)為主的公司,亟需資料科學家協助其
63 Mauro & Greco & Grimaldi, supra note 61.
64 danah boyd & Kate Crawford, Critical Questions for Big Data, 15 INFORMATION, COMMUNICATION & SOCIETY, 662, 663 (2012).
65 Thomas H. Davenport & D.J. Patil, Data Scientist: The Sexiest Job of the 21st Century, 90 HARVARD BUSINESS REVIEW, (2012). available at: https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century.
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
20
應用巨量資料並發現新的洞見與價值。66Yahoo 及 LinkedIn 為市場上率先嗅出此 趨勢並開始大量聘用資料科學家的商業組織,而許多非網路公司亦不落人後,例 如 GE 及 Walmart 針對其公司所蒐集的大量資料聘請資料科學家團隊協助其進行 商業決策。67該文認為,掌握巨量資料技術及思維的資料科學家,會如同華爾街 在 1980 至 1990 年代極度仰賴計量學家(quants)或財務工程師(financial engineer)
的模式般,在未來十年內,成為市場上最為迫切需求的人力資源。68但由於資料 科學並非一門既有的學科,也極少有既存的學術機構、政府部門、商業組織提供 相關的課程或訓練資源,作者強調,優秀資料科學家的技藝,絕不等同於傳統的 計量分析師、資料管理師,資料科學家通常還具備跨領域的專業,以確保其思維 的靈活性。69因此,該文呼籲,人才為巨量資料發展的關鍵,產學部門應盡快設 立相關課程及跨領域專業的結合,培養資料科學家人才。70
不過,在資訊科技(information technology, IT)產業領域,每隔數年即會出 現一個熱門關鍵詞或流行詞彙,但一段時間之後就會遭人淡忘,並無發揮造成原 先所預期的衝擊力道。71在巨量資料之前,資料探勘(data mining)及雲端運算
(cloud computing)都曾是 IT 業界與學術界的熱門關鍵詞。紐約時報「The Age of Big Data」ㄧ文對於巨量資料時代的預測,以及哈佛商業評論將資料科學家
(data scientists)描述為本世紀最為重要職業的樂觀評估,至本文寫作時間約為 五年左右的差距,就 IT 產業的發展周期而言,是一個可回頭審視巨量資料發展 現況及評估未來發展的適當時機。因此,筆者於本款即欲探究,巨量資料除了在 產業界及眾多文獻中引起一陣騷動以外,其現今的發展現況與未來走向為何?
根據國際數據公司(international data corporation, IDC)的預測,72 2017 年
66 Id.
67 Id.
68 Id.
69 Id.
70 Id.
71 城田真琴著,同上註 58,頁 48。
72 Big Data and Business Analytics Revenues Forecast to Reach $150.8 Billion This Year, Led by Banking and Manufacturing Investments, According to IDC, IDC,
http://www.idc.com/getdoc.jsp?containerId=prUS42371417.
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
21
全球巨量資料與商業分析(big data and business analytics, BDA)將創造 1508 億 的總收入,較 2016 年增加 12.4%,商業組織對於巨量資料與商業分析(BDA)
相關硬體、軟體、服務的採購,至 2020 年以前預估將維持每年 11.9%的複合年均 成長率(compound annual growth rate, CAGR),屆時,巨量資料與商業分析產業 年收入將達 2100 億。73IDC 認為,巨量資料經過數年的發展,正要開始進入商業 主流的視野,巨量資料與商業分析(BDA)對於決策支援和自動化決策的能力已 受到商業組織的高層注意。2017 年會對於巨量資料與商業分析解決方案進行大 規模投資的五大產業分別為:
(1) 銀行(banking)
(2) 離散式生產(discrete manufacturing)
(3) 流程式生產(process manufacturing)
(4) 聯邦/中央政府(federal/central government)
(5) 專業服務(professional services)74
上述五大產業對於 BDA 解決方案的注資會於 2017 年達成 724 億美元,並 且預計於 2020 年到達 1015 億美元,除此以外,健康照護、保險、證券、投資服 務、電信業對於 BDA 投資的複合年均成長率將達 12.8%。75同時,巨型企業(超 過 1000 名員工)對於 BDA 的投資將超過總數的 60%,並於 2018 年時達成 1000 億美元的規模,而中小型企業亦將貢獻接近四分之一的 BDA 收入。美國於 2017 年時為 BDA 解決方案的最大市場、次大市場為西歐,前者的投資為 788 億美元,
後者則為 341 億美元,緊接者為亞洲(扣除日本)的 136 億美元。76
麥肯錫(McKinsey&Company)公司的麥肯錫全球研究所(Mckinsey Global Institute, MGI)於 2016 年 12 月亦針對巨量資料發佈一份題為:「The Age of Analytics: Competing in a Data-Driven World」的報告,在該份報告中,MGI 對於
73 Id.
74 Id.
75 Id.
76 Id.
‧
邊界(traditional sector boundaries)。80舉例而言,如 Google 及 Facebook 兩間掌 握巨量資料技術的領先公司,在 2017 年將佔美國整體數位廣告產業總收入的 60.4%,81並佔全球廣告總收入的 20%,2012 年時,兩間公司的廣告收入還僅占 全球廣告總收入的 10.6%,如今已超越傳統媒體成為最重要的廣告媒介商。82隨著巨量資料技術專業需求的持續增長,資料科學家一如哈佛商業評論所預 期的成為市場最炙手可熱的工作職缺,根據美國著名求職網站 Glassdoor 於 2017 年發布的報告,透過收入潛力、職缺開放數量、工作滿意度等評價因素,評比全 美國排名前 50 名的工作職缺,資料科學家名列第一。83而另一全球求職網站 Indeed 對於資料科學家的工作職缺招募數量及求職者搜尋次數所進行的統計,自 2014 年起迄 2017 年為止,除工作職缺招募數量曾於 2016 年短暫下滑以外,都
77 MCKINSEY GLOBAL INSTITUTE, THE AGE OF ANALYTICS: COMPETING IN A DATA-DRIVEN WORLD (EXECUTIVE SUMMARY) 1 (2016). available at:
http://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/the-age-of-analytics-competing-in-a-data-driven-world.
78 Id.
79 Id.
80 Id. at 6.
81 Google、Facebook 佔美數位廣告市場過半,商智謀略,2017 年 3 月 21 日,可取得自:
https://www.bqjournal.com/google-facebook-command-51-per-cent-of-digital-display-advertising.
82 李寧怡,Google 和臉書 吸走全球 2 成廣告收入,蘋果日報,2017 年 5 月 2 日,可取得自:
http://www.appledaily.com.tw/realtimenews/article/new/20170502/1109603/.
83 50 Best Jobs in America, GLASSDOOR, https://www.glassdoor.com/List/Best-Jobs-in-America-LST_KQ0,20.htm.
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
23
持續呈現成長曲線,84有趣的是,截至 2011 年為止,在 Google 搜尋(Google Search)
上幾乎看不到資料科學家的搜尋字眼。85而 2012 年預測資料科學家將成為本世 紀最誘人職業的作者 Thomas Davenport,則是於 2016 年時修正其對於資料科學 家的看法,但 Davenport 並非否定巨量資料的發展走向,反之,他認為按照巨量 資料科技的發展速度,人工智慧將取代資料科學家,成為從巨量資料中挖掘價值 的最佳選擇。86總而言之,從 2012 年以降,巨量資料於市場的發展趨勢並未減 緩,且隨著機器學習(machine learning)、人工智慧(artificial intelligence)的興 起,巨量資料的未來發展更具想像空間。