• 沒有找到結果。

開發機器的學習潛能

N/A
N/A
Protected

Academic year: 2022

Share "開發機器的學習潛能"

Copied!
68
0
0

加載中.... (立即查看全文)

全文

(1)

開發機器的學習潛能

-鑽牛角尖或舉一反三?

林軒田(Hsuan-Tien Lin) htlin@csie.ntu.edu.tw

沛星互動科技 國立台灣大學

Appier National Taiwan University

探索基礎科學講座第二十期 二○一八年十月六日

(2)

關於我:林軒田

沛星互動動科科技技首席資料科學家

台灣灣大大學學資資訊訊工工程學系系教授

“Learning from Data(由資料中學習): A Short Course”共同作者

華語教學之線上大型開放式課程授課教師

“Machine Learning Foundations(機器學習基石)”:

分為上、下輯於 Coursera 上開設中

“Machine Learning Techniques(機器學習技法)”:

可免費於 Youtube 上觀看

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 1/50

(3)

我的機器學習初體驗(1/2)

2000年五月,大三的我,正在尋找大學部研究專題的指導老師

: 林智仁老師,請問您的研究主題是什麼?

: 我我我做做做支支支撐撐撐向向向量量量機機機(Support Vector Machine)的的的

: (那是什麼?是土木系的某種建築器材嗎?)

https://www.csie.ntu.edu.tw/~cjlin/libsvm/

(4)

我的機器學習初體驗(2/2)

https://www.csie.ntu.edu.tw/~cjlin/libsvm/

https://www.youtube.com/watch?v=-W3pnicVgn0

某牛奶花生廣告:電腦嘛會揀土豆喔?

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 3/50

(5)

機器學習是什麼?

接下來要講的是……

機器學習是什麼?

機器學習怎麼做?

知錯能改法 分而治之法 眾志成城法 層層堆疊法 機器學習為什麼?

機器學習怎麼用?

(6)

機器學習是什麼?

由生物學習到機器學習

生物學習:由觀察中累積經驗

生物學習:

以獲得技能

觀察

生物學習

技能

機機機器器器學習:由資料中累積/估估估計計計/計計計算算算經驗

機機機器器器學習:

以獲得技能

資料

機器學習

技能

什麼是技技技能能能?

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 5/50

(7)

機器學習是什麼?

技能就是「成績」提昇

技能⇐⇒「成績」(例如:準確率)變好

機機機器器器學習:由資料中累積/估估估計計計/計計計算算算經驗

機機機器器器學習:

以提昇某項成績

資料

機器學習

成績提昇

應用實例一:股票預測

過去的股市資料

機器學習

好的投資表現

加入計算學習實驗室,

不要讓你的機器輸在起跑點上

—林軒田,台大資訊系內招生宣傳(2008)

(8)

機器學習是什麼?

技能就是(弱)人工智慧

一張圖秒懂三個熱門名詞

(巨量)資料 機器學習 人工智慧

食材 工具/步驟 佳餚

(Photos Licensed under CC BY 2.0 from Andrea Goh on Flickr)

沛星科技首席資料科學家≡ 餐餐餐廳廳廳主主主廚廚廚

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 7/50

(9)

機器學習是什麼?

為什麼要用機器學習?

為樹下‘規則定義’再寫成程式碼:

很 很 很困困困難難難

由觀察(資料)累積經驗再做辨識:

三 三

三歲歲歲小小小孩孩孩就就就會會會了了了

‘智慧的植物辨識系統’:

走「「「機機機器器器學學學習習習」」」這條路比 走「「「規規規則則則定定定義義義」」」這條路 往往更更更容容容易易易實實實現現現

機器學習: 打造人工智慧系統的 一一一條條條(充充充滿滿滿潛潛潛力力力的的的)路徑

(10)

機器學習是什麼?

機器學習與當代人工智慧

(巨量)資料

機器學習 人工智慧 人類學習 人類智慧 ( 專家知識)

方法

模型 專家系統

機器學習已成為實現當代 人工智慧的主流路徑

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 9/50

(11)

機器學習是什麼?

應 用實例二:颱風強度判讀

颱風影像資料

機器學習 颱風強度 判讀 人類學習 人類智慧

( 專家知識)

卷積神

經網路 影像旋轉 不變性

現行氣象系統

機器學習可將現行系統(ADT) 的判讀誤差降降降低低低近近近20%

(Chen et al., Rotation-blended CNNs on a new open dataset for tropical cyclone image-to-intensity regression, 2018)

(12)

機器學習是什麼?

機器學習三要素

機機機器器器學習:由資料中累積/估估估計計計/計計計算算算經驗

機機機器器器學習:

以提昇某項成績

資料

機器學習

成績提昇

1 要具備可學的規律性

—才有可能提昇某項成績

2 但沒有可輕易程式化的規則定義

—才會需要機器學習

3 而要有與規律性相關的資料

—才有原料可以開始

三要素可幫助決定 是

是是否否否有有有機機機會會會使用機器學習

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 11/50

(13)

機器學習是什麼?

應 用實例三:機器學習與信用卡核卡

申請人的背景資料

年齡 23

學歷 電機資訊學士 年收入 一百萬 工作年資 六個月 負債 二十萬

=⇒

是否核卡?

(Picture Licensed under CC0 on Pixabay)

可可學學學的的的規規規律律律性性性:

申請人的背景資料=⇒ 核卡風險高不高?

(14)

機器學習是什麼?

怎麼學習「信用卡核卡」?

未知的目標函數 (理想的核卡公式)

訓練資料 (歷史核卡資料)

學習程式 學到的函數

(未來使用的公式)

未未未知知知的的的目標函數 (沒辦法輕易程式化)

希望:學學學到到到的的的函數和未未未知知知的的的目標函數很像 (通常不會一模一樣)

什麼是「學學學習習習程程程式式式(模模模型型型+方方方法法法)」?

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 13/50

(15)

機器學習怎麼做? 知錯能改法

接下來要講的是……

機器學習是什麼?

機器學習怎麼做?

知錯能改法 分而治之法 眾志成城法 層層堆疊法 機器學習為什麼?

機器學習怎麼用?

(16)

機器學習怎麼做? 知錯能改法

線性分類模型

負債

收入

負債

收入

找一條線(學到的函數),

把已知資料中的•(發卡)和•(不發)「完美切割」

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 15/50

(17)

機器學習怎麼做? 知錯能改法

線性分類模型+知錯能改法

從隨便一條線開始,然後

「修正」它在已知資料中的錯誤之處

一次一次的做如下的操作

1 找出給定資料中任一筆錯誤之處

2 把線往適當的方向「轉一轉」來試著修 正這筆錯誤

. . . 直到沒有任何錯誤,

. . .

便可將最後的線當作學到的函數

人誰無過?過而能改,善莫大焉

—左傳

(18)

機器學習怎麼做? 知錯能改法

眼 見為憑:知錯能改法

initially

x1 w(t+1)

update: 1

x9

w(t)

w(t+1)

update: 2

x14

w(t) w(t+1)

update: 3

x3

w(t)

w(t+1)

update: 4

x9

w(t) w(t+1)

update: 5

x14

w(t) w(t+1)

update: 6

x9

w(t) w(t+1)

update: 7

x14

w(t) w(t+1)

update: 8

x9

w(t) w(t+1)

update: 9

wPLA

finally

「數十行」的小程式即具有學習能力!

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 17/50

(19)

機器學習怎麼做? 知錯能改法

眼 見為憑:知錯能改法

initially

x1 w(t+1)

update: 1

x9

w(t)

w(t+1)

update: 2

x14

w(t) w(t+1)

update: 3

x3

w(t)

w(t+1)

update: 4

x9

w(t) w(t+1)

update: 5

x14

w(t) w(t+1)

update: 6

x9

w(t) w(t+1)

update: 7

x14

w(t) w(t+1)

update: 8

x9

w(t) w(t+1)

update: 9

wPLA

finally

「數十行」的小程式即具有學習能力!

(20)

機器學習怎麼做? 知錯能改法

眼 見為憑:知錯能改法

initially

x1 w(t+1)

update: 1

x9

w(t)

w(t+1)

update: 2

x14

w(t) w(t+1)

update: 3

x3

w(t)

w(t+1)

update: 4

x9

w(t) w(t+1)

update: 5

x14

w(t) w(t+1)

update: 6

x9

w(t) w(t+1)

update: 7

x14

w(t) w(t+1)

update: 8

x9

w(t) w(t+1)

update: 9

wPLA

finally

「數十行」的小程式即具有學習能力!

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 17/50

(21)

機器學習怎麼做? 知錯能改法

眼 見為憑:知錯能改法

initially

x1 w(t+1)

update: 1

x9

w(t)

w(t+1)

update: 2

x14

w(t) w(t+1)

update: 3

x3

w(t)

w(t+1)

update: 4

x9

w(t) w(t+1)

update: 5

x14

w(t) w(t+1)

update: 6

x9

w(t) w(t+1)

update: 7

x14

w(t) w(t+1)

update: 8

x9

w(t) w(t+1)

update: 9

wPLA

finally

「數十行」的小程式即具有學習能力!

(22)

機器學習怎麼做? 知錯能改法

眼 見為憑:知錯能改法

initially

x1 w(t+1)

update: 1

x9

w(t)

w(t+1)

update: 2

x14

w(t) w(t+1)

update: 3

x3

w(t)

w(t+1)

update: 4

x9

w(t) w(t+1)

update: 5

x14

w(t) w(t+1)

update: 6

x9

w(t) w(t+1)

update: 7

x14

w(t) w(t+1)

update: 8

x9

w(t) w(t+1)

update: 9

wPLA

finally

「數十行」的小程式即具有學習能力!

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 17/50

(23)

機器學習怎麼做? 知錯能改法

眼 見為憑:知錯能改法

initially

x1 w(t+1)

update: 1

x9

w(t)

w(t+1)

update: 2

x14

w(t) w(t+1)

update: 3

x3

w(t)

w(t+1)

update: 4

x9

w(t) w(t+1)

update: 5

x14

w(t) w(t+1)

update: 6

x9

w(t) w(t+1)

update: 7

x14

w(t) w(t+1)

update: 8

x9

w(t) w(t+1)

update: 9

wPLA

finally

「數十行」的小程式即具有學習能力!

(24)

機器學習怎麼做? 知錯能改法

眼 見為憑:知錯能改法

initially

x1 w(t+1)

update: 1

x9

w(t)

w(t+1)

update: 2

x14

w(t) w(t+1)

update: 3

x3

w(t)

w(t+1)

update: 4

x9

w(t) w(t+1)

update: 5

x14

w(t) w(t+1)

update: 6

x9

w(t) w(t+1)

update: 7

x14

w(t) w(t+1)

update: 8

x9

w(t) w(t+1)

update: 9

wPLA

finally

「數十行」的小程式即具有學習能力!

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 17/50

(25)

機器學習怎麼做? 知錯能改法

眼 見為憑:知錯能改法

initially

x1 w(t+1)

update: 1

x9

w(t)

w(t+1)

update: 2

x14

w(t) w(t+1)

update: 3

x3

w(t)

w(t+1)

update: 4

x9

w(t) w(t+1)

update: 5

x14

w(t) w(t+1)

update: 6

x9

w(t) w(t+1)

update: 7

x14

w(t) w(t+1)

update: 8

x9

w(t) w(t+1)

update: 9

wPLA

finally

「數十行」的小程式即具有學習能力!

(26)

機器學習怎麼做? 知錯能改法

眼 見為憑:知錯能改法

initially

x1 w(t+1)

update: 1

x9

w(t)

w(t+1)

update: 2

x14

w(t) w(t+1)

update: 3

x3

w(t)

w(t+1)

update: 4

x9

w(t) w(t+1)

update: 5

x14

w(t) w(t+1)

update: 6

x9

w(t) w(t+1)

update: 7

x14

w(t) w(t+1)

update: 8

x9

w(t) w(t+1)

update: 9

wPLA

finally

「數十行」的小程式即具有學習能力!

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 17/50

(27)

機器學習怎麼做? 知錯能改法

眼 見為憑:知錯能改法

initially

x1 w(t+1)

update: 1

x9

w(t)

w(t+1)

update: 2

x14

w(t) w(t+1)

update: 3

x3

w(t)

w(t+1)

update: 4

x9

w(t) w(t+1)

update: 5

x14

w(t) w(t+1)

update: 6

x9

w(t) w(t+1)

update: 7

x14

w(t) w(t+1)

update: 8

x9

w(t) w(t+1)

update: 9

wPLA

finally

「數十行」的小程式即具有學習能力!

(28)

機器學習怎麼做? 知錯能改法

眼 見為憑:知錯能改法

initially

x1 w(t+1)

update: 1

x9

w(t)

w(t+1)

update: 2

x14

w(t) w(t+1)

update: 3

x3

w(t)

w(t+1)

update: 4

x9

w(t) w(t+1)

update: 5

x14

w(t) w(t+1)

update: 6

x9

w(t) w(t+1)

update: 7

x14

w(t) w(t+1)

update: 8

x9

w(t) w(t+1)

update: 9

wPLA

finally

「數十行」的小程式即具有學習能力!

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 17/50

(29)

機器學習怎麼做? 知錯能改法

歷史回顧:知錯能改法(Rosenblatt, 1957)

輯推論

識庫+專家系統 機器學習

+深度學習

起源 第一次寒冬 第二次寒冬 革命

1956 1980 1993 2012 時間

熱度

人 人

人工工工智智智慧慧慧歷歷歷史史史

原名:感知器學習法(Perceptron Learning Algorithm)

模擬「單一神經元」的(機率式)邏輯推論模型

公認為「「「第第第一一一個個個」」」機機機器器器學學學習習習方方方法法法

知錯能改法:其應用限制(Minsky and Papert, 1969)

為第第第一一一次次次寒寒寒冬冬冬的的的推推推手手手之之之一一一

(30)

機器學習怎麼做? 分而治之法

接下來要講的是……

機器學習是什麼?

機器學習怎麼做?

知錯能改法 分而治之法 眾志成城法 層層堆疊法 機器學習為什麼?

機器學習怎麼用?

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 19/50

(31)

機器學習怎麼做? 分而治之法

分而治之法

下班班時間?

有約約會會?

要寫

不寫 早於18:30

中間

交期期限限?

兩天以上

中間

交超過兩天 晚於21:30

http://www.r2d3.us/

圖解解機機器學習第一一章章/

(32)

機器學習怎麼做? 分而治之法

歷史回顧:分而治之法(Quinlan, 1986)

輯推論

識庫+專家系統 機器學習

+深度學習

起源 第一次寒冬 第二次寒冬 革命

1956 1980 1993 2012 時間

熱度

人 人

人工工工智智智慧慧慧歷歷歷史史史

原名:決策樹法(Decision Tree Algorithm(s))

仿「專家系統」的機器學習模型

仍為資資資料料料探探探勘勘勘、、、作作作業業業研研研究究究、、、商商商業業業決決決策策策中常用的方法 分而治之法:隨著第第第二二二次次次寒寒寒冬冬冬在

「非」人工智慧的面相上找到其他價值

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 21/50

(33)

機器學習怎麼做? 志成城法

接下來要講的是……

機器學習是什麼?

機器學習怎麼做?

知錯能改法 分而治之法 眾志成城法 層層堆疊法 機器學習為什麼?

機器學習怎麼用?

(34)

機器學習怎麼做? 志成城法

應 用實例四:蘋果辨識問題

這張圖裡是否有蘋果呢?

我們來教小小小一一一學學學生生生學習吧!

由網路上收集了一些圖片(Photos Licensed under CC-BY-2.0 on Flicker)

感感謝謝謝以以以下下下的的的作作作者者者們們們!!!

(APAL stands for Apple and Pear Australia Ltd)

Dan Foy APAL adrianbartel ANdrzej cH. Stuart Webster

https:

//flic.

kr/p/jNQ55

https:

//flic.

kr/p/jzP1VB

https:

//flic.

kr/p/bdy2hZ

https:

//flic.

kr/p/51DKA8

https:

//flic.

kr/p/9C3Ybd

nachans APAL Jo Jakeman APAL APAL

https:

//flic.

kr/p/9XD7Ag

https:

//flic.

kr/p/jzRe4u

https:

//flic.

kr/p/7jwtGp

https:

//flic.

kr/p/jzPYNr

https:

//flic.

kr/p/jzScif

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 23/50

(35)

機器學習怎麼做? 志成城法

應 用實例四:蘋果辨識問題

這張圖裡是否有蘋果呢?

我們來教小小小一一一學學學生生生學習吧!

由網路上收集了一些圖片(Photos Licensed under CC-BY-2.0 on Flicker)

感感謝謝謝以以以下下下的的的作作作者者者們們們!!!

Mr. Roboto. Richard North Richard North Emilian Robert Vicol

Nathaniel Mc- Queen https:

//flic.

kr/p/i5BN85

https:

//flic.

kr/p/bHhPkB

https:

//flic.

kr/p/d8tGou

https:

//flic.

kr/p/bpmGXW

https:

//flic.

kr/p/pZv1Mf

Crystal jfh686 skyseeker Janet Hudson Rennett Stowe

https:

//flic.

kr/p/kaPYp

https:

//flic.

kr/p/6vjRFH

https:

//flic.

kr/p/2MynV

https:

//flic.

kr/p/7QDBbm

https:

//flic.

kr/p/agmnrk

(36)

機器學習怎麼做? 志成城法

蘋果辨識課:第一講

老師:大家來看看這些蘋果圖以及其他的水果圖。小明,請問你會 如何描述一顆蘋果呢?

小明:我認為蘋果是圓圓圓的的的。

(全班):蘋果是圓圓圓的的的。

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 24/50

(37)

機器學習怎麼做? 志成城法

蘋果辨識課:第二講

老師:圓形的確是蘋果的重要特徵。但如果只用圓形來做區分的 話,可能會有些地方分錯。小華,你覺得還可以怎麼描述一顆蘋果 呢?

小華:看起來蘋果是紅紅紅的的的。

(全班):蘋果是圓圓圓的的的而也是紅紅紅的的的。

(38)

機器學習怎麼做? 志成城法

蘋果辨識課:第三講

老師:是的,有很多蘋果是紅的。但圓的和紅的好像還不足以區分 所有的蘋果。小新,你有其他的建議嗎?

小新:蘋果也可以是綠綠綠的的的。

(全班):蘋果是圓圓圓的的的而也是紅紅紅的的的,

不過也可以是綠綠綠的的的。

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 26/50

(39)

機器學習怎麼做? 志成城法

蘋果辨識課:第四講

老師:很好。圓的、紅的、綠的都可以描述蘋果,不過可能還是會 跟蕃茄或桃子搞混,對嗎?小白,你有什麼建議嗎?

小白:蘋果上面有有有梗梗梗。

(全班):蘋果是圓圓圓的的的而也是紅紅紅的的的,

不過也可以是綠綠綠的的的;此外,蘋果上面有有有梗梗梗。

(40)

機器學習怎麼做? 志成城法

眾 志成城法

學生:簡單的規則(像是垂直/水平切割線)

(全班):規則組合起來的複雜決策(像是黑色分割線)

老師:巧妙地引導學學學生生生看看看到到到自自自己己己還還還做做做得得得不不不夠夠夠好好好的的的地地地方方方

接下來:眼見為憑

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 28/50

(41)

機器學習怎麼做? 志成城法

眼 見為憑:眾志成城法

「巧巧巧妙妙妙」」」的的的老老老師師師可可可以以以訓訓訓練練練出出出聰聰聰明明明的的的班班班級級級

(42)

機器學習怎麼做? 志成城法

眼 見為憑:眾志成城法

「巧巧巧妙妙妙」」」的的的老老老師師師可可可以以以訓訓訓練練練出出出聰聰聰明明明的的的班班班級級級

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 29/50

(43)

機器學習怎麼做? 志成城法

眼 見為憑:眾志成城法

「巧巧巧妙妙妙」」」的的的老老老師師師可可可以以以訓訓訓練練練出出出聰聰聰明明明的的的班班班級級級

(44)

機器學習怎麼做? 志成城法

眼 見為憑:眾志成城法

「巧巧巧妙妙妙」」」的的的老老老師師師可可可以以以訓訓訓練練練出出出聰聰聰明明明的的的班班班級級級

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 29/50

(45)

機器學習怎麼做? 志成城法

眼 見為憑:眾志成城法

「巧巧巧妙妙妙」」」的的的老老老師師師可可可以以以訓訓訓練練練出出出聰聰聰明明明的的的班班班級級級

(46)

機器學習怎麼做? 志成城法

眼 見為憑:眾志成城法

「巧巧巧妙妙妙」」」的的的老老老師師師可可可以以以訓訓訓練練練出出出聰聰聰明明明的的的班班班級級級

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 29/50

(47)

機器學習怎麼做? 志成城法

眼 見為憑:眾志成城法

「巧巧巧妙妙妙」」」的的的老老老師師師可可可以以以訓訓訓練練練出出出聰聰聰明明明的的的班班班級級級

(48)

機器學習怎麼做? 志成城法

應 用實例五:即時人臉辨識

original picture by F.U.S.I.A. assistant and derivative work by Sylenius via Wikimedia Commons

世界上第一個即時人臉辨識程式(Viola and Jones, 2001)

「學生」:找出圖片中是/不是人臉的小小小塊塊塊「「「蛛蛛蛛絲絲絲馬馬馬跡跡跡」」」

模型經過特殊設計,可以快快快速速速排排排除除除非非非人人人臉臉臉

基於眾志成城法的Viola-Jones模型:

電腦視覺「機器學習化」的重要里程碑

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 30/50

(49)

機器學習怎麼做? 志成城法

歷史回顧:眾志成城法(Freund and Schapire, 1996)

輯推論

識庫+專家系統 機器學習

+深度學習

起源 第一次寒冬 第二次寒冬 革命

1956 1980 1993 2012 時間

熱度

人 人

人工工工智智智慧慧慧歷歷歷史史史

原名:逐步增強法/皮匠法(Adaptive Boosting Algorithm)

可拿來增強「決策樹」並在在在當當當時時時取取取得得得很很很好好好的的的實實實務務務結結結果果果 眾志成城法:與「支撐向量機」並列為

機 機

機器器器學學學習習習復復復興興興時時時期期期的兩大方法

(50)

機器學習怎麼做? 層層堆疊法

接下來要講的是……

機器學習是什麼?

機器學習怎麼做?

知錯能改法 分而治之法 眾志成城法 層層堆疊法 機器學習為什麼?

機器學習怎麼用?

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 32/50

(51)

機器學習怎麼做? 層層堆疊法

類神經網路

感知器(模擬「一個神經元」): 「畫一條直線」

類神經網路(模擬「一堆神經元」): 「畫非常複雜的邊界」(及其他)

志成城法(模擬「一個班」): 「畫比較複雜的邊界」

by UC Regents Davis campus-brainmaps.org.

Licensed under CC BY 3.0 via Wikimedia Commons

x0=1

x1

x2

... xd

+1 +1

by Lauris Rubenis.

Licensed under CC BY 2.0 via

https://flic.kr/

p/fkVuZX

by Pedro Ribeiro Sim ¯oes. Licensed under CC BY 2.0 via https://flic.kr/

p/adiV7b

類神經網路:一種仿仿仿生生生模型

(52)

機器學習怎麼做? 層層堆疊法

兩張圖秒懂層層堆疊法

類神經網路

機器學習 層層層層層層

堆堆堆疊疊疊

資料量 表現

傳統機器學習 深度學習

層層堆疊:用大大大量量量資資資料料料+大大大量量量計計計算算算 來解決(困難的)機器學習問題。

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 34/50

(53)

機器學習怎麼做? 層層堆疊法

眼 見為憑:層層堆疊法

https://playground.tensorflow.org/

層層堆疊:每一層組合上一層的邊界們,

轉轉轉化化化出出出更更更複複複雜雜雜的的的邊邊邊界界界

(54)

機器學習怎麼做? 層層堆疊法

歷史回顧:層層堆疊法(Hinton et al., 2006)

輯推論

識庫+專家系統 機器學習

+深度學習

起源 第一次寒冬 第二次寒冬 革命

1956 1980 1993 2012 時間

熱度

人 人

人工工工智智智慧慧慧歷歷歷史史史

流行名:深度學習法(Deep Learning Algorithm(s))

層層堆疊法:類神經網路在 第

第第二二二次次次寒寒寒冬冬冬後捲土重來的再度復興

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 36/50

(55)

機器學習怎麼做? 層層堆疊法

歷史回顧:從西洋跳棋到圍棋

輯推論

識庫+專家系統 機器學習

+深度學習

起源 第一次寒冬 第二次寒冬 革命

1956 1980 1993 2012 時間

熱度

人 人

人工工工智智智慧慧慧歷歷歷史史史

(Samuel, 1959) Some studies in machine learning using the game of checkers

Picture extracted from the original paper of Samuel for educational purposes

(Silver et al., 2016) Mastering the game of Go with deep neural networks and tree search

Picture by Wesalius,

licensed under CC BY-SA 4.0 via Wikimedia Commons

棋類人工智慧的發展亦 見證了機機機器器器學學學習習習的興起

(56)

機器學習為什麼?

接下來要講的是……

機器學習是什麼?

機器學習怎麼做?

知錯能改法 分而治之法 眾志成城法 層層堆疊法 機器學習為什麼?

機器學習怎麼用?

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 38/50

(57)

機器學習為什麼?

機器/人類學習小測驗

yn=−1

yn= +1

g(x) = ?

你你的的的「「「人人人類類類學學學習習習」」」學學學到到到了了了什什什麼麼麼???

(58)

機器學習為什麼?

兩個可能的答案

不管你回答什麼

yn=−1

yn= +1

g(x) = ?

y

n

= −1

y

n

= +1

g(x) = ?

「標準答案」是+1,因為. . .

對稱性⇔ +1

「標準答案」是-1,因為. . .

左上角是黑色的⇔ -1

暖 暖

暖心心心老老老師師師怎樣都可以說你對 黑

黑心心心老老老師師師怎樣都可以說你錯

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 40/50

(59)

機器學習為什麼?

摩斯 密碼全球僅 2% 人破解(蘋果日報,20110928)

https://tw.appledaily.com/new/realtime/20110928/77044/

5+3+2=151022,那7+2+5 答案為何?

「標準」答案:143547(為什麼?47=14+35-2; 22=15+10-3)

「轉彎」答案:143546(為什麼?46=14+35-3; 22=15+10-3)

「再轉」答案:143545(為什麼?45=14+35-4; 22=15+10-3)

機器學習與人生:是否真有「標準」答案?

(60)

機器學習為什麼?

機器學習「可行性」的三要素

如果考考考題題題跟跟跟課課課本本本習習習題題題差差差不不不多多多,

然後我把課課課本本本習習習題題題讀讀讀懂懂懂了了了,

融 融

融會會會貫貫貫通通通在在在考考考題題題上上上,

那麼考試成績就會好了!

(Pictures Licensed under CC0 on Pixabay)

機器學習要可行,必須

1 訓練資料和測試場景要要要有有有一一一定定定的的的關關關聯聯聯性性性

—不能腦筋急轉彎

2 訓訓訓練練練表現要夠夠夠好好好

—已經讀過的習題要弄懂

3 要能由訓練資料舉舉舉一一一反反反三三三到測試場景

—在考題上要融會貫通

訓練夠好:最佳化;舉一反三:一般化 機器學習的兩難:兩個要素往往是「衝衝衝突突突的的的」

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 42/50

(61)

機器學習為什麼?

機器學習的日常

測試錯誤≈訓練錯誤

| {z } 最佳化

+複雜度

| {z } 一般化

in-sample error model complexity out-of-sample error

VC dimension, dvc

Error

dvc

複雜度↑:訓練表現較好 但不易舉一反三(容易以偏 概全)

複雜度↓:較易舉一反三 但訓練表現不好

最佳複雜度在中間

—常常需要「老廚師」才能 調出來

複雜模型(想太多)不一定好,

會「「「鑽鑽鑽牛牛牛角角角尖尖尖」」」(overfitting)

(62)

機器學習為什麼?

「鑽牛角尖」:以開車比喻

想得剛好 =⇒ 鑽鑽鑽牛牛牛角角角尖尖尖 學習 開車

鑽牛角尖 出車禍 複雜模型 開快車 資資資料料料雜雜雜訊訊訊 路況不好 資資資料料料有有有限限限 視線不好

機器學習的哲學思維:最最最簡簡簡單單單又又又能能能(儘儘儘量量量)符符符合合合 已已已看看看到到到資資資料料料的的的模模模型型型,,,才才才是是是最最最可可可信信信的的的。。。

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 44/50

(63)

機器學習怎麼用?

接下來要講的是……

機器學習是什麼?

機器學習怎麼做?

知錯能改法 分而治之法 眾志成城法 層層堆疊法 機器學習為什麼?

機器學習怎麼用?

(64)

機器學習怎麼用?

已經講過的應 用實例

應用實例一:股票預測

應用實例二:颱風強度判讀

應用實例三:信用卡核卡

應用實例四:蘋果辨識問題

應用實例五:即時人臉辨識

機器學習已廣泛地被使用,不不不只只只是是是用用用來來來分分分類類類

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 46/50

(65)

機器學習怎麼用?

應 用實例六:跨螢行銷

https://www.appier.com/en/technology.html

匿名的使用資料

(螢、時、地、事)

機器學習

精準判斷同一使用者的所有裝置

機器學習所建立的跨跨跨螢螢螢知知知識識識庫庫庫: 沛星科技的「起家」系統

(66)

機器學習怎麼用?

應 用實例七:推薦系統

過去的評分資料

機器學習

個人化電影推薦

Match movie and viewer factors

predicted rating

comedy content action

content blockb uster?

TomCruisein it?

likes TomCruise?

prefers blockbusters? likes action?

likes comedy?

movie viewer

add contributions from each factor

機器學習如何解

模型:

已知評分

→ 反推喜好特徵

→ 評分預測

台大隊 2011 年獲得 KDDCup世世世界界界冠冠冠軍軍軍的方法之一

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 48/50

(67)

機器學習怎麼用?

應 用實例八:手寫辨識

早在我們身邊很久了!

郵遞區號

票處理自動化

手寫輸入

早期「深度學習」發展的重要動力

http://yann.lecun.com/exdb/lenet/

科科科技技技始始始終終終來來來自自自人人人性性性!!!

(68)

機器學習怎麼用?

總結

機器學習是什麼?

由由由(巨巨巨量量量)資資資料料料實實實現現現人人人工工工智智智慧慧慧的的的熱熱熱門門門工工工具具具 機器學習怎麼做?

知知錯錯錯能能能改改改、、、分分分而而而治治治之之之、、、眾眾眾志志志成成成城城城、、、層層層層層層堆堆堆疊疊疊、、、………

機器學習為什麼?

訓 訓

訓練練練/測測測試試試關關關聯聯聯、、、訓訓訓練練練最最最佳佳佳化化化、、、舉舉舉一一一反反反三三三

機器學習怎麼用?

辨辨辨識識識系系系統統統、、、商商商業業業應應應用用用、、、推推推薦薦薦系系系統統統、、、……… 謝謝聆聽!

林軒田 (沛星科技/台灣大學) 開發機器的學習潛能-鑽牛角尖或舉一反三? 50/50

參考文獻

相關文件

You are given the wavelength and total energy of a light pulse and asked to find the number of photons it

(a) the respective number of whole-day and half-day kindergarten students receiving subsidy under the Pre-primary Education Voucher Scheme (PEVS) or the Free Quality

Wang, Solving pseudomonotone variational inequalities and pseudocon- vex optimization problems using the projection neural network, IEEE Transactions on Neural Networks 17

In this paper, we build a new class of neural networks based on the smoothing method for NCP introduced by Haddou and Maheux [18] using some family F of smoothing functions.

incapable to extract any quantities from QCD, nor to tackle the most interesting physics, namely, the spontaneously chiral symmetry breaking and the color confinement.. 

✓ Express the solution of the original problem in terms of optimal solutions for subproblems. Construct an optimal solution from

✓ Express the solution of the original problem in terms of optimal solutions for subproblems.. Construct an optimal solution from

• elearning pilot scheme (Four True Light Schools): WIFI construction, iPad procurement, elearning school visit and teacher training, English starts the elearning lesson.. 2012 •