遷移學習的構思

國

立 政 治 大 學

‧

N a tio na

l C

h engchi U ni ve rs it y

3.2.3. 遷移學習的構思

如果是用相對少量的資料，訓練出來之模組勢必會遇到過度擬和的問題，所 以本研究就遷移學習方面進行探討希望可以解決少量資料訓練之問題，於 2009 年中 A Survey on Transfer Learning[24]這篇論文中已有討論傳統機器學習在遷移 學習上的可行性(見圖 3.9)，對於不同的問題利用遷移學習的概念利用 pre-trained model 進而解決類似問題，在我們的推論中這是可行的，就有如譬喻的概念，對 於一個沒有看過老虎的但是看過貓的人，可以對那個人形容說老虎就是比較大隻 的貓，且身上有如同指紋般的紋路，這樣對於沒有看過老虎的人也能從原本貓的

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

依照這樣的概念，以下就深度學習的架構來探討遷移學習這樣的概念在物體偵測 上的可行性。

圖 3.9 A Survey on Transfer Learning 針對遷移學習之探討[22]

深度學習需要用數據來訓練，並從數據中獲得資訊，進而把它們轉換成相應 的權重，遷移學習的概念就是從這一層層網路中每個節點的權重，從一個訓練好 的網路遷移到一個全新的網路，而不是從頭開始。這樣做的好處，可以從下面的 例子中做說明，假設你已經有了一個可以高精確度分辨貓和老虎的深度神經網路，

之後想訓練一個能夠分別不同品種的貓的圖片模型，此時需要做的不是從頭訓練 那些用來分辨直線、圓角的神經網路的前幾層，而是利用訓練好的網路，提取低 階特徵，之後只訓練最後幾層神經元，讓其可以分辨貓的品種。

‧

COCO DataSet，這幾個網站都提供了大量的資料供訓練，而我們選擇了以 COCO DataSet 訓練集為主的模組，原因如下：

1. 既然提到遷移學習必須選擇類似的資料集來進行訓練，三個公開資料集 都有船的圖片，但是 COCO DataSet 針對船的分類上以及物體量是最多 的，所以如果要利用相關的特徵去找船的話，但我們認為 COCO DataSet 所訓練出來的特徵，會讓我們的後續針對船體的偵測會有比較大的幫 助。

2. COCO DataSet 中對於 small、middle、large 的物體分布較均衡，其餘兩 個 DataSet 對於小物體的資料收集較為少(資料集中對於小船的標注可見 圖 3.10)，這點對於衛星影像的偵測是有幫助的，因為衛星影像圖片的擷 取有時因為不同的解析度，所擷取出來的圖片不一定是大的物體，對於 部分的小船，我們希望本研究所訓練出來的模組也要可以辨識的出來，

所以我們選擇以 COCO DataSet 所訓練出來的模型進行調校。

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

圖 3.10 [4]左圖為未標註前的原圖、右圖紅色箭頭所標示的黑色物體為 CoCo DataSet 中標注出的小船

有了訓練的資料，以及決定了模組的訓練方向，接著探討本研究針對我們所預期的 目標，要如何利用以上有的資源來進行相關的訓練，以下就本研究的架構設計以及流程 進行探討。