基於特徵表示法的遷移學習

𝒳

𝒳

𝜑 𝜑

圖 4.4: 基於特徵表示法的遷移學習

法的遷移學習有希望能夠解決這樣的問題。

基於特徵表示法的遷移學習的概念是想要從來源領域及目標領域中學習出一 個好的表示法，基於這種表示法，來源領域的已標記資料便能重新使用在目標領 域。如此的情境下，轉移跨領域的知識將會被嵌入已學習的特徵表示法。

具體來說，基於特徵表示法之遷移學習的目標在於學習一個映射函數 φ(¨)，使 得來源領域與目標領域的資料經過轉換後 (tφ(xSi)u 及 tφ(xTi)u) 的差距可以減少。

在一般情況下，學習映射函數 φ(¨) 的方法可大致分為 2 大類：一個是在學習映射 函數的時候融入特定領域的知識，另一個則是想透過一般化的方法，而不需額外 的知識。

最小化分佈距離之特徵學習

實際情況中，我們並沒有領域的知識可以運用，如此便需要基於特徵表示法的 遷移學習。本章節將介紹特徵學習中基於潛在空間 (latent space) 之分佈最小化 (distribution minimization) 的研究。試想實際的情景中，可觀測的資料僅受少數的

潛在因素影響；也就是說，假設兩個領域間彼此相關，它們理應共享某些潛在的 因子，有些因子可能導致兩者的資料分佈不同，而某些因子可能能夠從原有資料 獲取某些內在結構或鑑別性資訊，假設我們能夠重建 (學習到) 這些潛在因子而且 能夠保留原有資料的分佈或特性，那麼就有機會能以這些潛在因素展開的空間作 為橋樑，使得知識的轉移變得可行。基於這樣的動機，[69] 提出了以遷移學習為 基礎的降維演算法：

minφ Distance(φ(X_S, φ(X_T)) + λΩ(φ) (4.10) s.t constrain on φ(X_S) and φ(X_T)

其中 φ 為待學習的映射函數，將原始資料映射到較低維度的空間，式 4.10的目標 是要最小化來源領域資料分佈及目標領域資料分佈的距離，Ω(φ) 是針對映射函數 的正則項，而限制用以確保原始資料的特性能被保存下來。通常要最佳化式 4.10 較難計算，因此 [69] 提出了最大化平均值差異表示法 (maximum mean discrepancy embedding，MMDE) 的方法，將最佳化問題轉換為核矩陣 (kernal matrix) 的學習問 題。MMDE 的方法改良自非參數式的方法 (non-parametric)：MMD，但是 MMDE 仍有 2 個限制，第一，求解的計算成本相當昂貴，第二，由於求解核矩陣的學 習問題屬於一種轉導推理 (transductive inference) 的方法，它假設未標記的資料 就是最終被用來測試的資料，因此學習的目的就是從這些資料中取得最佳的泛 化能力 (generalization capability)，沒辦法運用到訓練資料以外的資料。為了解決 MMDE 的局限性，Pan 等人 [70] 進一步改良 MMDE 的方法，加入廣義特徵分解 (generalized eigen-decomposition) 的方法，使它的計算速度更快，也能處理訓練資 料以外的資料。基於類似的概念，[71] 使用布萊格曼散度 (bregman divergence) 作 為樣本分佈之間的距離度量，以減少在潛空間中之來源和目標域資料之間的距離 為目的進行訓練。

38

導入多任務學習之特徵學習

學習特徵的方法除了最小化分佈的距離以外，另一個重要的研究分支則是由多任 務學習啟發而來的。多任務學習中，已知數個任務及每個任務所對應的已標記資 料，多任務學習的目標是希望能探索任務與任務之間潛在的共同特徵。多任務學 習的設定情景與遷移學習有些微的不同，多任務學習中假設在來源領域有許多已 標記資料，目標則是希望能藉由來源領域的資料使得目標領域的模型能夠更精確 地辨識出結果。但是在多任務學習的架構中，也可以適用於遷移任務的例子，也 就是目標領域只有少數的已標記資料的時候，不同任務之間能夠互相借用對方學 習到的特徵。詳細內容將會在下一個小節介紹。