以使用者回饋為主的跨媒體查詢系統

在許多多媒体查詢系統中，都是將所需要的特徵擷取出來後，利用擷取出來 的特徵形成特徵空間，然後便可以將多媒體資料轉換到此特徵空間中，接著在此 特徵空間中設計相似度方程式來決定資料間的相近程度，以達成多媒體查詢的目 的。但是在跨媒體查詢之中，因為資料之間所屬的媒體不同，因此所求出來的特 徵空間也不同，造成跨媒體查詢中的一個難題：我們必須衡量兩個不同空間中的 物件的相似程度。為了避免這種問題，我們提出了一個新的跨媒體查詢的架構如 下圖所示。此圖中是以影像和音樂兩種媒體為例子，這兩種媒體都有各自的特徵

空間，我們的跨媒體查詢架構是：設計出一個語意空間，然後可將此兩個媒體特 徵空間中的資料都經過轉換方程式映射到語意空間中。接著，我們便可以在語意 空間中設計相似度方程式與回饋方法。

Image Music

Semantic



1

2

Similarity function

Transformation function

圖表十二：跨媒體查詢架構 求取語意邊界

由於我們為了建立語意空間以便將所有的媒體中的資料都能映射到其中，因 此我們挑選了一些許多媒體都共有的語意來成為語意空間中的特徵。例如：我們 挑選快樂當成是語意空間中的一個特徵。

但是許多資料並沒有快樂這個值，因此我們提出了語意邊界的概念。我們利 用使用者所給予的訓練資料，來訓練分類器。以下圖為例，使用者對於四筆訓練 資料分別給予了快樂的程度，其中若分數大於或等於0.5 表示快樂；否則，則表 示不快樂。我們使用一些能將不同類別的資料用空間平面切割的分類方法來求取 快樂與不快樂的分界線，例如：SVM 便可以達成這樣的效果。我們稱這個被找 出來的分界線為語意邊界。

快樂 0.5

快樂 < 0.5

0.9

0.8 0.65

0.4

圖表十三：語意邊界示意圖 求取語意特徵值與建立語意空間

語意邊界的距離，我們以這個距離做為該資料的語意特徵值。接著我們對所選用 的語意皆作相同的處理，則我們可以得到所有資料對各個語意的語意特徵值。如 此一來，我們將每一種語意視為是語意空間中的一個維度，因此我們能建立起一 個語意空間，並將不同媒體的資料都映射其上。

相似度方程式與回饋機制

由於語意空間是一個由許多語意特徵所形成的空間，假設我們有n 種語意特 徵，則對於位於其上的兩個資料 A={a1,a2,…,an}與 B={b1,b2,…,bn}之間的相似 度我們定義如下：









n

i

w

a

b

|

|

我們假設使用者每次的查詢所偏好的語意特徵並不相同，且由於一開使我們 並不知道使用者這次查詢所偏好的語意特徵，因此我們將所有的wi 在一開始都 設為 1。接著我們使用回饋機制來調整 wi 的值以找出符合這次使用者查詢所想 要的資料。