標籤品質與評估方法

使用者在標記資源的過程，因為沒有固定的標籤規範而形成標籤在詞性與格 式上的差異，例如：單複數、縮寫字、名詞動詞、拼音差異、複合詞連接等基礎 詞性變化或是多樣的複合詞形式(Ding et al., 2009；Peters & Weller, 2008；Noruzi, 2006)，除此之外，使用者之間依據自身背景知識對相同資源所做的解讀也有差異，

影響到使用者所採用的標記策略與標記深度，產生同義詞(synonym)、同形異義詞 (homonym) 、 一 詞 多 義 (polysemy) 等 歧 異 性 高 的 標 籤 (Spiteri, 2007 ； Golder &

Huberman¸ 2006；Noruzi, 2006)。

除此之外，本研究還歸納出影響使用者選擇標籤的因素，包含社群性、個人 性、標記系統功能和視覺特徵因素，也有可能導致上述提及的標籤詞彙問題，然 而，建立或選擇標籤是以使用者主觀判斷為基礎所產生的行為，因此，使用者對 於產出的標籤的品質是因人而異，也就是說，單就標籤詞彙在字形與字義上的歧 異，是無法有效判斷標籤品質的優劣。

因此，在評估標籤品質之前，必須先有判斷標籤品質的準則，以便檢驗標籤 集合裡的標籤品質，本研究以 Xu et al. (2006)提出「好的標籤(good tags)」的準則 說明標籤集合(set of tags)應該具備以下五種特質。

(一)涵蓋多個層面(high coverage of multiple facets)

一個好的標籤集合要涵蓋到資源物件的各個層面，隸屬不同層面的標籤有助 於聚集由不同使用者標記的相關資源物件。標籤集合內涵蓋的層面越多，使用者 越能快速找到特定的資源物件。

(二)高熱門性(high popularity)

高熱門性的概念類似傳統資訊檢索中的詞彙出現頻率(term frequency)。在單一 資源內，若特定的標籤被多數使用者所採用，則可作為辨識特定資源的索引詞，

也會增加後來的使用者採用相同標籤的機會。

(三)最小努力原則(Least-effort)

在描述資源時，藉由特定標籤所辨識的資源數量應該越少越好，如此一來，

使用者可藉由標籤快速瀏覽特定的資源，而標籤也發揮了辨識特定資源的能力。

(四)一致性、正規化(uniformity、normalization)

因為沒有共同的標準，所以使用者建立的標籤具多元性，甚至有採用不同的 標籤去代表相同概念的情況產生，我們可歸納出兩種形式的分歧現象，一個是語 法變異(syntactic variance)，另一個是同義詞(synonym)，標籤分歧現象一方面會產 生雜訊，另一方面卻可以增加回收率，因此為了中和分歧現象的好處與壞處，最 好的方法是允許使用者採用任何型式的標籤，連結標記系統內部權威性一致的表 達方式。

(五)排除某些類型的標籤(exclusion of certain types of tags)

因個人組織目的所產生的標籤，比較不能與其他使用者共享，因此基於大眾 分享使用的原則之下，這些因個人組織目的所產生的標籤最好予以排除。

歸納上述五點準則，得知標籤集合裡的標籤要能被大眾辨識，呈現資源的獨 特性，有效率的瀏覽、檢索、找尋相關資源，在語法和語意上也盡量呈現一致性，

並且要能被其他使用者理解與使用。除了有判斷標籤品質的準則之外，如何評估 標籤品質也相當重要，以下詳述相關文獻中提出的標籤品質評估方法。

二、標籤品質評估方法與測量項目

標籤品質評估方法大致上可分為三種類型，第一，直接性使用者回饋(explicit member feedback)：使用者主動給予標籤正負面評價或評分(Sen Harper, LaPitz &

Riedl, 2007)；第二，間接性系統使用數據(implicit system usage data)：利用量化方 式，分析使用者標記行為數據，藉此推斷標籤的品質(Sen et al., 2007；Damme, Hepp

& Coenen, 2008；Bar-Ilan, Zhitomirsky-Geffet , Miller, Shoham, 2010)；第三，間接 推測標籤品質的方式：以測量標籤語意相似度、相關度，以及標籤使用集中程度 推測標籤品質的優劣(Cattuto , Benz, Hotho & Stumme, 2008；Markines et al., 2009；

陳怡蓁，2010)。

以上敘述的標籤品質評估方法各有利弊，結合三種評估方法才能正確測量出 標籤品質的優劣，本研究試圖應用三種類型的評估方法回答本研究問題與驗證假 設。

(一) 直接性使用者回饋(explicit member feedback)

以 Sen et al. (2007)的研究為例，藉由使用者回饋機制獲得相關數據評估標籤品 質，總共有兩種獲取相關數據的方法。

第一，利用 MovieLens 電影推薦系統中的標籤評價機制，幫助使用者以最簡 便的點擊方式給予標籤正或負面評價，並且藉由標籤位置反映使用者對於標籤的 看法，點擊拇指向上(thumb up)圖示會提升標籤在清單上的位置代表正面評價增加，

點擊拇指向下(thumb down)圖示使標籤位置下降，若標籤的負面評價持續增加到一 個數量後，將不會出現在清單列表中，並以正面和負面評價機制組合成四種標記 介面進行實驗，探討評價機制產生的效用，以及對於標籤選擇方法的預測能力。

第二，發送線上問卷給 MovieLens 使用者，請使用者以五顆星的範圍評分被 五部電影採用的二十個標籤，所得的標籤評分結果作為標準數據集，用以評估文

(二) 間接性系統使用數據(implicit system usage data)

在相關實證研究中，經常利用使用者標記行為數據來分析使用者產出的標籤 被選用次數之分佈狀況，和評估使用者產出的標籤品質，其中以 Bar-Ilan et al.(2010) 的研究為例，提出一套在使用者互動前後，對於標籤集合裡的標籤品質的量化評 估標準(quantitative assessment)，包含了六個測量指標，評估使用者標記猶太文化 遺產相關圖片所產生的標籤集合中的標籤品質，六個測量指標如下：

(5) 定義單一標籤的共識分數(consensus score)為有多少百分比的使用者在特定的 互動模式和實驗組別中採用此標籤標記特定圖片。對於每一張圖片來說，至少 被標記過兩次(multiplicity two)以上的標籤才能算出平均共識分數。

比較互動前後和實驗組別之間的平均共識分數，若平均共識分數越高，越能反 映使用者之間對於標籤之間的相關性有高度共識。此項指標有助於改善圖片檢 索的精確度。

(6) 計算被至少百分之十的使用者採用的標籤數量，這些標籤是凝聚使用者共識的 標籤。

Damme et al. (2008)也提出三種標籤品質度量(quality metrics)，以 delicious 為資 料集驗證所提出的標籤品質度量是否可以有效的檢測出高品質的標籤，其中兩種 標籤品質度量是屬於間接性系統使用數據類型，分別為：

(1)高頻率標籤(High Frequency Tags)：計算單一資源中個別標籤的出現頻率並且加 以排序，選擇出現頻率最高的五個標籤，作為高頻率標籤的代表。

(2)標籤共識程度(Tag Agreement)：特定標籤之出現頻率除以標記特定資源的總人 數，將相除後的結果乘上一百得出百分比的結果，以 50％為門檻，此數值越接近 100％代表標籤的共識程度越高，反之越接近 0％則表示標籤的共識程度越低。

(3)TF-IRF：先以 Markov Clustering(MCL)演算法作相似標籤的群集分析，以便建立 相似資源集合，再以 TF-IDF 公式為基礎，建立 TF-IRF 公式，標記的資源並非都

有別於前兩種類型的標籤品質評估方法，Cattuto et al. (2008)藉由圖形化的方法 發掘相關標籤，以標籤語意相似度、相關度的測量推測標籤品質。

例如：

(1)Co-Occurrence：計算兩個標籤之間連結(edge)的權重，代表兩個標籤之間的共現 關聯程度。

(2)Cosine Similarity：運用向量空間模型的概念計算兩個標籤之間的距離，顯示兩 個標籤同時發生在相似情境的關聯程度。

(3)FolkRank：在標籤、資源、使用者三點模式架構(three-mode structure)中，應用 網頁排名(PageRank)演算法評估標籤、資源、使用者之間的相關程度。

另外，在 Markines et al., (2009)的研究中以資訊理論、統計學、實際測量衍生出 的公式，例如：Jaccard 係數(Jaccard coefficient)、Dice 係數(Dice coefficient)、Cosine Similarity、Mutual Information 分別評估資源和標籤的相似度。

陳怡蓁(2010)以 2x2 多因子實驗設計同時操弄層面分類結構(有提供/無提供) 與作品文類(小說/非小說)，探討層面分類結構應用在社會性標記的可行性，並且 評估使用者在有無層面分類結構介面標記圖書作品的成果和品質。上述研究採用 Jaccard 係數和 Gini 係數評估評估使用者標記圖書作品所建立的標籤詞彙相似度，

以及標籤使用集中程度。結果顯示有層面分類結構介面裡使用者建立的標籤詞彙 相似度和標籤使用集中程度，都比無層面分類結構介面來的高。代表層面分類結 構的確有助於提升使用者建立的標籤的品質。除此之外，Gini 係數也曾被用來評 估社群影響對於音樂市場的分佈狀況(Salganik, Dodds & Watts, 2006)。

本研究歸納上述相關文獻後，採用適合的指標評估不同介面裡使用者選用的標 籤品質。