本文提出五種版本的推薦策略,方法設計整理如表 5.3.1,我們將五種推薦策 略與九位攝影師在水平方向、垂直方向及綜合兩方向上,兩兩計算兩種權重的柯 恩卡帕值,如圖 5.3.1 至圖 5.3.6。首先圖 5.3.1 及圖 5.3.4 為使用平方和線性加權 柯恩卡帕值計算五種推薦策略與九位攝影師間水平方向上一致性評估,其顯示整 體的柯恩卡帕值是偏低的,而且也有許多負數柯恩卡帕值出現,因此在整體水平 調整方向上,看不太出來哪個策略與攝影師較為一致。相反的圖 5.3.2 及圖 5.3.5 皆顯示五種推薦策略與九位攝影師間垂直方向上一致性的評估,其整體的卡帕值 明顯比水平調整方向上高出許多,觀察攝影師 1、攝影師 2、攝影師 3、攝影師 6、
攝影師 9 可看出,除了攝影師 1 以外,其餘攝影師與各策略的一致性為策略四最 好,其次為策略三、策略二,而策略一與策略五的一致性最差。
圖 5.3.7、圖 5.3.8 及圖 5.3.9 分別為水平方向、垂直方向及綜合兩方向上經由
其原因認為在水平方向中難有一致性的評比,因為我們是利用訓練資料間常出現 的共通性來做為高頻項目集與關聯規則,若訓練資料間本身沒有常出現的共通性,
其產生出的推薦集或關聯規則就不夠足以表現好看自拍角度的特性,而從水平方 向攝影師間的一致性較低也可以看出攝影師們於水平方向的評估也難以有一致 性的結果。
同樣綜合經由卡帕值與準確度的評估下,在垂直方向上,以策略四為最好,
其次為策略三、策略二、策略一,最不好為策略五。我們認為在策略四結果最好 是使用全部的候選規則,其原因為某幾個重要特徵出現在大多數候選規則右側的 項目集中,在策略四中表示此群所有候選規則中認為這些特徵對於目前使用者是 優先需要擁有,相較策略三和策略二使用高分部分和最高分的候選規則,由於規 則分數計算是鼓勵大的高頻項目集的規則,所以不表示常出現在所有候選規則的 特徵一定會出現在分數大的規則上,因此策略四優於策略三,而策略三優於策略 二。而策略二、策略一兩者皆使用最高分數的候選規則和高頻項目集,其差別在 於候選規則計算分數上考量規則的信賴值當作參考,我們認為策略二優於策略一 是受此影響的。在策略五中鼓勵推薦的多樣性,反而破壞原本從資料探勘出規則 所代表的關係,因此造成最差的結果。
表 5.3.1.五種推薦策略統整表
版本 策略描述
推薦策略一(V1) 選取最大分數的推薦集做為推薦結果。
推薦策略二(V2) 選取最大分數的候選規則做為推薦結果。
推薦策略三(V3) 選取分數大於或等於𝜆的候選規則投票出推薦結果。
推薦策略四(V4) 選取所有候選規則投票出推薦結果。
推薦策略五(V5) 對候選規則做多樣性的處理,並投票出推薦結果。
圖 5.3.1.五種策略在水平方向上與攝影師間之平方加權柯恩卡帕值
圖 5.3.2.五種策略在垂直方向上與攝影師間之平方加權柯恩卡帕值
圖 5.3.3.五種策略在綜合兩方向上與攝影師間之平方加權柯恩卡帕值
圖 5.3.4.五種策略在水平方向上與攝影師間之線性加權柯恩卡帕值
圖 5.3.5.五種策略在垂直方向上與攝影師間之線性加權柯恩卡帕值
圖 5.3.6.五種策略在綜合兩方向上與攝影師間之線性加權柯恩卡帕值
圖 5.3.7.水平方向上推薦與攝影師間之指令準確度
圖 5.3.8.垂直方向上推薦與攝影師間之指令準確度
圖 5.3.9.綜合兩方向上推薦與攝影師間之指令準確度 表 5.3.2.測試資料調整指令
測試資料 策略四
水平方向:不調整 垂直方向:頭向下
水平方向:不調整 垂直方向:不調整
由於在策略三、策略四、策略五的方法中,皆選取多個候選規則,並以投票 做推薦結果的選擇,而我們想知道票選出的調整方向票數分佈是否影響調整方向 實際的正確性,若有的話,可以作為系統本身在推薦時的信心指標,例如對於某 一自拍照,某策略垂直方向的調整在頭向上仰、不調整、頭向下俯的票數依序為
0 票、100 票、0 票,而另一個策略的票數依序為 36 票、35 票、29 票,前者票數 集中,而後者分散。因此我們計算票數分佈的亂度值(Entropy),且將調整方向與 攝影師相同的亂度值做直方圖分佈(紅色),調整方向與攝影師不同的亂度值也做 直方圖分佈(藍色),而圖 5.3.10 為策略三、策略四、策略五在各個攝影師亂度值 的分佈。
為 了 想 知 道 兩 種 分 佈 的 差 異 性 , 因 此 使 用 了 KL 散 度 (Kullback-Leibler
divergence, KLD)計算兩個分佈間的距離,值越大表示兩分佈越不相近,越能表現 出策略推薦時的信心度是高的。在圖 5.3.10 中也顯示各個策略間的 KLD 值,我 們觀察到在攝影師 1、攝影師 2、攝影師 3、攝影師 6、攝影師 9 中,策略四在垂 直方向上的 KL 散度比策略三及策略五高,表示兩個亂度分佈是有所區分的,再 加上由卡帕值和準確度的結果可知,垂直方向上策略四的結果是最好的,因此我 們認為系統可依據投票的結果作為推薦時的信心指標。
(a)攝影師 1 (b)攝影師 2
(c)攝影師 3 (d)攝影師 4
(e)攝影師 5 (f)攝影師 6
(g)攝影師 7 (h)攝影師 8
(i)攝影師 9
圖 5.3.10 策略 3,4,5 與各攝影師在水平(上)及垂直(下)方向上票數亂度值分佈 除了調整方向的評估外,我們還想了解哪種推薦策略能夠正確的判定是否要 做調整,因此利用真陽性率(Ture positive rate, TPR)與偽陽性率(False positive rate, FPR)來評估。真陽性率定義為在門檻值𝛿下,所有陽性樣本被正確判定為陽性樣 本的比例,而偽陽性率同樣定義為門檻值𝛿下,所有陰性樣本被錯誤判定為陽性
樣本的比例。透過不同的門檻值而得到不同的 TPR 與 FPR,因而產生 ROC 曲線,
其 X 軸表示為偽陽性率(FPR),Y 軸表示為真陽性率(TPR)。評估系統好壞可利用計 算 AUC(Area under the Curve)做為依據,其 AUC 為 ROC 曲線下的面積,範圍為
0 至 1 之間,值越大表示此系統正確率越高。
實驗方面我們將需要調整的樣本視作陽性樣本,不需調整的樣本視做陰性樣 本,門檻值𝛿為在項目集中大於等於𝛿(𝛿 =0,1,2,3,4,5)個特徵須調整,則判定為需
調整,反之亦然,我們分別在水平方向與垂直方向分開評估,圖 5.3.11 為五種策 略在九位攝影師的水平及垂直方向上 ROC 與 AUC 的結果。水平方向中可看出五 種策略的 ROC 趨近為斜對角線,且 AUC 值也不理想。反觀垂直方向中的 AUC 可看出整體垂直方向上的正確率比水平方向上好,策略一、策略二、策略三、策 略四的準確率差不多,其在攝影師 1、攝影師 2、攝影師 3、攝影師 6 和攝影師 9 中,平均 AUC 分別為 0.6898、0.6611、0.6792、0.6869,而若要有較低的 FPR 的 話,採取策略四較好,策略五的平均 AUC 為 0.588,效果最差。
我們認為造成策略五最差是因為在其策略五的步驟一中,去除已知不需調整 的特徵,增加調整的可能性,因此造成其結果都是需要調整的。而在策略一至策 略四並沒有而外做其它會破壞關聯規則與高頻項目集的處理,所以在準確率上是 差不多的。
(a)攝影師 1
(b)攝影師 2
(c)攝影師 3
(d)攝影師 4
(e)攝影師 5
(f)攝影師 6
(g)攝影師 7
(h)攝影師 8
(i)攝影師 9
圖 5.3.11 五種策略在各攝影師的水平(左)及垂直(右)方向之 ROC 與 AUC
結論
本研究提出了虛擬攝影師的想法,針對使用者自拍角度的不足而做推薦調整。
我們將 6785 張好看自拍照分群且做為訓練樣本,在特徵設計上採用人臉黃金比 例的想法及量化,產生 405 個自拍比例特徵,並使用資料探勘中關聯式法則學習 方法探勘出推薦集及關聯規則,另引入了 LFW 人臉資料集幫助我們過濾推薦集 及關聯規則,使得過濾後的推薦集及關聯規則能真正捕捉好看自拍照的特性。最 後,我們設計了五種推薦策略做推薦調整。實驗結果顯示,在水平方向調整上,
九位攝影師間並沒有一致性,顯示好看的自拍於水平方向調整較難有共識,因此,
五種策略在水平方向調整上與攝影師沒有一致性。而在垂直方向調整上,策略四
(根據信賴度高的所有關聯法則)推薦結果的一致性與攝影師間為最好的,其次為 策略三、策略二、策略一,策略五是最不理想的。在未來的工作中,我們希望能 將我們的策略實際運用到智慧型手機中,且搭配語音推薦調整的方式,讓使用者 能夠拍出屬於他好看的自拍照。
參考文獻
[1] Google 關鍵字趨勢統計「How to take a good selfie?」,https://goo.gl/EJygdr [2] Congcong Li, Andrew Gallagher, Alexander C. Loui, and Tsuhan Chen,
“Aesthetic Quality Assessment of Consumer Photos with Faces”, Proceedings of IEEE International Conference on Image Processing, 2010.
[3] Matija Males, Aam Hedi, and Mislav Grgic, “Aesthetic Quality Assessment of Headshots”, Proceedings of ELMAR, Zadar, Croatia, pp. 89-92, 2013.
[4] Mahdi M.Kalayeh, Misrak Seifu, Wesna LaLanne, Mubarak Shah, “How to Take a Good Selfie?”, Proceedings of the 23rd ACM International Conference on Multimedia, pages 923-926, 2015.
[5] Hsiao-Wei Lin, “Selfie Quality Assessment Based On Angle”, MS Thesis, National Taiwan Normal University, 2015.
[6] E. Murphy-Chutorian and M.M. Trivedi, “Head Pose Estimation in Computer Vision: A Survey”, TPAMI, vol. 31, pp. 607-626, 2009.
[7] Facebook 社團:正妹聯盟, https://www.facebook.com/whitewhite.house [8] Facebook 社團:正妹俱樂部, https://www.facebook.com/taiwanprettys
[9] Xuehan Xiong and Fernando De la Torre, “Supervised Descent Method and its Applications to Face Alignment”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2013.
[10] G. Tzimiropoulos, and M. Pantic, “Optimization problems for fast AAM fitting in-the-wild”, Proceedings of International Conference on Computer Vision, 2013.
[11] Brendan J. Frey and Delbert Dueck, “Clustering by Passing Messages Between Data Points”, Science, pp. 972-976, 2007.
[12] Pallett, P. M., S. Link, and K. Lee, “New golden ratios for facial beauty”, Vision Research, 50: 149–154, 2010.
[13] Pang-Ning Tan , Michael Steinbach , “Vipin Kumar, Introduction to Data Mining”, 1st Edition, Addison-Wesley Longman Publishing Co., Inc., Boston, MA, 2005.
[14] Khalid Sayood, “Introduction to Data Compression”, 4th Edition, Morgan Kaufmann, 16 October 2012.
[15] Gary B. Huang, Manu Ramesh, Tamara Berg, Erik Learned-Miller. “Labeled Faces in the Wild: A Database for Studying Face Recognition in Unconstrained Environments”, University of Massachusetts, Amherst, Technical Report 07-49, October, 2007.
[16] J. L. Fleiss and J. Cohen, “The Equivalence of Weighted Kappa and the Intraclass Correlation Coefficient as Measures of Reliability”, Educational and
Psychological Measurement, vol. 33, pp. 613-619, October 1973.
[17] J. L. Fleiss, “Measuring nominal scale agreement among many raters”, Psychological Bulletin, vol. 76, no. 5 pp. 378–382, 1971.