第四章、 研究結果
4.3 各餐飲種類的排名差異分析
本節將依據ad hoc 方式和機器學習分類演算法的排名結果，分別探討不同 方式計算下的排名，造成各餐飲種類產生排名差異的可能原因。
4.3.1 Ad hoc 方式的排名結果分析
研究發現增加情緒詞彙且情緒詞彙之間的情緒程度差異愈大，意即將不 同程度的情緒詞彙之間的情緒分數差距擴大，愈可增加排名準確度，由 4.2.1.2 小節的表五與表八可見，加入本研究人工標記的情緒詞彙後，排名準 確度優於僅利用antusd 擴充詞典的表現，而本研究人工標記之情緒詞的情緒 分數即為擴大至[-10,10]之間，相較於 antusd 情緒詞彙的情緒分數僅限制於[-1,1]之間。
此外，另一研究發現新排名可以趨於MENU 美食誌的排名，可能原因 在於MENU 美食誌的排名是根據其用戶的打卡數決定，而新排名的分析資 料來源亦來自於Instagram 用戶的打卡貼文，共通點都是用戶實際到過商家 用餐並打卡所留下的紀錄，因此本研究可以計算出類似於menu 美食誌所調 查出的餐廳排行。
若進一步分析造成牛肉麵的排名準確，但港式餐廳排名卻相較不準的可 能原因，經過分析原始評論之後，發現港式餐廳的第一名(詳見附錄一)在 Instagram 社群上，被認為 cp 值不高，雖然非常好吃但是導致人潮很多需要 花很多時間排隊，因此在分析結果中被分類為第五名，無法趨於menu 美食 誌所判定的第一名，而第七名的評論確實都含有大量的正向情緒詞彙，導致 被ad hoc 方式排名為第一名，無法趨於 menu 美食誌所判定的第七名，但排 除第一名與第七名之外，其餘排名均能趨於menu 美食誌的排名。且觀察新 排名結果(詳見附錄一)可發現，若以前五名與後五名兩區段的角度觀看排 名，在每個種類中，ad hoc 方式幾乎都能正確地將前五名的店家分類至前五 名的區段中，反之亦然，屬於前段排名的店家較不會誤判為後段排名。
另外，本研究也發現ad hoc 方式計算出的第一名，普遍每篇評論的內 容都很豐富，使用到的情緒詞彙也隨之增加，僅有少數評論包含較少的文 字，所以最後排名總分較高而列為第一名，反之，排名愈後面的店家平均每 則評論的內容豐富度則隨之減少。故本研究推測第一名在某種程度上而言可 算是人氣度較高，可以用許多正向情緒詞描述此店家所提供的餐點、環境或 服務，因為觀察排名結果為一至三名的店家後，研究發現許多評論都會在餐 點、環境或服務等面向上詳細描述自身的體驗與感受，同時亦呼應了Menu 美食誌的排名計算方式，因為Menu 美食誌是依據打卡數排名，所以某種程 度而言亦算是根據人氣度來進行排名。
最後，研究亦發現若是來自各國的外文評論亦會造成排名的失準，因為 ad hoc 方式的評分機制只透過中文的情緒詞彙計算排名，無法判斷各種外文 的情緒詞彙，因此會造成排名的落差。
4.3.2 機器學習分類演算法的排名結果分析
利用機器學習分類法透過八種餐飲類別建立模型之後，套用在冰品以 及韓式料理上進行排名預測，結果顯示韓式料理的排名預測準確，但冰品 卻嚴重失準，究其原因，4.2.2 章節中提及機器學習分類法主要是以各店家 所有評論的平均情緒詞數量作為預測的特徵值，而觀察原始評論資料後發 現，韓式料理的評論中，情緒詞使用的頻率較高，且每一則評論的使用量 較平均，然而，在冰品的評論中，各篇評論的情緒詞使用量差異大，一部 分評論幾乎沒有使用到情緒詞彙，而一部份評論則使用到非常多的情緒詞 彙，因此造成機器無法以平均情緒詞彙使用量準確判斷排名結果。
4.4 小結
本研究根據MENU 美食誌的十種餐飲種類排行榜進行實驗，每一種餐飲種 類共排出前十名，依據這十種類別的前十名，共100 間店家，蒐集這些店家在
Instagram 社群上的用戶評論，各店家收集 150 篇左右的評論，且因為現有評分 機制潛藏著長期累計評分的評分匯總問題，因此考慮進時間因素，僅蒐集 MENU 美食誌於網路上發布排名前一年以內的用戶評論，但是研究發現，少數 店家一年內所獲得的評論過少，甚至不足50 篇，導致計算出的商家總評分較 高，嚴重影響最終排名結果，因此在這些少數店家中，蒐集不限於一年內的評 論，擴張為蒐集兩年左右內的評論，直到蒐集至150 篇左右，再經由本研究的 ad hoc 方式之評分機制計算過後，也確實能夠獲得較準確的排名。
本研究經過一連串測試不同方法下的排名精準度後，調降mse，並利用 ad hoc 方式結合現有情緒辭典和人工標記情緒詞彙，找到一組參數𝑤1, 𝑤2, 𝑤3在趨 近於1 的情況下讓排名 mse 最小化，且在兩種測試資料當中亦能正確計算出符 合MENU 美食誌的排名結果，測試過程與最終排名結果可參考 4.2.1.2 的表 5 至表9 與附錄一，測試過程中，本研究亦證實加入用戶影響力作為權重，也確 實能夠增加排名的精準度。最後，本研究以兩種驗證方式，分別為設計baseline 以及加入其他知名店家，驗證是否達到準確預測menu 美食誌排行的目的。
進一步分析發現，造成某些餐飲種類的新排名結果較無法符合標準排名 (MENU 美食誌排名)的可能原因，推測是因為某些餐廳在 Instagram 社群上的人 氣與MENU 美食誌所計算出的人氣固然不同，導致排名結果的表現，會因為少 數幾間店家的預測與實際的排名差距過大而產生排名較不準的情況，此外，亦 有可能是因為，各國的外文評論無法經過本研究餐飲評分機制正確判斷出情緒 詞彙，然而，雖然ad hoc 方式之評分機制在某些餐飲種類排行中，較無法完全 精準預測排名，但是以整體而言，大部分的餐飲種類都能經由ad hoc 方式較準 確地預測出符合大眾心中的排行，而不須透過大眾投票或是MENU 美食誌的特 別計算過程得知。
最後，進行第二種方式，以機器學習分類演算法進行排名預測，由4.2.2 的 排名結果可見，機器學習分類法僅適用於情緒詞使用頻率較高，且每一則評論
的使用量較平均的狀況(如韓式料理)，其排名結果較為準確，但是在加入其他 google 知名店家後進行排名，卻證實無法有效從眾多商家中找出符合 MENU 美 食誌的排行，故以整體排名而言，還是以ad hoc 方式之評分機制的排名結果較 為穩定。