第三章 系統方法與設計
3.1 即時影像辨識系統
3.2.4 分類器
3.2.4 分類器(Classifier)
就每個特徵來討論，每個特徵的重要程度有所不同，而 Classifier 主要在於 做加權總和，計算出各個語句的權重。假設向心性(Centrality)的權重是 w1，語句 位置(Position)的權重是 w2，表示如方式程(4)所示。
( i 1 Centrality i 2 Position i Length i
Overall S w Score S w Score S Score S
Score = × + × ×
(4)
3.2.5 重新排序器(Reranker)
主要在於重新計算語句與語句之間的相似度，並設定門檻值以進行過濾，取 出重要且彼此之間相似度不會太高的語句，取得後再依設定的壓縮率進行 extract。
3.2.6 產生摘要(Summery)
將 Reranker 所 extract 出之語句順序，依 Preprocess 處理之文章(Document) 編號和語句(Sentence)編號和原始評論文件進行對應(Mapping)，取得多評論自動 摘要內容，並把最後結果產出，提供給使用者快速瀏覽參考。
第四章 系統實作與模擬結果分析
本章將針對行動式商品評鑑平台(Mobile Merchandise Evaluation Platform, MMEP)進行系統設計與實作，並驗證系統方法。
4.1 系統實作
行動式商品評鑑平台(MMEP)主要採用智慧型代理人機制、影像辨識技術、
自我組織映射圖網路、多文件自動摘要、以及推薦決策支援服務等技術，並於無 線通訊網路環境之手持式設備(如 3G 手機)上展現，透過軟、硬體設備之支援，
讓行動式使用者能充分掌握手持式設備取得商品評鑑服務。行動式商品評鑑平台 (MMEP)實作環境採用 Intel (R) Pentium (R) Dual CPU 1.6GHz 中央處理器、2.0 GB 記憶體與 Microsoft Windows XP 作業系統之電腦主機進行相關實作，開發程式語 言為 Java，資料庫管理系統(DBMS)則採用 MySQL Server。而使用者連結至網際 網路進行商品評鑑服務之存取主要由 JSP (Java Server Pages)開發完成，經由超文 本傳輸協定(Hypertext Transmission Protocol, HTTP)標準進行傳輸。
行動式商品評鑑平台(MMEP)包含即時商品辨識子系統(RMIS)、商品評論建 議子系統(MES)、以及商品比價推薦子系統(MRS)，如圖 3 所示，提供使用者存 取商品評鑑服務，以下將針對各個子系統進行實作與說明。
4.1.1 即 時 商 品 辨 識 子 系 統 (Real-time Merchandise Identification Subsystem, RMIS)
位於網際網路前端之即時商品辨識子系統(RMIS)主要提供多媒體處理與影 像辨識相關服務，包含即時多媒體傳輸技術和即時影像辨識技術等功能設計。
當使用者有購買衝動時，可即時透過手機照相機，將物品拍照並經由 J2ME
(MIDP 2.0)技術透過行動通訊網路(3G 或 IEEE 802.11b)即時傳輸至伺服器。即時 商品辨識子系統(RMIS)接收到圖片影像後，即時結合區塊相鄰圖(RAG)和自我組 織映射圖網路(SOM)進行影像處理與分類，進行商品辨識，流程如圖 11 所示。
圖 11、即時商品辨識子系統(RMIS)處理流程圖
(1) 即時多媒體傳輸技術(Real-time Multimedia Transmission, RMT)
設計可傳輸之多媒體資料庫包含文字(Text)和圖片(Picture)。使用者利用 3G 手機或 PDA 上的照相機將欲購買之商品即時拍攝下來，商品影像資訊即時傳回 給後端之即時商品辨識子系統(RMIS)，以利進行後續影像辨識處理，並提供使用 者即時性與便利性之快速商品評鑑服務。
(2) 即時影像辨識系統(Image Identification system, IIS)
即時商品辨識子系統(RMIS)結合區塊相鄰圖(Region Adjacency Graph, RAG) 和自我組織映射圖網路(Self-Organizing Maps, SOM)等技術，進行即時多媒體影 像處理。將商品影像進行 Region Adjacency Graph (RAG)運算，取得各個商品影 像特徵，再放到自我組織映射圖網路(SOM)進行訓練，讓類神經網路學習各個商 品特徵。當取得即時影像時，可將影像進行即時比對與分類，並辨識並取得該影
像之商品資訊，以進行後續之評論與推薦。
4.1.2 商 品 評 論 建 議 子 系 統 (Merchandise Evaluation Subsystem, MES)
商品評論建議子系統(Merchandise Evaluation Subsystem, MES)所提供之功能 包括部落格內容擷取代理人與多文件自動摘要技術等功能設計。
當即時商品辨識子系統(RMIS)辨識完成後，將傳輸商品資訊至商品評論建議 子系統(MES)，再經由部落格內容擷取代理人向 Google Blog Search 進行 Blog 相 關資訊進行搜尋，於各個部落格中找尋相關商品評論資訊，並將其 Crawl 和 Parse 下來存為 Blog Corpus。最後，透過多文件自動摘要技術將相關 Blog Corpus 中之 商品評論擷取出來，並製成摘要型式，提供給使用者購買決策參考，流程如圖 12 所示[26]。
圖 12、商品評論建議子系統(MES)處理流程圖[26]
(1) 部落格內容擷取代理人(Blog Content Retrieval Agent, BCRA)
部落格內容擷取代理人主要提供有模糊搜尋機制、HTML Crawler、以及 HTML Parser 等，各功能說明分述如下。
I. 模糊搜尋機制
提供模糊運算與判斷，建立搜尋相關之關鍵詞字庫，以關鍵詞字庫內容主動 向 Google Blog Search 進行搜尋。
II. HTML Crawler
將 Google Blog Search 搜尋後之結果，如回傳之各個部落格內容進行 Crawl，
追蹤相關連結之網頁並將 HTML 內容暫存。
III. HTML Parser
將 HTML Crawler 取得之 HTML 進行 HTML tag 解讀，取得主要資訊，並有 效去除相關特殊字元(如單引號和雙引號)和避免 SQL Injection 等攻擊問題，建立 Blog Corpus 以利後續之多文件自動摘要之推論。
(2) 多文件自動摘要技術(Automatic Multiple Document Summarization, AMDS)
商品評論建議子系統(MES)結合多文件自動摘要技術，即時將各個部落格中 相關商品之評論進行自動摘要，有效減少資訊量，萃取出重點評論摘要，讓使用 者能快速瀏覽過去購買該商品之消費者看法與經驗。
4.1.3 商品比價推薦子系統(Merchandise Recommendation Subsystem, MRS)
商品比價推薦子系統(Merchandise Recommendation Subsystem, MRS)所提供 之功能包括商品價格資訊擷取代理人與比價推薦機制等功能設計。
當即時商品辨識子系統(RMIS)辨識完成後，將傳輸商品資訊至商品比價推薦 子系統(MRS)，再經由商品價格資訊擷取代理人向比價網及相關網路進行商品價
格相關資訊進行搜尋，於各個電子商務網站中找尋相關商品價格資訊，並將其 Crawl 和 Parse 下來存為商品價格 Corpus。最後，透過比價推薦機制將相關商品 價格 Corpus 中之價格資訊擷取出來，並進行比對和商品推薦，以有效讓使用者 了解該商品相關價位區間，避免荷包大失血，商品比價推薦子系統(MRS)處理流 程如圖 13 所示。
圖 13、商品比價推薦子系統(MRS)處理流程圖
(1) 商品價格資訊擷取代理人(Merchandise Information Retrieval Agent, MIRA)
商品價格資訊擷取代理人主要提供有模糊搜尋機制、HTML Crawler、以及 HTML Parser 等，各功能說明分述如下[26]。
I. 模糊搜尋機制
提供模糊運算與判斷，建立搜尋相關之關鍵詞字庫，以關鍵詞字庫內容主動 向比價網和相關網站進行搜尋。
II. HTML Crawler
將比價網和相關網站搜尋後之結果，如回傳之各個電子商務網站內容進行
Crawl，追蹤相關連結之網頁並將 HTML 內容暫存。
III. HTML Parser
將 HTML Crawler 取得之 HTML 進行 HTML tag 解讀，取得主要資訊，並有 效去除相關特殊字元(如單引號和雙引號)和避免 SQL Injection 等攻擊問題，建立 商品價格 Corpus 以利後續之比價推薦機制之推論。
(2) 比價推薦機制(Price Comparing Recommendation Mechanism, PCRM)
商品比價推薦子系統(MRS)提供比價推薦機制，透過商品價格資訊擷取代理 人取得相關商品於各個電子商務網站中之價格進行比較，提供 Price-Oriented Recommendation 的方式，讓使用者快速了解相關價格區間，取得最低價位之同 等商品相關資訊，以決定是否購買該商品。
4.2 系統效能評估
本節將針對影像辨識時間、影像辨識正確率、商品評論摘要正確率分別進行 評估與分析，以驗證方法的可行性和準確度。
4.2.1 影像辨識時間分析
影像辨識時間的長度與圖片的解析度高度相關，當圖片解析度越高時，將需 要花費更長久的處理時間。因此，本研究主要選擇數個較常見的圖片解析度格式 (如：240x320、480x320、640x480、800x480、800x600、1024x768、以及 1280x960) 進行實驗。在實驗中令每個圖片解析度格式各實驗 100 次，再取平均值觀察每個
圖片解析度格式所需之影像辨識時間長度。實驗結果顯示，在“240x320”、
“480x320”、“640x480”、“800x480”、“800x600”、“1024x768”、以及“1280x960”
的格式中，影像辨識時間長度分別為 0.38 秒、0.85 秒、1.55 秒、1.55 秒、1.82 秒、3.27 秒、以及 5.46 秒，如圖 14 所示。
圖 14、在不同圖片解析度之商品辨識時間分析
4.2.2 影像辨識正確率分析
本研究收集每項商品 240 張(24 個商品，每個商品各 10 張)商品照片來進行 模式訓練，資源來源為各個商品網站或拍賣網站所提供之公開資料、以及自己所 拍攝之照片。在此章節中將採用 k-fold cross-validation 方法來進行系統效能評 估，將每筆資料分別進行交叉訓練和測試評估，其中資料筆數共 240 筆(k = 240)。
首先，取出一筆資料為測試資料，其他 239 筆資料進行模式訓練；當訓練結束後，
再將測試資料輸入進行評估，並判斷正確率。依上述方式將每筆資料進行測試，
累計重覆執行 240 回。
實驗採用 Gradient Magnitude Image (GMI)、Region Adjacency Graph (RAG)、
k-Nearest Neighbor (kNN)、或 Self-Organizing Maps (SOM)等方法進行商品種類辨
識，實驗數據如表 3 和圖 15 所示。其中由於採用 RAG 演算法時，將與面積比例 最大的前 k 個區塊高度相關，因此在本研究中將 k 值設為 5~9，分別以 kNN 演算 法和 SOM 演算法分別進行正確率分析。實驗結果顯示若採用 kNN 演算法，正確 率分別為 22.08%、36.67%、43.33%、47.92%、以及 48.33%；但當改採用 SOM 則可改善為 76.25%、78.33%、80.83%、81.25%、以及 81.25%。因此，本研究在 RAG 演算法的部分將取出面積比例最大的前 k 個區塊的影像特徵，再利用 SOM 演算法結合 GMI 和 RAG 進行 MMEP 實作，並在 4.2 節中以 Case Study 的方式 進行實例展示。
表 3、在不同最大區塊數量下之商品辨識正確率分析
the number of the largest segments (k) GMI+RAG+kNN GMI+RAG+SOM
5 22.08% 76.25%
6 36.67% 78.33%
7 43.33% 80.83%
8 47.92% 81.25%
9 48.33% 81.25%
圖 15、在不同最大區塊數量下之商品辨識正確率分析
4.2.3 商品評論摘要正確率分析
本實驗將部落格內容擷取代理人(BCRA)於 Google blog search engine 中找到 的文章中隨機挑選 12 篇，並將文章分配 4 位專家以取得這些文章正確的摘要句 子。在此章節中將採用 k-fold cross-validation 方法來進行系統效能評估，將每筆 資料分別進行交叉訓練和測試評估，其中資料筆數共 12 筆(k = 12)。首先，取出
圖 16-a、商品評論摘要內容(MEAD) 圖 16-b、商品評論摘要內容(MMEP)
4.3 案例展示
行動式商品評鑑平台(MMEP)主要先由使用者進行商品拍照並上傳至伺服 器，再進行即時商品辨識、商品評論摘要、商品比價等服務，如圖 17 所示。
待評鑑商品
拍照和傳輸照片
即時商品辨識系統
即時傳輸服務 商品辨識技術 即時商品辨識
商品評論建議系統
部落格文章代理人 多文件自動摘要
商品比價推薦系統
商品資訊代理人 比價推薦機制 商品比價推薦 商品評論摘要
圖 17、系統操作流程
Step 1: 當使用者走在路上看到有購買衝動的商品時，可以拿起手機隨手拍 下。
Step 2: 將照片上傳至評鑑系統，連結到『行動式商品評鑑平台』，點選『瀏 覽』選擇圖片，如圖 18-a、18-b、18-c 所示。
Step 3: 即時商品辨識子系統(RMIS) 接收到圖片影像後，將自動進行商品辨 識，會即時結合區塊相鄰圖(Region Adjacency Graph, RAG)和自我組織映射圖網 路(Self-Organizing Maps, SOM)進行影像處理與分類，而進行商品辨識尋找符合 的商品，並列出此商品相關資訊供使用者參考，如圖 19 所示。
圖 18-a、即時商品辨識(手機版)
圖 18-b、即時商品辨識(Facebook 版) 圖 18-c、即時商品辨識(Google Gadget 版)
照片上傳
行商品價格相關資訊進行搜尋，於各個電子商務網站中找尋相關商品價格資訊，