網路探勘應用於電子商務網站之實務性成效驗證

(1)

陶幼慧、莊明達、劉書助，網路探勘應用於電子商務網站之實務性成效驗證，第十一屆 資訊管理暨實務研討會，12 月 10 日，台北實踐大學，資訊管理學會，2005。

網路探勘應用於電子商務網站之績效實驗

陶幼慧

1

莊明達

2

劉書助

2 1

國立高雄大學資管系

2

國立屏東科技大學資管系

摘要文獻中網路探勘技術的相關研究雖多，但鮮少有實際應用的績效探討，而企業網站應用網路探勘的績效評估，文獻中則是既少且難以一窺究竟。本研究目的在以一虛擬電子商務網站，導入網路探勘技術應用的實驗，期望將網路探勘演算法從需求、選擇、設計、實作、執行到績效評估等過程一一呈現，並探討應用實驗之績效與商業意涵。本研究網路探勘技術層面採網路交易習慣探勘（Transaction-oriented Web Usage Mining, TWUM）模式，運用一個類似 Yahoo 購物之典型交易網站作為案例，並依 TWUM 模式推演出適合個案網站採用的演算法，包括關聯法則、馬可夫鏈與序列型樣探勘三個方法。實驗程序是邀請兩組使用者參與二階段交易網站購物之實驗：第一階段實驗收集 160 位使用者之瀏覽行為，用以產生網路探勘之規則；第二階段實驗則是以 60 位使用者之瀏覽行為，探討第一階段實驗所產生探勘規則之可能效益。實驗結果顯示，網路探勘方法應用於電子商務網站的個人化推薦上，確有其可能的效益，但亦有部份決策考量因素，值得應用網路探勘技術時參考。 關鍵字：網路探勘、網路探勘、交易網站、績效評估、實驗設計

1. 緒論

網際網路普及以來，隨著網路應用的不斷翻陳出新，各種網路技術與應用的研究也隨之澎渤發展。其中，網路探勘的相關研究在近幾年更是一大熱門課題，各種研究背景的學者，如資訊、電機、工程，甚至管理等相關科系，均投入大量的研發能量於「網路探勘」相關課題。然而，技術開發導向的研究，於網路探勘演算法的實驗證明，大多僅限於技術指標(如時間、速度)於小型資料量、電腦模擬資料或標竿資料庫的學術性(非實務性)驗證。主要的原因乃技術開發為其研究核心，學術期刊的發表也接受實驗室環境的驗證結果。因此，大多數的技術導向的研究學者，也就不需大費周章想辦法去促成這些技術於商業環境應用下之實用性績效，尤其這通常是吃力不討好的一件工作。然而，這種學術性的新技術驗證趨勢，使得「網路探勘」學術研究與商業網站的「網路探勘」具體應用之間的發展落差很大。隨著網際網路的使用量與應用快速成長，商業網站間的競爭呈現白熱化，「網路探勘」的應用以形成網站競爭力或區隔化的需求，逐漸從網站業者發出。雖然，網路技術的學術研究成果搭配真實網站的驗證，聽起來是一個很理想的雙贏結合，但實際上研究單位與網站業者間的合作，無論從彼此間的預期目標、時程、人力投入、執行過程的管

(2)

控到經費編列等等，都是很大的障礙與挑戰。這也說明為何從商業網站的使用中，很難體會到有太多「網路探勘」應用的脈絡，可是「網路探勘」相關技術發展的層級卻年年快速提升。亞馬遜網站長久以來，就是一個最知名的典型個人化服務的商業網站，可是卻很難提出第二個另人印象深刻的類似商業網站。然而，亞馬遜網站的個人化服務雖然令每位購物會員感受深刻，但實際感受到的「網路探勘」相關技術應用的層次，確遠不如本研究人員了解的現今相關技術發展的層級。綜合上述的觀察，本研究認為欲拉近「網路探勘」技術開發和商業網站應用的差距，學術研究單位應先走出學術性驗證的巢臼，主動嘗試商業導向的衡量指標，開使設計讓使用者參與評量的實驗驗證程序。從最簡單而可行的方式切入實用性的驗證，等此趨勢逐漸形成，在學術研究驗證與商業網站需求都成熟的大環境下，產學合作「網路探勘」新技術開發的結合也就障礙愈少，成功的比率也愈能提升。基於上述原由，本研究主旨在設計並執行一簡單而可行的實用性驗證，以期啟發「網路探勘」技術開發的相關學者，提供未來實用性導向實驗性驗證的具體參考。本研究將以交易導向之網路習慣探勘架構（Transaction-Oriented Web Usage Mining, TWUM）為例(莊明達，2005)，自行開發一虛擬電子商務網站，從事一個兩階段實驗程序，收集受測者瀏覽購物資料，進行「網路探勘」的規則產生與績效衡量。詳細過程將於後續各小節中分別介紹之。

2. 網路交易習慣探勘

交易導向之網路習慣探勘架構如圖 1 所示，內含探勘範疇、流程機制與兩個作為參考的方法對照表(莊明達，2005)。狹義的 TWUM 是真正與商品交易相結合的 WUM (Srivastava et al., 2000)方法，但符合此條件之演算法並不多。因此，本研究採取廣義的 TWUM 定義，是指任何 WUM 方法中，能與商品所在的網頁或商品結合，對商品的交易有潛在的幫助。然而，TWUM 是與典型交易網站緊密結合的一個模式，只要任何 WUM 方法，能直接與商品或典型交易網站最底層的單一商品網頁做結合，便符合其探勘範疇。圖 1. TWUM 架構

(3)

圖 2. 典型電子商務網站架構依據莊明達(2005)的分析，80%的知名電子商務網站，具有三層式典型架構，如圖 2 所示，第一層為商品主要類別、第二層為子類別、第三層則是單一商品的網頁內容。此處的典型電子商務網站的架構，是與一些樹狀網站的階層深度遠大於三層有所區格，因為可適用的網路探勘演算法會有所限制。如圖 3 所示，第二層的 TWUM 探勘流程展示了管理者與 IT 人員，從商業層次的考量到網站上採行演算法的決策過程。通常網站管理者了解一些探勘應用形式，像是個人化、習慣特性、商業智慧、系統改善或網站修改，但管理者可能只知到企業需求，例如預測使用者需要的網頁、行銷決策策略、系統強化、網站重整或發掘有趣的規則等。因此，透過 M3-1 對照表中的分類與應用，雙方可輕易的決定出符合營運所需的探勘類別)。例如有 Business Intelligence 需求的網站便可透過對應選擇 Statistical Analysis、 Association Rules 等探勘類別。一旦找出探勘類別後，便可繼續參照 M3-2 對照表中的演算法與網站，讓網站管理人員考量該採取一種類別中的演算法或是混合多種演算法。數位影像 NIKON BenQ 品牌專區 BENQ Nikon 第一層第二層首頁 BenQC40 第三層

(4)

圖 3. 網路交易習慣探勘之流程機制 TWUM 有漸層表達架構、分層適性的方法應用、應用涵蓋性、可延展性，可擴充性等特性： 1. 漸層表達架構-TWUM 之範疇、機制與方法類別之漸層表達，提供了解其概念由高至低之順序，以及網站經營管理者與系統開發者雙方，達成共識與各取所需的基礎。 2. 分層適性的方法應用-利用分層探勘能夠反映真實網站環境，因而提升應用探勘方法的靈活性與彈性。 3. 完整的應用涵蓋性-在典型的電子商務網站架構下，本模式提供了 WUM 各種方法應用的層級與目的參照表及其相對之流程機制。更甚者，TWUM 模式是一整合性本質，突破了過去各單一 WUM 方法的限制，可結合網站日誌檔、意圖行為與與交易商品，提供 WUM 方法中所有可能情境的整合應用。 4. 可延展性-WUM 現在未含在 TWUM 方法表或未來新的方法，只要能跟網站結構的第三層緊密相關，均可被內入廣義的 TWUM 中。 5. 可複製性-雖然本研究乃依據典型電子商務交易網站的架構，推導出本 WTUM 參考模式。但在最高層次 TWUM 範疇圖的範圍下，三層式模式可輕易複製，並針對非典型電使商務網站架構的特性，修改而成適合之參考模式。因此，本參考模式是一良好之樣板模式，可供其它特定網站結構快速參考修改使用。

3. 實驗設計

本實驗分為兩階段，第一階段實驗主要是收集使用者瀏覽與購買商品的習慣資料，以進行探勘並產生規則。這些如關聯規則、序列型樣與馬可夫鍊所產生的探勘規則，嵌入網站運作之功能模組後再進行第二階段實驗，以評估驗證 TWUM 演算法所產生之績

(5)

效。以下分別介紹模擬案例、兩階段實驗、評量指標、實驗網站及管控機制等設計層面。 3.1 模擬案例 礙於田野實驗需要真實電子網站的投入配合不易，本研究決定採取具代表性的典型電子商務網站的雅虎奇摩購物網站，作為本實驗研究的虛擬案例。在此假設 PC-Zone 是經營 3C 商品的典型購物網站，顧客在網站中購買時，必須以會員方式來進行商品交易。而虛擬網站 PC-Zone 所提供的商品內容、瀏覽型態、交易方式與行銷服務，與其它競爭者並無差異，因此網站經營者想利用網路探勘的技術，為網站營運上帶來更好的績效。 PC-Zone 管理者與網站管理人員參考圖 3 的 TWUM 流程機制，思考應用目的或功能需求，尋求雙方共識可行的改善方案。就現況而言，雖然頁面間不時夾雜著商品促銷訊息或號稱動態提供商品資訊，但仍缺乏個人化，並不是所有的人都接受這個促銷品。如果促銷能較針對個人，較動態改變廣告方式，是不是會有更好的點選率？如果顧客來此網站，瀏覽很多卻不實際購物，是否網站設計不良？如果能協助客戶迅速找到其所需商品，是不是滿意度會增加？因此，透過 TWUM 流程機制往下觀看 M3-1 的「分類與應用對照表」後，可選擇應用目的為 Personalization 或 Site Modification。然對於 Site Modification，因為牽涉到數以千計的網頁與程式，因此對於經營者而言顯得較為不實際。個人化類別中，由於 Clustering 不管是針對所瀏覽過的網頁或是使用者個人資料作群集，在推薦商品或網頁給使用者時並不夠直接，因此僅考慮 Association Rules、Sequential Patterns 與 Dependency Modeling 這三個探勘方法類別作討論。回到 TWUM 流程機制中觀看 M3-2 的「演算法與網站對照表」，找出各種探勘方法中具體的演算法，過程與結果如圖 4 所示。

圖 4 中探勘演算法選擇的考量如下；關聯規則(Association Rules)探勘類別中，最常見的是 Apriori 演算法(Agrawal et al., 1993)。這個方法能找出商品購買的關聯，很適合用來作為商品搭配促銷。一方面考量這方法十分經典又深具實用性。因此在此將其演算法應用在網站第三層中，負責提供商品相關的促銷；序列型樣(Sequential Patterns)中，目前採用 AprioriAll(Chen et al., 1995)演算法，找出使用者在觀看商品類別時的瀏覽序列，以協助使用者進行瀏覽，因此將演算法應用在網站的第一、二層中；Dependency Modeling 中，採用馬可夫鏈(Markov Chain)機率模型。考量到瀏覽網站本身就是網頁間的來回轉換。因此，將馬可夫鏈用在網站的第二層與第三層。

圖 4. TWUM 流程機制參考之過程與結果

(6)

基本了解，便於後續内容之閱讀。關聯規則主要用來找出資料間的相關性，例如有一「床，枕頭→棉被」的關聯規則，其可信度=80%且支持度=30%，其意義為在所有的交易中，有 30% 的交易會同時購買床、枕頭與棉被。而且在所有購買床與枕頭的交易中有 80% 會一起購買棉被。序列型樣目的是要從商品交易資料庫中，找出大部份顧客購物的循序行為，也就是頻繁序列。譬如，假設對某一家大型商場的交易資料庫做分析後，發現一個購買順序為<{原子筆，立可白}{鉛筆盒}> 60% ，這個順序所表示的意義為有百分之 60 的顧客，在同時購買完原子筆和立可白後，下一次購買中會有鉛筆盒。序列型樣的相關研究除了 AprioriAll 外，尚有如 DHP (Direct Hashing and Pruning)的演算法 (Chen et al., 1995)。馬可夫鏈機率模型，主要在考量任一網頁到所有其它網頁瀏覽的各別機率。網頁間如果透過連結而形成網狀拓蹼的話，許多路徑探勘的方法顯然不適用，這時如果利用馬可夫鏈或全階馬可夫等機率模型，依然可計算出下一個比較有可能的網頁來服務給前端使用者。 3.2 第一階段實驗 本階段實驗乃在收集大量受測者瀏覽購物的資料，以進行資料探勘產生有義意的探勘規則，於第二階段實驗中評估其績效。本階段實驗對象，為國立屏東科技大學與國立高雄大學學生共 160 人，在此選擇學生作為受測者，主要是依據創市際市場研究顧問 (2004)所提供的台灣地區網路即媒體使用基礎調查，學生占上網人口的 37.2%，約三分之ㄧ強。另外也根據創市際市場研究顧問(2004)所進行的網路生活型態大調查，線上購物以書籍雜誌(59.4%)與 3C 商品(58.9%)最多，所以利用學生進行實驗有相當的代表性。為讓受測者感受實驗情境如同真實的購物經驗，本研究嘗試一些作法如下：1)提供一個實驗情境-「假設你有一筆 10 萬的預算，欲購買感興趣的 3C 商品，但評估真實需求才購買，預算剩餘很多也無所謂。請在實驗期間內可多次反覆觀看，並可至其它網站參考比較，深思熟慮之後才下手購買需要的商品。」。2) 假設受測者均為理性消費者，會到其它網站比較商品，思考周密之後回來網站交易，因此實驗為期兩個星期。在實驗進行之初的實驗說明中，引導受測者思考 20 分鐘，在現有的預算情形下，會有什麼想買的 3C 產品，並要求受測者尚第一次進入本實驗網站前，先寫出自己的需求清單。3) 為讓受測者感受到研究人員對本實驗的重視，進而相對以認真的心態參與實驗中，實驗網站上的首頁，有完整的實驗說明線上文件，並強調預算在期限內多方比較且深思熟慮後，才進行購買；在個人資料維護、購物籃、結帳等相關畫面均在明顯處，強調要把十萬元預算當成自己的錢在購物的審慎心態。 3.3 第二階段實驗 本階段實驗乃在進行第一階段實驗相同的過程，加上探勘規則的觸發(Trigger)應用，以收集受測者瀏覽購物時，對一些推薦商品反應的資料。本階段實驗對象，為國立屏東科技大學，加上及少許其它學校學生及職場新鮮人共 60 人。每位受測者的實驗為期一天，每天必須登入瀏覽購物三次以上，兩次瀏覽必須間隔兩小時以上，每次瀏覽時間為 15 分鐘以上。此階段實驗人數較少的原因，主要是本階段在測試探勘規則應用之成效，而非收集進行網路探勘所須要的資料，依照慣例測試資料均小於訓練資料，且介於 2：8 或 3：7 之間。因此兩階段實驗人數比 60：160 約為 3：8，大致符合慣例。

(7)

為讓受測者感受實驗情境如同真實的購物經驗，本研究採行如上一階段的作法，但差易如下：1) 實驗情境類似，但時間假設為暑假期間，學生為下學期開學後欲購買的 3C 商品作準備。2) 實驗期間從兩週縮短至一天，但為保持受測者有足夠時間反覆思考與比較，乃有每次花 15 分鐘以上，兩次間隔兩小時以上，進行三次以上商品瀏覽比較的規範。3)本實驗提供參與者餐點一份，希望受測者盛情難卻下能盡力配合。 3.4 評量指標 本實驗評估指標分成整體的評估指標與個別規則的評估指標來看。所謂整體的評估指標是指針對一個推薦方法去評估，評估指標有精確率(precision rate) (Mobasher et al. , 2002)、涵蓋率(coverage rate)與轉換率(conversion rate) (Enhanced Concepts, 2000)。「精確率」用來衡量推薦系統正確提供使用者感興趣網頁的比例，在本研究以使用者點選的推薦商品或網頁佔總推薦次數的比率。「涵蓋率」主要是衡量使用者所瀏覽的網頁中，屬系統推薦的比率，在此則是使用者所購買的商品中，屬於系統推薦的比率。「轉換率」使用者點選商品網頁，實際購買的比率。個別規則的評估指標，是指去評估某個方法中的某個規則的效用。例如有條關聯法則為( PA，PB )，我們就去評估如果購買商品 PA 之後會去購買 PB 的人是否很多、是否影響商品銷售。評估的準則有點選率與購買率：「點選率」是指推薦商品中，消費者感興趣而接受這項推薦進而點選它的比率，與網路行銷中的廣告點選率相同，值得一提的是，點選率僅為點選而已，不包含商品購買，類似整體指標中的「精確率」。「購買率」 (成交率)，意義為當點選所有推薦中，有效讓使用者達成交易的比率。 3.5 實驗網站 本研究 PC-Zone 網站結構分為三層，第一層將為商品類別(圖 4 左方)，作為使用者導覽之用。第二層則是提供了商品搜尋的功能，使用者可以在此選擇所欲觀看的商品詳細分類(圖 4 右方)，使用者可以點選 NOTEBOOK，觀看其中的商品陳列。第三層則是做為商品描述、展示與購買，點選第二層中任一商品選項即可進入。

(8)

圖 5. 實驗網站畫面三類探勘規則應用之畫面與情境說明如下：馬可夫推薦機制用在網站第三層的畫面，從圖 6 中右上角可看到有一個精靈會指示推薦的商品類別連結，此例是從第三層觀看數位相機產品後回第二層時，根據馬可夫機率，推薦觀看的筆記型電腦產品類別；商品關聯推薦則是如圖 7 的畫面，此例中當使用者購買 Mustec 數位相機進入購物籃時，符合關聯規則之前置條件而觸發系統推薦 Sony 筆記型電腦；序列類別的推荐則如圖 8 所示，當消費者決定結帳時，結帳的頁面會趁機推薦符合結帳商品的序列型樣的相關商品類別。此例中，當使用者完成購買電腦後，觸發系統推薦數位相機、燒錄機與印表機這三個與電腦有強列購買順序的商品類別。圖 6. 馬可夫機率之推薦畫面第一層第二層

(9)

圖 7. 關聯探勘規則之推薦畫面圖 8. 序列型樣規則的推薦畫面 3.6 管控機制 本研究為了加強實驗資料收集接近田野實驗的真實性，設計一套簡單的管控機制，以在不干擾受測者實驗進行的原則下，背後監控了解受測者的執行狀況，並在必要的情形下，以 email 提示受測者遵循實驗規則繼續積極參與，這套管控機制也在實驗說明中告知受測者。本管控機制要求受測者註冊成為購物網站會員，如同 yahoo 購物網站，購物必須註冊方能才實際購物，否則僅能瀏覽商品。當實驗開始進行時，每天在固定的時間內觀察受測者的瀏覽記錄，判斷是否達到實驗要求。同時本實驗也設計一張追蹤清單，內含受測者姓名、第一次追蹤、第二次追蹤與第三次追蹤，記錄著受測者實驗情況。如果尚未達到操作要求且很可能造成此受測者資料無效，便可發出 email 或傳訊息告知受測者。原則上，後端的管控確有嚴格執行，但執行上並未發出任何通知給受測者，以營造本研究人原重視本實驗的態度，以相對減少受測者隨意執行本實驗心態的可能性。

(10)

4. 實驗結果與分析

4.1 第一階段實驗結果 實驗起始時間為 2005 年 4 月 21 日，結束時間為 2005 年 5 月 11 日。經過初步分析後，160 位學生共產生交易資料 735 筆。在使用者花費金額方面，平均每人花費 50,284 元，並購買了 4.9 項商品，反應了消費者是具有理性的，不會把 10 萬塊的預算消耗殆盡，而是有思考過、表現出較為合理的需求導向購買行為。從管控機制的資料，約略感覺大多數的學生很配合本次的實驗，兩週內平均上本站瀏覽次數超過七次以上；儘管仍有少數學生仍是敷衍了事，但也適當反應出網路購物部份消費者的型態。 4.2 探勘結果 本小節根據 3.1 節所推演出的三種演算法，簡述第一階段實驗資料的探勘執行過程與結果。本研究所撰寫的演算法使用介面，包括設定三種方法參數與執行，以關聯規則而言，根據黃彥文(2000)將信賴度訂為 40%，支持度定為 7%。支持度是根據探勘結果，反覆觀察所而調整的結果。支持度如此低的原因，是因為第一階段的交易資料僅有 735 筆，對 45 項商品而言尚且適當。經執行關聯規則探勘後，所得二項式關連規則有 7 筆，三項式關連規則有 19 筆，四項式關連規則為 1 筆，共 27 則關連規則產生。幾項式係指關聯規則中的商品數量，而圖 9 為其部份規則的畫面，以第一筆的兩項式 P2、P13 為例，代表購買 P2 這個產品之後，會購買 P13 這個產品。這樣的規則信心為 60% ，在資料庫中出現三次，這個規則只有在以 User 做為資料庫記錄的基本單位才探勘出來。至於對於商品類別的序列型樣探勘，支持度也是透過觀看探勘結果，採取 7%，信賴度則是根據陸坤義(2002)的研究設為 30%。圖 10 則是序列型樣探勘結果，共有 11 筆規則產生，以第一筆為例 PX, CY 代表觀看電腦商品類別後會接著觀看設位相機類別，其在所有資料庫出現的次數為 6 次，這個序列型樣的信心為 33%，而資料源為 S 代表以 Session 探勘與以 User 作為資料來源探勘的結果中，均有此規則。至於馬可夫鍊次數，則是根據瀏覽記錄中，最長的瀏覽序列長度，定為 200 次所產生起始機率與轉移矩陣。圖 11 馬可夫鍊探勘中，左邊的 Transaction Matrix 代表轉移矩陣，以第 3 筆為例，C1-CB, 0.00113765 代表從 C1 網頁轉移到 CB 網頁的機率是 0.00113765；右半部的 Init Array 代表起始機率，例如第二筆為使用者一開始點選 C 這個網頁的機率為 0.1010204。圖 9. 關聯規則探勘結果

(11)

圖 10. 序列型樣探勘結果圖 11. 馬可夫鍊的轉換矩陣計算結果 4.3 第二階段實驗結果 本階段實驗共得交易資料 361 筆，經過篩選後，共得 63 人為合格的使用者。平均每人每次瀏覽時間 15.315 分鐘、購買了 5.3 項商品、花費 68,491 元，因此，推斷使用者可能因為上來次數較為頻繁，比第一階段購買稍多的商品。至於所購買之商品，以「Sony VAIO VGN-B55T」筆記型電腦最多，有 22 筆與「威剛戀鍊碟 512MB」隨身碟有 21 筆。控管的成效雖然有達到要求，然而觀察一些數據，可發現有些受測停留時間過久，可能未必有專心觀看網頁。

(12)

4.4 績效評量分析 第二階段之實驗數據，以下就關聯規則、馬可夫模式及序列型樣探勘，分別探討個別與整體指標之推薦效益。 關聯法則 表 1 顯示是關聯法則推薦的應用結果，欄位包含編號、推薦規則、推薦次數、點選次數、點選率、購買次數與購買率。推薦規則表達是前面一些購買商品與最後一個可能購買商品的相關，例如 P1, P2, P13 代表購買 P1 與 P2 之後可能會購買 P3 產品的關連。從編號可知在所有 27 個規則中總共有 12 個規則被觸發；推薦次數(1)是指這個規則出現次數；點選次數(2)是指看到推薦而點選的次數；點選率(3)是指點選次數除以推薦次數；購買次數(4)是指使用者接受建議而購買的次數，購買率(5)為購買次數除以點選次數。表 1 中推薦次數(1)最多的是編號 4，代表買數位相機推薦筆記型電腦；接著是編號 6，代表買桌上型電腦推薦隨身碟；再來是編號 2，代表買大容量 MP3 推薦燒錄機。另外，從推薦次數得知，三項式的規則觸發次數明顯偏低。而同樣是二項式的關連規則來看，也有明顯的數量區分，例如編號 2、3、4、6 與 10 這幾條規則明顯次數大於 10，可 見經常被觸發。接著觀看點選率(3)，點選率最高的是編號 3 與編號 2，結果與點選次數 (2)大致相符，說明了推薦次數(1)較高，點選次數(2)也較高，可以解釋成消費者對這些推薦規則是比較有興趣的。接著再進一步分析推薦績效，表 1 的購買率(5)，點選次數(4) 較高的規則其購買率(5)也偏高，尤其是編號 2 超過六成，代表使用者對這個規則，普遍能接受。表 1. 關聯法則應用結果編號規則 推薦次數 (1) 點選次數 (2) 點選率 (3)=(1) / (2) 購買次數 (4) 購買率 (5)=(4) / (2) 1 P1,P2,P13 1 0 0 0 0 2 P17 ,P36 27 8 30% 5 63% 3 P2 ,P21 10 6 60% 2 33% 4 P6,P21 48 7 15% 2 29% 5 P1,P2,P21 1 0 0 0 0 6 P24 ,P41 28 5 18% 2 40% 7 P9,P18,P26 3 0 0 0 0 8 P31 ,P34 8 2 26% 1 50% 9 P1,P18,P32 1 1 100% 0 0 10 P32,P41 17 2 12% 2 100% 11 P1,P32,P41 2 0 0 0 0 12 P1,P41,P43 3 0 0 0 0 綜合上述的指標評估分析，關聯規則的推薦結果有下列觀察：第一、近一半的規則被觸發，且其中 7 條規則被點選，命中比率相當高，代表推薦得宜；第二、12 條觸發的規則中，仍有 5 條點選率為 0，且均為低推薦次數的三項式，代表需要更大的樣本數才能了解高項式關聯規則的績效；第三、點選率與購買率成正相關，且很多的購買率超過

(13)

50%，代表這些關聯規則能真實反映使用者興趣。 馬可夫鍊模式 表 2 顯示是馬可夫鍊模式的應用結果，表格欄位同表 1。商品規則是從第三層商品網頁離開時，被觸發的第二層同類商品的推薦，例如表 2 的第一筆資料代表同為筆記型電腦類別的 P10-P11-P12 三個商品。首先觀看推薦次數 (1) ，推薦次數最高的是 P16-P17-P45 與 P1-P2-P9，分別代表大容量 MP3 與數位相機這兩種商品類別最常出現。然而由於馬可夫鍊是採機率原理，並不能解釋成消費者較偏好觀看數位相機與隨身聽，必須做進一步分析。從點選次數(2)與推薦次數(1)相較，可以明顯發現有減少的趨勢。點選次數僅有一、二筆不為零，因此造成推薦的點選率(3)相當低。雖然觸發的次數不少，但點選推薦商品類別的次數卻很少。而購買次數(4)，更是僅有 MP3 隨身聽這個類別有一筆資料。綜合上述的指標評估分析，馬可夫鍊推薦模組的應用中雖然推薦次數不少，但是對推薦感興趣的購物者卻很少，可能的原因為：第一，機率觀點的商品類別推薦與使用者興趣關連不高，造成點選意願低落；第二，馬可夫鍊模式原本就較適合做途徑預測，因此可能不適合做商品推薦。第三，可能使用者早已看過此類商品，所以不去點選推薦。由於馬可夫模式的購買次數僅一筆，很難判定在此案例中真的對商品購買有效益。表 2. 馬可夫鍊模式應用結果 商品類別 推薦次數 (1) 點選次數 (2) 點選率 (3)=(2) / (1) 購買次數 (4) 購買率 (5)=(4) / (2) P10-P11-P12 3 0 0 0 0 P13-P14-P15 2 0 0 0 0 P16-P17-P45 20 2 10% 1 50% P1-P2-P9 16 1 6% 0 0 P21-P22-P23 7 1 14% 0 0 P30-P31-P32 8 0 0 0 0 P36-P37-P38 4 0 0 0 0 P39 P40-P41 9 0 0 0 0 P6-P7-P8 15 0 0 0 0 序列型樣探勘 表 3 顯示是序列型樣類別的應用結果，表格欄位亦同表 1。可以得知最後用在結帳時，推薦商品類別的效果為何？商品類別是指購買商品類別的序列型樣，例如表 3 的第一筆紀錄，是指購買 PX 商品類別後，消費者很可能會再去購買 DY 這個商品類別。因為序列型樣類別推薦，主要是在消費者已經結完帳後，準備登出前做商品類別推薦，所以推薦次數自然會較在其它情境下低。在推薦次數(1)中，最常被引發的類別是 PX，代表筆記型電腦；接著是 PY，代表桌上型電腦。接著看點選率(3)，發現 PY-SX 高達九成，代表購買桌上型電腦後，看到印表機推薦時，消費者願意點選的比例很高；購買率(5)也如此。所有點選率(3)中最低的也有三成，代表這樣的推薦方式頗符合使用者

(14)

興趣，尤其是買電腦願意再買印表機的序列型樣，直觀上頗為合理。然而觀看購買率(5) 的話，由於購買次數(4)有紀錄的不多，因此難以推斷這樣的方式是否對商品銷售有效益？表 3. 序列型樣類別應用結果 商品類別 推薦次數 (1) 點選次數 (2) 點選率 (3)=(2) / (1) 購買次數 (4) 購買率 (5)=(4) / (2) PX-DY 2 0 0 PX-SY 1 1 1 PX-CY 12 1 33% 0 0 CY-SY 2 0 0 CY-MY 6 1 50% 0 0 PY-SX 5 4 90% 3 75% 整體的比較 表 4. 推薦方法的比較三種探勘方法個別分析績效指標後，再以一般推薦系統的角度去比較分析三種方法的整體成效。從表 4 中可知，就推薦次數(1)而言，馬可夫鍊模型與關聯法則推薦次數都大於 100，只有序列型樣推薦的推薦次數僅為 37 次，這主要跟推薦方法所運行的時機有關。本研究的設計是馬可夫鍊模型是使用者瀏覽過程中從第三層的商品網頁回到第二層的商品類別前，所進行的推薦；關聯則是在選購商品完，進入購物車而尚未結帳提供推薦；序列型樣則是在結帳後，準備離開前，所以在推荐次數上這兩種方法顯然較序列型樣為頻繁。從精確率(3)可以發現馬可夫模式非常低。類似於前節的原因分析，本研究認為主要的原因為：第一，會觸發馬可夫機制的使用者，通常比較會反覆觀看商品，所以或許之前已看過這類商品也不足為奇，因此就算真的推薦商品，也未必會點選。第二，使用者或許很認真的思考決策，所以即使推薦精靈出現，也不予理會。第三，使用者在反覆觀看、比較同類商品時，心中已有計較，也無須再理會推薦，因此才會造成精確率過低。第四，馬可夫本來是應用於途徑的預測，本研究拿來在此情境下作一個應用，可能喪失原有的預測功能。對於序列型樣推薦而言，點選率近三成，有不錯的表現，在購買率(5) 也超過三成五，達一定水準，主要原因為：第一，這個推薦方式剛好用在購物流程的末端，提供給使用者額外的商品訊息，很貼切的點醒購物者是否有其他商品還未買到，加 推薦類 別 推薦次 數(1) 點選次 數(2) 精確率 (3)=(2) / (1) 購買次數 (4) 購買率 (5)=(4) / (2) 轉換率 (6)=(4)/(1) 涵蓋率 (7) 馬可夫鍊 141 4 2.8% 1 25% 0.71% 0.3% 關聯 149 37 24% 17 46% 11.41% 5.9% 序列 37 11 30% 4 36% 10.81% 3.8%

(15)

上推薦的商品又比較合理，所以整體來說還算不錯的應用方式。最後是關聯法則的推薦，精確率(3)近二成五，購買率(5)更是達四成五，顯然這個方法所推薦的商品，是最為被大家所接受的。這個推薦得以成功，主要是：第一，推薦的方式在購物流程中較為合理，當使用者把商品買入購物籃時並無其他的網頁可供選擇，不會干擾推薦。第二，商品關聯本身與使用者的興趣或需求無太大出入，所以使用者較能接受。最後的實質的轉換率(5)，關聯法則和序列型樣探勘兩者皆高於 10%，代表這兩種方法每推薦十次，就促成一次成功的商品交易，效益十分驚人。至於馬可夫鍊模式的轉換率小於 1%，從低落的精確率(3)就可看出端倪，也反應了本方法本質上的不適用性。涵 蓋率(7)也反應類似的結果，關聯法則和序列型樣探勘所推薦的網頁，有近 6%與 4%是 使用者瀏覽過的網頁，顯著高於馬可夫模式的0.3%。

5. 討論與結論

本研究最重要的一個實務上的貢獻，乃藉 TWUM 推演出來的探勘方法，真實在本研究所建置的虛擬電子商務網站上，進行接近田野式實驗的網路探勘技術績效之探討。原因為在目前的網路探勘文獻中，強調演算法效益或對網站之貢獻，卻甚少研究或闡述網路探勘對於網站運作上的績效研究，甚至連實驗模擬真實網站的績效研究也付之一闕，更別說一窺其研究之實際效果。本研究的具體結論如下： 1. 本實驗的個案問題的探討過程，間接顯示了 TWUM 架構，能有效的提供網站管理者與經營者，在企業選擇網路探勘時的一個決策參考價值。 2. 本實驗結果證明關聯規則在購物籃畫面，以及序列型樣在結帳畫面的推薦機制，是有顯著的成效。尤其是轉換率皆超過 10%，過程中的點選率與購買率也都不錯。 3. 本實驗結果證明馬可夫鍊模式在第三層的商品網頁轉換到第二層的商品子類別，並無顯著的成效。尤其是轉換率與涵蓋率皆低於 1%，說明了馬可夫鍊模式並不適用於典型電子商務網站的推薦目地下應用。因為馬可夫鍊模式原始的目地是預測，也間接實證了並非應用網路探勘技術，就一定會有成效。方法的適用性與網站營運目標等其它因素必須事先深思熟慮，以免適得其反，得不償失 4. 本實驗結果顯示，推薦次數多不代表有整體績效一定相對較多，因此網路探勘演算法的篩選參數要靈活應用，以免實務應用上落於散彈打鳥的負面印象。例如推薦次數僅 37 次的序列様式的轉換率，也與推薦次數僅 149 次的關聯規則差不多。本研究的限制主要分為兩方面。第一個限制為實驗網站的 45 項商品數量仍舊過少，原因乃為了實驗便於進行、容易追蹤商品的推薦；在真實的交易網站中，商品數量將遠大於 45 項，第一與第二層的商品類別也遠較本實驗複雜許多。另外一個研究限制為推薦機制的採用時機，本實驗僅採一種探勘方法在一種推薦情境的時機。因此，探勘方法的績效僅在該實驗推薦機制下有具體結論，無法作成一般性的結論。未來研究方向主要可以分成兩大主題：第一個主題乃是為了達成具實證研究的效度，日後可尋求一個真實的電子商務網站的合作進行田野實驗，探討真實在企業上的實用性；第二部份為推薦機制的完整實驗，雖然本研究採用三種探勘方法，但僅實驗每種方法於一特定推薦實機下之機效，並無法建議各種探勘方法在那些推薦情境下是有顯著效益的。換句話說，如果馬可夫鍊模式放在購物籃做為推薦機制，是不是會比關連法則

(16)

來的更佳？本研究是無法下定結論的；又如序列型樣探勘與關聯法則本身即有多相似之處，如果今天序列型樣推薦與關聯法則推薦易地而處，是不是會有相同，或者更好的推薦效果？諸如此類的深入問題都有待後續實驗才能回覆。

誌謝

本研究承蒙國科會計畫編號 NSC 94-2416-H-390-004 之部份經費補助，特此感謝。

參考文獻

1. 莊明達(2005)，一個適用於典型電子商務網站架構之交易習慣探勘模式，國立屏東科技大學資訊管理研究所碩士論文。 2. 陸坤義(2002)，應用分層隨機抽樣和動差保留法採掘重要關聯規則之方法，東海大學資訊工程與科學系碩士論文。 3. 創市際市場研究顧問(2004)，InsightXplorer Limited，台灣地區網路即媒體使用基礎調查，http://www.insightxplorer.com/lifestyle/lifestyle_11_04.htm。 4. 創市際市場研究顧問 (2004) ， InsightXplorer Limited ，網路生活型態大調查， http://www.insightxplorer.com/lifestyle/ lifestyle_11_04.htm。 5. 黃彥文(2000)，資料探勘之應用-會員消費特徵之發掘，國立屏東科技大學資訊管理研究所碩士論文。

6. Agrawal, R., T. Imielinski, and A. Swami (1993), Mining Association Rules between Sets of Items in Large Databases, In Proceedings of ACM SIGMOD, 207–216.

7. Chen, M. S., J. S. Park, and P. S. Yu (1995), An Effective Hash-Based Algorithm for Mining Association Rules, In Proceedings of ACM SIGMOD, 24(2):175-186.

8. Cooley, R. B. (2003),“TheUseofweb structureand contentto identify subjectively interesting web usage patterns,” ACM Transactions on Internet Technology, 3(2): 93-116.

9. Enhanced Concepts (2000), Inc, Market Insights, Available at http://www.enhancedconcepts.com/ insights/art-conversionmetrics101.html.

10. Srivastava, J., Cooley, R., Deshpande, M. and Tan, P.-N.(2000) Web Usage Mining: Discovery and Applications of Usage Patterns from Web Data. SIGKDD Explorations 1(2): 12-23.

11. Mobasher, B., H. Dai, T. Luo, M. Nakagawa(2002), Discovery and Evaluation of Aggregate Usage Profiles for Web Personalization, In Data Mining and Knowledge Discovery, Kluwer Publishing, 6(1): 61-82.

(17)

Experimenting the Performance of Web Mining Application in

Electronic Commerce Website Operations

Yu-Hui Tao

1

Ming-Da Chuan

2

Su-Chu Liu

2 1

National University of Kaohsiung

2

National Pingtung University of Science and Technology

Abstract

Among great many literature references on Web usage mining, very few did explore performance evaluations on actual Websites. Reports from commercial Websites with related internal performance evaluation are also hard to find in the literature. This research aims at conducting an experiment of applying Web mining techniques into a virtual electronic commerce Website, and demonstrates the process of Web mining application from requirement, selection, design, implementation, execution to performance evaluation. We adopted the Transaction-oriented Web Usage Mining (TWUM) model, in which a Yahoo-like typical transaction Website is used as a case for deducing appropriate TWUM algorithms. The experiment procedure involves two stages of user shopping in the virtual Website: the first stage of data collection is for applying the Web mining methods of association rule, Markov chain, and sequential pattern to generate resultant rules; the second stage of data collection is to inspect the performance of those mining rules in action. The experimental result shows that two mining methods deduced from TWUM model applied to our virtual Website did demonstrate significant transaction volumes via personalized recommendations.