• 沒有找到結果。

第一章 緒論

本章主要目的為闡述本論文的研究目的、方法與論文整體架構。以下共分成四節,1.1 節為說明研究動機,1.2 節為問題界定及研究目的,1.3 節為研究方法及論文架構。

1.1 研究動機

台灣花卉產業自 2002 年開始,即藉由建置地方花卉資料倉儲(Data Warehouse)[28]來降 低資訊成本並幫助決策進行[4]。2002 年台北花卉資料倉儲[6]成功建立後,彰化花市資料 倉儲[7]也於 2003 年完成建置,其後在 2004 完成台中及台南花市資料倉儲[2][15]。2006 年 陳家瑜[9]完成台灣花卉資料倉儲的整合,上述四座區域性花卉資料倉儲改稱為資料超市 (Data Mart)[28],並同年加入高雄花卉資料超市[14]。五家資料超市與總資料倉儲,再加上 線上分析處理(Online Analytical Processing, OLAP)[25]系統,即構成「批發資訊分享熱線」

(Wholesale Information Sharing Hotline, WISH)[4]系統。透過批發資訊分享熱線提供的線上 分析處理功能,各地的花卉交易資料得以互相交流,促進價格透明化。對於學術界而言,

台灣花卉資料倉儲保存多年花卉拍賣的資料,相當適合進行實證研究;而對於產業界而言,

利用這些資料進行資料挖掘、銷售趨勢分析等,可在決策時擁有更宏觀的思維,並追求利 益極大化。

在各地花卉資料倉儲建置過程中,於 2004 年進行了第一次再設計(Redesign)[16]。然 而近期有使用者[12]反應其中的資料不正確,影響決策進行。除了批發資訊分享熱線外,

2

台灣花卉資料倉儲採用維度資料模型(Dimensional Data Modeling)[28]建置,其中造成 資料錯誤的可能因素有三個:(1)資料倉儲的維度設計錯誤,導致資料無法經由線上分析處 理取得(2)用以清理及轉換資料的 ETL(Extract-Transform-Load)[30]系統運行流程錯誤,例如 判斷流程不正確造成誤刪資料,或是轉換資料不完全等,進而影響倉儲內部資料的正確性 (3)花市提供的原始資料有缺誤,但因批發資訊分享熱線功能複雜,維護困難,造成錯誤未 修正。表 1.1 為各因素產生影響的範圍。

表1.1 資料倉儲錯誤因素影響範圍

(1)維度設計錯誤 (2)ETL 運行流程錯誤 (3)錯誤未修正

花市提供原始資料 正確 正確 錯誤

資料倉儲內部資料 正確 錯誤 錯誤

線上分析處理呈現資料 錯誤 錯誤 錯誤

經過本研究分析發現供應單位維度屬於緩慢改變維度(Slowly Changing Dimension, SCD)[29],而第一次再設計使此維度產生了供應單位不連續問題與供應單位品牌辨識問題,

分別屬於類型(2)和類型(1)錯誤,影響線上分析處理呈現資料的正確性。本論文將針對供應 單位維度進行第二次再設計以改善這些問題。因維度再設計會影響 ETL 系統的架構,因此 ETL 系統也將進行再設計,才能正確轉入資料。本論文希望透過以上再設計的過程,改善 花卉資料倉儲的資料錯誤問題,以期批發資訊分享熱線能更廣泛的應用於產業界與學界。

3 通大學的伺服器,再透過五次資料轉換服務(Data Transformation Services, DTS)[5]把資料匯 入總資料倉儲。第一次資料轉換服務(DTS-1)目的為清理原始資料,使其格式統一,再匯入

4

第三次資料轉換服務(DTS-3)處理供應人與承銷人的登入權限;第四次資料轉換服務(DTS-4) 將資料超市的資料轉入總資料倉儲,完成倉儲的更新;第五次資料轉換服務(DTS-5)將資料 超市及資料倉儲的審計日誌分別篩選淨化,並轉入審計資料庫之中。而上述流程利用 SQL Server 代理程式(SQL Server Agent) [5]排程,可於設定的時間自動進行作業。

FTS DTS-1 DBS DTS-2 DM DTS-4

DTS-3 AC

DW

Agent

DTS-5 DBS

圖1.3 花卉資料倉儲運作流程

由於花卉資料倉儲的改善需由下而上進行,本論文主要針對資料超市層級的供應單位 維度及原始資料至資料超市的 ETL 系統進行再設計。就資料倉儲架構而言,範圍如圖 1.2 虛線框內所示;就 ETL 系統而言,範圍為圖 1.3 的 DTS-1 與 DTS-2 包含的內容。而資料 超市到總倉儲的部份,以及 DTS-4 的內容由張弘[10]完成。

本論文的研究目的在於修正花卉資料超市供應單位維度緩慢改變的問題,以確保資料 超市提供正確無誤的資料給總倉儲。針對供應單位維度緩慢改變,將利用維度再設計來處 理;ETL 系統的再設計部分則透過 SQL Server 整合服務(SQL Server Integration Services, SSIS)[3]進行。

5

相關文件