• 沒有找到結果。

第三章 台灣區花卉資料倉儲資料整合實作

3.1 系統架構與資料倉儲架構

3.1.1 系統架構

建置完成總資料倉儲系統,在於硬體層面上,將資料處理部份與檔案發佈部份分別由 兩台主要IBM e-server 來進行處理。首先經由負責資料傳輸與轉換的 e-server 1-2 主機,接 著再由e-server 1-1 負責權限控管與檔案發佈網路。再者,對於台北、彰化、台中、台南、

高雄各家資料超市完整硬體設施建置如圖3.1 所示,依序由上而下分別代表第一台 e-server 2-1 為存放台北資料超市之主機、第二台 e-server 2-2 為存放彰化資料超市之主機、第三台 e-server 2-3 為存放台中與台南資料超市之主機以及最後建置完成之第四台 e-server 2-4 為 存放高雄資料超市之主機。然而最右邊名為e-server 1-1 主機主要負責將總資料倉儲的檔案 進一步的發佈於網路上,最後中間名為e server 1-1 的主機,則是存放總資料倉儲的資料庫 檔案*.mdf。表 3.1 將予以各主機之命名及其他相關屬性做詳細的整理與概要介紹。

總倉儲實體系統架構如圖3.1 所示,每台 IBM 主機皆以 Hub 的方式接到防火牆(如圖 3.1 實線部分),其中 e-server 1-2 透過 SQL Server 建立起遠端伺服器連線機制。SQL Server 可以透過防火牆內部網路,直接讀取Domain Name 來達到對應其他各伺服器資料的存取依 據。如圖3.2 所示, SQL Server 的群組底下在於先前已建立完成四個伺服器連線,加上新 設 立 的 伺 服 器 連 線 , 共 五 大 伺 服 器 連 線 。FI1 為 存 放 總 資 料 倉 儲 之 本 機 伺 服 器 , FLOWERDB2 為彰化資料超市之伺服器,FLOWERDB3 為台中與台南資料超市共用之伺 服器,SCFS01 為台北資料超市之伺服器,KSFLOWERDB 為高雄資料超市之伺服器。e- server 1-2 透過遠端伺服器連線(如圖 3.1 虛線部分),進行每日自動化資料轉換服務,並將 五家資料超市的資料自動轉換至總資料倉儲中。此部分連線需透過資料轉換服務進行,如 圖3.3 分別為左上角台北拍賣 DTS1-1、左下角台中拍賣 DTS1-2、右上角彰化拍賣 DTS1-3、

右下角台南拍賣DTS1-4 之連線畫面與設定。加上圖 3.4 高雄拍賣 DTS1-5 之連線畫面與設 定,然後當e-server1-2 透過 cognos 套裝軟體建立報表檔案*.pyi 與超方體檔案*.mdc,將超 方體檔案透過防火牆通過網路連線時,複製超方體檔案存放至e server 1-1,此部分運作是 由e-server1-2 透過網路磁碟機的設定完成連線。

如圖3.5 所示網路磁碟機 F 槽,Fdatabase 為 e-server 1-1 所屬的 Domain Name;在自 動化更新轉換程序當中,需要將特定語法設定在自動化Macro(DTS_5),圖 3.6 為複製檔案 至網路磁碟機之語法畫面;e-server 1-1 為存放權限控管相關資料之檔案,以及將 e server 1-2 所產生之超方體檔案,透過cognos 的套裝軟體 PPES(PowerPlay Enterprise Server),將超方 體即時發佈至網路上,讓使用者可以隨時透過網路並藉由網頁進行一連串之線上分析處 理。

圖3.1 總倉儲實體系統架構圖

然而,一個系統網路安全機制是有某種重要性存在的,因此,在選擇防火牆軟硬體方 面,需要特別謹慎並多做比較之。在此系統中所使用 NetScreen 防火牆系列,主要可分為 兩個層面:

1. 企業內部網路(Intranet)

伺服器連線

資料轉換服務 台北DM

Domain Name:SFCS01

彰化DM

Domain Name:FLOWERDB2

台中DM 台南DM

Domain Name:FLOWERDB3

Internet

區域網路連線

e-server 1-2 DW

DTS

Domain Name:

FI1

Domain Name:

Fdatabase

e-server 1-1

高雄DM

Domain Name:KSFLOWERDB

防火牆(Hub)

NetScreen 的出現改寫了防火牆的效能標準,傳輸速率則破紀錄地達到 100 Mbps 全線速。並且它所採用的是具革命性的『軟硬體架構』所設計的 Netscreen 防火牆,

其設計目的在讓各企業能利用最為經濟的方式來擁有最安全、最容易使用與最高效能 的新一代防火牆,消除一般傳統式軟體防火牆所造成的傳輸瓶頸。

NetScreen 不僅能在您連接網際網路時,保護公司內部網路的安全,也可做為公司 內部不同子網路(Individual Subnetwork)之間的網路安全防護設備。NetScreen 可以 在您的區域網路中,保護重要的網路設備或資源,確保各部門中機密資料或重要內部 網路伺服器的安全,甚或保衛總裁(CEO)及高層主管個人電腦中敏感的機密資訊。

2. 企業外部網路(Extranet)

NetScreen 的虛擬私人網路(Virtual Private Network)功能,允許您利用網際網路上 的安全隧道來節省公司的成本。藉著 NetScreen 強而有力的處理能力, VPN 功能讓企 業可以安全地『複製遠端資料庫』、執行遠端『備份』、及『管理配置伺服器』的能 力。NetScreen 的 VPN 功能,使得一個要求安全及高性能網路環境的企業體,能藉著 與供應商、合作夥伴及分公司間網際網路,來達到符合成本效益的端對端通訊目的。

最後進一步來看, VPN 除了能節省租用昂貴的私有資料通訊線路,也能提供安全的企 業網路,將企業的支出做最佳的安排。

綜合以上所敘述之兩大層面,其所選用的防火牆,並非使用軟體防火牆,也非硬體防 火牆,而是結合硬體與軟體防火牆之軟硬體防火牆。它不但有著軟體防火牆之使用彈性(企 業可以將軟體防火牆安裝在現有閘道伺服器(gateway)上,而不需要再變更網路架構)與擴充 性(依照目前的安全需求來選擇合適的產品,即使日後需要增加功能,也僅需隨之更新軟體 即可)。而且也具備硬體防火牆之高效能(硬體與作業系統最佳化之組合)與容易安裝的特 性。故選擇它作為花卉計畫使用之軟硬體防火牆,其簡述功能如下所示:

1. 每一個 trust 埠之使用人數最高可達 10 人 (無授權使用人數限制)。

2. 整體防火牆處理效能應可於滿載時達到各介面 75Mbps 的吞吐量或總處理能力 Throughput。

3. 發生告警或攻擊事件時,可以自動利用電子郵件(E-Mail)通知系統管理者。

4. 提供 5 埠 10/100Mbps 之標準高速乙太網路介面。

5. 提供 2000 個(含)以上之同時連線數(Concurrent Sessions)及每秒 2000 新增 Session 的處理能力。

6. 最少可提供 100 個(含)以上之存取過濾條件設定能力。

7. 支援網路位址轉譯功能(Network Address Translation)及連接埠位址轉譯功能(Port Address Translation),並且支援即時告警與記錄(Real time alarming & Logging)等功 能。

8. 支援動態路由 BGP(Border Gateway Protocol)/OSPF(Open shortest Path First)標準,

也就是說邊界閘道協定與先開啟最短的路徑兩者為不同的路由協定標準。

表3.1 各主機項目命名表 硬體代號

(e-server) 主機型號 IP 位置 Domain Name

及資料庫名稱 功能

1-1 IBM e-server

X series 236 140.113.58.186 Fdatabase 提供線上存取服務 1-2 IBM e-server FI1

X series 236 140.113.58.185

Flower2 總資料倉儲 SFCS01

2-1 IBM e-server

X series 235 140.113.58.162

TPCDB 台北資料超市

FLOWERDB2 2-2 IBM e-server

X series 235 140.113.58.180

TenWay1 彰化資料超市 FLOWERDB3

2-3 IBM e-server

X series 235 140.113.58.181

flowers、flower4 台中與台南資料超市 KSFLOWERDB

2-4 IBM e-server

X series 235 140.113.58.187

Kaoshiung 高雄資料超市

圖3.2 SQL Server 連線群組(a)

圖3.3 SQL Server 連線 4 群組(b)

圖3.4 SQL Server 連線群組(c)

圖3.5 網路磁碟機畫面

圖3.6 檔案複製到網路磁碟機語法畫面

cd\

F:

copy o 總倉儲.mdc F:\temp\

從圖3.1 中,由五個資料超市與第二台主機之間的所有資料轉換流程,皆需透過每日 進行的自動化資料轉換服務來完成。在實際時間運作上可參照圖 3.7 資料轉換時刻圖,每 日於五家資料超市個別執行完資料轉換服務後,方能於e-server 1-2 進行總資料倉儲的自動 化資料轉換服務。表3.2 將負責總資料倉儲的兩台 IBM 主機,分別以存放檔案以及執行服 務兩方面做出整理。

圖3.7 資料轉換時刻圖 表3.2 總倉儲主機負責服務整理表

IBM e-server 主機名稱

第一台 第二台

檔案 檔案類型 檔案 檔案類型

存放檔案

.資料庫檔案

.DTS 檔案

.報表檔案

.超方體檔案

mdf dts pyi

mdc

.權限控管檔案

.超方體檔案

lae mdc

執行服務

總資料倉儲之自動化轉換服務

.進行資料轉換服務

.建立超方體

.將超方體透過網路磁碟機複製於 第二台主機

提供線上分析處理服務

.權限控管運作

.檔案發佈至網路上