• 沒有找到結果。

DGC规范设计以关系建模、维度建模理论支撑,实现规范化、可视化、标准化数据模 型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数 据治理方法论。

DGC规范设计建议的数据分层如下:

● SDI (Source Data Integration),又称贴源数据层。SDI是源系统数据的简单落 地。

● DWI (Data Warehouse Integration),又称数据整合层。DWI整合多个源系统数 据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。

● DWR (Data Warehouse Report),又称数据报告层。DWR基于多维模型,和DWI 层数据粒度保持一致。

● DM (Data Mart),又称数据集市。DM面向展现层,数据有多级汇总。

本章节为您介绍如何在DGC平台的“规范设计”模块中实现模型设计,流程如下。

添加审核人

在规范设计中,数据建模流程中的步骤都需要经过审批,因此,需要先添加审核人。

DAYU Administrator角色或该工作空间管理员,具备对应的添加审核人的权限。

1. 在DGC控制台首页,选择对应工作空间的“规范设计”模块,进入规范设计页 面。

3-27 选择规范设计

2. 在规范设计控制台,单击左侧导航树中的“配置中心”,进入相应页面后,选择

“审核人管理”页签,然后单击“添加”按钮。

3. 选择审核人(工作空间管理员或开发者),输入正确的电子邮箱和手机号,单击

“确定”完成审核人添加。

您也可以添加自己当前帐号为审核人,在后续提交审批的相关操作中,支持进行

“自助审批”。

3-28 添加审核人

4. 根据需要,可以添加多个审核人。

管理配置中心

规范设计中提供了丰富的自定义选项,统一通过配置中心提供,您可有根据自己的业 务需要进行自定义配置。

1. 在规范设计控制台,单击左侧菜单栏的“配置中心”,进入配置中心页面。

城市交通 city_traffic 行程记

录 stroke_remin

der 原始记录 origin_stroke 标准记录 stand_stroke 行程事实 stroke_fact 记录统计 stroke_statisti

c

*主题域分组

名称(L1) *主题域分 组编码(L1)

主题域 名称(L2)

主题域编码

(L2) 业务对象 名称(L3)

业务对象编码

(L3)

公共维

度 public_dime

nsion 公共维度 public_dimen sion

3-30 主题设计

操作步骤如下:

步骤1 登录DGC控制台。找到已创建的DGC实例,单击实例卡片上的“进入控制台”。

步骤2 在工作空间概览列表中,找到所需要的工作空间,单击“规范设计”,进入规范设计 控制台。

步骤3 在规范设计控制台,单击左侧菜单栏的“配置中心”。选择“ 主题层级”,使用默认 的3层层级。

L1-L7表示主题层级,默认3层,最大7层,最少2层,最后一层是业务对象,其他层级 名称可编辑修改。配置中心配置的层级数,将在“主题设计”模块生效。

3-31 配置主题层级

步骤4 在规范设计控制台,单击左侧菜单栏的“主题设计”,进入相应页面后,单击“新 建”创建L1层主题,即主题域分组。

3-32 新建 L1 层主题

在弹出窗口中,按图3-32所示填写参数,然后单击“确定”完成主题域分组的创建。

步骤5 在L1层主题“城市交通”下,依次新建4个L2层主题,即主题域:行程记录、集团、时 空、公共维度。

以主题域“行程记录”为例,新建主题域的步骤如下,其他主题域也请参照以下步骤 进行添加:

1. 选中已创建的L1层主题“城市交通”。单击右键,选择“新建”。或者在右侧文 本框内,单击“新建”。

3-33 创建 L2 层主题

2. 在弹出窗口中,“名称”和“编码”请参照表3-6中的“主题域名称”和“主题域 编码”进行填写,其他参数可根据实际情况进行填写,配置完成后单击“确定”

完成主题域的新建。

步骤6 新建业务对象。

● 在主题域“行程记录”下,新建4个业务对象:原始记录、标准记录、行程事实、

记录统计。

● 在主题域“集团”下,新建1个业务对象:供应商。

● 在主题域“时空”下,新建1个业务对象:时间。

● 在主题域“公共维度”下,新建1个业务对象:公共维度。

以在主题域“行程记录”下新建业务对象“原始记录”为例,新建业务对象的步骤如 下,其他业务对象也请参照以下步骤进行添加:

1. 选中已创建的L2层主题“行程记录”。单击右键,选择“新建”。或者在右侧文 本框内,单击“新建”。

新建码表并发布

在本示例中,您需要新建如表3-7所示的3个码表:

3-7 码表

方式 payment_

type 无 付款方式

编码 payment_type

_id BIGINT 无 付款方式

值 payment_type

_value STRING 无 供应

供应

商 vendor 无 供应商id vendor_id BIGINT 无 供应商 vendor_value STRING 无 费率 费率

代码 rate_code 无 费率id rate_code_id BIGINT 无 费率说明 rate_code_val

ue STRING 无

3-34 码表目录树

2. 在弹出框中,输入目录名称,选择目录,然后单击“确定”。

3-35 新建码表目录

步骤3 新建3个码表:付款方式、供应商、费率代码。

以新建“付款方式”码表为例,新建码表步骤如下,其他码表也请参照以下步骤完成

3-36 码表管理

2. 在新建码表页面中,请参考表3-7配置参数,然后单击“保存”。

3-37 新建码表

3. 参考步骤步骤3.1~步骤3.2,在供应商目录下创建供应商码表,在费率目录下创建 费率码表。

3-38 供应商码表

3-39 费率码表

步骤4 分别为付款方式、供应商、费率3个码表填写数值。

在“码表管理”页面,找到码表“付款方式”,然后在该码表所在行选择“更多 > 填 写数值”。在填写数值页面,依次单击“新建”添加如表3-8所示的数值。

3-8 付款方式码表的数值 付款方式编码

payment_type_id

付款方式值

payment_type_value

1 Credit card

2 Cash

3 No charge

4 Dispute

5 Unknown

6 Voided trip

返回“码表管理”页面,找到码表“供应商”,然后在该码表所在行选择“更多 > 填 写数值”。在填写数值页面,依次单击“新建”添加如表3-9所示的数值。

3-9 供应商码表的数值 供应商id

vendor_id

供应商

vendor_value

1 A Company

2 B Company

返回“码表管理”页面,找到码表“费率代码”,然后在该码表所在行选择“更多 >

填写数值”。在填写数值页面,依次单击“新建”添加如表3-10所示的数值。

3-10 费率码表的数值 费率id

rate_code_id

费率说明

rate_code_value

1 Standard rate

2 JFK

3 Newark

4 Nassau or Westchester 5 Negotiated fare

6 Group ride

步骤5 返回码表管理页面后,在码表列表中,选中刚才新建的3个码表,然后单击“发布”发 布码表。

步骤6 在“批量发布”对话框中选择审核人,再单击“确认提交”,等待审核人员审核通过 后,码表发布成功。如果当前帐号具备审核人权限,也可以勾选“自助审批”,直接 提交即可以审核通过。

----结束

新建数据标准并发布

在本示例中,您需要新建如表3-11所示的3个数据标准:

3-11 数据标准

式 payment

_type 长整型 (BIGINT ) (BIGINT )

无 供应商 供应商id 无

费率 费率代

码 rate_code 长整型 (BIGINT )

3-41 新建数据标准目录

步骤4 请参考以下步骤,分别新建3个数据标准:付款方式、供应商、费率。

1. 在数据标准页面的目录树中,选中所需要的目录,然后在右侧页面中单击“新 建”。

2. 在新建数据标准页面中,3个数据标准可分别参考如下配置,配置完成后单击“保 存”。在本示例中,数据标准模板只选取了几个参数,您可以参考配置中心的

“标准模板管理”定制数据标准模板。

3-42 数据标准-付款方式

3-43 数据标准-供应商

3-44 数据标准-费率代码

步骤5 返回数据标准页面后,在列表中勾选刚才新建的3个数据标准,然后单击“发布”发布 数据标准。

步骤6 在“批量发布”对话框中选择审核人,再单击“确认提交”,等待审核人员审核通过 后,数据标准发布成功。如果当前帐号具备审核人权限,也可以勾选“自助审批”,

直接提交即可以审核通过。

----结束

关系建模:新建 SDI 层和 DWI 层两个模型

在关系建模中,分别新建SDI层和DWI层两个关系模型,并通过逆向数据库导入原始数 据表到SDI层的关系模型中,在DWI层模型中新建一个“标准出行数据”的标准化的业 务表。

步骤1 在规范设计控制台,单击左侧导航树中的“关系建模”。

● 如果当前未创建过关系模型,系统会弹出“新建分层治理模型”提示框。您可以 新建一个SDI层关系模型,命名为“sdi”,再新建一个DWI层关系模型,命名为

“dwi”。单击“确定”即可。

3-45 “新建分层治理模型”提示框

● 如果不是首次创建,单击 新建物理模型,如下图所示。

3-46 关系建模页面

a. 先新建一个SDI层关系模型,命名为“sdi”。在物理模型页签中,单击 , 新建模型,配置如下参数,单击“确定”。

3-47 新建 SDI 物理模型

b. 再新建一个DWI层关系模型,命名为“dwi”。在物理模型页签中,单击

,新建模型,配置如下参数,单击“确定”。

3-48 新建 DWI 模型

步骤2 在“数仓分层”页签中,单击新建的SDI关系模型,展开,选中业务对象“城市交通 >

行程记录 > 原始记录”,单击“逆向数据库”,通过逆向数据库,导入原始表。

说明

逆向数据库依赖于数据资产采集,请您确保已对所需逆向的数据库完成数据资产采集。数据资产 采集的具体操作,请参见步骤4:数据资产采集。

3-49 模型目录

在“逆向数据库”窗口中,配置如下所示参数,然后单击“确定”。在本示例中选择 贴源层数据库demo_sdi_db中的原始数据表。

3-50 逆向数据库

逆向数据库成功后,单击“关闭”。您可以在列表中查看导入的表:

3-51 查看表

步骤3 请参照以下步骤,新建一个“标准出行数据”的标准化的业务表。

1. 在“数仓分层”页签中,单击新建的DWI关系模型,展开,选中DWI模型中的业 务对象“城市交通 > 行程记录 > 标准记录”,然后在右侧列表上方单击“新建”

按钮,进入新建表页面。

2. 在新建表的“基本配置”标签页中,配置如下:

3-12 标准出行数据表

*所属主

*表名称 *表编码 *数据连接 数据库 *描述

标准记录 标准出行数

据 dwi_taxi_trip

_data mrs_hive_li

nk demo_dwi_d

b 无

3-52 行程数据表基本配置

3. 点击“下一步”,进入“表字段”标签页。单击“新建”,在标准出行数据表 中,依次添加如表3-13所示的字段,并单击字段供应商编号、费率代码、付款方 式的“数据标准”列中的 按钮,分别关联数据标准“供应商”、“费率代 码”和“付款方式”。添加完成后如图3-53所示。

3-13 标准出行数据表字段

vendor_id 长整型

(BIGINT) 供

(BIGINT) 供