DGC规范设计以关系建模、维度建模理论支撑,实现规范化、可视化、标准化数据模 型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数 据治理方法论。
DGC规范设计建议的数据分层如下:
● SDI (Source Data Integration),又称贴源数据层。SDI是源系统数据的简单落 地。
● DWI (Data Warehouse Integration),又称数据整合层。DWI整合多个源系统数 据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。
● DWR (Data Warehouse Report),又称数据报告层。DWR基于多维模型,和DWI 层数据粒度保持一致。
● DM (Data Mart),又称数据集市。DM面向展现层,数据有多级汇总。
本章节为您介绍如何在DGC平台的“规范设计”模块中实现模型设计,流程如下。
添加审核人
在规范设计中,数据建模流程中的步骤都需要经过审批,因此,需要先添加审核人。
DAYU Administrator角色或该工作空间管理员,具备对应的添加审核人的权限。
1. 在DGC控制台首页,选择对应工作空间的“规范设计”模块,进入规范设计页 面。
图3-27 选择规范设计
2. 在规范设计控制台,单击左侧导航树中的“配置中心”,进入相应页面后,选择
“审核人管理”页签,然后单击“添加”按钮。
3. 选择审核人(工作空间管理员或开发者),输入正确的电子邮箱和手机号,单击
“确定”完成审核人添加。
您也可以添加自己当前帐号为审核人,在后续提交审批的相关操作中,支持进行
“自助审批”。
图3-28 添加审核人
4. 根据需要,可以添加多个审核人。
管理配置中心
规范设计中提供了丰富的自定义选项,统一通过配置中心提供,您可有根据自己的业 务需要进行自定义配置。
1. 在规范设计控制台,单击左侧菜单栏的“配置中心”,进入配置中心页面。
城市交通 city_traffic 行程记
录 stroke_remin
der 原始记录 origin_stroke 标准记录 stand_stroke 行程事实 stroke_fact 记录统计 stroke_statisti
c
*主题域分组
名称(L1) *主题域分 组编码(L1)
主题域 名称(L2)
主题域编码
(L2) 业务对象 名称(L3)
业务对象编码
(L3)
公共维
度 public_dime
nsion 公共维度 public_dimen sion
图3-30 主题设计
操作步骤如下:
步骤1 登录DGC控制台。找到已创建的DGC实例,单击实例卡片上的“进入控制台”。
步骤2 在工作空间概览列表中,找到所需要的工作空间,单击“规范设计”,进入规范设计 控制台。
步骤3 在规范设计控制台,单击左侧菜单栏的“配置中心”。选择“ 主题层级”,使用默认 的3层层级。
L1-L7表示主题层级,默认3层,最大7层,最少2层,最后一层是业务对象,其他层级 名称可编辑修改。配置中心配置的层级数,将在“主题设计”模块生效。
图3-31 配置主题层级
步骤4 在规范设计控制台,单击左侧菜单栏的“主题设计”,进入相应页面后,单击“新 建”创建L1层主题,即主题域分组。
图3-32 新建 L1 层主题
在弹出窗口中,按图3-32所示填写参数,然后单击“确定”完成主题域分组的创建。
步骤5 在L1层主题“城市交通”下,依次新建4个L2层主题,即主题域:行程记录、集团、时 空、公共维度。
以主题域“行程记录”为例,新建主题域的步骤如下,其他主题域也请参照以下步骤 进行添加:
1. 选中已创建的L1层主题“城市交通”。单击右键,选择“新建”。或者在右侧文 本框内,单击“新建”。
图3-33 创建 L2 层主题
2. 在弹出窗口中,“名称”和“编码”请参照表3-6中的“主题域名称”和“主题域 编码”进行填写,其他参数可根据实际情况进行填写,配置完成后单击“确定”
完成主题域的新建。
步骤6 新建业务对象。
● 在主题域“行程记录”下,新建4个业务对象:原始记录、标准记录、行程事实、
记录统计。
● 在主题域“集团”下,新建1个业务对象:供应商。
● 在主题域“时空”下,新建1个业务对象:时间。
● 在主题域“公共维度”下,新建1个业务对象:公共维度。
以在主题域“行程记录”下新建业务对象“原始记录”为例,新建业务对象的步骤如 下,其他业务对象也请参照以下步骤进行添加:
1. 选中已创建的L2层主题“行程记录”。单击右键,选择“新建”。或者在右侧文 本框内,单击“新建”。
新建码表并发布
在本示例中,您需要新建如表3-7所示的3个码表:
表3-7 码表
方式 payment_
type 无 付款方式
编码 payment_type
_id BIGINT 无 付款方式
值 payment_type
_value STRING 无 供应
商
供应
商 vendor 无 供应商id vendor_id BIGINT 无 供应商 vendor_value STRING 无 费率 费率
代码 rate_code 无 费率id rate_code_id BIGINT 无 费率说明 rate_code_val
ue STRING 无
图3-34 码表目录树
2. 在弹出框中,输入目录名称,选择目录,然后单击“确定”。
图3-35 新建码表目录
步骤3 新建3个码表:付款方式、供应商、费率代码。
以新建“付款方式”码表为例,新建码表步骤如下,其他码表也请参照以下步骤完成
图3-36 码表管理
2. 在新建码表页面中,请参考表3-7配置参数,然后单击“保存”。
图3-37 新建码表
3. 参考步骤步骤3.1~步骤3.2,在供应商目录下创建供应商码表,在费率目录下创建 费率码表。
图3-38 供应商码表
图3-39 费率码表
步骤4 分别为付款方式、供应商、费率3个码表填写数值。
在“码表管理”页面,找到码表“付款方式”,然后在该码表所在行选择“更多 > 填 写数值”。在填写数值页面,依次单击“新建”添加如表3-8所示的数值。
表3-8 付款方式码表的数值 付款方式编码
payment_type_id
付款方式值
payment_type_value
1 Credit card
2 Cash
3 No charge
4 Dispute
5 Unknown
6 Voided trip
返回“码表管理”页面,找到码表“供应商”,然后在该码表所在行选择“更多 > 填 写数值”。在填写数值页面,依次单击“新建”添加如表3-9所示的数值。
表3-9 供应商码表的数值 供应商id
vendor_id
供应商
vendor_value
1 A Company
2 B Company
返回“码表管理”页面,找到码表“费率代码”,然后在该码表所在行选择“更多 >
填写数值”。在填写数值页面,依次单击“新建”添加如表3-10所示的数值。
表3-10 费率码表的数值 费率id
rate_code_id
费率说明
rate_code_value
1 Standard rate
2 JFK
3 Newark
4 Nassau or Westchester 5 Negotiated fare
6 Group ride
步骤5 返回码表管理页面后,在码表列表中,选中刚才新建的3个码表,然后单击“发布”发 布码表。
步骤6 在“批量发布”对话框中选择审核人,再单击“确认提交”,等待审核人员审核通过 后,码表发布成功。如果当前帐号具备审核人权限,也可以勾选“自助审批”,直接 提交即可以审核通过。
----结束
新建数据标准并发布
在本示例中,您需要新建如表3-11所示的3个数据标准:
表3-11 数据标准
式 payment
_type 长整型 (BIGINT ) (BIGINT )
无 供应商 供应商id 无
费率 费率代
码 rate_code 长整型 (BIGINT )
图3-41 新建数据标准目录
步骤4 请参考以下步骤,分别新建3个数据标准:付款方式、供应商、费率。
1. 在数据标准页面的目录树中,选中所需要的目录,然后在右侧页面中单击“新 建”。
2. 在新建数据标准页面中,3个数据标准可分别参考如下配置,配置完成后单击“保 存”。在本示例中,数据标准模板只选取了几个参数,您可以参考配置中心的
“标准模板管理”定制数据标准模板。
图3-42 数据标准-付款方式
图3-43 数据标准-供应商
图3-44 数据标准-费率代码
步骤5 返回数据标准页面后,在列表中勾选刚才新建的3个数据标准,然后单击“发布”发布 数据标准。
步骤6 在“批量发布”对话框中选择审核人,再单击“确认提交”,等待审核人员审核通过 后,数据标准发布成功。如果当前帐号具备审核人权限,也可以勾选“自助审批”,
直接提交即可以审核通过。
----结束
关系建模:新建 SDI 层和 DWI 层两个模型
在关系建模中,分别新建SDI层和DWI层两个关系模型,并通过逆向数据库导入原始数 据表到SDI层的关系模型中,在DWI层模型中新建一个“标准出行数据”的标准化的业 务表。
步骤1 在规范设计控制台,单击左侧导航树中的“关系建模”。
● 如果当前未创建过关系模型,系统会弹出“新建分层治理模型”提示框。您可以 新建一个SDI层关系模型,命名为“sdi”,再新建一个DWI层关系模型,命名为
“dwi”。单击“确定”即可。
图3-45 “新建分层治理模型”提示框
● 如果不是首次创建,单击 新建物理模型,如下图所示。
图3-46 关系建模页面
a. 先新建一个SDI层关系模型,命名为“sdi”。在物理模型页签中,单击 , 新建模型,配置如下参数,单击“确定”。
图3-47 新建 SDI 物理模型
b. 再新建一个DWI层关系模型,命名为“dwi”。在物理模型页签中,单击
,新建模型,配置如下参数,单击“确定”。
图3-48 新建 DWI 模型
步骤2 在“数仓分层”页签中,单击新建的SDI关系模型,展开,选中业务对象“城市交通 >
行程记录 > 原始记录”,单击“逆向数据库”,通过逆向数据库,导入原始表。
说明
逆向数据库依赖于数据资产采集,请您确保已对所需逆向的数据库完成数据资产采集。数据资产 采集的具体操作,请参见步骤4:数据资产采集。
图3-49 模型目录
在“逆向数据库”窗口中,配置如下所示参数,然后单击“确定”。在本示例中选择 贴源层数据库demo_sdi_db中的原始数据表。
图3-50 逆向数据库
逆向数据库成功后,单击“关闭”。您可以在列表中查看导入的表:
图3-51 查看表
步骤3 请参照以下步骤,新建一个“标准出行数据”的标准化的业务表。
1. 在“数仓分层”页签中,单击新建的DWI关系模型,展开,选中DWI模型中的业 务对象“城市交通 > 行程记录 > 标准记录”,然后在右侧列表上方单击“新建”
按钮,进入新建表页面。
2. 在新建表的“基本配置”标签页中,配置如下:
表3-12 标准出行数据表
*所属主
题 *表名称 *表编码 *数据连接 数据库 *描述
标准记录 标准出行数
据 dwi_taxi_trip
_data mrs_hive_li
nk demo_dwi_d
b 无
图3-52 行程数据表基本配置
3. 点击“下一步”,进入“表字段”标签页。单击“新建”,在标准出行数据表 中,依次添加如表3-13所示的字段,并单击字段供应商编号、费率代码、付款方 式的“数据标准”列中的 按钮,分别关联数据标准“供应商”、“费率代 码”和“付款方式”。添加完成后如图3-53所示。
表3-13 标准出行数据表字段
vendor_id 长整型
(BIGINT) 供
(BIGINT) 供