准备工作
文档版本 12
发布日期 2021-03-31
版权所有 © 华为技术有限公司 2021。 保留一切权利。
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传 播。
商标声明
和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标,由各自的所有人拥有。
注意
您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声 明或保证。
由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
目 录
1 准备工作简介... 1
2 注册帐号并实名认证... 2
3 购买 DGC 实例...3
3.1 购买 DGC 基础包... 3
3.2 (可选)购买 DGC 增量包... 9
4 管理工作空间...17
4.1 创建并管理工作空间... 17
4.2 (可选)修改作业日志存储路径...20
5 授权用户使用 DGC...22
5.1 创建 IAM 用户并授予 DGC 权限... 22
5.2 添加工作空间成员和角色... 23
6 (可选)获取认证信息... 25
1 准备工作简介
您需要完成注册华为云帐号、购买DGC实例、授权用户使用DGC等一系列准备工作,
才能开始DGC的正式使用。
需要进行的准备工作与具体操作请参考后续章节。
图1-1 DGC 准备工作流程简介
2 注册帐号并实名认证
帐号是您访问华为云的责任主体,有关帐号的详细介绍请参见帐号中心。此处介绍如 何注册一个华为云帐号。若您已有华为云帐号,可以略过此部分内容。
1. 打开华为云网站www.huaweicloud.com。
2. 单击页面右上角的“注册”按钮。
3. 在注册页面,根据页面提示完成帐号注册。
为了能够给您提供更好的云服务使用体验,建议您优先完成实名认证。实名认证分为 个人帐号和企业帐号认证,不同帐号类型认证的方法请参考以下链接。若您的帐号已 通过实名认证,可以略过此部分内容。
● 个人帐号如何完成实名认证
● 企业帐号如何完成实名认证
说明
● 实名认证信息提交后,请耐心等待审核结果,最长3个工作日内完成审核。
● 实名认证通过后需要40分钟才能生效。
3 购买 DGC 实例
3.1 购买 DGC 基础包
DGC采用基础包+增量包的计费模式,其中基础包即DGC实例,其套餐版本有初级版、
基础版、高级版、专业版和企业版。购买方法请参见购买DGC基础包。
在您正式购买DGC前,如果需要体验DGC云服务,也可以使用DGC试用版。试用的套 餐版本为 “基础版” ,试用期限为30天,到期后需新购DGC任一正式版本才能继续使 用。试用方法请参见试用DGC基础包。
背景信息
● 只有华为云帐号、拥有DAYU Administrator或Tenant Administrator权限的用 户才可以购买DGC实例或DGC增量包。如需购买,您需要给用户授予所需的权 限。
说明
Tenant Administrator策略具有所有云服务的管理员权限(除IAM管理权限之外),为安全 起见,一般不建议给IAM用户授予该权限,请谨慎操作。
前提条件
已申请VPC、子网和安全组,您也可以在购买DGC实例过程中申请VPC、子网和安全 组。
VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。
登录 DGC 控制台
1. 登录华为云控制台。
2. 在控制台左上方,单击“服务列表”按钮 ,选择“数据湖治理中心”,进入 DGC控制台。
购买 DGC 基础包
步骤1 在DGC控制台页面,单击“购买实例”,进入购买DGC实例界面。
步骤2 配置DGC实例参数,各参数说明如表3-1所示。
表3-1 DGC 实例参数
参数名称 样例 说明
计费方式 包年包月 当前DGC基础包仅支持包年包月计费方式。
区域 - 选择实例的区域,不同区域的资源之间内网不互 通。
选择区域时,您需要考虑以下几个因素:
● 地理位置
一般情况下,建议就近选择靠近您或者您的目 标用户的区域,这样可以减少网络时延,提高 访问速度。不过,在基础设施、BGP网络品 质、资源的操作与配置等方面,中国大陆各个 区域间区别不大,如果您或者您的目标用户在 中国大陆,可以不用考虑不同区域造成的网络 时延问题。
曼谷等其他地区和国家提供国际带宽,主要面 向非中国大陆地区的用户。如果您或者您的目 标用户在中国大陆,使用这些区域会有较长的 访问时延,不建议使用。
● 云服务之间的关系
如果多个云服务一起搭配使用,需要注意不同 区域的云服务内网不互通。
例如DGC(包括管理中心、CDM等组件)需 要与MRS、OBS等服务互通时,如果DGC与其 他云服务处于不同区域的情况下,需要通过公 网或者专线打通网络;而在同区域情况下,同 子网、同安全组的不同实例默认网络互通。
● 资源的价格
不同区域的资源价格可能有差异,请参见华为 云服务价格详情。
详情请参见什么是可用区。
企业项目 default DGC实例关联的企业项目。企业项目管理是一种 按企业项目管理云资源的方式,具体请参见《企 业管理用户指南》。
如果已经创建了企业项目,这里才可以选择。当 DGC实例需连接云上服务(如DWS、MRS、RDS 等),还必须确保DGC实例企业项目与该云服务 实例的企业项目相同。
● 一个企业项目下只能购买一个DGC实例。
● 需要与其他云服务互通时,需要确保与其他云 服务的企业项目一致。
参数名称 样例 说明
版本 基础版 选择需要购买的DGC版本,版本差异请参见版本 规格说明。
说明购买初级版/基础版DGC实例时,系统默认会带有免费 的初级版CDM集群(4u8G),初级版CDM集群规格建 议用于体验或测试环境。如需用于生产环境,请选择高 规格DGC版本,或购买高规格批量数据迁移增量包,详 情请参考购买批量数据迁移增量包。
实例名称 DGC-test 自定义DGC实例名称。
可用区 可用区1 第一次购买DGC实例或批增量包时,可用区无要 求。
再次购买DGC实例或增量包时,是否将资源放在 同一可用区内,主要取决于您对容灾能力和网络 时延的要求。
● 如果您的应用需要较高的容灾能力,建议您将 资源部署在同一区域的不同可用区内。
● 如果您的应用要求实例之间的网络延时较低,
则建议您将资源创建在同一可用区内。
详情请参见什么是可用区。
虚拟私有云 vpc1 DGC实例中的批量数据迁移CDM集群所属的 VPC、子网、安全组。
如果DGC实例或CDM集群需连接云上服务(如 DWS、MRS、RDS、DIS等),则您需要确保 CDM集群与该云服务网络互通。同区域情况下,
同虚拟私有云、同子网、同安全组的不同实例默 认网络互通,如果同虚拟私有云而子网或安全组 不同,还需配置路由规则及安全组规则。
VPC、子网、安全组的详细操作,请参见《虚拟 私有云用户指南》。
子网 subnet-1 安全组 sg-1
购买时长 1年 按您的需求选择购买的时长。
续费 - 勾选自动续费前的复选框,可实现自动按月或者 按年续费。
购买时长为按月购买时,自动续费周期为1个月;
购买时长为按年购买时,自动续费周期为1年。
步骤3 查看当前配置,确认无误后单击“立即购买”。
步骤4 单击“提交订单”,付款成功后等待实例创建成功,即可在首页看到已开通的实例。
图3-1 查看 DGC 实例
步骤5 返回DGC控制台首页时,系统会自动弹出“云资源访问授权”的对话框,提示您对所 列出的服务进行委托授权。DGC与这些云服务之间存在业务交互关系,需要与这些云 服务协同工作,因此需要您创建云服务委托,将操作权限委托给DGC,让DGC以您的 身份使用这些云服务,代替您进行一些任务调度、资源运维等工作。
云服务委托包含DWS、MRS、RDS、OBS、SMN、KMS等服务的相关权限,作用范围 可以访问IAM的委托界面查看。 另外子账号以主账号的委托为准,不需要额外申请委 托。
勾选所有服务并单击“同意授权”,系统会自动创建委托。
● 完成了委托授权后,下次再进入DGC控制台首页时,系统不会再弹出访问授权的 对话框。
● 如果您只勾选了其中的某几个服务进行委托授权,下次进入DGC控制台首页时,
系统仍会弹出访问授权的对话框,提示您对未授权的云服务进行访问授权。
图3-2 云资源访问授权
步骤6 在已购买的实例中单击“进入控制台”,进入DGC控制台。
----结束
试用 DGC 基础包
背景信息
● 在您正式购买DGC前,如果需要体验DGC云服务,可以使用DGC试用版。试用的 版本为 “基础版” ,试用期限为30天,到期后需新购DGC任一正式版本才能继 续使用。
● 每个帐号只有一次试用机会。
● 免费试用的基础版DGC实例不包含DGC批量数据迁移集群。如需使用批量数据迁 移,请购买批量数据迁移增量包,详情请参考(可选)购买DGC增量包。
● 您在试用期间可新购DGC任一正式版本,但剩余的试用天数将失效。
● 当免费试用的DGC实例即将到期时,您可以在DGC控制台试用版本DGC实例上单 击“购买DGC实例”进行购买,以继续使用DGC。
在购买DGC实例时,如需保留原有DGC实例中的资源和数据,您需要注意以下几 点:
– 购买DGC实例的区域需和免费试用的DGC实例的区域一致。
– 需购买基础版或更高版本的DGC实例。
– 试用实例的资源默认继承保留至第一个购买成功的实例中。
如果购买的是初级版,则数据开发、数据集成模块的资源和数据将继续保留,数 据治理的资源将被删除。
● 试用期间创建的资源,在使用到期时将无法访问。试用到期后保留7天时间,7天 后将清理。如因未及时购买正式版本导致的损失由您自行承担。
操作步骤
步骤1 在DGC控制台页面,单击“试用基础版”,进入试用DGC界面。
步骤2 配置DGC实例参数,各参数说明如表3-1所示。
表3-2 DGC 实例参数
参数名称 样例 说明
区域 - 选择实例的区域,不同区域的资源之间内网不互 通。
选择区域时,您需要考虑以下几个因素:
● 地理位置
一般情况下,建议就近选择靠近您或者您的目 标用户的区域,这样可以减少网络时延,提高 访问速度。不过,在基础设施、BGP网络品 质、资源的操作与配置等方面,中国大陆各个 区域间区别不大,如果您或者您的目标用户在 中国大陆,可以不用考虑不同区域造成的网络 时延问题。
曼谷等其他地区和国家提供国际带宽,主要面 向非中国大陆地区的用户。如果您或者您的目 标用户在中国大陆,使用这些区域会有较长的 访问时延,不建议使用。
● 云服务之间的关系
如果多个云服务一起搭配使用,需要注意不同 区域的云服务内网不互通。
例如DGC(包括管理中心、CDM等组件)需 要与MRS、OBS等服务互通时,如果DGC与其 他云服务处于不同区域的情况下,需要通过公 网或者专线打通网络;而在同区域情况下,同 子网、同安全组的不同实例默认网络互通。
● 资源的价格
不同区域的资源价格可能有差异,请参见华为 云服务价格详情。
企业项目 default DGC实例关联的企业项目。企业项目管理是一种 按企业项目管理云资源的方式,具体请参见《企 业管理用户指南》。
如果已经创建了企业项目,这里才可以选择。当 DGC实例需连接云上服务(如DWS、MRS、RDS 等),还必须确保DGC实例企业项目与该云服务 实例的企业项目相同。
● 一个企业项目下只能购买一个DGC实例。
● 需要与其他云服务互通时,需要确保与其他云 服务的企业项目一致。
实例名称 DGC-test 自定义DGC实例名称。
步骤3 查看当前配置,确认无误后单击“立即购买”。
步骤4 在弹出的使用协议对话框中勾选同意使用协议,单击“确定”完成试用。
步骤5 返回DGC控制台首页时,系统会自动弹出“云资源访问授权”的对话框,提示您对所 列出的服务进行委托授权。DGC与这些云服务之间存在业务交互关系,需要与这些云
服务协同工作,因此需要您创建云服务委托,将操作权限委托给DGC,让DGC以您的 身份使用这些云服务,代替您进行一些任务调度、资源运维等工作。
云服务委托包含DWS、MRS、RDS、OBS、SMN、KMS等服务的相关权限,作用范围 可以访问IAM的委托界面查看。 另外子账号以主账号的委托为准,不需要额外申请委 托。
勾选所有服务并单击“同意授权”,系统会自动创建委托。
● 完成了委托授权后,下次再进入DGC控制台首页时,系统不会再弹出访问授权的 对话框。
● 如果您只勾选了其中的某几个服务进行委托授权,下次进入DGC控制台首页时,
系统仍会弹出访问授权的对话框,提示您对未授权的云服务进行访问授权。
图3-3 云资源访问授权
步骤6 在已购买的实例中单击“进入控制台”,进入DGC控制台。
----结束
3.2 (可选)购买 DGC 增量包
DGC采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求,您可 以额外购买增量包。在购买增量包前,请确保您已购买DGC实例。
您可以选择购买如下增量包:
● 批量数据迁移增量包
DGC实例中已经包含一个批量数据迁移集群(试用版除外),如果该集群已经满 足需求,您无需再购买批量数据迁移增量包,可以跳过这部分内容。
批量数据迁移提供20+简单易用的迁移能力和多种数据源到数据湖的集成能力,全 向导式配置和管理,支持单表、整库、增量、周期性数据集成。
批量数据迁移增量包支持通过按需计费或套餐包方式计费两种方式购买:
– 按需计费方式购买批量数据迁移集群:按需计费方式比较灵活,可以即开即
停,按实际使用时长计费。
– 套餐包方式购买批量数据迁移集群:套餐包方式相对于按需计费更优惠,对 于长期使用者,推荐该方式。
● 实时数据接入增量包
如果需要使用DIS实时数据接入,在购买DGC基础包实例后,需要购买实时数据接 入增量包。
实时数据接入为处理或分析流数据的自定义应用程序构建数据流管道,主要解决 云服务外的数据实时传输到云服务内的问题。实时数据接入每小时可从数十万种 数据源(例如日志和定位日志事件、网站点击流、社交媒体源等)中连续捕获、
传送和存储数TB数据。
实时数据接入增量包支持通过按需计费或套餐包方式计费两种方式购买:
– 按需计费方式购买实时数据接入通道:按需计费方式比较灵活,可以即开即
停,按实际使用时长计费。
– 套餐包方式购买实时数据接入通道:套餐包方式相对于按需计费更优惠,对
于长期使用者,推荐该方式。
● 数据服务专享集群增量包
数据服务当前提供共享版与专享版两种服务方式。其中共享版数据服务即开即 用;专享版数据服务需要在购买DGC基础包实例后,购买专享版集群增量包。
数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能 力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最 终实现数据资产的变现。专享版与共享版的差异请参见共享版与专享版数据服务 的对比。
– 套餐包方式购买数据服务专享集群的增量包。
背景信息
购买“批量数据迁移/实时数据接入增量包时,需注意如下几点:
● 购买“按需计费”增量包,系统会按照您所选规格自动创建一个批量数据迁移的 集群/实时数据接入通道。
● 购买“套餐包”增量包,系统不会创建批量数据迁移集群/实时数据接入通道。如 果您只购买了一个“套餐包”计费模式的增量包,因为当前没有批量数据迁移集 群/实时数据接入通道,该套餐包不会消耗所购买的时长。
● 如果您希望享受“套餐包”的优惠价格,需要先购买一个“套餐包”增量包,再 购买一个和“套餐包”增量包具有相同区域和规格的“按需计费”增量包。
● 如果您先购买一个“按需计费”增量包,再购买一个和“按需计费”增量包具有 相同区域和规格的“套餐包”增量包,则在购买“套餐包”增量包之前已经产生 的费用按“按需计费”计费,购买“套餐包”增量包之后的费用按“套餐包”计 费。
● 您可以将批量数据迁移集群关机,以降低费用成本。关机期间会产生一定的低额 按需费用,但不会消耗您的套餐包时长。
按需计费方式购买批量数据迁移集群
购买“按需计费”增量包,系统会按照您所选规格自动创建一个批量数据迁移集群。
说明
批量数据迁移集群可以在DGC控制台以增量包的形式购买,也可以在CDM控制台直接购买。
推荐您在DGC控制台以增量包的形式购买,本章节以此为例进行说明。
1. 单击已开通实例卡片上的“购买增量包”。
2. 进入购买DGC增量包页面,参见表3-3进行配置。
表3-3 配置批量数据迁移的增量包
参数 说明
增量包类型 选择批量数据迁移增量包。
计费方式 选择按需计费。
可用区 第一次购买DGC实例或批增量包时,可用区无要求。
再次购买DGC实例或增量包时,是否将资源放在同一可用区内,
主要取决于您对容灾能力和网络时延的要求。
● 如果您的应用需要较高的容灾能力,建议您将资源部署在同一 区域的不同可用区内。
● 如果您的应用要求实例之间的网络延时较低,则建议您将资源 创建在同一可用区内。
详情请参见什么是可用区。
工作空间 选择需要使用批量数据迁移增量包的工作空间。例如在DGC实例 test的A工作空间中购买批量数据迁移的增量包,这里工作空间选 择A。创建成功后,即可通过A工作空间查看到已经创建的批量数 据迁移集群。
集群名称 自定义批量数据迁移集群名称。
实例类型 目前批量数据迁移集群支持以下部分规格供用户选择:
● cdm.large:8核CPU、16G内存的虚拟机,最大带宽/基准带 宽为3/0.8Gbps,能够并发执行的作业个数为20。
● cdm.xlarge:16核CPU、32G内存的虚拟机,最大带宽/基准 带宽为10/4Gbps,能够并发执行的作业个数为100,适合使用 10GE高速带宽进行TB以上的数据量迁移。
● cdm.4xlarge:64核CPU、128G内存的虚拟机,最大带宽/基 准带宽为40/36Gbps,能够并发执行的作业个数为300。
虚拟私有云 DGC实例中的批量数据迁移CDM集群所属的VPC、子网、安全 组。
如果DGC实例或CDM集群需连接云上服务(如DWS、MRS、
RDS、DIS等),则您需要确保CDM集群与该云服务网络互通。
同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默 认网络互通,如果同虚拟私有云而子网或安全组不同,还需配置 路由规则及安全组规则。
VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指 南》。
子网 安全组
须知
集群创建好以后不支持修改规格,如果需要使用更高规格,需要重新创建。
3. 单击“立即购买”,确认规格后单击“创建”。
4. 购买成功后,即可返回对应的工作空间查看已购买的批量数据迁移集群。
套餐包方式购买批量数据迁移集群
如果您希望享受“套餐包”的优惠价格,您需要先购买一个“套餐包”增量包,再购 买一个和“套餐包”增量包具有相同区域和规格的“按需计费”增量包。
说明
批量数据迁移集群可以在DGC控制台以增量包的形式购买,也可以在CDM控制台直接购买。
但需要注意的是,在DGC控制台购买的CDM集群,只能使用在DGC控制台购买的增量包;在 CDM控制台购买的CDM集群,只能使用在CDM控制台购买的增量包。
1. 单击已开通实例卡片上的“购买增量包”。
2. 进入购买DGC增量包页面,按照如下配置:
a. 增量包类型:选择批量数据迁移增量包。
b. 计费方式:选择套餐包。
c. 购买时长:表示此套餐包的有效时长。
d. 购买数量:表示购买套餐包的数量。例如当购买时长选择1个月,购买数量选 择2,那么您将拥有1490小时的额度,有效期是1个月。
3. 单击“立即购买”,确认规格后提交订单。
4. 购买套餐包成功后,系统不会自动创建批量数据迁移集群。此时您还需要参考按 需计费方式购买批量数据迁移集群再购买一个和“套餐包”具有相同区域和规格 的“按需计费”增量包,创建成功后您即可享受套餐包的优惠价格。
按需计费方式购买实时数据接入通道
购买“按需计费”增量包,系统会按照您所选规格自动创建一个实时数据接入通道。
1. 单击已开通实例卡片上的“购买增量包”。
2. 进入购买DGC增量包页面,参见表3-4进行配置。
图3-4 配置实时数据接入增量包
表3-4 配置实时数据接入的增量包
参数 说明
增量包类型 选择实时数据接入增量包。
计费方式 选择按需计费。
工作空间 选择需要使用实时数据接入增量包的工作空间。例如在DGC实例 test的A工作空间中购买实时数据接入的增量包,这里工作空间选 择A。购买成功后,即可通过A工作空间查看到已经创建的通道。
通道名称 用户发送或者接收数据时,需要指定通道名称,通道名称不可重 复。通道名称由英文字母、数字、中划线和下划线组成。长度为 1~64个字符。
通道类型 通道类型分为普通和高级。
● 普通:单分区,最高发送速度可达1MB/秒,最高提取速度可 达2MB/秒。
● 高级:单分区,最高发送速度可达5MB/秒,最高提取速度可 达10MB/秒。
参数 说明
分区数量 分区是数据通道的基本吞吐量单位,通道的多个分区可以并发进 行数据传输,以提升效率。
● 普通通道的分区数量取值范围:1~50的整数,每个租户分区 数量总和不能超过50。
● 高级通道的分区数量取值范围:1~50的整数,每个租户分区 数量总和不能超过50。
分区计算 用户可以根据实际需求通过系统计算得到一个建议的分区数量 值。
1. 单击“分区计算”,弹出“计算所需分区数量”对话框。
2. 根据实际需求填写“平均记录大小”、“最大写入记录数”和
“消费程序数量”,“预估所需分区数量”选项框中将显示所 需的分区数量,此值不可修改。
说明
所需分区计算公式:
● 按流量计算所需写分区数:(所得数值需向上取整后作为分区数)
普通通道:平均记录大小*(1+分区预留比例20%)*最大写入记录 数/(1*1024KB)
高级通道:平均记录大小*(1+分区预留比例20%)*最大写入记录 数/(5*1024KB)
● 按消费程序数量计算读分区数:(消费程序数量/2后的数值需要保 留两位小数,然后乘以“按流量计算所需写分区数”,最终取值需 向上取整)
(消费程序数量/2)*按流量计算所需的写分区数
获取“按流量计算所需写分区数”、“按消费程序数量计算读分区 数”中的最大值作为预估所需分区数量。
3. 单击“使用计算值”将系统计算出的建议值应用于“分区数 量”。
生命周期 存储在实时数据接入通道中的数据保留的最长时间,超过此时长 数据将被清除。
源数据类型 ● BLOB:存储在数据库管理系统中的一组二进制数据。“源数 据类型”选择“BLOB”,则支持的“转储服务类型”为
“OBS”、“MRS”。
● JSON:一种开放的文件格式,以易读的文字为基础,用来传 输由属性值或者序列性的值组成的数据对象。“源数据类型”
选择“JSON”,则支持的“转储服务类型”为“OBS”、
“MRS”、“DLI”、“CloudTable”和“DWS”。
● CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。
“源数据类型”选择“CSV”,则支持的“转储服务类型”为
“OBS”、“MRS”、“DLI”、“DWS”。
自动扩缩容 创建通道的同时是否开启自动扩缩容功能。
说明
用户可在创建通道时定义是否自动扩缩容,也可对已创建的通道修改自动 扩缩容属性。
自动缩容最 小分区数
设置自动缩容的分区下限,自动缩容的目标分区数不小于下限 值。
参数 说明 自动扩容最
大分区数
设置自动扩容的分区上限,自动扩容的目标分区数不超过上限 值。
3. 单击“立即购买”,确认规格后提交。
4. 购买成功后,即可返回对应的工作空间查看已购买的实时数据接入通道。
图3-5 查看通道
套餐包方式购买实时数据接入通道
如果您希望享受“套餐包”的优惠价格,您需要先购买一个“套餐包”增量包,再购 买一个和“套餐包”增量包具有相同区域和规格的“按需计费”增量包。
1. 单击已开通实例卡片上的“购买增量包”。
2. 进入购买DGC增量包页面,按照如下配置:
a. 增量包类型:选择实时数据接入增量包。
b. 计费方式:选择套餐包。
c. 资源包类型:当前只支持普通接入分区。
d. 购买时长:表示此套餐包的有效时长。
e. 购买数量:表示购买套餐包的数量。例如当购买时长选择1个月,购买数量选 择2,那么您将拥有1500小时的额度,有效期是1个月。
3. 单击“立即购买”,确认规格后提交订单。
4. 购买套餐包成功后,系统不会自动创建实时数据接入通道。此时您还需要参考按 需计费方式购买实时数据接入通道再购买一个和“套餐包”具有相同区域和规格 的“按需计费”增量包,创建成功后您即可享受套餐包的优惠价格。
购买数据服务专享集群
步骤1 单击已开通实例卡片上的“购买增量包”。
步骤2 进入购买DGC增量包页面,参见表3-5进行配置。
表3-5 购买数据服务专享版实例参数说明
参数项 说明
增量包类型 选择数据服务专享集群增量包。
计费模式 实例收费方式,当前支持“包年包月”。
参数项 说明
工作空间 选择需要使用数据服务专享集群增量包的工作空间。例如在DGC实 例test的A工作空间中按需购买数据服务专享集群的增量包,这里 工作空间选择A。购买成功后,即可通过A工作空间查看到已经创 建的数据服务专享集群。
可用区 第一次购买DGC实例或批增量包时,可用区无要求。
再次购买DGC实例或增量包时,是否将资源放在同一可用区内,主 要取决于您对容灾能力和网络时延的要求。
● 如果您的应用需要较高的容灾能力,建议您将资源部署在同一 区域的不同可用区内。
● 如果您的应用要求实例之间的网络延时较低,则建议您将资源 创建在同一可用区内。
详情请参见什么是可用区。
集群名称 -
集群描述 可以自定义对当前数据服务专享版集群的描述。
版本 当前数据服务专享版的集群版本。
集群规格 不同实例规格,对API请求的并发支持能力不同。
公网入口 开启“公网入口”,即允许外部服务通过公网地址,调用专享版实 例创建的API。
带宽大小 可配置公网带宽范围。
虚拟私有云/子 网
指为实例绑定到一个虚拟私有云,并为其分配子网。
在相同虚拟私有云中的云服务资源(如ECS),可以使用数据服务 专享版实例的私有地址调用API。
建议将专享版实例和您的其他关联业务配置一个相同的虚拟私有 云,确保网络安全的同时,方便网络配置。
安全组 安全组用于设置端口访问规则,定义哪些端口允许被外部访问,以 及允许访问外部哪些地址与端口。
例如,后端服务部署在外部网络,则需要设置相应的安全组规则,
允许访问后端服务的地址及其监听端口。
说明如果开启公网入口,安全组入方向需要放开80(HTTP)和443(HTTPS)
端口的访问权限。
企业项目 DGC专享版集群关联的企业项目。企业项目管理是一种按企业项目 管理云资源的方式,具体请参见《企业管理用户指南》。
节点数量 - 购买时长 -
步骤3 单击“立即购买”,确认规格后提交。
----结束
4 管理工作空间
4.1 创建并管理工作空间
购买DGC实例的用户,系统将默认为其创建一个默认的工作空间“default”,并赋予 该用户管理员角色。您可以使用默认的工作空间,也可以参考本章节的内容创建一个 新的工作空间。
工作空间作为成员管理、角色和权限分配的基本单元,每个团队都可具有独立的工作 空间。工作空间从系统层面为管理者提供对使用DGC的用户(成员)权限、资源、
DGC底层计算引擎配置的管理能力。为实现多角色协同开发,管理员可将相关用户加 入到工作空间,并赋予DGC预设的项目管理员、开发者、运维者、访客等角色,其他 帐号也只有在加入工作空间并被分配权限后,才可具备管理中心、数据集成、数据规 范、数据开发、数据资产、数据质量、数据服务、数据安全模块系列的操作权限。
约束限制
存储作业日志和脏数据依赖于OBS服务;如无OBS服务,则不支持作业日志和脏数据 存储。
前提条件
请参见购买DGC基础包,确认已购买DGC实例。
背景说明
● 购买DGC实例的用户,具有创建工作空间的权限。DGC将默认为其创建一个 default工作空间,并赋予该用户管理员角色。
● 在主帐号创建的DGC实例中,该帐号下的IAM用户如需创建工作空间,需要由主 帐号给IAM用户赋予DAYU Administrator或Tenant Administrator权限。在子 用户创建的DGC实例中,主帐号默认具有该DGC实例的所有执行权限。
● 工作空间创建成功后,暂不支持删除空间的操作,您可以将不需要的工作空间禁 用,以后仍可以重新启用工作空间。
● 赋予了DAYU User权限的用户,只有当其被添加为工作空间的成员后,才可以访 问该工作空间。
创建工作空间
1. 使用DAYU Administrator或管理员帐号进入DGC控制台。
2. 单击控制台的“空间管理”页签,进入工作空间页面。
3. 单击“新建”,在空间信息页面请根据页面提示配置参数,参数说明如表4-1所 示,配置完成后,单击“确定”完成工作空间的创建。
图4-1 空间信息
表4-1 新建空间参数说明
参数名 说明
空间名称 空间名称,只能包含字母、数字、下划线、中划线、中文字 符,且长度不超过32个字符。在当前的DGC实例中,工作空间 名称必须唯一。
空间描述 空间的描述信息。
企业项目 DGC实例关联的企业项目。企业项目管理是一种按企业项目管 理云资源的方式,具体请参见《企业管理用户指南》。
如果已经创建了企业项目,这里才可以选择。当DGC实例需连 接云上服务(如DWS、MRS、RDS等),还必须确保DGC实例 企业项目与该云服务实例的企业项目相同。
● 一个企业项目下只能购买一个DGC实例。
● 需要与其他云服务互通时,需要确保与其他云服务的企业项 目一致。
参数名 说明 作业日志OBS
路径 用于指定DGC数据开发作业的日志存储的OBS桶。工作空间成 员如需使用DGC数据开发,必须具备“作业日志OBS桶”的 读、写权限,否则,在使用过程中,系统将无法正常读、写数 据开发的作业日志。
● 单击“请选择”按钮,您可以选择一个已创建的OBS桶和对 象,系统将基于工作空间全局配置作业日志OBS桶。
● 如果不配置该参数,DGC数据开发的作业日志默认存储在以
“dlf-log-{projectId}”命名的OBS桶中。{projectId}即项目 ID,您可以参考获取项目ID和帐号ID进行获取。
DLI脏数据
OBS路径 用于指定DGC数据开发中DLI SQL执行过程中的脏数据存储的 OBS桶。工作空间成员如需使用DGC数据开发执行DLI SQL,必 须具备“DLI脏数据OBS桶”的读、写权限,否则,在使用过程 中,系统将无法正常读、写DLI SQL执行过程中的脏数据。
● 单击“请选择”按钮,您可以选择一个已创建的OBS桶和对 象,系统将基于工作空间全局配置DLI脏数据OBS桶。
● 如果不配置该参数,DGC数据开发的DLI SQL脏数据默认存 储在以“dlf-log-{projectId}”命名的OBS桶中。
DLM专享版
API配额 该参数对应值分别表示已使用配额/已分配配额/总使用配额/总 分配配额/总配额。
数据服务专享版会对已创建的API按需计费,默认上限为0时,
不可创建API。
初始工作空间具有10个API的试用额度。已分配配额可以修改,
但不能小于已使用配额,不能大于总配额-总分配配额+已分配 配额。
编辑工作空间
1. 登录DGC控制台。
2. 找到所需要的DGC实例,在DGC实例上单击“进入控制台”。然后,选择“空间 管理”页签。
3. 在“空间管理”页面,找到所需编辑的工作空间,单击其所在行的“编辑”,此 时显示“空间信息”页面。
4. 在“空间信息”页面的最上方,单击编辑按钮,您就可以编辑空间信息以及管理 空间成员,请根据页面提示进行配置。
5. 配置完成后,在“空间信息”页面的最上方单击保存按通过成功以保存配置。
禁用工作空间
工作空间创建成功后,默认为启用状态。如果您不再需要某个工作空间,DGC暂不支 持删除空间的操作,您可以将工作空间禁用,以后仍可以将其重新启用。
说明
工作空间被禁用后,您将无法再访问工作空间,无法编辑工作空间内的工作项,工作空间内调度 作业将停止运行。
工作空间内购买的批量数据迁移集群及实时数据接入通道仍会继续计费。
1. 登录DGC控制台。
2. 找到所需要的DGC实例,在DGC实例上单击“进入控制台”。然后,选择“空间 管理”页签。
3. 在“空间管理”页面,找到所需禁用的工作空间,单击其所在行的状态按钮
。
4. 在“禁用”对话框中,了解禁用空间的影响后,如果确认要禁用空间,请单击
“确定”。
启用工作空间
1. 登录DGC控制台。
2. 找到所需要的DGC实例,在DGC实例上单击“进入控制台”。然后,选择“空间 管理”页签。
3. 在“空间管理”页面,找到所需启用的工作空间,单击其所在行的状态按钮 按钮。
4. 在“启用”对话框中,如果确认启用,请单击“确定”。
4.2 (可选)修改作业日志存储路径
作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,您也可以自 定义日志存储路径,数据开发模块支持您基于工作区全局配置OBS桶。
约束限制
该功能依赖于OBS服务。
前提条件
修改作业日志存储路径的用户,需要满足如下任一条件:
● 帐号为拥有管理员权限的用户。
● DAYU User权限的用户,但需是当前工作空间的管理员。
修改方法
1. 使用DAYU Administrator或管理员帐号进入DGC控制台。
2. 单击控制台的“空间管理”页签,进入工作空间页面。
3. 单击待修改工作空间对应的“编辑”按钮。
4. 在空间信息页面中,单击空间信息后 的“编辑”,该空间信息置于可编辑状态。
单击作业日志OBS路径后的“请选择”按钮,重新选择日志存储路径,可选择某 个具体的目录。
图4-2 修改日志路径
5. 修改完成后,单击“保存”,即完成作业日志存储路径的自定义修改。
5 授权用户使用 DGC
5.1 创建 IAM 用户并授予 DGC 权限
如果您需要对您所拥有的DGC进行精细的权限管理,您可以使用统一身份认证服务
(Identity and Access Management,简称IAM)。通过IAM,您可以:
● 根据企业的业务组织,在您的华为云帐号中,给企业中不同职能部门的员工创建 IAM用户,让员工拥有唯一安全凭证,并使用DGC资源。
● 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。
● 将DGC资源委托给更专业、高效的其他华为云帐号或者云服务,这些帐号或者云 服务可以根据权限进行代运维。
如果华为云帐号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章 节,不影响您使用DGC服务的其它功能。
本章节为您介绍对用户授权的方法,操作流程如创建IAM用户并授予DGC权限所示。
背景信息
● 给用户组授权之前,请您了解用户组可以添加的DGC工作空间角色权限,并结合 实际需求进行选择。DGC支持的系统权限,请参见DGC权限管理。
● 若您需要对除DGC之外的其它服务授权,IAM支持服务的所有权限请参见系统权 限。
创建 IAM 用户并授予 DGC 权限
1. 创建用户组并授权。使用华为云帐号登录IAM控制台,创建用户组,并授予DGC 的普通用户权限,如“DAYU User”。
创建用户组并授权的具体操作,请参见创建用户组并授权。
说明
● 配置用户组的DGC权限时,注意选择权限的作用范围为“区域级项目”,搜索框中输入 权限名“DAYU”进行搜索,然后勾选需要授予用户组的权限,如“DAYU User”。
● 如果您需要给IAM用户创建工作空间的权限,则需要给IAM用户授予“DAYU
Administrator”权限,“DAYU Administrator”权限具有DGC服务的所有执行权限。
2. 创建用户并加入用户组。在IAM控制台创建用户,并将其加入步骤1中创建的用户 组。
创建用户并加入用户组的具体操作,请参见创建用户并加入用户组。
5.2 添加工作空间成员和角色
工作空间成员共有管理员、开发者、运维者和访客四种角色可被分配,工作空间创建 者默认为管理员角色。角色的权限说明请参见权限列表章节。
如果您只打算本人使用DGC实例,可跳过本章节的操作。
如果您需要邀请其他用户协同使用DGC实例,请先参考创建IAM用户并授予DGC权限 的操作准备必要的用户,然后参考本章节将该用户添加为工作空间成员。
背景信息
DAYU Administrator或管理员帐号可以在工作空间中添加成员。
添加成员和角色
1. 登录DGC控制台,进入工作空间列表页面。
2. 单击相应工作空间列表后的“编辑”,进入成员空间页面。
3. 单击空间成员下的“添加”,在弹出的“添加成员”对话框中选择“按用户添 加”或“按用户组添加”,然后从“成员账号”的下拉选项中选择用户或用户 组,并设置角色。
图5-1 添加成员
4. 单击“确定”即可添加成功。添加完成后,您可以在空间成员列表中查看或修改 已有的成员和对应角色,也可将空间成员从工作空间中删除。
移除空间成员
1. 登录DGC控制台,进入工作空间列表页面。
2. 在“空间管理”页面,找到需要移除成员的工作空间,单击其所在行“操作”列 的“编辑”。
3. 进入空间信息页面后,在成员列表中勾选所需移除的成员,单击“移除”按钮。
说明
工作空间的所有者不能被删除。
4. 在“移除”对话框中,如果确认要移除成员,请单击“确定”。
6 (可选)获取认证信息
在使用DGC时,您可能需要获取访问密钥、项目ID、终端节点等信息,获取方式如 下。
获取访问密钥
您可以通过如下方式获取访问密钥。
1. 登录控制台,在用户名下拉列表中选择“我的凭证”。
2. 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图6-1所示。
图6-1 单击新增访问密钥
3. 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器 默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥
(Access Key Id和Secret Access Key)。
说明
● 每个用户仅允许新增两个访问密钥。
● 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控 制台界面获取。请在生成后妥善保管。
获取项目 ID 和帐号 ID
项目ID表示租户的资源,帐号ID对应当前帐号。用户可在对应页面下查看不同Region 对应的项目ID和帐号ID。
1. 注册并登录管理控制台。
2. 在用户名的下拉列表中单击“我的凭证”。
3. 在“我的凭证”页面,查看帐号名和帐号ID,在项目列表中查看项目ID。
获取 DGC 实例 ID 和工作空间 ID
DGC的实例ID和工作空间ID可以从DGC控制台的URI链接中获取。
1. 在DGC控制台首页,选择对应工作空间,并点击任一模块,如“管理中心”。
图6-2 选择管理中心
2. 进入管理中心页面后,从浏览器地址栏中获取“instanceId”和“workspace”对 应的值,即为DGC的实例ID和工作空间ID。
如图6-3所示,实例ID为6b88…2688,工作空间ID为1dd3bc…d93f0。
图6-3 获取实例 ID 和工作空间 ID
获取终端节点
终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。
数据湖治理中心的终端节点如下表所示,请您根据业务需要选择对应区域的终端节 点。
表6-1 批量数据迁移 Endpoint
区域名称 区域 终端节点(Endpoint) 协议类型 华北-北京
一
cn-north-1 cdm.cn-north-1.myhuaweicloud.com HTTPS
华北-北京
四 cn-north-4 cdm.cn-north-4.myhuaweicloud.com HTTPS 华东-上海
二 cn-east-2 cdm.cn-east-2.myhuaweicloud.com HTTPS 华东-上海
一 cn-east-3 cdm.cn-east-3.myhuaweicloud.com HTTPS 华南-广州 cn-south-1 cdm.cn-south-1.myhuaweicloud.com HTTPS
表6-2 数据接入 Endpoint
区域名称 区域 终端节点(Endpoint) 协议类型 华北-北京
四 cn-north-4 dis.cn-north-4.myhuaweicloud.com HTTPS 华北-北京
一 cn-north-1 dis.cn-north-1.myhuaweicloud.com HTTPS 华东-上海
二 cn-east-2 dis.cn-east-2.myhuaweicloud.com HTTPS 华东-上海
一 cn-east-3 dis.cn-east-3.myhuaweicloud.com HTTPS 华南-广州 cn-south-1 dis.cn-south-1.myhuaweicloud.com HTTPS
表6-3 数据开发 Endpoint
区域名称 区域 终端节点(Endpoint) 协议类型 华北-北京
一 cn-north-1 dayu-dlf.cn-
north-1.myhuaweicloud.com HTTPS 华北-北京
二
cn-north-2 dayu-dlf.cn-
north-2.myhuaweicloud.com HTTPS 华北-北京
四
cn-north-4 dayu-dlf.cn-
north-4.myhuaweicloud.com HTTPS 华东-上海
二
cn-east-2 dayu-dlf.cn-
east-2.myhuaweicloud.com HTTPS 华东-上海
一
cn-east-3 dayu-dlf.cn-
east-3.myhuaweicloud.com HTTPS 华南-广州 cn-south-1 dayu-dlf.cn-
south-1.myhuaweicloud.com HTTPS