导入资源
3.4 使用教程
3.4.1 新建 MRS Hive 连接
本章节以新建MRS Hive连接为例，介绍如何建立DGC与数据湖底座之间的数据连接。
前提条件
● 在创建数据连接前，请确保您已创建所要连接的数据湖（如DGC所支持的数据 库、云服务等）。
– 在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有 KMS密钥的查看权限。
– 在创建MRS HBase、MRS Hive、MRS Kafka、MRS Ranger、MRS Spark、
MRS Presto类型的数据连接前，需确保您已购买MRS集群，并且在创建数据 链接时已购买选择所需要的组件。
– 在创建RDS类型的数据连接前，请确保您已创建RDS数据库实例。DGC平台 目前仅支持RDS中的MySQL和PostgreSQL数据库引擎。
● 在创建数据连接前，请确保待连接的数据湖与DGC实例之间网络互通。
– 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络，确保数据 源所在的主机可以访问公网，并且防火墙规则已开放连接端口。
– 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件：
▪
DGC实例（指DGC实例中的CDM集群）与云上服务处于不同区域的情况 下，需要通过公网或者专线打通网络。▪
DGC实例（指DGC实例中的CDM集群）与云上服务同区域情况下，同虚 拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私 有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路 由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置 安全组规则《虚拟私有云(VPC)使用指南》中的“安全组 > 添加安全组 规则”章节。▪
此外，您还必须确保该云服务的实例与DGC工作空间所属的企业项目必 须相同，如果不同，您需要修改工作空间的企业项目。创建数据连接
1. 在DGC控制台首页，选择对应工作空间的“管理中心”模块，进入管理中心页 面。
图3-15 选择管理中心
2. 在管理中心页面，单击“数据连接”，进入数据连接页面。
图3-16 创建数据连接
3. 单击“创建数据连接”，在弹出的对话框中，选择“数据连接类型”为
图3-17 创建数据连接
说明
为保证规范设计、数据质量、数据资产、数据服务等组件能够使用该连接，此处连接方式 应配置为“通过代理连接”。
图3-18 MRS Hive 连接配置参数
表3-15 MRS Hive 数据连接
参数 是否
必选
说明
数据连接名称 是 数据连接的名称，只能包含英文字母、数字、下划线和 中划线，且长度为1~50个字符。
参数 是否 必选
说明
标签 否 标识数据连接的属性。设置标签后，便于统一管理。可 自行设置标签，也可在下拉框中选择已在标签管理中创 建的标签。
说明
标签的名称，只能包含中文、英文字母、数字和下划线，不能 以下划线开头。且长度不能超过100个字符。
集群名 是 选择Hive所属的MRS集群。如果在下拉列表中无法显示 MRS集群，请检查MRS集群与DGC实例是否网络互 通。
需确保MRS集群和DGC实例之间网络互通，网络互通需 满足如下条件：
● DGC实例（指DGC实例中的CDM集群）与MRS集群 处于不同区域的情况下，需要通过公网或者专线打 通网络。通过公网互通时，需确保CDM集群已绑定 EIP，MRS集群可以访问公网且防火墙规则已开放连 接端口。
● DGC实例（指DGC实例中的CDM集群）与MRS集群 同区域情况下，同虚拟私有云、同子网、同安全组 的不同实例默认网络互通；如果同虚拟私有云但子 网或安全组不同，还需配置路由规则及安全组规 则，配置路由规则请参见如何配置路由规则章节，
配置安全组规则请参见如何配置安全组规则章节。
● 此外，还需确保该MRS集群与DGC工作空间所属的 企业项目相同，如果不同，您需要修改工作空间的 企业项目。
连接方式 是 选择所需的连接方式，推荐使用“通过代理连接”。
● 通过代理连接：通过Agent（即CDM集群）进行代 理，以MRS集群的用户名和密码访问MRS集群。代 理连接方式支持MRS所有版本的集群。
● MRS API连接：以MRS API的方式访问MRS集群。
MRS API连接仅支持2.X版本的MRS集群。
选择MRS API连接时，有这些约束：
1. 无法查看表和字段。
2. 在SQL编辑器运行SQL时，只能以日志形式显示 执行结果。
3. 数据治理（如规范设计、数据质量、数据资产等 组件）功能无法使用MRS API连接。
参数 是否 必选
说明
用户名 否 MRS集群的用户名，通过代理连接的时候，是必选项。
如果使用新建的MRS用户进行连接，您需要先登录 Manager页面，并更新初始密码。
如果要创建MRS安全集群的数据连接，不能使用admin 用户。因为admin用户是默认的管理页面用户，这个用 户无法作为安全集群的认证用户来使用。您可以参考创 建MRS安全集群的kerberos认证用户创建一个新的 MRS用户，然后在创建MRS数据连接时，“用户名”
和“密码”填写为新建的MRS用户及其密码。
说明
● MRS 3.1.0及之后版本集群，所创建的用户至少需具备 Manager_viewer的角色权限才能在管理中心创建连接；如 果需要对应组件的进行库、表、数据的操作，还需要添加 对应组件的用户组权限。
● MRS 3.1.0版本之前的集群，所创建的用户需要具备 Manager_administrator或System_administrator权限，才 能在管理中心创建连接。
● 仅具备Manager_tenant或Manager_auditor权限，无法创 建连接。
密码 否 MRS集群的访问密码，通过代理连接的时候，是必选 项。
KMS密钥 否 KMS密钥名称。通过代理连接的时候，是必选项。
绑定Agent 否 通过代理连接的时候，是必选项。
MRS为非全托管服务，DGC无法直接与非全托管服务进 行连接。CDM集群提供了DGC与非全托管服务通信的 代理，所以创建MRS的数据连接时，请选择一个CDM 集群。如果没有可用的CDM集群，请先通过批量数据 迁移增量包进行创建。
CDM集群作为网络代理，必须和MRS集群网络互通才 可以成功创建MRS连接，为确保两者网络互通，CDM 集群必须和MRS集群处于相同的区域、可用区、VPC和 子网，安全组规则需允许两者网络互通。
4. 单击“测试”，测试数据连接的连通性。如果无法连通，数据连接将无法创建。
5. 测试通过后，单击“确定”，创建数据连接。
参考
1. 在创建数据连接的界面上MRS Hive集群不显示？
出现该问题的可能原因有：
– 创建MRS集群时未选择Hive/HBase组件。
– 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。
CDM集群作为网络代理，与MRS集群需网络互通才可以成功创建基于MRS的 数据连接。
2. 为什么Hive数据连接突然无法获取数据库或表的信息？
可能是由于CDM集群被关闭或者并发冲突导致，您可以通过切换agent代理来临 时规避此问题。