导入资源
3.4 使用教程
3.4.2 新建 DWS 连接
本章节以新建DWS连接为例,介绍如何建立DGC与数据仓库底座之间的数据连接。
前提条件
● 在创建数据连接前,请确保您已创建所要连接的数据湖(如DGC所支持的数据 库、云服务等)。
– 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有 KMS密钥的查看权限。
– 在创建MRS HBase、MRS Hive、MRS Kafka、MRS Ranger、MRS Spark、
MRS Presto类型的数据连接前,需确保您已购买MRS集群,并且在创建数据 链接时已购买选择所需要的组件。
– 在创建RDS类型的数据连接前,请确保您已创建RDS数据库实例。DGC平台 目前仅支持RDS中的MySQL和PostgreSQL数据库引擎。
● 在创建数据连接前,请确保待连接的数据湖与DGC实例之间网络互通。
– 如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据 源所在的主机可以访问公网,并且防火墙规则已开放连接端口。
– 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件:
▪
DGC实例(指DGC实例中的CDM集群)与云上服务处于不同区域的情况 下,需要通过公网或者专线打通网络。▪
DGC实例(指DGC实例中的CDM集群)与云上服务同区域情况下,同虚 拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私 有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路 由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置 安全组规则《虚拟私有云(VPC)使用指南》中的“安全组 > 添加安全组 规则”章节。▪
此外,您还必须确保该云服务的实例与DGC工作空间所属的企业项目必 须相同,如果不同,您需要修改工作空间的企业项目。创建数据连接
1. 在DGC控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页 面。
图3-19 选择管理中心
2. 在管理中心页面,单击“数据连接”,进入数据连接页面。
图3-20 创建数据连接
3. 单击“创建数据连接”,在弹出的对话框中,选择“数据连接类型”为“数据仓 库服务(DWS)”,并参见表3-16配置相关参数。
图3-21 创建数据连接
图3-22 DWS 连接配置参数
表3-16 DWS 数据连接
参数 是否
必选
说明
数据连接名称 是 数据连接的名称,只能包含英文字母、数字、下划线 和中划线,且长度为1~50个字符。
标签 否 标识数据连接的属性。设置标签后,便于统一管理。
可自行设置标签,也可在下拉框中选择已在标签管理 中创建的标签。
说明
标签的名称,只能包含中文、英文字母、数字和下划线,不 能以下划线开头。且长度不能超过100个字符。
手动 是
通过单击 或 来关闭或开启手动开关:
● 当“手动”关闭时候,“IP”和“端口”不需要填 写。
● 当“手动”打开时候,“IP”和“端口”需要填 写。
IP 否 “手动”打开时需要填写该项,表示通过内部网络访 问集群数据库的IP地址。内网访问IP地址在创建集群 时自动生成。
参数 是否 必选
说明
端口 否 “手动”打开时需要填写该项,表示创建DWS集群时 指定的数据库端口号。请确保您已在安全组规则中开 放此端口,以便DGC实例可以通过该端口连接DWS集 群数据库。
SSL连接 是 DWS支持SSL通道加密和证书认证两种方式进行客户 端与服务器端的通信。您可以通过服务器端是否强制 使用SSL连接进行设置。开关打开,即只能通过SSL方 式连接。开关关闭,即两种方式均可。默认关闭。
集群名 是 选择DWS集群。
用户名 是 数据库的用户名,创建DWS集群时指定的用户名。
密码 是 数据库的访问密码,创建DWS集群时指定的密码。
KMS密钥 是 KMS密钥名称。
连接方式 是 选择所需的连接方式,推荐使用“通过代理连接”。
● 通过代理连接:通过Agent(即CDM集群)进行代 理连接访问DWS集群。
● 直接连接:直接访问DWS集群。
绑定Agent 否 通过代理连接的时候,是必选项。
DWS为非全托管服务,DGC无法直接与非全托管服务 进行连接。CDM集群提供了DGC与非全托管服务通信 的代理,所以创建DWS的数据连接时,请选择一个 CDM集群。如果没有可用的CDM集群,请先通过批量 数据迁移增量包进行创建。
CDM集群作为网络代理,必须和DWS集群网络互通才 可以成功创建MRS连接,为确保两者网络互通,CDM 集群必须和DWS集群处于相同的区域、可用区、VPC 和子网,安全组规则需允许两者网络互通。
4. 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。
5. 测试通过后,单击“确定”,创建数据连接。
参考
1. 创建DWS数据连接,开启SSL连接时测试连接失败?
可能是由于DWS集群的三权分立功能导致的。请在DWS控制台,点击进入对应的 DWS集群后,选择“安全设置”,然后关闭三权分立功能。
图3-23 关闭 DWS 集群三权分立功能
2. 为什么DWS数据连接突然无法获取数据库或表的信息?
可能是由于CDM集群被关闭或者并发冲突导致,您可以通过切换agent代理来临 时规避此问题。