• 沒有找到結果。

监控指标

4.5 管理连接

4.5.1 新建连接

操作场景

用户在创建数据迁移的任务前,需要先创建连接,让CDM集群能够读写数据源。一个 迁移任务,需要建立两个连接,源连接和目的连接。不同的迁移方式(表或者文件迁 移),哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连 接),详情请参见支持的数据源。

不同类型的数据源,创建连接时的配置参数也不相同,本章节指导用户根据数据源类 型创建对应的连接。

约束限制

当所连接的数据源发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该 连接。

前提条件

● 已具备CDM集群。

● CDM集群与目标数据源可以正常通信。

– 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过 公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下 数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连 接端口。

– 如果目标数据源为云上服务(如DWS、MRS等),则网络互通需满足如下条

CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打 通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主 机可以访问公网且防火墙规则已开放连接端口。

CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组 的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,

还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规 则章节,配置安全组规则请参见如何配置安全组规则章节。

此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相 同,如果不同,需要修改工作空间的企业项目。

● 已获取待连接数据源的地址、用户名和密码,且该用户拥有数据导入、导出的操 作权限。

● 对于SQL Server连接,当前JDBC仅支持2005以上的SQL Server。

● 使用Agent时需用主账户给子账户赋予CDM操作权限。

新建连接

步骤1 进入CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 >

连接管理 > 新建连接”。选择连接器类型,如图4-20所示。

这里的连接器类型,是根据待连接的数据源类型分类的,包含了CDM目前支持导入/导 出的所有数据源类型。

4-20 选择连接器类型

步骤2 选择数据源类型后,单击“下一步”配置连接参数,这里以创建MySQL连接为例。

每种数据源的连接参数不同,您可以根据所选择的连接器类型在表4-8中查找对应参 数。

4-8 连接参数分类

连接器类型 参数说明

● 数据仓库服务(DWS)

说明DWS连接器不支持物理机纳管 模式。

● FusionInsight LibrA

● 云数据库 MySQL

● 云数据库 PostgreSQL

● 云数据库 SQL Server

● MySQL

● PostgreSQL

● Microsoft SQL Server

● Oracle

● IBM Db2

● SAP HANA

● MYCAT

● 达梦数据库 DM

● 分库

由于连接这些关系型数据库,所采用的JDBC驱动 相同,所以他们的连接参数也一样,具体参数请 参见配置关系数据库连接。

不支持OLTP到OLTP迁移,此场景推荐通过数据复 制服务DRS进行迁移。

对象存储服务(OBS) 选择连接OBS时,具体参数请参见配置OBS连 接。

阿里云对象存储(OSS) 选择连接阿里云对象存储服务(Object Storage Service,简称 OSS)时,具体参数请参见配置阿 里云OSS连接。

● 对象存储服务之间的迁移,推荐使用对象存储 迁移服务OMS。

● 七牛云对象存储(KODO)

● 腾讯云对象存储(COS)

选择连接七牛云对象存储(KODO)或者腾讯云 对象存储(COS)时,具体参数请参见配置七牛 云KODO/腾讯云COS连接。

● 对象存储服务之间的迁移,推荐使用对象存储 迁移服务OMS。

亚马逊对象存储S3 选择连接亚马逊对象存储S3时,具体参数请参见 配置亚马逊对象存储S3连接。

● 对象存储服务之间的迁移,推荐使用对象存储 迁移服务OMS。

● MRS HDFS

● FusionInsight HDFS

● Apache HDFS

连接MRS、Apache Hadoop或FusionInsight HD 上的HDFS时,具体参数请参见配置HDFS连接。

建议使用的版本:

● 2.8.X

● 3.1.X

连接器类型 参数说明

● MRS HBase

● FusionInsight HBase

● Apache HBase

连接MRS、Apache Hadoop或FusionInsight HD 上的HBase时,具体参数请参见配置HBase连 接。

建议使用的版本:

● 2.1.X

● 1.3.X

● MRS Hive

● FusionInsight Hive

● Apache Hive

连接MRS、Apache Hadoop或FusionInsight HD 上的Hive时,具体参数请参见配置Hive连接。

暂不支持2.x版本,建议使用的版本:

● 1.2.X

● 3.1.X

表格存储服务(CloudTable) 连接CloudTable时,具体参数请参见配置 CloudTable连接。

● FTP

● SFTP

连接FTP或SFTP服务器时,具体参数请参见配置 FTP/SFTP连接。

HTTP 用于读取一个公网HTTP/HTTPS URL的文件,包 括第三方对象存储的公共读取场景和网盘场景。

当前创建HTTP连接时,只需要配置连接名称,具 体URL在创建作业时配置。

MongoDB 连接本地MongoDB数据库时,具体参数请参见配 置MongoDB连接。

仅支持MongoDB到MRS迁移。

文档数据库服务(DDS) 连接DDS时,具体参数请参见配置DDS连接。

仅支持DDS和MRS之间迁移。

● Redis

● 分布式缓存服务(DCS)

连接Redis或DCS时,具体参数请参见配置 Redis/DCS连接。

● Redis连接:

仅支持Redis到MRS迁移。

● DCS连接:

仅支持MRS到DCS迁移。

● MRS Kafka

● Apache Kafka

连接MRS Kafka或Apache Kafka数据源时,具体 参数请参见配置Kafka连接。

数据接入服务(DIS) 连接DIS时,具体参数请参见配置DIS连接。

云搜索服务 Elasticsearch

连接云搜索服务或Elasticsearch时,具体参数请 参见配置Elasticsearch/云搜索服务(CSS)连 接。

连接器类型 参数说明

数据湖探索(DLI) 连接数据湖探索服务时,具体参数请参见配置DLI 连接。

CloudTable OpenTSDB 连接OpenTSDB时,具体参数请参见配置 CloudTable OpenTSDB连接。

DMS Kafka 连接DMS的Kafka队列时,具体参数请参见配置 DMS Kafka连接。

Cassandra 连接Cassandra时,具体参数请参见配置 Cassandra连接。

步骤3 连接的参数配置完成后单击“测试”,可测试连接是否可用。或者直接单击“保 存”,保存时也会先检查连接是否可用。

受网络和数据源的影响,部分连接测试的时间可能需要30~60秒。

----结束

管理连接

CDM支持对已创建的连接进行以下操作:

● 删除:支持删除未被任何作业使用的连接,也支持批量删除连接。

● 编辑:支持修改已创建好的连接参数,但不支持重新选择连接器。修改连接时,

需要重新输入数据源的登录密码。

● 测试连通性:支持直接测试已保存连接的连通性。

● 查看连接JSON:以JSON文件格式查看连接参数的配置。

● 编辑连接JSON:以直接修改JSON文件的方式,修改连接参数。

● 查看后端连接:查看该连接对应的后端连接。例如已开启后端连接的MYCAT连 接,就可以查询到对应的后端连接详情。

在管理连接前,您需要确保该连接未被任何作业使用,避免影响现有作业业务。管理 连接的操作流程如下:

步骤1 进入CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 >

连接管理”。

步骤2 在连接管理界面找到需要修改的连接:

● 删除连接:单击操作列的“删除”删除该连接,或者勾选连接后单击列表上方的

“删除连接”来批量删除未被任何作业使用的连接。

● 编辑连接:单击该连接名称,或者单击操作列的“编辑”进入修改连接的界面,

修改连接时需要重新输入数据源的登录密码。

● 测试连通性:单击操作列的“测试连通性”,直接测试已保存连接的连通性。

● 查看连接JSON:选择操作列的“更多 > 查看连接JSON”,以JSON文件格式查看 连接参数的配置。

● 编辑连接JSON:选择操作列的“更多 > 编辑连接JSON”,以直接修改JSON文件

● 查看后端连接:选择操作列的“更多 > 查看后端连接”,查看该连接对应的后端 连接。

----结束

4.5.2 管理驱动

JDBC即Java DataBase Connectivity,java数据库连接;JDBC 提供的API可以让JAVA 通过API方式访问关系型数据库,执行SQL语句,获取数据。

CDM连接关系数据库前,需要先上传对应的.jar格式驱动。

前提条件

● 已创建集群。

● 已参见表4-9下载对应的驱动。

● 已参见配置FTP/SFTP连接创建SFTP连接并将对应的驱动上传至线下文件服务器

(可选)。