• 沒有找到結果。

3.8 数据批量导入

3.8.1 使用 CDM 迁移数据到 CloudTable

通过云数据迁移(Cloud Data Migration,以下简称CDM),可以将云上云下或第三 方云上的多种数据源的数据迁移到CloudTable集群的HBase表中。支持的数据源请参 见《云数据迁移产品介绍》中的支持的数据源章节。

使用CDM迁移数据到CloudTable的流程如下:

1.

创建CloudTable集群

2.

使用CDM迁移数据到CloudTable

3.

在CloudTable中查看导入的数据

创建 CloudTable 集群

步骤1 登录表格存储服务管理控制台,创建一个CloudTable集群。

详细的操作步骤,请参见快速创建集群。如果您已经有CloudTable集群了,也可以跳 过这一步。

例如,创建一个名为"CloudTable-demo"的CloudTable集群。

----结束

使用 CDM 迁移数据到 CloudTable

步骤1 登录云数据迁移管理控制台,创建一个CDM集群。

创建的CDM集群需要与CloudTable集群具有相同的区域、可用区、虚拟私有云、子网 以及安全组。

详细的操作步骤,请参见《云数据迁移用户指南》中的创建集群。

例如,创建一个名为"CDM-demo"的CDM集群。

步骤2 在新建的CDM集群中,创建一个源连接。

CDM支持从多种数据源迁移数据到CloudTable,请根据实际的数据源创建一个连接作 为源连接。该连接用于CDM连接数据源,从数据源读取数据。

有关新建连接的详细操作,请参见《云数据迁移用户指南》中的创建CDM连接章节。

步骤3 在新建的CDM集群中,创建一个目的连接。

在CDM集群中创建一个连接类型为“表格存储服务(CloudTable)”的连接作为目的 连接。该连接用于CDM连接CloudTable集群,将从数据源读取的数据导入到

CloudTable集群的HBase表中。

有关新建连接的详细操作,请参见《云数据迁移用户指南》中的创建CDM连接章节。

新建目的连接的示例如下:

1. 在集群管理页面,找到刚创建的CDM集群,单击该CDM集群后的“作业管理”,

进入作业管理界面。

2. 选择“连接管理 > 新建连接”,进入选择连接器类型的页面,选择“表格存储服 务(CloudTable)”,然后单击“下一步”。

3-29 选择连接器类型

3. 配置连接参数。

– “名称”:输入连接名称,根据连接的数据源类型,用户可自定义便于记 忆、区分的连接名。例如“cloudtable_connect”。

– “ZK连接地址”:需配置为CloudTable的“ZK连接地址”。登录表格存储服 务管理控制台,在左侧导航树单击“集群模式”,然后在集群列表中找到所 需要的集群,并获取相应的“ZK链接地址”。

– :设置为否。

– “IAM统一身份认证”:如果创建的CloudTable集群开启了“IAM统一身份 认证”,则设置该参数为“是”,否则就设置该参数为“否”。

– “运行模式”:保留默认值即可。

3-30 连接参数配置

4. 单击“保存”。

步骤4 在CDM集群中,在“表/文件迁移”页面,新建一个作业。

有关新建“表/文件迁移”作业的详细操作,请参见《云数据迁移用户指南》的新建

表/文件迁移作业章节。

说明

在新建“表/文件迁移”类型的作业时,如果待迁移的源端的表/文件在目的端CloudTable集群中 不存在相应的HBase表,在作业中为目的端设置表名和字段映射(支持从源端拷贝字段名)后,

作业运行时会自动在目的端新建对应的HBase表。

下面以ECS上的SFTP数据源为例,创建作业步骤如下:

1. 在集群管理页面,找到刚创建的CDM集群,单击该CDM集群后的“作业管理”,

进入作业管理界面。

2. 选择“表/文件迁移 > 新建作业”。

3. 基本信息配置如下:

3-31 基本信息配置

4. 字段映射配置如下:

3-32 字段映射

5. 任务配置如下:

3-33 任务配置

6. 单击“保存并运行”创建并运行作业。

----结束

CloudTable 中查看导入的数据

步骤1 准备Linux弹性云服务器。

假设该弹性云服务器名称为“ecs_20170916”,准备的具体操作请参见准备弹性云服

务器章节。

步骤2 安装客户端并启动Shell访问CloudTable集群。

使用HBase Shell访问集群的具体操作请参见使用HBase Shell访问集群章节。

步骤3 在CloudTable客户端中执行查询命令,查看使用CDM迁移到CloudTable的数据。

命令示例如下,其中table_name请替换为在CDM集群中新建作业时指定的表名。

scan 'table_name'

----结束