• 沒有找到結果。

数据复制服务(Data Replication Service,简称DRS)支持将本地MongoDB数据库的 数据迁移至本云文档数据库服务(Document Database Service,以下简称DDS)实 例。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务和数据库不停机,

业务中断时间最小化。

本章节主要介绍了通过DRS将本地MongoDB数据库实时迁移至本云DDS的任务配置流 程。支持以下网络类型:

● VPN(Virtual Private Network,虚拟专用网络)网络

● 公网网络

网络示意图

2-61 VPN 网络

2-62 公网网络+SSL 安全连接

迁移流程

2-63 迁移流程图

迁移建议(重要)

● 数据库迁移与环境多样性和人为操作均有密切关系,为了确保迁移的平顺,建议 您在进行正式的数据库迁移之前进行一次演练,可以帮助您提前发现问题并解决 问题,如何最小化对数据库的影响请参考如下建议。

● 强烈建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰 期,相对静止的数据可以有效提升一次性迁移成功率,避免迁移对业务造成性能 影响。

迁移须知(重要)

须知

在创建迁移任务之前,请您务必仔细阅读迁移须知。

参考《数据复制服务实时迁移》中具体链路的“使用须知”。

迁移准备

1. 权限准备:

当使用 DRS 将本地数据库的数据迁移到本云DDS实例时,在不同迁移类型情况 下,对源数据库和目标数据库的帐号权限要求如表2-34所示:

2-34 迁移帐号权限

迁移类型 全量迁移 全量+增量迁移

源数据库 ● 副本集:连接源数据 库的用户权限需要对 admin数据库有 readAnyDatabase权 限。

● 集群:连接源数据库 的用户权限需要对 admin数据库有 readAnyDatabase权 限,对config数据库 有read权限。

● 单节点:连接源数据 库的用户权限需要对 admin数据库有 readAnyDatabase权 限。

● 如果需要迁移源数据 库用户和角色信息,

连接源数据库的用户 权限需要对admin数 据库的系统表 system.users,

system.roles有读权 限。

● 副本集:连接源数据 库的用户权限需要对 admin数据库有 readAnyDatabase权 限,对local数据库有 read权限。

● 单节点:连接源数据 库的用户权限需要对 admin数据库有 readAnyDatabase权 限,对local数据库有 read权限。

● 集群:连接源数据库 mongos节点的用户 权限需要对admin数 据库有readAnyDatabase权 限,对config数据库 有read权限, 连接源 数据库分片节点的用 户权限需要对admin 数据库有readAnyDatabase权 限,对local数据库有 read权限。

● 如果需要迁移源数据 库用户和角色信息,

连接源数据库的用户 权限需要对admin数 据库的系统表 system.users,

system.roles有读权 限。

目标数据库 连接目标数据库的用户权限需要对admin数据库有 readAnyDatabase权限,对目标数据库有readWrite 权限。

– 源数据库的权限设置:

需要确保源数据库MongoDB的帐号具备表2-34的权限,若权限不足,需要在 源数据库端创建高权限的帐号。

– 目标数据库的权限设置:

本云DDS实例使用初始帐号即可。

2. 网络准备:

– 源数据库的网络设置:

本地MongoDB数据库实时迁移至本云DDS的场景,一般可以使用VPN网络和 公网网络两种方式进行迁移,您可以根据实际情况为本地MongoDB数据库开 放公网访问或建立VPN访问。一般推荐使用公网网络进行迁移,该方式下的 数据迁移过程较为方便和经济。

– 目标数据库的网络设置:

若通过VPN访问,请先开通华为VPN服务,确保源数据库和目标DDS网 络互通。

若通过公网网络访问,目标DDS不需要进行设置。

3. 安全规则准备:

a. 源数据库的白名单设置:

若通过公网网络进行迁移,源数据库MongoDB实例需要将具体的DRS迁 移实例的弹性公网IP添加到其网络白名单中,确保源数据库MongoDB实 例可以与上述弹性公网IP连通。在设置网络白名单之前需要获取DRS迁 移实例,具体方法如下:

迁移实例创建成功后,可在“源库及目标库”页面获取DRS迁移实例的 弹性公网IP。如图2-64所示:

2-64 迁移实例公网弹性 IP

以上讲述的是精细配置白名单的方法,还有一种简单设置白名单的方法,在 安全允许的情况下,可以将源数据库MongoDB实例的网络白名单设置为 0.0.0.0/0,代表允许任何IP地址访问该实例。

若通过VPN网络进行迁移,源库需要将DRS迁移实例的私有IP添加到其网 络白名单内,确保源端和目标端网络互通。

上述的网络白名单是为了进行数据迁移设置的,迁移结束后可以删除。

b. 目标数据库安全组规则设置:

目标数据库默认与DRS迁移实例处在同一个VPC,网络是互通的,DRS可以直 接写入数据到目标数据库,不需要进行任何设置。

4. 其他事项准备:

由于迁移过程不会迁移MongoDB数据库的用户信息以及相关参数,需要自行将上 述信息导出后手动添加到目标DDS中。

迁移步骤

以下操作以公网网络迁移的方式为例,指导您通过DRS将本地MongoDB数据库实时迁 移至本云DDS实例。

步骤1 创建迁移任务。

2-65 迁移实例信息

2-35 任务和描述

参数 描述

区域 当前所在区域,可进行切换。

任务名称 任务名称在4-50位之间,必须以字母开头,不区分大小写,可以 包含字母、数字、中划线或下划线,不能包含其他的特殊字符。

描述 描述不能超过256位,且不能包含! = < > & ' " \ 特殊字符。

2-36 迁移实例信息

参数 描述

数据流动方向 选择入云。

源数据库引擎 选择MongoDB数据库引擎。

目标数据库引擎 选择DDS数据库引擎。

网络类型 选择公网网络。建议您开启SSL安全连接,SSL约降低 20-30%的迁移性能,但保证了数据的安全性。

目标数据库实例 选择您所创建的本云DDS实例。

参数 描述

mongosIP地址

或域名 源数据库的IP地址或域名,格式为IP地址/域名:端口。其中源 数据库服务端口,可输入范围为1~65534间的整数。

该输入框最多支持填写3组源数据库的IP地址或者域名信息,

多个值需要使用英文逗号隔开。例如:

192.168.0.1:8080,192.168.0.2:8080。同时需要确保所填写 的多个IP地址或域名属于同一个分片集群。

说明此处若填写的是多组IP地址或者域名信息,在进行测试连接的过程 中,只要存在一组IP地址或者域名可以连通,那么测试连接就提示 成功。所以需要您保证填写的IP地址或域名的正确性。

账号认证数据库 填写的数据库账号所属的数据库名称。例如:华为云DDS实 例默认的账号认证数据库为admin。

mongos用户名 访问源数据库MongoDB的用户名。

mongos密码 访问源数据库MongoDB的用户名所对应的密码。

参数 描述

SSL安全连接 通过该功能,用户可以选择是否开启对迁移链路的加密。如 果开启该功能,需要用户上传SSL CA根证书。

分片数据库 根据源库实际的集群分片个数,填写对应的分片数据库信 息。

– 目标库信息配置

2-67 目标库信息

2-38 目标库信息

参数 描述

数据库实例名

称 默认为创建迁移任务时选择的数据库实例,不可进行修 改。

数据库用户名 目标数据库对应的数据库用户名。

数据库密码 目标数据库的登录密码。

5. 在“迁移设置”页面,设置迁移对象,单击“下一步”。

2-68 设置迁移对象

2-39 迁移对象

参数 描述

迁移用户 常见的迁移用户一般分为两类:支持迁移的用户和不支持迁移的 用户。您可以根据业务需求选择“迁移”或者“不迁移”,其 中,不支持迁移的账号或者未选择迁移的账号将在目标数据库中 缺失,需要先确保业务不受影响。

– 迁移

当您选择迁移用户时,请参见《数据复制服务用户指南》中

“迁移用户”章节进行数据库用户及角色的处理。

– 不迁移

迁移过程中,将不进行数据库用户及角色的迁移。

其他迁移

选项 根据业务需求,选择全量迁移是否迁移用户自行创建的索引,基 于_id的默认索引目标端会自动创建。如果不迁移索引,索引不参 与对比。

参数 描述

2-70 任务启动设置

SMN主题 “任务异常通知设置”项开启后可见,需提前在SMN上申请主 题并添加订阅。

SMN主题申请和订阅可参考《消息通知服务用户指南》。

时延阈值 在增量迁移阶段,源数据库和目标数据库之间的实时同步有时会 存在一个时间差,称为时延,单位为秒。

时延阈值设置是指时延超过一定的值后(时延阈值范围为1—

3600s),DRS可以发送告警通知。告警通知将在时延稳定超过 设定的阈值6min后发送,避免出现由于时延波动反复发送告警 通知的情况。

设置任务异常自动结束天数,输入值必须在14-100之间,默认 值14。

迁移任务启动后,会经历全量迁移和增量迁移两个阶段,对于不同阶段的迁移任务,

您可以进行任务管理。

● 全量迁移

– 查看迁移进度:全量迁移中的任务,您可单击任务名称,在“迁移进度”页 签下,查看全量迁移进度,您可以查看结构、数据、索引迁移的进度,也查 看具体迁移对象的迁移进度。当全量迁移进度显示为100%,表示全量迁移已 经完成。

1. 先中断业务(如果业务负载非常轻,也可以尝试不中断业务)。

2. 在源数据库端执行如下语句,并观察在1-5分钟内若无任何新会话执行SQL ,则可 认为业务已经完全停止。

db.currentOp() 说明

上述语句查询到的进程列表中,包括DRS迁移实例的连接,您需要确认除DRS迁移实例的 连接外无任何新会话执行SQL,即可认为业务已经完全停止。

3. 通过DRS迁移任务监控页面进行观察同步时延,保持实时同步时延为0,并稳定保 持一段时间;同时,您可以使用数据级对比功能,进行割接前的最后一次数据级 对比,耗时可参考之前的对比记录。

– 如果时间允许,则选择全部对比。

– 如果时间不允许,则推荐对比活跃表,关键业务表,第二步对比多次存在差

– 如果时间不允许,则推荐对比活跃表,关键业务表,第二步对比多次存在差