数据复制服务(Data Replication Service,简称DRS)支持将本地MongoDB数据库的 数据迁移至本云文档数据库服务(Document Database Service,以下简称DDS)实 例。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务和数据库不停机,
业务中断时间最小化。
本章节主要介绍了通过DRS将本地MongoDB数据库实时迁移至本云DDS的任务配置流 程。支持以下网络类型:
● VPN(Virtual Private Network,虚拟专用网络)网络
● 公网网络
网络示意图
图2-61 VPN 网络
图2-62 公网网络+SSL 安全连接
迁移流程
图2-63 迁移流程图
迁移建议(重要)
● 数据库迁移与环境多样性和人为操作均有密切关系,为了确保迁移的平顺,建议 您在进行正式的数据库迁移之前进行一次演练,可以帮助您提前发现问题并解决 问题,如何最小化对数据库的影响请参考如下建议。
● 强烈建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰 期,相对静止的数据可以有效提升一次性迁移成功率,避免迁移对业务造成性能 影响。
迁移须知(重要)
须知
在创建迁移任务之前,请您务必仔细阅读迁移须知。
参考《数据复制服务实时迁移》中具体链路的“使用须知”。
迁移准备
1. 权限准备:
当使用 DRS 将本地数据库的数据迁移到本云DDS实例时,在不同迁移类型情况 下,对源数据库和目标数据库的帐号权限要求如表2-34所示:
表2-34 迁移帐号权限
迁移类型 全量迁移 全量+增量迁移
源数据库 ● 副本集:连接源数据 库的用户权限需要对 admin数据库有 readAnyDatabase权 限。
● 集群:连接源数据库 的用户权限需要对 admin数据库有 readAnyDatabase权 限,对config数据库 有read权限。
● 单节点:连接源数据 库的用户权限需要对 admin数据库有 readAnyDatabase权 限。
● 如果需要迁移源数据 库用户和角色信息,
连接源数据库的用户 权限需要对admin数 据库的系统表 system.users,
system.roles有读权 限。
● 副本集:连接源数据 库的用户权限需要对 admin数据库有 readAnyDatabase权 限,对local数据库有 read权限。
● 单节点:连接源数据 库的用户权限需要对 admin数据库有 readAnyDatabase权 限,对local数据库有 read权限。
● 集群:连接源数据库 mongos节点的用户 权限需要对admin数 据库有readAnyDatabase权 限,对config数据库 有read权限, 连接源 数据库分片节点的用 户权限需要对admin 数据库有readAnyDatabase权 限,对local数据库有 read权限。
● 如果需要迁移源数据 库用户和角色信息,
连接源数据库的用户 权限需要对admin数 据库的系统表 system.users,
system.roles有读权 限。
目标数据库 连接目标数据库的用户权限需要对admin数据库有 readAnyDatabase权限,对目标数据库有readWrite 权限。
– 源数据库的权限设置:
需要确保源数据库MongoDB的帐号具备表2-34的权限,若权限不足,需要在 源数据库端创建高权限的帐号。
– 目标数据库的权限设置:
本云DDS实例使用初始帐号即可。
2. 网络准备:
– 源数据库的网络设置:
本地MongoDB数据库实时迁移至本云DDS的场景,一般可以使用VPN网络和 公网网络两种方式进行迁移,您可以根据实际情况为本地MongoDB数据库开 放公网访问或建立VPN访问。一般推荐使用公网网络进行迁移,该方式下的 数据迁移过程较为方便和经济。
– 目标数据库的网络设置:
▪
若通过VPN访问,请先开通华为VPN服务,确保源数据库和目标DDS网 络互通。▪
若通过公网网络访问,目标DDS不需要进行设置。3. 安全规则准备:
a. 源数据库的白名单设置:
▪
若通过公网网络进行迁移,源数据库MongoDB实例需要将具体的DRS迁 移实例的弹性公网IP添加到其网络白名单中,确保源数据库MongoDB实 例可以与上述弹性公网IP连通。在设置网络白名单之前需要获取DRS迁 移实例,具体方法如下:迁移实例创建成功后,可在“源库及目标库”页面获取DRS迁移实例的 弹性公网IP。如图2-64所示:
图2-64 迁移实例公网弹性 IP
以上讲述的是精细配置白名单的方法,还有一种简单设置白名单的方法,在 安全允许的情况下,可以将源数据库MongoDB实例的网络白名单设置为 0.0.0.0/0,代表允许任何IP地址访问该实例。
▪
若通过VPN网络进行迁移,源库需要将DRS迁移实例的私有IP添加到其网 络白名单内,确保源端和目标端网络互通。上述的网络白名单是为了进行数据迁移设置的,迁移结束后可以删除。
b. 目标数据库安全组规则设置:
目标数据库默认与DRS迁移实例处在同一个VPC,网络是互通的,DRS可以直 接写入数据到目标数据库,不需要进行任何设置。
4. 其他事项准备:
由于迁移过程不会迁移MongoDB数据库的用户信息以及相关参数,需要自行将上 述信息导出后手动添加到目标DDS中。
迁移步骤
以下操作以公网网络迁移的方式为例,指导您通过DRS将本地MongoDB数据库实时迁 移至本云DDS实例。
步骤1 创建迁移任务。
图2-65 迁移实例信息
表2-35 任务和描述
参数 描述
区域 当前所在区域,可进行切换。
任务名称 任务名称在4-50位之间,必须以字母开头,不区分大小写,可以 包含字母、数字、中划线或下划线,不能包含其他的特殊字符。
描述 描述不能超过256位,且不能包含! = < > & ' " \ 特殊字符。
表2-36 迁移实例信息
参数 描述
数据流动方向 选择入云。
源数据库引擎 选择MongoDB数据库引擎。
目标数据库引擎 选择DDS数据库引擎。
网络类型 选择公网网络。建议您开启SSL安全连接,SSL约降低 20-30%的迁移性能,但保证了数据的安全性。
目标数据库实例 选择您所创建的本云DDS实例。
参数 描述
mongosIP地址
或域名 源数据库的IP地址或域名,格式为IP地址/域名:端口。其中源 数据库服务端口,可输入范围为1~65534间的整数。
该输入框最多支持填写3组源数据库的IP地址或者域名信息,
多个值需要使用英文逗号隔开。例如:
192.168.0.1:8080,192.168.0.2:8080。同时需要确保所填写 的多个IP地址或域名属于同一个分片集群。
说明此处若填写的是多组IP地址或者域名信息,在进行测试连接的过程 中,只要存在一组IP地址或者域名可以连通,那么测试连接就提示 成功。所以需要您保证填写的IP地址或域名的正确性。
账号认证数据库 填写的数据库账号所属的数据库名称。例如:华为云DDS实 例默认的账号认证数据库为admin。
mongos用户名 访问源数据库MongoDB的用户名。
mongos密码 访问源数据库MongoDB的用户名所对应的密码。
参数 描述
SSL安全连接 通过该功能,用户可以选择是否开启对迁移链路的加密。如 果开启该功能,需要用户上传SSL CA根证书。
分片数据库 根据源库实际的集群分片个数,填写对应的分片数据库信 息。
– 目标库信息配置
图2-67 目标库信息
表2-38 目标库信息
参数 描述
数据库实例名
称 默认为创建迁移任务时选择的数据库实例,不可进行修 改。
数据库用户名 目标数据库对应的数据库用户名。
数据库密码 目标数据库的登录密码。
5. 在“迁移设置”页面,设置迁移对象,单击“下一步”。
图2-68 设置迁移对象
表2-39 迁移对象
参数 描述
迁移用户 常见的迁移用户一般分为两类:支持迁移的用户和不支持迁移的 用户。您可以根据业务需求选择“迁移”或者“不迁移”,其 中,不支持迁移的账号或者未选择迁移的账号将在目标数据库中 缺失,需要先确保业务不受影响。
– 迁移
当您选择迁移用户时,请参见《数据复制服务用户指南》中
“迁移用户”章节进行数据库用户及角色的处理。
– 不迁移
迁移过程中,将不进行数据库用户及角色的迁移。
其他迁移
选项 根据业务需求,选择全量迁移是否迁移用户自行创建的索引,基 于_id的默认索引目标端会自动创建。如果不迁移索引,索引不参 与对比。
参数 描述
图2-70 任务启动设置
SMN主题 “任务异常通知设置”项开启后可见,需提前在SMN上申请主 题并添加订阅。
SMN主题申请和订阅可参考《消息通知服务用户指南》。
时延阈值 在增量迁移阶段,源数据库和目标数据库之间的实时同步有时会 存在一个时间差,称为时延,单位为秒。
时延阈值设置是指时延超过一定的值后(时延阈值范围为1—
3600s),DRS可以发送告警通知。告警通知将在时延稳定超过 设定的阈值6min后发送,避免出现由于时延波动反复发送告警 通知的情况。
设置任务异常自动结束天数,输入值必须在14-100之间,默认 值14。
迁移任务启动后,会经历全量迁移和增量迁移两个阶段,对于不同阶段的迁移任务,
您可以进行任务管理。
● 全量迁移
– 查看迁移进度:全量迁移中的任务,您可单击任务名称,在“迁移进度”页 签下,查看全量迁移进度,您可以查看结构、数据、索引迁移的进度,也查 看具体迁移对象的迁移进度。当全量迁移进度显示为100%,表示全量迁移已 经完成。
1. 先中断业务(如果业务负载非常轻,也可以尝试不中断业务)。
2. 在源数据库端执行如下语句,并观察在1-5分钟内若无任何新会话执行SQL ,则可 认为业务已经完全停止。
db.currentOp() 说明
上述语句查询到的进程列表中,包括DRS迁移实例的连接,您需要确认除DRS迁移实例的 连接外无任何新会话执行SQL,即可认为业务已经完全停止。
3. 通过DRS迁移任务监控页面进行观察同步时延,保持实时同步时延为0,并稳定保 持一段时间;同时,您可以使用数据级对比功能,进行割接前的最后一次数据级 对比,耗时可参考之前的对比记录。
– 如果时间允许,则选择全部对比。
– 如果时间不允许,则推荐对比活跃表,关键业务表,第二步对比多次存在差
– 如果时间不允许,则推荐对比活跃表,关键业务表,第二步对比多次存在差