• 沒有找到結果。

其他云 MongoDB 迁移到 DDS

数据复制服务(Data Replication Service,简称DRS)支持将其他云MongoDB数据库 的数据迁移到本云文档数据库服务(Document Database Service,以下简称DDS)实 例。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务和数据库不停机,

业务中断时间最小化。

本章节主要介绍了通过DRS将其他云数据库实时迁移至本云DDS的任务配置流程。包 括以下迁移场景:

● 其他云MongoDB数据库实时迁移至本云DDS。

● 其他云内云主机自建自维护的MongoDB数据库迁移至本云DDS。

网络示意图

2-5 其他云 MongoDB 数据库实时迁移示意图

2-6 其他云自建 MongoDB 数据库实时迁移示意图

迁移流程

2-7 迁移流程图

迁移建议(重要)

● 数据库迁移与环境多样性和人为操作均有密切关系,为了确保迁移的平顺,建议 您在进行正式的数据库迁移之前进行一次演练,可以帮助您提前发现问题并解决 问题,如何最小化对数据库的影响请参考如下建议。

● 强烈建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰 期,相对静止的数据可以有效提升一次性迁移成功率,避免迁移对业务造成性能 影响。

迁移须知(重要)

须知

在创建迁移任务之前,请您务必仔细阅读迁移须知。

参考《数据复制服务实时迁移》中具体链路的“使用须知”。

迁移准备

1. 权限准备:

当使用 DRS 将其他云MongoDB数据库的数据迁移到本云DDS实例时,在不同迁 移类型情况下,对源数据库和目标数据库的帐号权限要求如表2-5:

2-5 迁移帐号权限

迁移类型 全量迁移 全量+增量迁移

源数据库 ● 副本集:连接源数据 库的用户权限需要对 admin数据库有 readAnyDatabase权 限。

● 集群:连接源数据库 的用户权限需要对 admin数据库有 readAnyDatabase权 限,对config数据库 有read权限。

● 单节点:连接源数据 库的用户权限需要对 admin数据库有 readAnyDatabase权 限。

● 如果需要迁移源数据 库用户和角色信息,

连接源数据库的用户 权限需要对admin数 据库的系统表 system.users,

system.roles有读权 限。

● 副本集:连接源数据 库的用户权限需要对 admin数据库有 readAnyDatabase权 限,对local数据库有 read权限。

● 单节点:连接源数据 库的用户权限需要对 admin数据库有 readAnyDatabase权 限,对local数据库有 read权限。

● 集群:连接源数据库 mongos节点的用户 权限需要对admin数 据库有readAnyDatabase权 限,对config数据库 有read权限, 连接源 数据库分片节点的用 户权限需要对admin 数据库有readAnyDatabase权 限,对local数据库有 read权限。

● 如果需要迁移源数据 库用户和角色信息,

连接源数据库的用户 权限需要对admin数 据库的系统表 system.users,

system.roles有读权 限。

目标数据库 连接目标数据库的用户权限需要对admin数据库有 readAnyDatabase权限,对目标数据库有readWrite 权限。

– 源数据库权限设置:

需要确保源数据库MongoDB的帐号权限具备表2-5的要求。若权限不足,需 要在源数据库端开通高权限的帐号。

目前DRS支持迁移的第三方云厂商有:阿里云,腾讯云。

以阿里云云数据库MongoDB迁移到本云DDS为例,阿里云MongoDB默认的 初始帐号已经具备进行数据迁移的能力,使用初始帐号即可。

– 目标数据库权限设置:

本云DDS实例使用初始帐号即可。

2. 网络准备:

源数据库需要开放公网访问。

– 源数据库的网络设置:

源数据库MongoDB实例需要开放公网域名的访问。

以阿里云云数据库MongoDB迁移到本云DDS实例为例,一般情况下,阿里云 云数据库MongoDB不提供公网地址,需要通过申请公网地址来允许外部的应 用对接,具体的操作及注意事项可以参考阿里云提供的相关指导。

– 目标数据库的网络设置:目标端不需要进行设置。

3. 安全规则准备:

– 源数据库安全组规则设置:

源数据库MongoDB实例需要将具体的DRS迁移实例的弹性公网IP添加到其网 络白名单中,确保源数据库MongoDB实例可以与上述弹性公网IP连通。

以阿里云云数据库MongoDB迁移到本云DDS为例,具体设置网络白名单的操 作及注意事项可以参考相关指导。在设置网络白名单之前,需要先获取DRS 迁移实例的弹性公网IP,具体操作如下:

迁移实例创建成功后,可在“源库及目标库”页面获取DRS迁移实例的 弹性公网IP。如图2-8所示:

2-8 迁移实例公网弹性 IP

以上讲述的是精细配置白名单的方法,还有一种简单设置白名单的方法,在 安全允许的情况下,可以将源数据库MongoDB实例的网络白名单设置为 0.0.0.0/0,代表允许任何IP地址访问该实例。

上述的网络白名单是为了进行数据迁移设置的,迁移结束后可以删除。

– 目标数据库安全组规则设置:

目标数据库默认与DRS迁移实例处在同一个VPC,网络是互通的,DRS可以直 接写入数据到目标数据库,不需要进行任何设置。

4. 其他事项准备:

由于迁移过程不会迁移MongoDB数据库的用户信息以及相关参数,需要自行将上 述信息导出后手动添加到目标DDS中。

迁移步骤

2-9 迁移实例信息

2-6 任务和描述

参数 描述

区域 当前所在区域,可进行切换。

任务名称 任务名称在4-50位之间,必须以字母开头,不区分大小写,可以 包含字母、数字、中划线或下划线,不能包含其他的特殊字符。

描述 描述不能超过256位,且不能包含! = < > & ' " \ 特殊字符。

2-7 迁移实例信息

参数 描述

数据流动方向 选择“入云”。

源数据库引擎 选择“MongoDB”。

目标数据库引擎 选择“DDS”。

网络类型 选择公网网络。

目标数据库实例 选择您所创建的本云DDS实例。

迁移实例所在子 网

选择迁移实例所在的子网。也可以单击“查看子网”,跳转 至“网络控制台”查看实例所在子网帮助选择。

默认值为当前所选数据库实例所在子网,请选择有可用IP地 址的子网。为确保迁移实例创建成功,仅显示已经开启 DHCP的子网。

参数 描述

– 当源库类型为MongDB集群4.0及以上版本,集群实例无 法获取到分片节点的IP时,可选择集群(MongoDB 4.0+)。

源端分片个数 当源端实例类型设置为“集群”时,需要填写源端数据库实 例个数。

源端数据库实例个数默认最小值为2,最大值为32,你需要 根据源库实际的集群分片个数设置该值大小。

2-8 源库信息

参数 描述

mongosIP地址 或域名

源数据库的IP地址或域名,格式为IP地址/域名:端口。其中源 数据库服务端口,可输入范围为1~65534间的整数。

该输入框最多支持填写3组源数据库的IP地址或者域名信息,

多个值需要使用英文逗号隔开。例如:

192.168.0.1:8080,192.168.0.2:8080。同时需要确保所填写 的多个IP地址或域名属于同一个分片集群。

说明此处若填写的是多组IP地址或者域名信息,在进行测试连接的过程 中,只要存在一组IP地址或者域名可以连通,那么测试连接就提示 成功。所以需要您保证填写的IP地址或域名的正确性。

账号认证数据库 填写的数据库账号所属的数据库名称。例如:华为云DDS实 例默认的账号认证数据库为admin。

mongos用户名 访问源数据库MongoDB的用户名。

mongos密码 访问源数据库MongoDB的用户名所对应的密码。

SSL安全连接 通过该功能,用户可以选择是否开启对迁移链路的加密。如

参数 描述

数据库密码 目标数据库的登录密码。

5. 在“迁移设置”页面,设置迁移对象,单击“下一步”。

2-12 设置迁移对象

2-10 迁移对象

参数 描述

迁移用户 常见的迁移用户一般分为两类:支持迁移的用户和不支持迁移的 用户。您可以根据业务需求选择“迁移”或者“不迁移”,其 中,不支持迁移的账号或者未选择迁移的账号将在目标数据库中 缺失,需要先确保业务不受影响。

– 迁移

当您选择迁移用户时,请参见《数据复制服务用户指南》中

“迁移用户”章节进行数据库用户及角色的处理。

– 不迁移

迁移过程中,将不进行数据库用户及角色的迁移。

其他迁移 选项

根据业务需求,选择全量迁移是否迁移用户自行创建的索引,基 于_id的默认索引目标端会自动创建。如果不迁移索引,索引不参 与对比。

参数 描述

2-14 任务启动设置

SMN主题 “任务异常通知设置”项开启后可见,需提前在SMN上申请主 题并添加订阅。

SMN主题申请和订阅可参考《消息通知服务用户指南》。

时延阈值 在增量迁移阶段,源数据库和目标数据库之间的实时同步有时会 存在一个时间差,称为时延,单位为秒。

时延阈值设置是指时延超过一定的值后(时延阈值范围为1—

3600s),DRS可以发送告警通知。告警通知将在时延稳定超过 设定的阈值6min后发送,避免出现由于时延波动反复发送告警 通知的情况。

设置任务异常自动结束天数,输入值必须在14-100之间,默认 值14。

迁移任务启动后,会经历全量迁移和增量迁移两个阶段,对于不同阶段的迁移任务,

您可以进行任务管理。

● 全量迁移

– 查看迁移进度:全量迁移中的任务,您可单击任务名称,在“迁移进度”页 签下,查看全量迁移进度,您可以查看结构、数据、索引迁移的进度,也查 看具体迁移对象的迁移进度。当全量迁移进度显示为100%,表示全量迁移已 经完成。

1. 先中断业务(如果业务负载非常轻,也可以尝试不中断业务)。

2. 在源数据库端执行如下语句,并观察在1-5分钟内若无任何新会话执行SQL ,则可 认为业务已经完全停止。

db.currentOp() 说明

上述语句查询到的进程列表中,包括DRS迁移实例的连接,您需要确认除DRS迁移实例的 连接外无任何新会话执行SQL,即可认为业务已经完全停止。

3. 通过DRS迁移任务监控页面进行观察同步时延,保持实时同步时延为0,并稳定保

3. 通过DRS迁移任务监控页面进行观察同步时延,保持实时同步时延为0,并稳定保