DDM 数据库到 Kafka 同步实例

本小节以DDM->Kafka的出云实时同步为示例，介绍如何使用数据复制服务配置实时 同步任务。

前提条件

● 已登录数据复制服务控制台。

● 账户余额大于等于0元。

● 参见实时同步。

● 参见使用须知。

操作步骤

步骤1 在“实时同步管理”页面，单击“创建同步任务”。

步骤2 在“同步实例”页面，填选区域、任务名称、任务异常通知信息、SMN主题、时延阈 值、任务异常自动结束时间、描述、同步实例信息，单击“下一步”。

图5-14 同步任务信息

表5-11 任务和描述

参数 描述

区域 当前所在区域，可进行切换。

任务名称 任务名称在4-50位之间，必须以字母开头，不区分大小写，可以包 含字母、数字、中划线或下划线，不能包含其他的特殊字符。

任务异常通

知设置 该项为可选参数，开启之后，选择对应的SMN主题。当同步任务状 态异常时，系统将发送通知。

SMN主题 “任务异常通知设置”项开启后可见，需提前在SMN上申请主题并 添加订阅。

SMN主题申请和订阅可参考《消息通知服务用户指南》。

时延阈值 在增量同步阶段，源数据库和目标数据库之间的同步有时会存在一

参数 描述 任务异常自

动结束时间

（天）

设置任务异常自动结束天数，输入值必须在14-100之间。

说明 络和VPN、专线网络。

源数据库实例 可用的DDM实例。 的子网。为确保同步实例创建成功，仅显示已经开启DHCP的子 网。

参数 描述

同步类型 增量。

增量同步通过解析日志等技术，将源端产生的增量实时同步至 目标端。

无需中断业务，实现同步过程中源业务和数据库继续对外提供 访问。

企业项目 对于已成功关联企业项目的用户，仅需在“企业项目”下拉框 中选择目标项目。

如果需要自定义企业项目，请前往项目管理服务进行创建。关 于如何创建项目，详见《项目管理用户指南》。

标签 可选配置，对同步任务的标识。使用标签可方便管理您的实时 同步任务。每个任务最多支持10个标签配额。

任务创建成功后，您可以单击实例名称，在“标签”页签下查 看对应标签。关于标签的详细操作，请参见标签管理。

步骤3 在“源库及目标库”页面，同步实例创建成功后，填选源库信息和目标库信息，建议 您单击“源库和目标库”处的“测试连接”，分别测试并确定与源库和目标库连通 后，单击“下一步”。

图5-16 源库信息

表5-13 源库信息

参数 描述

数据库实例名称 默认为创建迁移任务时选择的关系型数据库实例，不可进行修 改。

图5-17 目标库信息

表5-14 源库信息

参数 描述

IP地址或域名 目标数据库的IP地址或域名。

说明

目标数据库的用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上，待该任务删 除后会永久清除。

步骤4 在“设置同步”页面，选择同步策略、数据格式和同步对象，单击“下一步”。

图5-18 同步模式

表5-15 同步对象

参数 描述

同步Topic 策略

同步Topic策略，可选择“集中投递到一个Topic”或者“自动生成 Topic名字”。

参数 描述

Topic 选择目标端需要同步到的Topic，同步Topic策略选择“集中投递到一个 Topic”时可见。

Topic名字

格式 Topic名字格式，同步Topic策略选择“自动生成Topic名字”时可见。

Topic名字格式支持database和tablename两个变量，其他字符都当做 常量。分别用$database$代替数据库名，$tablename$代替表名。

例如：配置成$database$-$tablename$时，如果数据库名称为db1，

表名为tab1，则Topic名字为db1-tab1。如果是DDL语句，

$tablename$为空，则Topic名字为db1.

同步到kafka partition策 略

同步到kafka partition策略。

● 按库名+表名的hash值投递到不同Partition：适用于单表的查询场 景，表内保序，表与表之间不保序，可以提高单表读写性能，推荐 使用此选项。

● 全部投递到Partition 0：适用于有事务要求的场景，事务保序，可 以保证完全按照事务顺序消费，写入性能比较差，如果没有强事务 要求，不推荐使用此选项。投递到Partition 0必须是自动创建 Topic，选择已有Topic不支持该选项。

● 按表的主键值hash值投递到不同的Partion：适用于一个表一个 Topic的场景。

投送到kafka的数 据格式

选择投送到kafka的数据格式。

● Avro：可以显示Avro二进制编码，高效获取数据。

● JSON：为Json消息格式，方便解释格式，但需要占用更多的空间。

● JSON-C：一种能够兼容多个批量，流式计算框架的数据格式。

详细格式可参考Kafka消息格式。

同步对象 同步对象支持表级同步和库级同步，您可以根据业务场景选择对应的

图5-19 预检查

说明

所有检查项结果均通过时，若存在待确认项，需要阅读并确认详情后才可以继续执行下一 步操作。

步骤6 在“任务确认”页面，设置同步任务的启动时间，并确认同步任务信息无误后，勾选 协议，单击“启动任务”，提交同步任务。

说明

● 同步任务的启动时间可以根据业务需求，设置为“立即启动”或“稍后启动”。

● 预计同步任务启动后，会对源数据库和目标数据库的性能产生影响，建议选择业务低峰期，

合理设置同步任务的启动时间。

步骤7 同步任务提交后，您可在“实时同步管理”页面，查看并管理自己的任务。

● 您可查看任务提交后的状态，状态请参见任务状态。

● 在任务列表的右上角，单击 刷新列表，可查看到最新的任务状态。

----结束