• 沒有找到結果。

4.2 入云同步使用须知

4.2.10 Oracle->MySQL

使用技巧(需要人为配合)

推荐提前2-3天启动任务,并配合如下使用技巧和操作要求,以确保任务稳定运行。

● 基于以下原因,建议您结合定时启动功能,选择业务低峰期开始运行同步任务。

– 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,

以及占用2~4个CPU。

– 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。

– 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。

– DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数 对业务的影响。

– 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独 占锁操作。

● 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便 得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过 程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。

操作要求

针对一些无法预知或人为因素及环境突变导致同步失败的情况,数据复制服务提供以 下常见的操作限制,供您在同步过程中参考。

4-19 操作要求

● 表的对象名同步到目标库后会转换成小写,如ABC和abc。因此增 量同步阶段,选择的源库的表中不能存在仅大小写不同的表,否 则,会导致同步失败。

● 源库和目标库时区设置必须一致。

● 如有中文、日文等特殊字符,业务连接Oracle数据库使用的编码 需和Oracle数据库服务端编码一致,否则目标库会出现乱码。

● Oracle中表结构同步到MySQL后表的字符集为UTF8MB4。

● 由于无主键表缺乏行的唯一性标志,网络不稳定时涉及少量重 试,表数据存在少量不一致的可能性。

● Oracle中表结构长度(所有列长字节数之和,char、varchar2等 类型字节长度和编码有关)超过65535时,可能导致同步失败。

● 源库为Oracle RAC环境时,如果需要使用scanip,需要保证 scanip与源库的所有vip互通,否则无法通过连接检查。若不使用 scanip,可以使用某一节点的vip,其他节点异常不影响同步。

● 对于Oracle RAC集群,建议使用scanip+ servicename方式创建 任务,scanip具有更强的容错性,更好的负载能力,更快的同步 体验。

● 数据类型不兼容时,可能引起同步失败。

● 由于Oracle与MySQL的部分语法有明显区别,结构同步无法完全 保证支持全部语法的转换,包括但不限于函数,表达式,依赖的 系统表等。

所以在同步过程中,会有在Oracle上存在,在MySQL中没有直接 对应的语法,或者MySQL中有对应的语法,但当前还未适配转换 的情况,这样会导致结构同步失败。这时,需要手工在目标数据 库创建表结构。

● 目标库为RDS for MySQL实例时,不支持带有TDE特性并建立具 有加密功能表。

● 增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。

● 当Oracle字符集是WE8MSWIN1252时,CLOB列同步到目标库可 能出现乱码,建议先修改源库字符集为AL32UTF8再同步数据。

类型名称 操作限制(需要人为配合)

操作须知 ● 对于同步中的数据库对象,在同步期间,目标库不能进行写入操 作,否则会导致数据不一致。

● 同步对象支持设置事务的强一致性(事务同步到目标库的提交顺 序和原子性与源库保持一致),性能相比默认模式有较大幅度降 低。

● 打开事务强一致性开关,如果一次提交事务过大(大于 256M),可能会导致内存溢出。

● 同步过程中,不允许修改、删除连接源和目标数据库的用户的用 户名、密码、权限,或修改源和目标数据库的端口号。

● 增量同步过程中,支持部分DDL操作。

– 表级同步支持alter table add column、alter table drop column、alter table rename column、alter table modify column以及truncate table的基本DDL,不支持默认值等的修 改。

– DDL中的对象不能是目标库的关键字,比如index,where 等。目标库MySQL关键字可参考MySQL官网文档。

– 目标库为8.0以下版本时,不支持alter table rename column。

● 增量DDL不支持全角、中文等特殊字符。

● 库级映射和表级映射均不区分大小写,例如映射为abc与映射为 ABC,同步到目标库后均为abc。

● 任务再编辑增加新表时,请确保新增的表的事务都已提交,否则 未提交的事务可能无法同步到目标库。建议在业务低峰期做增加 表的操作。

环境要求

实时同步对环境有一些特定的要求,请确保环境配置满足以下条件。该类型的要求系 统会自动检查,并给出处理建议。

4-20 环境要求

类型名称 使用限制(DRS自动检查)

数据库权限

设置 ● 源数据库端:

– 需要具有CREATE SESSION、SELECT ANY TRANSACTION、

SELECT ANY TABLE、SELECT ANY DICTIONARY权限和 EXECUTE_CATALOG_ROLE角色,若Oracle为12C及以上版本 还需要LOGMINING权限。

– 12c 以上版本 PDB 数据库同步时,需要为用户赋予如下权 限:在CDB下创建C##前缀的容器数据库用户赋予CREATE SESSION、SELECT ANY DICTIONARY、SELECT ANY

TABLE、LOGMINING、EXECUTE_CATALOG_ROLE权限和SET CONTAINER权限(GRANT SET CONTAINER TO

C##USERNAME CONTAINER= ALL;)。

在PDB下为C##前缀用户赋予以下权限(其中RESTRICTED SESSION、SELECT ON SYS.COL$、 SELECT ON SYS.OBJ$权 限需要单独赋予):RESTRICTED SESSION、CREATE SESSION、SELECT ANY DICTIONARY、

EXECUTE_CATALOG_ROLE、SELECT ANY TRANSACTION、

SELECT ANY TABLE、LOGMINING、SELECT ON SYS.COL

$、SELECT ON SYS.OBJ$。

● 目标数据库端:提供的目标数据库帐号必须拥有如下权限:

SELECT、INSERT、CREATE、DROP、UPDATE、ALTER、

DELETE、INDEX。

同步对象约

束 ● 支持库、表结构、主键、唯一键、普通索引、表数据的同步,其 他数据库对象暂不支持,如存储过程、触发器、函数、序列、

包、同义词、用户等。

● 全量阶段不支持bfile,xml、sdo_geometry、urowid和自定义类 型。

● 增量阶段不支持bfile,xml、interval、sdo_geometry、urowid 和自定义类型。

● 不支持同步表结构中的partition,分区表在目的库同步为非分区 表。

● 源库支持to_date和sys_guid函数做默认值。将函数作为default值 时,需要目标库也有相同功能的函数。对于目标库不存在对应函 数的情况,默认值函数可能会被置空。

● 不支持默认值含有表达式的函数的表的同步。

● 不支持同步源库中的临时表。

类型名称 使用限制(DRS自动检查)

源数据库要

求 ● Oracle单行记录不能超过8K(text、blob部分计算),原因是 MySQL innodb引擎限制单行大小不能超过8K。

● 不建议以字符串类型作为主键或唯一键,因为Oracle的字符串作 为主键、唯一键时区分空格,而MySQL不区分,可能导致数据不 一致和死锁问题。

● binary_float或者binary_double类型不支持设置Nan、Inf、-Inf 三个值,因为MySQL不支持。

● Oracle的check约束同步到MySQL会失效,原因是MySQL不支持 check约束。

● Oracle中建议列名不要取名AUTO_PK_ROW_ID,原因是这个列 名在MySQL5.7中是保留列名,无法创建出来。

● Oracle中number(p, s)字段的精度不要超过p: [1, 38], s:[p-65, min(p, 30)]的精度表示范围。其中,s取值依赖于p的取值变化,

即下限为p-65, 上限为p或30中取最小值。例如:当p=1, s的取值 范围是[-64, 1]。当p=38, s取值范围是[-27, 30]。

int字段的值不要超过(65,0)的精度表示范围。原因是MySQL 数字的表示范围比Oracle小。

● 库名、表名不支持的字符有:非ASCII字符、“. ”、 “>”、

“<”、 “\”、 “`”、 “|”、 “,”、 “? ”、 “! ”、

“"”和 “'”。

● 源数据库中的库名不允许为ib_logfile。

● Oracle到MySQL的增量同步,要求源数据库打开归档日志。

● 源数据库不允许含有空库。

● 源数据库不允许存在索引列的长度之和超过目标库索引列长度限 制的索引,具体长度要求请参见索引长度说明。

● 默认值不支持default user,MySQL没有对应的语法。

● 附加日志级别为all或者pk + ui。

● 源库为RAC时,不支持增加、减少节点数量。

● 源库为RAC时,如果需要使用scanip,需要drs node能够连接全 部节点的vip,否则无法通过连接检查。

● 目前仅支持如下字符集:ZHS16GBK、AL32UTF8、UTF8、

US7ASCII、WE8MSWIN1252。

目标数据库

要求 ● 目标数据库不能存在待同步数据库。

● DRS同步时会有大量数据写入目标库,目标库

max_allowed_packet 参数过小会导致无法写入,建议将目标库 max_allowed_packet参数值设置为大于100MB。

● 目标数据库需要有足够的磁盘空间,约为源库空间大小的1.5倍。

● 目标数据库版本小于5.7.7时,源库单个索引的全部列的长度不得 超过767,反之则不得超过3072。

● 增量同步的表要禁用外键,因为DRS并行回放会使得不同表之间