{ "a": { "b": { "c": "xx", "d": "xx"
} }}
此场景下,对于数据根字段和解析路径有三种配置方案:
▪
数据根字段不设置元数据c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。
▪
数据根字段设置为a元数据的解析路径从元素a的下层路径开始。元数据c的解析路径需要设 置为b.c,元素d的解析路径需设置为b.d。
▪
数据根字段设置为a.b元数据的解析路径从元素b的下层路径开始。元数据c的解析路径需要设 置为c,元素d的解析路径需设置为d。
– JSON/XML格式数据中含数组
如以下JSON格式数据(XML原理类似),我们定义元素a的完整路径为a,元 素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为 a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标 端的数据。
{ "a": { "b": [{
"c": "xx", "d": "xx"
}, {
"c": "yy", "d": "yy"
} ] }}
此场景下,对于数据根字段和解析路径有三种配置方案:
▪
数据根字段不设置元数据c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为 a.b[i].d。
▪
数据根字段设置为a元数据的解析路径从元素a的下层路径开始。元数据c的解析路径需要设 置为b[i].c,元素d的解析路径需设置为b[i].d。
▪
数据根字段设置为a.b元数据的解析路径从元素b的下层路径开始。元数据c的解析路径需要设 置为[i].c,元素d的解析路径需设置为[i].d。
以上面JSON/XML格式数据中含数组的样例为例,目标端为API的配置示例如下所 示。
– 分页配置示例,pageNo和pageSize为API的分页参数,需要同时在请求参数 中添加。
图4-4 API 分页配置示例
– 增量迁移配置示例,startTime和endTime为API的时间参数,需要同时在请 求参数中添加。
图4-5 API 增量迁移配置示例
– 元数据配置示例,把a作为数据根字段。
图4-6 API 元数据配置示例
2. 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。
ActiveMQ
返回页首
任务的“集成模式”为“实时”时,可以选择ActiveMQ作为源端数据源。
1. 在创建任务页面中配置源端信息。
表4-6 源端 ActiveMQ 信息
参数 配置说明
源端实例 选择当前正在使用的ROMA Connect实例。
源端集成应用 选择ActiveMQ数据源所属的集成应用,在接入数据源时已 配置。
源端数据类型 选择“ActiveMQ”。
数据源名称 选择接入数据源中已配置的ActiveMQ数据源。
目标端类型 选择ActiveMQ数据源的消息传递模型,支持“Topic”和
“Queue”两种消息传递模型。
目标端名称 填写要获取数据的Topic或Queue名称,请确保该Topic或 Queue已存在。
是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据 解析。
● 若选择是,则ROMA Connect根据配置的解析规则,对 获取到的源端数据解析后再集成到目标端。
● 若选择否,则ROMA Connect会直接透传获取到的源端 数据,并集成到目标端。
数据根字段 仅当“是否解析”选择“是”时需要配置。
指从源端获取到的JSON格式数据中,元数据集上层公共字 段的路径。“数据根字段”与元数据的“解析路径”组 合,即为元数据的完整路径,具体请参见元数据解析路径 配置说明。
参数 配置说明 数据元素,即需要通过ROMA Connect集成到目标端的数据。
{ "a": { 底层数据元素,即需要通过ROMA Connect集成到目标端的数据。
{ "a": {
}}
此场景下,对于数据根字段和解析路径有三种配置方案:
▪
数据根字段不设置元数据c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为 a.b[i].d。
▪
数据根字段设置为a元数据的解析路径从元素a的下层路径开始。元数据c的解析路径需要设 置为b[i].c,元素d的解析路径需设置为b[i].d。
▪
数据根字段设置为a.b元数据的解析路径从元素b的下层路径开始。元数据c的解析路径需要设 置为[i].c,元素d的解析路径需设置为[i].d。
以上面JSON格式数据中不含数组的样例为例,源端为ActiveMQ的配置示例如下 图所示。
图4-7 ActiveMQ 配置示例
2. 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。
ArtemisMQ
返回页首
任务的“集成模式”为“实时”时,可以选择ArtemisMQ作为源端数据源。
1. 在创建任务页面中配置源端信息。
表4-7 源端 ArtemisMQ 信息
参数 配置说明
源端实例 选择当前正在使用的ROMA Connect实例。
源端集成应用 选择ArtemisMQ数据源所属的集成应用,在接入数据源时 已配置。
源端数据类型 选择“ArtemisMQ”。
数据源名称 选择接入数据源中已配置的ArtemisMQ数据源。
参数 配置说明
目标端类型 选择ArtemisMQ数据源的消息传递模型,可选择“Topic”
和“Queue”。
目标端名称 填写要获取数据的Topic或Queue名称,请确保该Topic或 Queue已存在。
是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据 解析。
● 若选择是,则ROMA Connect根据配置的解析规则,对 获取到的源端数据解析后再集成到目标端。
● 若选择否,则ROMA Connect会直接透传获取到的源端 数据,并集成到目标端。
数据根字段 仅当“是否解析”选择“是”时需要配置。
指从源端获取到的JSON格式数据中,元数据集上层公共字 段的路径。“数据根字段”与元数据的“解析路径”组 合,即为元数据的完整路径,具体请参见元数据解析路径 配置说明。
元数据 仅当“是否解析”选择“是”时需要配置。
指从源端获取到的JSON格式数据中,要集成到目标端的每 一个底层key-value型数据元素。
● 别名:对元数据的自定义名称。
● 类型:元数据的数据类型,需要与源端数据中对应字段 的数据类型一致。
● 解析路径:元数据的完整路径中,不包含数据根字段的 路径部分,具体请参见元数据解析路径配置说明。
元数据解析路径配置说明:
– JSON格式数据中不含数组。
如以下JSON格式数据,我们定义元素a的完整路径为a,元素b的完整路径为 a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层 数据元素,即需要通过ROMA Connect集成到目标端的数据。
{ "a": { "b": { "c": "xx", "d": "xx"
} }}
此场景下,对于数据根字段和解析路径有三种配置方案:
▪
数据根字段不设置元数据c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。
▪
数据根字段设置为a元数据的解析路径从元素a的下层路径开始。元数据c的解析路径需要设 置为b.c,元素d的解析路径需设置为b.d。
▪
数据根字段设置为a.b元数据的解析路径从元素b的下层路径开始。元数据c的解析路径需要设 置为c,元素d的解析路径需设置为d。
– JSON格式数据中含数组。
如以下JSON格式数据,我们定义元素a的完整路径为a,元素b的完整路径为 a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为 底层数据元素,即需要通过ROMA Connect集成到目标端的数据。
{ "a": { "b": [{
"c": "xx", "d": "xx"
}, {
"c": "yy", "d": "yy"
} ] }}
此场景下,对于数据根字段和解析路径有三种配置方案:
▪
数据根字段不设置元数据c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为 a.b[i].d。
▪
数据根字段设置为a元数据的解析路径从元素a的下层路径开始。元数据c的解析路径需要设 置为b[i].c,元素d的解析路径需设置为b[i].d。
▪
数据根字段设置为a.b元数据的解析路径从元素b的下层路径开始。元数据c的解析路径需要设 置为[i].c,元素d的解析路径需设置为[i].d。
源端为ArtemisMQ的配置与ActiveMQ的类似,配置示例可参考ActiveMQ配置示 例。
2. 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。
DB2
返回页首
任务的“集成模式”为“定时”时,可以选择DB2作为源端数据源。
1. 在创建任务页面中配置源端信息。
表4-8 源端 DB2 信息
参数 配置说明
源端实例 选择当前正在使用的ROMA Connect实例。
源端集成应
用 选择DB2数据源所属的集成应用,在接入数据源时已配置。
参数 配置说明 源端数据类
型 选择“DB2”。
数据源名称 选择接入数据源中已配置的DB2数据源。
插入SQL 选择是否使用SQL语句来获取源端数据。
● 开启,表示ROMA Connect根据填写的SQL语句来获取源端数 据。
● 不开启,表示ROMA Connect根据界面配置的条件来获取源端 数据。
若选择开启,则还需要填写查询数据的SQL语句。填写的语句必 须为select语句并包含where条件,不能使用insert、update、
delete、drop等语句。单击“检测SQL”,可以检测语句的有效 性。
例如,语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01,表示从table01数据表中选取 col01和col02这两列的数据,筛选列col02中值为A、B或C的数据
选择DB2数据源使用的时区,以便ROMA Connect识别数据的时 间戳,默认为GMT+8:00时区(北京时间)。
参数 配置说明
为了避免源端生成数据时存在滞后,导致ROMA Connect查询源 端增量数据出现遗漏,可通过时间补偿进行调整。获取数据的结
扩展元数据 当数据库中某个字段的值为JSON格式,且需要采集该JSON格式 值中的底层key-value型数据元素时需要配置。 数据元素,即需要通过ROMA Connect集成到目标端的数据。
此场景下,元数据c的解析路径需要设置为a.b.c,元素d的解析路径需设置为 底层数据元素,即需要通过ROMA Connect集成到目标端的数据。
此场景下,元数据c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置 为a.b[i].d。
{ "a": { "b": [{
"c": "xx", "d": "xx"
}, {
"c": "yy", "d": "yy"
} ] }}
说明
● 增量迁移不支持将源端数据表中的物理删除操作同步给目标端,建议在源端使用逻辑删 除。
● 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任 务执行时间点进行对比,识别需增量迁移的数据。
源端为DB2的配置与MySQL的类似,配置示例可参考MySQL配置示例。
2. 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。
DWS
返回页首
任务的“集成模式”为“定时”时,可以选择DWS(数据仓库服务)作为源端数据 源。
1. 在创建任务页面中配置源端信息。
表4-9 源端 DWS 信息
参数 配置说明
源端实例 选择当前正在使用的ROMA Connect实例。
源端集成
应用 选择DWS数据源所属的集成应用,在接入数据源时已配置。
源端数据
类型 选择“DWS”。
数据源名
称 选择接入数据源中已配置的DWS数据源。
参数 配置说明
插入SQL 选择是否使用SQL语句来获取源端数据。
● 开启,表示ROMA Connect根据填写的SQL语句来获取源端数 据。
● 不开启,表示ROMA Connect根据界面配置的条件来获取源端 数据。
若选择开启,则还需要填写查询数据的SQL语句。填写的语句必须 为select语句并包含where条件,不能使用insert、update、
若选择开启,则还需要填写查询数据的SQL语句。填写的语句必须 为select语句并包含where条件,不能使用insert、update、