• 沒有找到結果。

{ "a": { "b": { "c": "xx", "d": "xx"

} }}

此场景下,对于数据根字段和解析路径有三种配置方案:

数据根字段不设置

元数据c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。

数据根字段设置为a

元数据的解析路径从元素a的下层路径开始。元数据c的解析路径需要设 置为b.c,元素d的解析路径需设置为b.d。

数据根字段设置为a.b

元数据的解析路径从元素b的下层路径开始。元数据c的解析路径需要设 置为c,元素d的解析路径需设置为d。

– JSON/XML格式数据中含数组

如以下JSON格式数据(XML原理类似),我们定义元素a的完整路径为a,元 素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为 a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标 端的数据。

{ "a": { "b": [{

"c": "xx", "d": "xx"

}, {

"c": "yy", "d": "yy"

} ] }}

此场景下,对于数据根字段和解析路径有三种配置方案:

数据根字段不设置

元数据c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为 a.b[i].d。

数据根字段设置为a

元数据的解析路径从元素a的下层路径开始。元数据c的解析路径需要设 置为b[i].c,元素d的解析路径需设置为b[i].d。

数据根字段设置为a.b

元数据的解析路径从元素b的下层路径开始。元数据c的解析路径需要设 置为[i].c,元素d的解析路径需设置为[i].d。

以上面JSON/XML格式数据中含数组的样例为例,目标端为API的配置示例如下所 示。

– 分页配置示例,pageNo和pageSize为API的分页参数,需要同时在请求参数 中添加。

4-4 API 分页配置示例

– 增量迁移配置示例,startTime和endTime为API的时间参数,需要同时在请 求参数中添加。

4-5 API 增量迁移配置示例

– 元数据配置示例,把a作为数据根字段。

4-6 API 元数据配置示例

2. 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。

ActiveMQ

返回页首

任务的“集成模式”为“实时”时,可以选择ActiveMQ作为源端数据源。

1. 在创建任务页面中配置源端信息。

4-6 源端 ActiveMQ 信息

参数 配置说明

源端实例 选择当前正在使用的ROMA Connect实例。

源端集成应用 选择ActiveMQ数据源所属的集成应用,在接入数据源时已 配置。

源端数据类型 选择“ActiveMQ”。

数据源名称 选择接入数据源中已配置的ActiveMQ数据源。

目标端类型 选择ActiveMQ数据源的消息传递模型,支持“Topic”和

“Queue”两种消息传递模型。

目标端名称 填写要获取数据的Topic或Queue名称,请确保该Topic或 Queue已存在。

是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据 解析。

● 若选择是,则ROMA Connect根据配置的解析规则,对 获取到的源端数据解析后再集成到目标端。

● 若选择否,则ROMA Connect会直接透传获取到的源端 数据,并集成到目标端。

数据根字段 仅当“是否解析”选择“是”时需要配置。

指从源端获取到的JSON格式数据中,元数据集上层公共字 段的路径。“数据根字段”与元数据的“解析路径”组 合,即为元数据的完整路径,具体请参见元数据解析路径 配置说明。

参数 配置说明 数据元素,即需要通过ROMA Connect集成到目标端的数据。

{ "a": { 底层数据元素,即需要通过ROMA Connect集成到目标端的数据。

{ "a": {

}}

此场景下,对于数据根字段和解析路径有三种配置方案:

数据根字段不设置

元数据c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为 a.b[i].d。

数据根字段设置为a

元数据的解析路径从元素a的下层路径开始。元数据c的解析路径需要设 置为b[i].c,元素d的解析路径需设置为b[i].d。

数据根字段设置为a.b

元数据的解析路径从元素b的下层路径开始。元数据c的解析路径需要设 置为[i].c,元素d的解析路径需设置为[i].d。

以上面JSON格式数据中不含数组的样例为例,源端为ActiveMQ的配置示例如下 图所示。

4-7 ActiveMQ 配置示例

2. 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。

ArtemisMQ

返回页首

任务的“集成模式”为“实时”时,可以选择ArtemisMQ作为源端数据源。

1. 在创建任务页面中配置源端信息。

4-7 源端 ArtemisMQ 信息

参数 配置说明

源端实例 选择当前正在使用的ROMA Connect实例。

源端集成应用 选择ArtemisMQ数据源所属的集成应用,在接入数据源时 已配置。

源端数据类型 选择“ArtemisMQ”。

数据源名称 选择接入数据源中已配置的ArtemisMQ数据源。

参数 配置说明

目标端类型 选择ArtemisMQ数据源的消息传递模型,可选择“Topic”

和“Queue”。

目标端名称 填写要获取数据的Topic或Queue名称,请确保该Topic或 Queue已存在。

是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据 解析。

● 若选择是,则ROMA Connect根据配置的解析规则,对 获取到的源端数据解析后再集成到目标端。

● 若选择否,则ROMA Connect会直接透传获取到的源端 数据,并集成到目标端。

数据根字段 仅当“是否解析”选择“是”时需要配置。

指从源端获取到的JSON格式数据中,元数据集上层公共字 段的路径。“数据根字段”与元数据的“解析路径”组 合,即为元数据的完整路径,具体请参见元数据解析路径 配置说明。

元数据 仅当“是否解析”选择“是”时需要配置。

指从源端获取到的JSON格式数据中,要集成到目标端的每 一个底层key-value型数据元素。

● 别名:对元数据的自定义名称。

● 类型:元数据的数据类型,需要与源端数据中对应字段 的数据类型一致。

● 解析路径:元数据的完整路径中,不包含数据根字段的 路径部分,具体请参见元数据解析路径配置说明。

元数据解析路径配置说明:

– JSON格式数据中不含数组。

如以下JSON格式数据,我们定义元素a的完整路径为a,元素b的完整路径为 a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层 数据元素,即需要通过ROMA Connect集成到目标端的数据。

{ "a": { "b": { "c": "xx", "d": "xx"

} }}

此场景下,对于数据根字段和解析路径有三种配置方案:

数据根字段不设置

元数据c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。

数据根字段设置为a

元数据的解析路径从元素a的下层路径开始。元数据c的解析路径需要设 置为b.c,元素d的解析路径需设置为b.d。

数据根字段设置为a.b

元数据的解析路径从元素b的下层路径开始。元数据c的解析路径需要设 置为c,元素d的解析路径需设置为d。

– JSON格式数据中含数组。

如以下JSON格式数据,我们定义元素a的完整路径为a,元素b的完整路径为 a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为 底层数据元素,即需要通过ROMA Connect集成到目标端的数据。

{ "a": { "b": [{

"c": "xx", "d": "xx"

}, {

"c": "yy", "d": "yy"

} ] }}

此场景下,对于数据根字段和解析路径有三种配置方案:

数据根字段不设置

元数据c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为 a.b[i].d。

数据根字段设置为a

元数据的解析路径从元素a的下层路径开始。元数据c的解析路径需要设 置为b[i].c,元素d的解析路径需设置为b[i].d。

数据根字段设置为a.b

元数据的解析路径从元素b的下层路径开始。元数据c的解析路径需要设 置为[i].c,元素d的解析路径需设置为[i].d。

源端为ArtemisMQ的配置与ActiveMQ的类似,配置示例可参考ActiveMQ配置示 例。

2. 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。

DB2

返回页首

任务的“集成模式”为“定时”时,可以选择DB2作为源端数据源。

1. 在创建任务页面中配置源端信息。

4-8 源端 DB2 信息

参数 配置说明

源端实例 选择当前正在使用的ROMA Connect实例。

源端集成应

用 选择DB2数据源所属的集成应用,在接入数据源时已配置。

参数 配置说明 源端数据类

型 选择“DB2”。

数据源名称 选择接入数据源中已配置的DB2数据源。

插入SQL 选择是否使用SQL语句来获取源端数据。

● 开启,表示ROMA Connect根据填写的SQL语句来获取源端数 据。

● 不开启,表示ROMA Connect根据界面配置的条件来获取源端 数据。

若选择开启,则还需要填写查询数据的SQL语句。填写的语句必 须为select语句并包含where条件,不能使用insert、update、

delete、drop等语句。单击“检测SQL”,可以检测语句的有效 性。

例如,语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01,表示从table01数据表中选取 col01和col02这两列的数据,筛选列col02中值为A、B或C的数据

选择DB2数据源使用的时区,以便ROMA Connect识别数据的时 间戳,默认为GMT+8:00时区(北京时间)。

参数 配置说明

为了避免源端生成数据时存在滞后,导致ROMA Connect查询源 端增量数据出现遗漏,可通过时间补偿进行调整。获取数据的结

扩展元数据 当数据库中某个字段的值为JSON格式,且需要采集该JSON格式 值中的底层key-value型数据元素时需要配置。 数据元素,即需要通过ROMA Connect集成到目标端的数据。

此场景下,元数据c的解析路径需要设置为a.b.c,元素d的解析路径需设置为 底层数据元素,即需要通过ROMA Connect集成到目标端的数据。

此场景下,元数据c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置 为a.b[i].d。

{ "a": { "b": [{

"c": "xx", "d": "xx"

}, {

"c": "yy", "d": "yy"

} ] }}

说明

● 增量迁移不支持将源端数据表中的物理删除操作同步给目标端,建议在源端使用逻辑删 除。

● 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任 务执行时间点进行对比,识别需增量迁移的数据。

源端为DB2的配置与MySQL的类似,配置示例可参考MySQL配置示例。

2. 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。

DWS

返回页首

任务的“集成模式”为“定时”时,可以选择DWS(数据仓库服务)作为源端数据 源。

1. 在创建任务页面中配置源端信息。

4-9 源端 DWS 信息

参数 配置说明

源端实例 选择当前正在使用的ROMA Connect实例。

源端集成

应用 选择DWS数据源所属的集成应用,在接入数据源时已配置。

源端数据

类型 选择“DWS”。

数据源名

称 选择接入数据源中已配置的DWS数据源。

参数 配置说明

插入SQL 选择是否使用SQL语句来获取源端数据。

● 开启,表示ROMA Connect根据填写的SQL语句来获取源端数 据。

● 不开启,表示ROMA Connect根据界面配置的条件来获取源端 数据。

若选择开启,则还需要填写查询数据的SQL语句。填写的语句必须 为select语句并包含where条件,不能使用insert、update、

若选择开启,则还需要填写查询数据的SQL语句。填写的语句必须 为select语句并包含where条件,不能使用insert、update、