• 沒有找到結果。

返回页首

任务的“集成模式”为“定时”时,可以选择SQL Server作为源端数据源。

1. 在创建任务页面中配置源端信息。

4-35 源端 SQL Server 信息 参数 配置说明

源端实 例

选择当前正在使用的ROMA Connect实例。

源端集 成应用

选择SQL Server数据源所属的集成应用,在接入数据源时已配置。

源端数 据类型

选择“SQL Server”。

数据源 名称

选择接入数据源中已配置的SQL Server数据源。

插入SQL 选择是否使用SQL语句来获取源端数据。

● 开启,表示ROMA Connect根据填写的SQL语句来获取源端数 据。

● 不开启,表示ROMA Connect根据界面配置的条件来获取源端数 据。

若选择开启,则还需要填写查询数据的SQL语句。填写的语句必须 为select语句并包含where条件,不能使用insert、update、

delete、drop等语句。单击“检测SQL”,可以检测语句的有效性。

例如,语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01,表示从table01数据表中选取 col01和col02这两列的数据,筛选列col02中值为A、B或C的数据 行,并按照列col01的值进行顺序排列。

源端表 仅当“插入SQL”选择不开启时需要配置。

选择SQL Server数据源中要获取数据的数据表。选择数据表后,单 击“选择表字段”,可以选择只需要集成的数据列字段。

参数 配置说明

时区 仅当“是否增量迁移”选择开启时需要配置。

选择SQL Server数据源使用的时区,以便ROMA Connect识别数据 的时间戳,默认为GMT+8:00时区(北京时间)。

为了避免源端生成数据时存在滞后,导致ROMA Connect查询源端 增量数据出现遗漏,可通过时间补偿进行调整。获取数据的结束时

数据 当数据库中某个字段的值为JSON格式,且需要采集该JSON格式值 中的底层key-value型数据元素时需要配置。 数据元素,即需要通过ROMA Connect集成到目标端的数据。

此场景下,元数据c的解析路径需要设置为a.b.c,元素d的解析路径需设置为 底层数据元素,即需要通过ROMA Connect集成到目标端的数据。

此场景下,元数据c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置

● 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任 务执行时间点进行对比,识别需增量迁移的数据。

源端为SQL Server的配置与MySQL的类似,配置示例可参考MySQL配置示例。

2. 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。

GaussDB(for MySQL)

返回页首

任务的“集成模式”为“定时”时,可以选择GaussDB(for MySQL)作为源端数据源。

1. 在创建任务页面中配置源端信息。

4-36 源端 GaussDB(for MySQL)信息

参数 配置说明

源端实例 选择当前正在使用的ROMA Connect实例。

源端集成

应用 选择GaussDB(for MySQL)数据源所属的集成应用,在接入数据源 时已配置。

源端数据

类型 选择“GaussDB(for MySQL)”。

参数 配置说明 数据源名

称 选择接入数据源中已配置的GaussDB(for MySQL)数据源。

插入SQL 选择是否使用SQL语句来获取源端数据。

● 开启,表示ROMA Connect根据填写的SQL语句来获取源端数 据。

● 不开启,表示ROMA Connect根据界面配置的条件来获取源端 数据。

若选择开启,则还需要填写查询数据的SQL语句。填写的语句必须 为select语句并包含where条件,不能使用insert、update、

delete、drop等语句。单击“检测SQL”,可以检测语句的有效 性。

例如,语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01,表示从table01数据表中选取 col01和col02这两列的数据,筛选列col02中值为A、B或C的数据 行,并按照列col01的值进行顺序排列。

源端表 仅当“插入SQL”选择不开启时需要配置。

选择GaussDB(for MySQL)数据源中要获取数据的数据表。选择数 据表后,单击“选择表字段”,可以选择只需要集成的数据列字

选择GaussDB(for MySQL)数据源使用的时区,以便ROMA Connect识别数据的时间戳,默认为GMT+8:00时区(北京时

参数 配置说明

为了避免源端生成数据时存在滞后,导致ROMA Connect查询源 端增量数据出现遗漏,可通过时间补偿进行调整。获取数据的结

据 当数据库中某个字段的值为JSON格式,且需要采集该JSON格式值 中的底层key-value型数据元素时需要配置。 数据元素,即需要通过ROMA Connect集成到目标端的数据。

此场景下,元数据c的解析路径需要设置为a.b.c,元素d的解析路径需设置为 底层数据元素,即需要通过ROMA Connect集成到目标端的数据。

此场景下,元数据c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置 为a.b[i].d。

{ "a": { "b": [{

"c": "xx", "d": "xx"

}, {

"c": "yy", "d": "yy"

} ] }}

说明

● 增量迁移不支持将源端数据表中的物理删除操作同步给目标端,建议在源端使用逻辑删 除。

● 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任 务执行时间点进行对比,识别需增量迁移的数据。

以上面JSON格式数据中含数组的样例为例,目标端为GaussDB(for MySQL)的配 置示例如下所示。

– 增量迁移配置示例,数据表中需包含DATE类型的字段,用作时间戳字段。

4-20 GaussDB(for MySQL)增量迁移配置示例

– 扩展元数据配置示例,从数据表的desc字段中获取子元素c和d。

4-21 GaussDB(for MySQL)扩展元数据配置示例

2. 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。

WebSocket

返回页首

任务的“集成模式”为“实时”时,可以选择WebSocket作为源端数据源。

1. 在创建任务页面中配置源端信息。

4-37 源端 WebSocket 信息

参数 配置说明

源端实例 选择当前正在使用的ROMA Connect实例。

源端集成应用 选择WebSocket数据源所属的集成应用,在接入数据源时 已配置。

源端数据类型 选择“WebSocket”。

数据源名称 选择接入数据源中已配置的WebSocket数据源。

数据根字段 指从源端获取到的JSON格式数据中,元数据集上层公共字 段的路径。“数据根字段”与元数据的“解析路径”组 合,即为元数据的完整路径,具体请参见元数据路径配置 说明。

是否启用心跳机 制

ROMA Connect是否与WebSocket数据源之间启用心跳机 制,确保连接的有效性。

心跳消息内容 仅当“是否启用心跳机制”选择“是”时需要配置。

ROMA Connect向WebSocket数据源发送的心跳包中携带 的消息内容,自定义。

发送心跳间隔(分

钟) 仅当“是否启用心跳机制”选择“是”时需要配置。

ROMA Connect向WebSocket数据源发送心跳包的时间间 隔。

是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据 解析。

● 若选择是,则ROMA Connect根据配置的解析规则,对 获取到的源端数据解析后再集成到目标端。

● 若选择否,则ROMA Connect会直接透传获取到的源端 数据,并集成到目标端。

元数据 仅当“是否解析”选择“是”时需要配置。

指从源端获取到的JSON格式数据中,要集成到目标端的每 一个底层key-value型数据元素。

● 别名:对元数据的自定义名称。

● 类型:元数据的数据类型,需要与源端数据中对应字段 的数据类型一致。

● 解析路径:元数据的完整路径中,不包含数据根字段的 路径部分,具体请参见元数据解析路径配置说明。

元数据解析路径配置说明:

– JSON格式数据中不含数组。

如以下JSON格式数据,我们定义元素a的完整路径为a,元素b的完整路径为 a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层 数据元素,即需要通过ROMA Connect集成到目标端的数据。

{ "a": { 底层数据元素,即需要通过ROMA Connect集成到目标端的数据。

{ "a": {

以上面JSON格式数据中不含数组的样例为例,源端为WebSocket的配置示例如下 图所示。

4-22 WebSocket 配置示例

2. 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。