返回页首
任务的“集成模式”为“定时”或“实时”时，可以选择自定义数据源作为源端数据 源。ROMA Connect通过标准RESTful API的方式与自定义数据源进行通信。
1. 在创建任务页面中配置源端信息。
表4-38 源端自定义数据源信息
参数 配置说明
源端实例 选择当前正在使用的ROMA Connect实例。
源端集成应用 选择自定义数据源所属的集成应用，在接入数据源时已配 置。
源端数据类型 选择具体自定义数据源类型。
数据源名称 选择接入数据源中已配置的自定义数据源。
是否需要分页 一次API请求可以返回多条数据，ROMA Connect向自定义 数据源发送请求获取数据时，数据是否分页返回。
● 分页表示所有满足条件的数据，按照每页固定的记录数 进行分页，ROMA Connect每次获取一页数据，并通过 多次请求获取所有数据。
● 不分页则表示ROMA Connect通过一次API请求获取所 有满足条件的数据。
起始页 仅当“是否需要分页”选择开启时需要配置。
填写分页页码起始页，指第一页从0或者从1开始计数，请 根据API的原始定义填写。
单页大小 仅当“是否需要分页”选择开启时需要配置。
填写每页的最大数据记录数，请根据API的原始定义填写。
参数 配置说明
是否增量迁移 选择是否只集成指定时间段内的数据。
首次调度采集是采集时间戳初始值到当前调度时间之间的 数据，后续每一次调度采集的数据为上次采集成功的时间 到当前时间之间的数据。
时区 选择自定义数据源使用的时区，以便ROMA Connect识别 数据的时间戳，默认为GMT+8:00时区（北京时间）。
数据起始时间 仅当“是否增量迁移”选择开启时需要配置。
首次集成数据时，要集成数据的起始时间，即只集成该时 间点之后的数据。
是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据 解析。
● 若选择是，则ROMA Connect根据配置的解析规则，对 获取到的源端数据解析后再集成到目标端。
● 若选择否，则ROMA Connect会直接透传获取到的源端 数据，并集成到目标端。
元数据 仅当“是否解析”选择“是”时需要配置。
指从源端获取到的JSON格式数据中，要集成到目标端的每 一个底层key-value型数据元素。
● 别名：对元数据的自定义名称。
● 类型：元数据的数据类型，需要与响应消息中对应参数 的数据类型一致。
● 解析路径：元数据的完整路径，具体请参见元数据解析 路径配置说明。
除了以上参数外，不同自定义数据源会定义不同的读端参数，请按照连接器原 始定义规范填写。您可以在ROMA Connect控制台的“资产管理”页面中找到 自定义数据源所使用的连接器，查看连接器的“读端参数定义”信息。
元数据解析路径配置说明：
– JSON格式数据中不含数组。
如以下JSON格式数据，我们定义元素a的完整路径为a，元素b的完整路径为 a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层 数据元素，即需要通过ROMA Connect集成到目标端的数据。
此场景下，元数据c的解析路径需要设置为a.b.c，元素d的解析路径需设置为 a.b.d。
{ "a": { "b": { "c": "xx", "d": "xx"
} }}
– JSON格式数据中含数组
如以下JSON格式数据，我们定义元素a的完整路径为a，元素b的完整路径为 a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为 底层数据元素，即需要通过ROMA Connect集成到目标端的数据。
此场景下，元数据c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置 为a.b[i].d。
{ "a": { "b": [{
"c": "xx", "d": "xx"
}, {
"c": "yy", "d": "yy"
} ] }}
以上面JSON格式数据中不含数组的样例为例，源端为自定义数据源的配置示例如 下图所示，其中key为连机器中定义的读端参数。
图4-23 自定义数据源配置示例
2. 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。
4.3.3 配置目标端数据信息
概述
本节主要提供数据集成任务目标端信息的配置说明。目标端信息用于告诉ROMA Connect如何将待集成的数据写入到目标端，包括数据源、数据存储信息等。对于不同 的数据源类型，其目标端信息配置有所差异。
说明
● 数据迁移过程中若目标端数据存在主键冲突，则根据主键自动更新数据。
● 当目标端数据源为FI Hive或MRS Hive时，源端数据源只能为API、MQS和SAP数据源。
支持“定时&实时”模式的目标端数据类型 仅支持“定时”模式的目 标端数据类型
●
API
●
ActiveMQ
●
ArtemisMQ
●
DB2
●
GaussDB(for openGauss)
●
GaussDB(DWS)
●
HL7
●
HANA
●
IBM MQ
●
Kafka
●
MySQL
●
MongoDB
●
MQS
●
MRS Hive
●
MRS HDFS
●
MRS HBase
●
MRS Kafka
●
Oracle
●
PostgreSQL
●
Redis
●
RabbitMQ
●
SQL Server
●
GaussDB(for MySQL)
● 自定义数据源
目标端实例 配置为当前正在使用的ROMA Connect实例，源端实 例配置后目标端自动关联，无需配置。
目标端集成应用 选择API数据源所属的集成应用，在接入数据源时已配 置。
目标端数据类型 选择“API”。
数据源名称 选择接入数据源中已配置的API数据源。
参数 配置说明
请求参数 构造API请求的参数定义，例如要集成到目标端的数 据，需要在Body中携带。请根据API数据源的定义如 实填写。
● Params：请求URL中问号后面定义的参数，只能对 参数传递固定值。Params参数的填写跟Body参数 的form-data方式类似。
● Headers：RESTful请求的消息头参数，只能对参数 传递固定值。Headers参数的填写跟Body参数的
form-data方式类似。
● Body：RESTful请求消息体的底层参数，与“数据 根字段”组成发给目标端API的Body消息体，源端 数据通过Body参数传递到目标端。Body支持
“form-data”和“raw”两种形式，具体请参见
Body参数配置说明。
数据根字段 发送到目标端的JSON格式Body消息体中，参数字段 集上层公共字段的路径。“数据根字段”与“请求参 数”中配置的Body参数组成发给目标端API的Body消 息体。
例如Body参数为：{"c":"xx","d":"xx"}，数据根字段定 义a.b，则封装后的请求数据为{"a":{"b":
{"c":"xx","d":"xx"}}}。
Body参数配置说明：
– form-data方式：
“键”填写为API数据源定义的Body参数名称，“键”的值设置为空。
“键”在Mapping信息中作为“目标字段名”，以此映射和传递源端字段的 值。
图4-24 form-data 方式
– raw方式：
raw方式持JSON、Array和嵌套JSON格式。填写发送给目标端API的JSON格 式Body示例，ROMA Connect根据示例以及Mapping映射配置，替换示例中 参数的值，最终将源端数据传递给目标端。raw方式的Body示例如下。