用户指南
文档版本 27
发布日期 2022-02-18
版权所有 © 华为技术有限公司 2022。 保留一切权利。
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传 播。
商标声明
和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标,由各自的所有人拥有。
注意
您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声 明或保证。
由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
目 录
1 开始使用 ROMA Connect...1
2 实例管理...3
2.1 创建 ROMA Connect 实例... 3
2.1.1 准备资源... 3
2.1.2 创建实例... 5
2.2 创建 ROMA Site 协同版实例... 7
2.2.1 准备资源... 8
2.2.2 创建实例... 14
2.3 实例配置管理...20
2.3.1 查看实例信息... 20
2.3.2 修改实例配置参数... 21
2.3.3 创建数据字典... 25
2.3.4 导入导出资产... 26
3 集成应用管理...27
3.1 创建集成应用...27
3.2 配置集成应用授权... 28
4 数据集成指导...31
4.1 业务使用介绍...31
4.2 接入数据源... 33
4.3 创建数据集成任务(普通任务)...34
4.3.1 配置任务基本信息... 35
4.3.2 配置源端数据信息... 38
4.3.3 配置目标端数据信息...115
4.3.4 配置数据映射规则... 152
4.3.5 配置异常数据存储(可选)...154
4.3.6 配置任务完成后执行(可选)... 155
4.4 创建数据集成任务(组合任务)... 156
4.4.1 配置 Oracle CDC(LogMiner)... 156
4.4.2 配置 Oracle CDC(XStream)... 160
4.4.3 配置 MySQL CDC(Binlog)... 168
4.4.4 配置 SQL Server CDC...169
4.4.5 创建组合任务...173
4.5 启停数据集成任务... 177
4.6 数据集成任务管理... 178
4.6.1 查看数据集成任务... 178
4.6.2 导入导出数据集成任务... 179
4.6.3 附录:QuartZ Cron 表达式配置说明...180
5 服务集成指导...183
5.1 业务使用介绍... 183
5.2 开放 API... 185
5.2.1 创建 API 分组...185
5.2.2 绑定域名... 186
5.2.3 创建负载通道(可选)... 187
5.2.4 创建 API... 190
5.2.5 调试 API... 201
5.2.6 创建发布环境和环境变量(可选)...202
5.2.7 发布 API... 204
5.2.8 配置 API 授权(可选)... 205
5.3 创建并开放数据 API... 206
5.3.1 接入数据源... 206
5.3.2 创建数据 API...206
5.3.3 配置 API 授权(可选)... 211
5.4 创建并开放函数 API... 212
5.4.1 创建函数 API...212
5.4.2 配置 API 授权(可选)... 216
5.5 调用 API... 216
5.5.1 调用开放的 API... 217
5.5.2 配置跨域访问 API... 218
5.5.3 查看 API 调用信息... 222
5.5.4 附录:API 错误码... 223
5.6 API 管理... 225
5.6.1 下线 API... 225
5.6.2 导入导出 API...226
5.6.3 SSL 证书管理... 228
5.6.4 附录:API 的 Swagger 扩展定义... 229
5.7 自定义后端管理... 243
5.7.1 下线自定义后端... 243
5.7.2 导入导出自定义后端...244
5.7.3 添加自定义后端公共配置... 245
5.7.4 附录:自定义后端的 Swagger 扩展定义... 246
5.8 控制策略管理... 250
5.8.1 配置流量控制策略... 250
5.8.2 配置访问控制策略... 253
5.8.3 配置客户端配额策略...254
5.8.4 配置客户端访问控制策略... 255
5.9 插件管理... 256
5.9.1 使用插件... 256
5.9.2 跨域资源共享插件说明... 258
5.9.3 Kafka 日志推送插件说明...259
5.9.4 HTTP 响应头管理插件说明... 261
5.9.5 断路器插件说明... 263
5.10 配置自定义认证... 268
5.10.1 创建前端自定义认证... 268
5.10.2 创建后端自定义认证... 271
5.11 配置后端服务的签名校验... 273
5.12 配置 API 级联...275
6 消息集成指导...280
6.1 业务使用介绍... 280
6.2 创建 Topic... 281
6.3 配置 Topic 授权(可选)... 282
6.4 连接 Topic... 283
6.5 Topic 管理... 286
6.5.1 查询消息内容...286
6.5.2 导入导出 Topic... 287
6.6 Kafka 业务迁移... 288
7 设备集成指导...291
7.1 业务使用介绍... 291
7.2 创建产品... 292
7.3 注册设备... 298
7.4 接入设备... 300
7.4.1 接入 MQTT 协议设备... 300
7.4.2 接入 Modbus 协议设备...301
7.4.3 接入 OPC UA 协议设备...307
7.5 产品管理... 311
7.5.1 查看产品... 311
7.5.2 导入导出产品...312
7.5.3 创建产品模板...313
7.6 设备管理... 316
7.6.1 查看设备... 316
7.6.2 导入导出设备...319
7.6.3 创建设备分组...320
7.7 规则引擎... 321
7.7.1 配置数据转发规则... 322
7.7.2 导入导出规则引擎... 327
7.8 订阅管理... 328
7.8.1 订阅设备通知...328
7.8.2 附录:订阅的通知消息报文...329
8 数据源管理... 331
8.1 ROMA Connect 支持的数据源...332
8.2 接入 API 数据源...334
8.3 接入 ActiveMQ 数据源... 337
8.4 接入 ArtemisMQ 数据源...339
8.5 接入 DB2 数据源... 341
8.6 接入 DIS 数据源...343
8.7 接入 DWS 数据源...345
8.8 接入 GaussDB(for openGauss)数据源... 346
8.9 接入 GaussDB(DWS)数据源...348
8.10 接入 FTP 数据源...349
8.11 接入 FI HDFS 数据源... 351
8.12 接入 FI Hive 数据源... 353
8.13 接入 FI Kafka 数据源...354
8.14 接入 HL7 数据源... 356
8.15 接入 HANA 数据源...358
8.16 接入 HIVE 数据源... 359
8.17 接入 LDAP 数据源... 361
8.18 接入 IBM MQ 数据源... 362
8.19 接入 Kafka 数据源...365
8.20 接入 MySQL 数据源...366
8.21 接入 MongoDB 数据源... 369
8.22 接入 MQS 数据源... 371
8.23 接入 MRS Hive 数据源...372
8.24 接入 MRS HDFS 数据源... 374
8.25 接入 MRS HBase 数据源... 376
8.26 接入 MRS Kafka 数据源... 377
8.27 接入 OBS 数据源... 379
8.28 接入 Oracle 数据源... 380
8.29 接入 PostgreSQL 数据源... 383
8.30 接入 Redis 数据源... 384
8.31 接入 RabbitMQ 数据源...386
8.32 接入 SAP 数据源... 387
8.33 接入 SNMP 数据源...389
8.34 接入 SQL Server 数据源... 391
8.35 接入 GaussDB(for MySQL)数据源... 393
8.36 接入 WebSocket 数据源... 395
8.37 接入自定义数据源... 396
9 资产管理... 399
9.1 API 产品目录... 399
9.1.1 业务使用介绍...399
9.1.2 创建 API 产品...400
9.1.3 上架 API 产品...403
9.1.4 订阅 API 产品...403
9.2 连接器... 404
9.2.1 创建连接器... 404
9.2.2 发布连接器... 406
9.3 恢复/迁移集成资产...407
9.3.1 概述... 407
9.3.2 准备工作... 409
9.3.3 修改实例配置...409
9.3.4 导入集成资产...410
9.3.5 修改集成应用配置... 410
9.3.6 修改数据源配置... 411
9.3.7 修改 API 配置...411
9.3.8 修改设备配置...414
9.3.9 业务对接适配和验证...414
10 业务流使用指导... 416
10.1 业务使用介绍...416
10.2 申请专享版业务流... 417
10.3 创建数据集成任务... 418
10.4 创建服务集成任务... 420
10.4.1 开放已有 API... 420
10.4.2 开放数据 API... 422
10.4.3 API 后端策略配置...423
10.5 查看业务流任务... 425
10.6 业务流组件说明... 427
10.6.1 集成应用... 427
10.6.2 HTTP Client... 428
10.6.3 Open API...429
10.6.4 数据源... 430
10.6.5 HTTP 响应... 432
10.6.6 任务调度器...432
10.6.7 分支判断... 435
10.6.8 变量赋值... 436
10.6.9 并行处理... 436
10.6.10 延时... 437
10.6.11 数据拆分... 438
10.6.12 数据筛选... 439
10.6.13 日志采集... 439
10.6.14 脚本处理... 440
10.6.15 函数工作流 FunctionGraph...440
10.6.16 消息通知服务 SMN... 441
10.7 数据引用说明...442
10.8 表达式运算符说明... 443
10.9 配置业务流图授权... 446
11 扩大资源配额... 447
12 查看审计日志... 449
13 查看监控指标... 456
14 权限管理... 461
14.1 配置 ROMA Connect 使用权限... 461
14.2 ROMA Connect 自定义策略...462
15 资产市场... 465
15.1 资产市场使用介绍... 465
15.2 发布资产... 467
15.3 上架资产... 470
15.4 订阅资产... 472
15.5 部署资产... 473
1 开始使用 ROMA Connect
使用流程
ROMA Connect是一个全栈式的应用与数据集成平台,聚焦应用和数据连接,提供数 据、API、消息和设备的集成能力,适用于多种常见的企业系统集成场景。
使用ROMA Connect进行系统集成的流程如下图所示。
图1-1 ROMA Connect 使用流程
1. 创建实例。
在ROMA Connect服务控制台创建一个ROMA Connect实例,实例规格配置根据 实际业务情况选择。
2. 创建集成应用。
在实例控制台创建一个集成应用,实例中的所有资源都要归属到某个集成应用 下。
3. 根据不同的业务场景,选择使用不同ROMA Connect功能。
– 数据集成:接入源端和目标端数据源,然后通过集成任务进行源端到目标端
的数据集成。
– 服务集成:把已有后端服务、数据源和自定义函数封装成标准的RESTful
API,并对外开放。
– 消息集成:创建消息Topic,不同系统通过Topic进行对接,发送和接收消息。
– 设备集成:在云端定义设备模型和注册设备,设备通过集成SDK接入云端,
发送和接收消息。
2 实例管理
创建ROMA Connect实例 创建ROMA Site协同版实例 实例配置管理
2.1 创建 ROMA Connect 实例
2.1.1 准备资源
概述
在创建ROMA Connect实例前您需要提前准备相关依赖资源,包括VPC、子网和安全 组。每个ROMA Connect实例都部署在某个虚拟私有云(VPC)中,并绑定具体的子 网和安全组,通过这样的方式为ROMA Connect提供一个隔离的、用户自主配置和管 理的虚拟网络环境以及安全保护策略。
准备依赖资源
ROMA Connect实例所需资源的具体要求和创建指导如下所示。
表2-1 ROMA Connect 依赖资源
准备资源 要求 创建指导
VPC和子网 不同的ROMA Connect实例可以复 用相同的VPC和子网,也可以使用 不同的VPC和子网,请根据实际需 要进行配置。在创建VPC和子网时 应注意如下要求:
● 创建的VPC与使用的ROMA Connect服务应在相同的区域。
● 创建VPC和子网时,如无特殊需 求,配置参数使用默认配置即 可。
创建VPC和子网的操作指导请参 考创建虚拟私有云和子网,若需 要在已有VPC上创建和使用新的 子网,请参考为虚拟私有云创建 新的子网。
安全组 不同的ROMA Connect实例可以复 用相同的安全组,也可以使用不同 的安全组,请根据实际需要进行配 置。在创建安全组时应注意如下要 求:
● 创建安全组时,“模板”选择
“自定义”。
● 安全组创建后,请保留系统默认 添加的入方向“允许安全组内的 弹性云服务器彼此通信”规则和 出方向“放通全部流量”规则。
● 使用ROMA Connect服务要求必 须添加表2-2所示安全组规则,
其他规则请根据实际需要添加
创建安全组的操作指导请参考创 建安全组,为安全组添加规则的 操作指导请参考添加安全组规 则。
(可选)弹性公网IP 若需要通过公网访问ROMA Connect,则需要申请弹性公网 IP,否则不需要申请弹性公网IP。
申请弹性公网IP的操作指导请参 考申请弹性公网IP。
表2-2 安全组规则
方向 协议 端口 源地址 说明
入方向 TCP 80 0.0.0.0/0 通过公网访问APIC(无SSL加 密)。
入方向 TCP 443 0.0.0.0/0 通过公网访问APIC(有SSL加 密)。
入方向 TCP 1883 0.0.0.0/0 通过公网访问LINK(无SSL加 密)。
入方向 TCP 7443 0.0.0.0/0 通过公网访问LINK(RESTful API方式)。
方向 协议 端口 源地址 说明
入方向 TCP 8443 0.0.0.0/0 通过公网访问LINK(有SSL加 密)。
入方向 TCP 9092 0.0.0.0/0 通过内网访问MQS(无SASL认 证)。
入方向 TCP 9093 0.0.0.0/0 通过内网访问MQS(有SASL认 证)。
入方向 TCP 9094 0.0.0.0/0 通过公网访问MQS(无SASL认 证)。
入方向 TCP 9095 0.0.0.0/0 通过公网访问MQS(有无SASL 认证均使用)。
入方向 TCP 9096 0.0.0.0/0 通过公网访问MQS(有无SASL 认证均使用)。
入方向 TCP 9097 0.0.0.0/0 通过公网访问MQS(有SASL认 证)。
入方向 TCP 9292 0.0.0.0/0 通过公网访问MQS(RESTful API方式)。
2.1.2 创建实例
概述
在使用ROMA Connect前,您需要创建一个ROMA Connect实例。ROMA Connect实 例是一个独立的资源空间,所有的操作都是在实例内进行,不同实例间的资源相互隔 离。您可以根据业务需要使用一个或多个实例。
前提条件
● 有可用的VPC,并且已配置好子网与安全组,否则请参考准备资源完成VPC、子网 和安全组的创建。
● ROMA Connect实例的可用配额不为0,否则可以删除无用实例,以空出实例配 额,或者申请扩大实例配额。
操作步骤
1. 登录ROMA Connect控制台,在“实例”页面单击“购买ROMA Connect实 例”。
2. 在购买ROMA Connect实例页面中填写实例配置信息,系统会根据您选择的“实 例规格”和“购买时长”自动计算费用,然后单击“立即购买”。
表2-3 实例配置参数
参数 配置说明
计费模式 选择实例的计费模式,可选择“包年/包月”。
区域 选择实例所在的区域,不同区域的实例之间内网互不相 通,请选择您的业务就近区域购买实例,以减少网络时 延,提高访问速度。
可用区 选择实例所在的可用区,不同可用区之间物理隔离,但内 网互通。
● 如果您需要提高ROMA Connect运行的可靠性,建议您 将实例创建在不同的可用区内。
● 如果您需要较低的网络时延,建议您将实例创建在相同 的可用区内。
CPU架构 根据当前环境所支持的CPU架构,可选择项有所不同,选 择“x86计算”或“鲲鹏计算”。
实例规格 选择实例的容量规格,请根据您的业务需要选择,实例创 建后规格不可修改。
● 基础版:一般用于小型企业,支持5~10个系统的集成,
支持25个连接数。
● 专业版:一般用于中小型企业,支持10~20个系统的集 成,支持80个连接数。
● 企业版:一般用于中大型企业,支持20~30个系统的集 成,支持200个连接数。
● 铂金版:一般用于大型企业,支持30个以上系统的集 成,支持800个连接数。
说明连接数和系统数仅用于ROMA Connect实例的规格选择参考,并非 对实例内的资源数量(如集成任务数、API数和消息Topic数)的限 制,与实例的资源配额之间并没有直接关联关系。
● 系统数说明:系统指的是用户的业务系统,系统数指ROMA Connect实例集成对接的业务系统数量。一个业务系统与 ROMA Connect实例之间可以有多个连接。
● 连接数说明:业务系统和ROMA Connect的交互即为连接,使 用不同功能所占用的连接数不同,具体的资源和连接数换算关 系如下。
● 数据集成:2个运行状态的数据集成任务占用1个连接。
● 服务集成:10个托管类API(非自定义后端发布生成的 API)占用1个连接;5个函数API或数据API占用1个连接。
● 消息集成:3个消息Topic占用1个连接。
● 设备集成:1000个设备占用1个连接。
企业项目 选择对应的企业项目,可将实例和企业项目关联。仅企业 帐号可见此配置项。
实例名称 填写实例的名称,根据规划自定义。
描述 填写实例的描述信息。
参数 配置说明
虚拟私有云 选择实例所关联的VPC和子网,VPC和子网须在准备资源中 提前创建。
安全组 选择实例所关联的安全组,安全组须在准备资源中提前创 建。
公网访问 是否开启公网访问ROMA Connect,请根据您的业务需要 选择。
弹性IP地址 仅当“公网访问”开启时需要配置。
选择实例所关联的弹性公网IP,弹性公网IP须在准备资源中 提前申请。
Kafka版本 选择实例所使用的Kafka服务端版本号,当前支持1.1.0和 2.3.0版本,根据实际情况选择。建议使用2.3.0版本。
消息集成(MQS)
容量阈值策略 实例中MQS消息存储达到容量阈值时(存储空间的95%)
的处理策略,请根据您的业务需要选择。
● 生产受限:拒绝消息生产请求,直到有消息到达老化时 间被删除,腾出存储空间后(剩余存储空间大于5%),
才能接收新的消息生产请求。此策略适用于消息消费处 理较慢,或者对存量消息需要反复消费,不能提前删除 的场景。
● 自动删除:自动删除最老的消息(消息总量的10%),
腾出存储空间,以接收新的消息生产请求,消息生产业 务不受影响。此策略适用于消息消费处理较快,不存在 长时间未处理消息的场景。
数据加密传输
SASL_SSL 选择是否开启消息传输的SASL认证和SSL加密,建议您开启 SASL认证和SSL加密,提高数据传输的安全性。
VPC内网明文访问 仅当“消息集成(MQS) SASL_SSL”开启时可配置。
选择VPC内部是否使用明文访问。
若开启了VPC内网明文访问,则VPC内无法使用SASL方式 连接消息集成的Topic,即连接Topic时无需使用证书。
购买时长 实例的购买时长,最短1个月。
您可根据需要选择勾选自动续费,按月购买的自动续费周 期为1个月,按年购买的自动续费周期为1年。
3. 在规格确认界面勾选同意协议的选项,然后单击“提交”,在支付页面付费成功 后开始创建实例。
实例创建大概需要18-25分钟,请耐心等待。实例创建成功后,在控制台的“实 例”页面可看到该实例的状态为“运行中”。
如果创建实例失败,可删除创建失败的实例,然后重新创建实例。如果重新创建 仍然失败,请联系技术支持。
2.2 创建 ROMA Site 协同版实例
2.2.1 准备资源
概述
ROMA Site协同版实例包含两种实例类型:
● 自建站点:企业自建边缘节点,使用客户自有机房的虚拟机。
● IES智能站点:智能边缘小站IES节点,通过华为云IES服务在华为云上创建虚拟 机。
如果您是购买了华为云IES服务的用户,需要创建IES智能站点类型实例,请跳过本 章节,直接创建实例,无需准备资源。(“IES智能站点”仅购买了华为云IES服务 的用户可见)
在创建自建站点类型ROMA Site实例前,需要准备虚拟机资源、安装Docker、挂载磁 盘,以及检查虚拟机与ROMA Site、IEF、SWR、OBS以及AOM五个服务是否通信。
其中,使用智能边缘平台IEF的容器应用,需要单独付费,计费模式如下:
● 套餐包计费模式:即购买了套餐包。购买后,会根据实际使用情况从套餐包中直 接扣费。
● 按需计费模式:即未购买套餐包,根据实际使用情况进行扣费。
具体计费详情请参考智能边缘平台IEF。
虚拟机资源准备有以下两种场景,您可以根据实际场景准备虚拟机资源。
● 首次创建ROMA Site实例,需要根据ROMA Site实例资源要求申请新的虚拟机。
● 使用已创建过ROMA Site实例,且实例已删除的虚拟机重新创建ROMA Site实 例。
注意
由于操作系统、数据库软件等资源由客户准备,因此ROMA不负责此类资源的后期维 护,强烈建议客户购买商业版的操作系统、数据库等软件,以免影响客户业务的正常 运行。
首次创建 ROMA Site 实例
1. ROMA Site实例分为基础版、专业版和API网关边缘实例(基础版、专业版、企业 版、铂金版),在创建ROMA Site实例前,您可根据实际需要准备基础版或专业 版的虚拟机资源,具体要求参见下表。
表2-4 虚拟机资源 实例规
格
虚 拟 机 数 量
( 台
) VI P
CPU 内存
(G
)
磁盘io(读 +写
)(M B/s
)
系 统 盘
(G
) 数 据 盘
(G
)
系统
架构 Glib c版 本
网络 带宽 性能
IEF 边 缘 节 点
( 个
) 基础版 3 1 >=
16 >=6
4 >=35 0 >
=1 00
>=
500
x86_64架 构:
● Ce ntO S7.
x
● Eul erO S
(V 2.0S P5
、V 2.0S P9
) arm64架 构:
● Ce ntO S7.
x
版本 必须 高于2.17
。
安装 时带 宽:
>=10 MByte/s
运行 时带 宽:
>=5 Mbit/
s
3
专业版 8 1 >=
8 >=3
2 >=35 0 >
=1 00
>=
600
8
API网关 边缘实 例(基 础版)
5 1 >=
4 >=8 >=35 0 >
=1 00
>=
400
5
API网关 边缘实 例(专 业版)
6 1 >=
4 >=8 >=35 0 >
=1 00
>=
400
6
API网关 边缘实 例(企 业版)
7 1 >=
4 >=8 >=35 0 >
=1 00
>=
400
7
API网关 边缘实 例(铂 金版)
9 1 >=
8 >=1
6 >=35 0 >
=1 00
>=
400
9
说明
规划的VIP需要与边缘节点的前两台虚拟机进行绑定。例如,编号为node-xxxx-000和 node-xxxx-001或node-xxxx-001和node-xxxx-002的两台虚拟机。
2. 安装Docker。
Docker版本必须高于17.06,推荐使用18.06.3版本。请勿使用18.09.0版本 Docker,如果已使用此版本,请尽快升级。
Docker安装完成后,可以执行docker -v命令检查Docker是否安装正常,如果回 显如下则说明安装正常。
# docker -v
Docker version 18.06.3, build 48a66213fee
3. 磁盘挂载。
以下操作需在每台虚拟机上都执行。
a. 以root用户登录待挂载虚拟机。
b. 查看磁盘情况。
fdisk -l
系统显示如下类似信息表示系统有两个磁盘,一个是空间大小300G盘符 为/dev/vdb的磁盘,一个是空间大小200G盘符为/dev/vdc的磁盘,需将300G 磁盘/dev/vdb挂载到/opt/roma/data目录,将200G磁盘/dev/vdc挂载到/opt/
roma/logs目录下。
Disk /dev/vda: 40 GiB, 42949672960 bytes, 83886080 sectors Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: dos
Disk identifier: 0x1bec7a05
Device Boot Start End Sectors Size Id Type /dev/vda1 * 2048 83886079 83884032 40G 83 Linux
Disk /dev/vdb: 300 GiB, 322122547200 bytes, 629145600 sectors Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk /dev/vdc: 200 GiB, 214748364800 bytes, 419430400 sectors Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes
c. 格式化磁盘。
mkfs.ext4 /dev/vdb mkfs.ext4 /dev/vdc d. 建立挂载目录。
mkdir -p /opt/roma/data mkdir -p /opt/roma/logs e. 将磁盘挂载到指定目录。
mount /dev/vdb /opt/roma/data mount /dev/vdc /opt/roma/logs f. 配置磁盘分区自动挂载。
vi /etc/fstab
增加如下配置:
/dev/vdb /opt/roma/data ext4 defaults 0 0 /dev/vdc /opt/roma/logs ext4 defaults 0 0
g. 查看挂载是否成功。
df -hT
系统显示如下内容表示挂载成功。
Filesystem Size Used Avail Use% Mounted on devtmpfs 63G 0 63G 0% /dev tmpfs 63G 0 63G 0% /dev/shm tmpfs 63G 8.6M 63G 1% /run tmpfs 63G 0 63G 0% /sys/fs/cgroup /dev/vda1 40G 7.9G 30G 22% /
tmpfs 13G 0 13G 0% /run/user/0
/dev/vdb 295G 65M 280G 1% /opt/roma/data /dev/vdc 196G 61M 186G 1% /opt/roma/logs
4. 时间同步。
边缘节点时间需要与UTC+8时间保持一致,否则会导致边缘节点的监控数据、日 志上传出现偏差。您可以选择合适的NTP服务器进行时间同步,从而保持时间一 致。配置方法可参考如何同步NTP服务器中的操作步骤。
5. 检查hosts环境信息是否配置了hostname的地址映射。
在操作系统中执行hostname和cat /etc/hosts,如果回显了hostname的地址映 射,说明配置正常,否则请在hosts文件中添加hostname配置。
6. 检查是否开放ROMA Site侧需要的端口。
用户准备好虚拟机资源后,需要检查虚拟机是否开放了各组件需要的端口,具体 端口信息如下:
其中,对外服务端口为80、443、9092、9094、1883、8443,需要保证这些端口 对外互通,其他端口保持内部互通。
表2-5 各组件开放的端口
组件 端口
FDI 9101、9011、9031、9051、9061、9071、9111、9121、
9131、9141、9171、9271、9281、9351、9451、9461、
9471、9561、9571、9611、9641、9642、9651、9652、
9681、9682、9802、9541、9551、9581、9591 APIC 80、443、1026、1027、22379、8086、8084、2379、
4001、2380、6800、26800
MQS 9091、9092/9093、9094、2181、3888、2888、8001、
8002、8003、9080、 12345、12346、9776、20911、
19091、19092、19094、12181、13888、12888、18001 LINK 7443、30006、1883、8443、8491
ABM 13003、13204、13103、12003、14003、9103、11003、
15003、9200、6899、26899
BFS 30613、30605、30003、30608、30618、39607、123、
22、68
Compose 7080、7090、7181、7182、8480、8000、30008
组件 端口
说明以上组件中,FDI、APIC、MQS、LINK为必选组件,ABM、BFS、Compose为增强版可选 组件。
7. 检查与IEF、SWR、OBS和AOM四个服务通信。如果您的虚拟机节点所在环境配置 了网闸或网络限制,可以根据如何获取IEF云端服务IP地址获取IP地址进行配置。
重新创建 ROMA Site 实例
如果您是在已创建过ROMA Site实例,且实例已删除的虚拟机上重新创建ROMA Site 实例,则需执行以下操作。
1. 以root用户分别登录所有虚拟机。
2. 执行以下命令清除已删除实例遗留的数据。
# rm -rf /opt/roma/data/dms
# rm -rf /opt/roma/data/kafka
环境检查
虚拟机资源准备好后,需要对环境进行检查,以保证虚拟机环境满足ROMA Site的节 点纳管要求。具体操作步骤如下。
1. 以root用户登录任意一台虚拟机,下载环境检查软件包。
# wget --no-check-certificate https://roma-site-software-cn-
north-4.obs.cn-north-4.myhuaweicloud.com/check_site/check_site.tar.gz 2. 解压软件包。
# tar -zxvf check_site.tar.gz
# cd check_site/
3. 编辑配置文件,具体配置项说明见表表2-6。
# vi check_site.conf
表2-6 check_site.conf 配置文件
参数 参数说明 示例
VM1~VM14 填写需要纳管的虚 拟机IP,即准备资 源是准备的虚拟机 IP地址。最多配置 14台虚拟机,不足 14台的配置项无需 配置。
说明VM1、VM2需填写 绑定了VIP的虚拟机 IP。
VM1="10.10.10.1"
VM2="10.10.10.2"
VM3="10.10.10.3"
VM4=
VM5=
VM6=
VM7=
VM8=
VM9=
VM10=
VM11=
VM12=
VM13=
VM14=
cpu_request 根据SITE实例规格 确定的虚机最小 CPU核数。
cpu_request=8
mem_request 根据SITE实例规格 确定的虚机最小内 存,单位GB。
mem_request=32
swr_url swr服务的url。 swr_url="swr.cn-
north-4.myhuaweicloud.com"
obs_url obs服务的url。 obs_url="obs.cn-
north-4.myhuaweicloud.com"
ief_placement_
url ief_placement服
务的url。 ief_placement_url="ief2- placement.cn-
north-4.myhuaweicloud.com"
ief_edgeaccess_
url ief_edgeaccess服
务的url。 ief_edgeaccess_url="ief2- edgeaccess.cn-
north-4.myhuaweicloud.com"
ief_telemetry_u
rl ief_telemetry服务
的url。 ief_telemetry_url="ief2-telemetry.cn- north-4.myhuaweicloud.com"
ief_software_url ief_software服务
的url。 ief_software_url="ief-software- north-4.obs.cn-
north-4.myhuaweicloud.com"
说明
swr、obs、ief_xxx服务的url可参考各服务实例域名,根据实际情况配置。
配置完成后,按Esc退出编辑模式,执行:wq!保存退出。
4. 执行脚本进行环境检查,根据提示输入每台虚拟机的root密码,依次检查每台虚 拟机。
# sh check_site.sh
[root@roma-common ~]# sh check_site.sh [2021-08-24 09:33:18] Checking config file...
[2021-08-24 09:33:23] Check ip vaild succeed.
[2021-08-24 09:33:23] Check ip connect succeed.
[2021-08-24 09:33:23] Check config swr_url exists.
[2021-08-24 09:33:23] Check config obs_url exists.
[2021-08-24 09:33:23] Check config ief_placement_url exists.
[2021-08-24 09:33:23] Check config ief_edgeaccess_url exists.
[2021-08-24 09:33:23] Check config ief_software_url exists.
[2021-08-24 09:33:23] Check config ief_telemetry_url exists.
[2021-08-24 09:33:23] Check swr,obs,ief,aom config finished.
[2021-08-24 09:33:23] Check config file succeed.
[2021-08-24 09:33:23] Create shell finished.
[email protected]'s password:
[2021-08-24 09:33:35] Start check tasks on VM1.
[2021-08-24 09:33:35] Check os-release CentOS 7 succeed.
[2021-08-24 09:33:35] Check cpu and memory finished.
[2021-08-24 09:33:35] /opt/roma/data disk already mount.
[2021-08-24 09:33:35] Check /opt/roma/data mount disk size 300G succeed.
[2021-08-24 09:33:35] /opt/roma/logs disk already mount.
[2021-08-24 09:33:35] Check /opt/roma/logs mount disk size 300G succeed.
[2021-08-24 09:33:35] Check disk mount finished.
[2021-08-24 09:33:36] Check docker version 20.10.7, succeed.
[2021-08-24 09:33:36] Check docker finished.
[2021-08-24 09:33:37] Check glibc succeed.
[2021-08-24 09:33:37] Check ntp succeed.
[2021-08-24 09:33:37] Check swr.cn-north-7.myhuaweicloud.com:443 connect succeed.
[2021-08-24 09:33:37] Check obs.cn-north-7.ulanqab.huawei.com:443 connect succeed.
[2021-08-24 09:33:37] Check ief-placement.cn-north-7.myhuaweicloud.com:443 connect succeed.
[2021-08-24 09:33:37] Check ief-edgeaccess.cn-north-7.myhuaweicloud.com:443 connect succeed.
[2021-08-24 09:33:37] Check ief-installer.obs.cn-north-7.ulanqab.huawei.com:443 connect succeed.
[2021-08-24 09:33:37] Check ief-telemetry.cn-north-7.myhuaweicloud.com:8102 connect succeed.
[2021-08-24 09:33:37] Check ief-telemetry.cn-north-7.myhuaweicloud.com:8149 connect succeed.
[2021-08-24 09:33:37] Check ief-telemetry.cn-north-7.myhuaweicloud.com:8065 connect succeed.
[2021-08-24 09:33:37] Check task complete on VM1.
...
[2021-08-24 09:33:37] All check tasks complete.
2.2.2 创建实例
概述
ROMA Site是ROMA Connect的边缘形态,与ROMA Connect具有相同的数据集成、
服务集成和消息集成能力。ROMA Site可部署于用户IDC和第三方公有云,与云端 ROMA Connect反向互联,不破坏企业的安全边界。
ROMA Site实例是一个独立的资源空间,所有的操作都是在实例内进行,不同实例间 的资源相互隔离。您可以根据业务需要使用一个或多个实例。
前提条件
● 创建自建站点类型的实例时,需已参考准备资源章节完成虚拟机资源准备。
● 已在准备资源时购买智能边缘平台IEF服务,IEF详情请参考智能边缘平台IEF。
● 如果用户准备的虚拟机无法通过公网访问IEF时,可以选择通过私网访问。私网访 问需要满足以下条件:
已通过专线或VPN连接IEF,连接步骤参见通过专线或VPN链接IEF。
操作步骤
1. 开启智联通道。
ROMA Site边云智联通道是ROMA Site与云端互相通信、ROMA Site之间互相串 联时使用的通道,在创建ROMA Site实例前您需先开启智联通道。
a. 登录ROMA Connect控制台,在左侧导航栏选择“Site实例”,进入“Site实 例”页面。
b. 在“Site实例”页面找到“开启智联通道”按钮,单击“开启智联通道”按 钮。
c. 在右侧弹出的“开通ROMA Site功能”界面可以了解ROMA Site功能及费 用,然后单击“立即开启”,进入“订单确认”界面。
d. 在“订单确认”界面确认“产品类型”、“价格”,并仔细阅读《用户协 议》和《隐私政策声明》。
e. 确认订单信息无问题且勾选“我已阅读并同意《用户协议》和《隐私政策声 明》”后,单击“提交”。
f. 在“购买ROMA ”页面,选择支付方式后单击“确认付款”。完成付款后,
界面提示“订单支付成功”,智联通道开通成功。
2. 智联通道开启后,在“Site实例”页面单击“创建Site实例>创建协同版实例”按 钮,界面会新增一个“创建协同版”的配置栏,配置说明见下表。
表2-7 创建 Site 实例配置
参数 参数说明
Site实例名称 自定义Site实例名称。
站点类型 ● 自建站点:企业自建边缘节点,使用客户自有机房的 虚拟机。
● IES智能站点:智能边缘小站IES节点,通过华为云IES 服务在华为云上创建虚拟机。
说明
● 当站点类型选择“自建站点”时,请参考步骤3完成后续操作。
● 当站点类型选择“IES智能站点”时,请参考步骤4完成后续操作。
3. 选择“自建站点”类型实例时,参考此操作步骤:
a. 单击“确定”进入“创建站点”界面,站点创建配置说明见下表。
表2-8 自建站点配置
参数 参数说明
部署类型 协同版
参数 参数说明
站点规格 ● 基础版:内置3个边缘节点。更加轻量,节省资 源,适配基础版 ROMA Site实例。
● 专业版:内置8个边缘节点。可用性高,稳定性有 保障,适配专业版 ROMA Site实例。
● API网关边缘实例(基础版):内置5个边缘节点。
支持4000TPS的API转发,适配基础版API网关边缘 实例。
● API网关边缘实例(专业版):内置6个边缘节点。
支持6000TPS的API转发,适配专业版API网关边缘 实例。
● API网关边缘实例(企业版):内置7个边缘节点。
支持8000TPS的API转发,适配企业版API网关边缘 实例。
● API网关边缘实例(铂金版):内置9个边缘节点。
支持12000TPS的API转发,适配铂金版API网关边 缘实例。
CPU架构 根据当前环境所支持的CPU架构,可选择项有所不 同,当前可选x86_64和arm64。
私有网络地址 站点实例的负载均衡器的入口浮动IP,请根据实际规 划填写。使用内置LB时,请将浮动IP绑定的两台虚拟 机纳管为前两个边缘节点。
网卡名称 填写网卡名称,请根据实际情况填写,默认使用 eth0。
可使用ip a命令查看具体的网卡。
开启边缘节点代理 若站点需要通过代理才能出公网和ROMA Connect管 理面相连,则需要开启代理。
边缘节点代理地址 仅当“开启边缘节点代理”打开时需要填写。
填写边缘节点的代理地址。支持HTTP和SOCKS5两种 代理,格式如下:
● HTTP代理:http://user:password@IP:PORT
● SOCKS5代理:socks5://user:password@IP:PORT 其中user和password为连接代理的用户名和密码,IP 和PORT为代理的IP地址和端口号。
b. 配置完成后单击“开始创建”按钮后,系统将根据站点配置自动创建站点及 边缘节点。
c. 边缘节点创建完成后,单击“下载边缘节点配置文件”下载包含以上边缘节 点密钥等信息的配置文件。
d. 备份下载的边缘节点配置文件中的“node.tar.gz”文件到本地。
说明
如果用户侧虚拟机出现故障需要重置时,则需要使用备份的“node.tar.gz”文件。
e. 配置文件下载后,待系统将边缘节点连接上云,连接完成后单击“下载核心 软件安装工具”按钮,下载对应的安装工具。
说明
当前支持X86_64和arm64,请下载对应的安装程序。
f. 备份下载的核心软件安装工具中的“edge-installer_1.0.14_x86_64.tar.gz”文 件到本地。
说明
如果用户侧虚拟机出现故障需要重置时,则需要使用备份的“edge- installer_1.0.14_x86_64.tar.gz”文件。
其中,1.0.14为安装工具版本号,x86_64为CPU架构类型,请以实际场景为准。
g. 解压配置文件,按文件名顺序上传到各对应节点。
▪
创建/opt/IEF/Cert目录,并解压边缘节点配置文件到此目录。sudo mkdir -p /opt/IEF/Cert
sudo tar -zxvf nodeName.tar.gz. -C /opt/IEF/Cert
其中,nodeName替换为对应节点上的边缘节点配置文件。
▪
解压核心软件安装工具。sudo tar -zxvf edge-installer_1.0.14_x86_64.tar.gz -C /opt
其中,1.0.14为安装工具版本号,x86_64为CPU架构类型,请根据实际 场景替换。
h. 执行安装命令,将边缘节点连接上云。
cd /opt/edge-installer sudo ./installer -op=install
i. 边缘节点注册完成后,单击“完成并前往部署Site实例”进入“购买ROMA Site实例”界面。
j. 在“购买ROMA Site实例”页面填写实例配置信息,配置说明见下表。
表2-9 购买 Site 实例配置参数
参数 配置说明
计费模式 选择计费模式,计费模式为“包月/包年”。
部署类型 协同版。
实例规格 选择购买Site实例的规格。
● 基础版:连接数25个,适合小型企业。
● 专业版:连接数80个,适合中小型企业。
如果需要扩大配额,可点击“申请扩大配额”进行申 请。
实例名称 步骤2中配置的实例名称,此处支持修改。
Site实例描述 对购买的Site实例的描述信息。
消息集成(MQS)
SASL_SSL
选择是否开启消息传输的SASL认证和SSL加密。开启 后,数据将加密传输,安全性更高,但性能会下降。
私网访问 选择是否开启私网访问。
当用户准备的虚拟机无法通过公网访问IEF时,可以选 择通过私网访问。使用私网访问前请先参考通过专线或
VPN链接IEF完成专线或VPN连接IEF。
虚拟私有云 当“私网访问”开启式需要配置。
选择实例所关联的VPC和子网。
购买时长 实例的购买时长,最短1个月。
您可根据需要选择勾选自动续费,按月购买的自动续费 周期为1个月,按年购买的自动续费周期为1年。
k. 配置完成并确认配置费用后,单击“立即购买”按钮,进入购买确认界面。
l. 确认购买信息无问题且勾选“我已阅读并同意《用户协议》和《隐私政策声 明》”后,单击“提交”。
m. 进入“购买ROMA”界面,选择支付方式,单击“确认付款”完成Site实例购 买。
4. 选择“IES智能站点”类型实例时,参考此操作步骤:
a. 单击“确定”进入“创建站点”界面,站点创建配置说明见下表。
表2-10 IES 智能站点配置
参数 参数说明
站点规格 ROMA Site基础版使用简易型站点规格,专业版使 用标准型站点规格,请根据需使用的ROMA Site规 格按需选择
● 简易型:3个边缘节点。更加轻量,节省资源,
适配基础版 ROMA Site实例。
● 标准型:8个边缘节点。可用性高,稳定性有保 障,适配专业版 ROMA Site实例。
描述 填写站点的描述信息。
可用区 选择实例所在的可用区,不同可用区之间物理隔 离,但内网互通。
CPU架构 根据当前环境所支持的CPU架构,可选择项有所不 同,当前可选x86。
规格 根据节点需要,选择对应的节点规格。
操作系统 选择创建站点的操作系统及操作系统版本。
系统盘 选择系统盘及系统盘大小。
说明如果有挂载数据盘或扩容的需求,可于IES节点创建后,
在节点详情页里跳转到弹性云服务器页面进行操作。
业务数据盘 选择业务数据盘和数据盘大小,数据盘路径无需修 改。
日志数据盘 选择日志数据盘和数据盘大小,数据盘路径无需修 改。
虚拟私有云 选择虚拟私有云及子网。如果无可选虚拟私有云,
可单击右侧的“新建虚拟私有云”进行创建。
安全组 选择安全组。如果无可选安全组,可单击右侧的
“新建安全组”进行创建。
说明选择的安全组需要确保VPC终端节点所在子网与边缘子网
网络互通。
登录凭证 选择登录凭证,可选择密码或密钥对。
用户名 仅当“登录凭证”选择“密码”时显示。
用户名为root。
请输入密码 仅当“登录凭证”选择“密码”时可配置。
新建登录密码。
请再次输入密码 仅当“登录凭证”选择“密码”时可配置。
再次输入登录密码,确认密码正确一致。
参数 参数说明
密钥对 仅当“登录凭证”选择“密钥对”时可配置。
选择对应的密钥对,如果无可选密钥对,可单击右 侧的“新建密钥对”进行创建。
说明
请确认已获取私钥文件,否则无法登录边缘实例。
b. 单击“下一步”,确认产品规格。
c. 单击“创建”,等待实例创建完成。
2.3 实例配置管理
2.3.1 查看实例信息
概述
实例创建完成后,可在控制台查看和编辑实例的配置信息,主要包含基本信息、配置 参数、数据字典以及导入导出资产。
操作步骤
在实例控制台的“实例信息”页面中,选择“基本信息”页签,可查看和编辑实例的 基本信息。
表2-11 基本信息
内容 内容说明
ROMA Connect实
例信息 实例的基本信息,包括实例名称、实例ID、实例规格、描述、
可用区、创建时间。
● 您可以根据实际需要修改“实例名称”、“描述”等。
● 您可以单击“实例ID”右侧的“ ”复制实例ID信息。
虚拟私有云 实例所关联的VPC,您可以单击VPC名称跳转查看VPC的具体 配置信息。
子网 实例所关联的子网,你可以单击子网名称跳转查看子网的具体 配置信息。
安全组 实例所关联的安全组,你可以单击安全组名称跳转查看安全组 的具体配置信息,也可以单击“更改”按钮,绑定新的安全 组。
路由 配置私有网段。ROMA Connect实例创建完成后,默认能够与 创建时指定的VPC子网网段进行互通,若有额外的私有网段需 要与实例互通,可通过该配置项进行路由配置。
付费信息 实例的计费模式。
内容 内容说明
消息存储空间 实例的MQS消息存储空间信息,包括存储类型和存储空间使用 率(百分比)。
MQS基本信息 实例的MQS的基本配置信息。
您可以根据实际需要修改“容量阈值策略”。
连接地址 实例的相关对接地址,包括ROMA Connect连接地址、设备集 成LINK连接地址、服务集成APIC连接地址、消息集成 MQS内 网连接地址、消息集成 MQS公网连接地址(仅绑定弹性IP地 址时展示)、消息集成 MQS Connector连接地址。
您可以单击连接地址右侧的“ ”复制连接地址信息。
公网访问 实例绑定的弹性IP地址。
● 若实例已绑定弹性IP地址,您可以点击地址右侧的“ ”复 制地址信息。
● 若实例已绑定弹性IP地址,您可以点击地址右侧的“解绑”
按钮,解绑弹性IP地址。
● 若实例未绑定弹性IP地址,你可以点击地址右侧的“ ”,
绑定弹性IP地址。
公网出口 数据集成FDI和服务集成APIC访问公网数据或服务的地址,实 例创建时自动配置。
2.3.2 修改实例配置参数
概述
配置参数提供了实例内组件的公共参数配置,通过修改配置参数,可以调整组件的相 关功能配置。
修改配置参数
在实例控制台的“实例信息”页面选择“配置参数”页签,可查看实例的配置参数,
也可修改“参数运行值”。
表2-12 配置参数
内容 内容说明
参数 参数的名称。把光标移到参数名称前的“ ”,可查看参数 的具体功能说明。
参数默认值 参数的系统默认值。
参数范围 参数的取值范围。
参数运行值 参数当前的设置值。
内容 内容说明
更新时间 参数的最近一次更新时间。若参数从未修改过,该更新时间 为空。
操作 单击“编辑”,可修改“参数运行值”。
配置参数说明
ROMA Connect的实例配置参数如下表所示。
表2-13 实例配置参数说明
参数名 参数说明
ratelimit_api_limits API全局默认流控值。API未绑定流控策略时,执行此 默认流控;API绑定流控策略时,则执行绑定的流控策 略。
request_body_size API请求中允许携带的Body大小上限。
backend_timeout ROMA Connect到后端服务的请求超时时间。
app_token app_token认证方式开关。启用后,可在API请求中使 用获取的access_token进行API的调用认证。
● app_token_expire_time:access_token的有效时 间,在access_token到期前,需要获取新的 access_token。
● refresh_token_expire_time:refresh_token的有效 时间。refresh_token用于获取新的access_token。
● app_token_uri:获取access_token的uri。
● app_token_key:access_token的加密key。
app_basic app_basic认证方式开关。启用后,可在API请求中添加
“Authorization”参数,携带集成应用的Key和Secret
(或客户端的AppKey和AppSecret)进行API的调用认 证。
app_secret app_secret认证方式开关。启用后,可在API请求中添 加“X-HW-ID”和“X-HW-AppKey”参数,携带集成 应用的Key和Secret(或客户端的AppKey和
AppSecret)进行API的调用认证。
app_route 支持IP访问开关。启用后,非DEFAULT分组下的API可 以使用IP地址调用。
参数名 参数说明
cascade API级联功能开关。启用后,可以实现跨实例间的API 调用。
● cascade_auth_key:级联认证的加密密钥,用于级 联API之间的调用认证。
● cascade_instance_ids:级联实例的实例ID列表,仅 允许的实例可级联到当前实例。
default_group_hide DEFAULT分组隐藏开关。启用后,DEFAULT分组被隐 藏。
livedata_config 自定义后端配置。
● sandbox_max_memory:函数后端中执行脚本所允 许使用的内存最大值。
● sandbox_max_cpu_time:函数后端中执行脚本所 允许占用的CPU时间最大值。
● livedata_env:自定义后端的运行模式,设置为 online时,自定义后端将会按照线上格式返回。
● gw_address_protocol:函数脚本中,通过 DICT:gw_rest_float_addr字段传递的默认请求协 议。
● procedure_async:存储过程是否使用异步方式执 行。
● dataapi_return_type:数据后端的返回格式。
backend_client_certificate 后端双向认证开关。启用后,创建API配置后端服务 时,可配置后端双向认证。
ssl_ciphers 可支持配置的https加密套件,可根据需要选择开启的 加密套件。
apiclient_first_use_x_hw_i
d 自定义后端的ApiClient类是否优先使用X-HW-ID字段 进行校验。
real_ip_from_xff 是否使用X-Forwarded-For头中的IP作为ACL、流控的 判断依据。
xff_index:X-Forwarded-For头中IP的排序序号,值允 许为正数、负数、0。
● xff_index值为0或正数时,获取X-Forwarded-For头 中对应索引的IP。
● xff_index值为负数时,按倒序方式从X-Forwarded- For头中获取IP。
例如到达API网关的X-Forwarded-For头中依次有IP1,
IP2,IP3三个IP地址,xff_index取0时获取IP1,
xff_index取1时获取IP2,xff_index取-1时获取IP3,
xff_index取-2时获取IP2。
参数名 参数说明
opentracing_options opentracing功能开关。开启opentracing功能后,可以 通过指定类型的调用链工具,对API请求的全链路和各 阶段耗时实现可视化查看,然后通过数据分析对链路进 行优化。
● Tracer:使用的调用链工具类型。
● Trust Incoming Span:在API请求全链路中,是否 允许各节点使用上一节点传入的请求作为当前请求 的父级。仅Trust Incoming Span开启后,才能在调 用链工具中输出完整的调用链路。
● Tracer Endpoint:调用链工具的跟踪地址。
● Propagation:调用链工具使用的信息传输格式。
● Sampler Type:调用链工具的采样器类型。
– const:采样器始终对所有跟踪做出相同的决 定。“Sampler Parameter”为“1”时表示采 样所有跟踪,“Sampler Parameter”为“0”
时表示不采样所有跟踪。
– probabilistic:采样器做出随机采样决策,采样 概率等于“Sampler Parameter”的值。例如,
“Sampler Parameter”为“0.1”时,每10个跟 踪中将采集1个。
– ratelimiting:采样器使用泄漏桶速率限制器来确 保以恒定速率采样。例如,当“Sampler
Parameter”为“2.0”时,它将以每秒2个跟踪 的速率对请求进行采样。
– remote:采样器咨询Jaeger代理,以了解在当前 服务中使用的适当采样策略。该方式允许从 Jaeger后端的中央配置控制服务中获取采样策 略。
● Sampler Parameter:采样器参数,单位为double 类型。仅“Sampler Type”为“const”、
“probabilistic”、“ratelimiting”时需要填写。
说明Tracer类型为jaeger时,用户需要独立部署jaeger-collector服 务,并配置Tracer Endpoint到jaeger-collector服务所在的地 址,默认端口为14250。
custom_log 自定义日志功能开关。开启自定义日志功能后,ROMA Connect实例下所有API的调用日志中会打印指定位置
(header、query和cookie)和指定名称的参数值。
启用后,需单击“添加”,添加需在调用日志中打印的 参数。
real_ip_header_getter 是否开启用户自定义Header获取源ip地址,作为访问 控制、流控策略的源ip生效依据。
vpc_name_modifiable 负载通道名称支持修改开关。开启后可修改负载通道名 称,但当前实例的负载通道无法通过“VPC通道管理- 项目级”API接口操作。
2.3.3 创建数据字典
概述
数据字典可以将系统数据库的关键值开放给用户使用。数据字典中的DEVICE_TYPE为 默认数据字典,用户也可自定义创建数据字典。
操作步骤
1. 在实例控制台的“实例信息”页面选择“数据字典”页签。
2. 单击“创建字典”。
3. 在创建字典弹窗中配置数据字典相关信息,完成后单击“确认”。
表2-14 数据字典配置
参数 配置说明
字典编码 填写字典类唯一标识。
字典名称 填写字典类名称。
扩展字段1 作为字典类默认值,预留字段,可不填。
扩展字段2
描述 填写数据字典的描述信息。
4. 数据字典创建完成后,单击字典名称前的“ ”展开字典项列表。
5. 单击“创建字典项”。
6. 在创建字典项弹窗中配置字典项相关信息,完成后单击“确认”。
表2-15 字典项配置
参数 配置说明
项编码 填写字典项唯一标识。
项名称 填写字典项名称。
扩展字段1 作为字典项默认值,预留字段,可不填。
扩展字段2
描述 填写字典项的描述信息。
2.3.4 导入导出资产
概述
ROMA Connect支持把实例的应用和任务资产以文件形式导出到本地,也可以把本地 的资产文件导入ROMA Connect,实现资产的批量迁移。
前提条件
● 资产导入时,需要保证资产导入和导出的实例配置相同,否则会导致资产导入失 败。例如:app_route开启后不允许API之间存在路径冲突,若导出的实例未开启 app_route,导入的实例开启了app_route,如果导入资产包中存在路径冲突的 API,则资产无法导入。
● 不支持导入导出API的流量控制策略、访问控制策略和签名密钥。
导入资产
1. 在实例控制台的“实例信息”页面,单击右上角的“导入资产”。
2. 在“导入资产”弹窗中根据实际情况选择“新增导入”或“覆盖导入”。
– 不同实例的数据源ID不可以相同,如含有相同ID的数据源,请选择覆盖导 入。
– 不同实例的数据集成任务名不可以重复,如含有相同名称的FDI任务,请输入 前缀。
3. 在弹窗中选择本地保存的资产文件,并导入。
4. 完成后单击“关闭”,您可以在实例中查看已导入的资产。
说明
● 自定义认证名称全局唯一,若导入资产时实例中已有相同名称的自定义认证,会在新导入的 自定义认证名称后添加随机字符,避免重名。
● 若导入资产时出现以下报错信息,请联系技术支持升级实例。
"CipherEntry":{"reason":"{\"resourceType\":\"cipherEntries\",\"resourceId\":\"\",
\"resourceName\":null,\"errorCode\":\"APIG.9999\",\"errorMsg\":\"System error\"}"}
导出资产
1. 在实例控制台的“实例信息”页面,单击右上角的“导出资产”。
2. 导出资产。
– 导出指定资产:勾选您想要导出的应用和任务资产,然后单击“导出已 选”,导出资产文件到本地。
– 导出全部资产:单击“导出全部资产”,导出资产文件到本地。
导出应用资产时,如果需要导出所有API资产信息,可勾选“是否导出应用中的所 有API资产信息”按钮,所有API资产信息包括自有API和授权API。不勾选时,导 出自有API和自有授权API信息。
3. 完成后单击“关闭”,您可以在本地查看已导出的资产。
3 集成应用管理
创建集成应用 配置集成应用授权
3.1 创建集成应用
概述
ROMA Connect通过集成应用来实现同一实例内不同用户间的资源隔离。用户在 ROMA Connect实例中创建的资源(如数据源、API、Topic、产品等)都要归属到某 个集成应用下,IAM用户默认只能查看和管理自己创建的集成应用和资源,无法查看 其他IAM用户创建的集成应用和资源,主帐号可查看和管理其下所有IAM用户所创建的 资源。
如果需要把自己创建的资源共享给其他IAM用户查看和使用,可通过将集成应用授权 给其他IAM用户的方式实现,具体操作可查看配置集成应用授权。
创建集成应用
1. 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进 入实例控制台。
2. 在左侧的导航栏选择“集成应用”,单击页面右上角的“创建集成应用”。
3. 在创建集成应用弹窗填写应用信息,完成后单击“确认”。
参数 配置说明
名称 自定义应用名称。
描述 填写对该应用的描述内容,选填项。
Key 集成应用的Key,若未指定则由系统自动生成。
Secret 集成应用的Secret,若未指定则由系统自动生成。
查看和编辑集成应用
在实例控制台的“集成应用”页面中,单击集成应用的名称,可查看该集成应用的详 细信息。
图3-1 查看应用
表3-1 集成应用信息说明
内容 内容说明
基本信息 集成应用的基本参数信息,包括名称、描述、所属、创建时 间、Key和Secret,其中Key和Secret可用于该集成应用下资 源的访问认证。
● 您可以根据实际需要修改“名称”和“描述”信息。
● 您可以单击Secret右侧的“ ”查看Secret信息。
● 您可以根据实际需要重置密码,重置后旧密码自动失效。
● 对于帐号用户,集成应用的所属均为“自建应用”。对于 IAM用户,自己创建的集成应用为“自建应用”,其他 IAM用户创建并授权的集成应用为“授权应用”。
对象 可查看和管理本集成应用下的资源,包括数据源、API、
Topic和设备,您可对本集成应用下的资源进行创建、编辑、
删除等操作,具体操作指导请参考数据源、API、Topic和设 备的使用指导。
3.2 配置集成应用授权
概述
ROMA Connect对用户资源实现了严格的权限管理,在同一实例内,IAM用户只能查 看和管理自己创建的集成应用和资源,默认不能查看其他IAM用户创建的集成应用和 资源。ROMA Connect支持通过集成应用授权的方式,把集成应用下的资源共享给同 一帐号下的其他IAM用户来查看和使用。
说明
应用的授权管理功能,仅解决应用在用户间共享的权限,是否有权限对应用对象进行操作仍然由 IAM统一控制。
配置集成应用授权
1. 登录ROMA Connect控制台,在“实例”页面单击具体实例上的“查看控制 台”,进入实例控制台。
2. 在左侧的导航栏选择“集成应用”,在页面中找到要授权的集成应用,单击该集 成应用后的“应用授权管理”进行授权配置。
说明
主帐号可以对所有用户创建的集成应用进行授权配置,IAM用户只能对自己创建的集成应 用进行授权配置。
3. 在“应用授权管理”弹窗中,“用户列表”处勾选要授权的IAM用户,然后在
“已选择”处为已选择的IAM用户配置集成应用的管理权限。可为每个用户单独 配置权限,也可以点击“权限”右侧的“ ”为所有已选择用户批量配置权 限。
图3-2 配应用授权参数
表3-2 应用权限说明
权限 FDI APIC MQS LINK
read 可查看授权应 用的数据源。
可查看、调试 和导出授权应 用的API。
可查看授权应
用的Topic。 可查看授权应 用的设备、产 品和规则,可 导出授权应用 的设备和产 品,并调试设 备。
权限 FDI APIC MQS LINK modify 可在授权应用
下创建和编辑 数据源。
可在授权应用 下创建、编 辑、发布、下 线和导入API。
可在授权应用 下创建Topic。
可在授权应用 下创建和编辑 设备、产品和 规则,可导入 设备和产品,
可重置设备和 产品的密码。
delete 可删除授权应 用的数据源。
可删除授权应
用的API。 可删除授权应
用的Topic。 可删除授权应 用的设备、产 品和规则,可 删除产品属 性、设备Topic、规则 数据源端、规 则数据目的 端。
access 不涉及。 可对授权应用 的API进行授 权、访问控 制、流量控 制、签名密钥 绑定API配 置。
可对授权应用 的Topic进行 应用权限和用 户权限配置。
可对设备进行 命令下发,可 导出设备,并 且可以对协议 为OPC UA和 Modbus的设 备进行插件配 置。
admin 应用管理员权限。
4. 单击“确认”,完成集成应用的授权配置。
您可以在集成应用列表中,点击集成应用左侧的“ ”,查看该集成应用已授予 权限的IAM用户以及授予的权限范围。
5. 使用3中被授权的IAM用户登录ROMA Connect控制台并进入对应的ROMA Connect实例,查看该用户是否具备该集成应用资源的相关管理权限。
4 数据集成指导
业务使用介绍 接入数据源
创建数据集成任务(普通任务)
创建数据集成任务(组合任务)
启停数据集成任务 数据集成任务管理
4.1 业务使用介绍
功能简介
数据集成FDI是ROMA Connect的数据集成组件,支持多种数据源之间的数据集成转 换。使用ROMA Connect进行数据集成,有如下优势:
● 支持多种类型数据源
ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统 等多种类型的数据源,具体支持的数据源类型请参见数据集成任务支持的数据 源。
若ROMA Connect默认支持的数据源类型无法满足您的数据集成场景,您还可以 自定义数据源,具体请参见接入自定义数据源。
● 支持灵活的集成模式
ROMA Connect支持定时和实时两种集成模式:
– 定时:根据制定的任务计划,定时获取源端数据并集成到目标端。
– 实时:实时将源端产生的数据集成到目标端。
两种集成模式分别所支持的数据源类型请参见接入数据源。
● 支持自定义数据映射规则
在进行源端到目标端的数据字段转换时,您可以自定义映射规则,例如将源数据 的一个数据列复制出相同的多列数据,再集成到目标端。
● 支持不同网络环境间的数据集成
源端数据与目标端数据可以分别在不互通的两个网络环境中。例如源端数据在本 地数据中心,目标端数据在云上VPC内,两者网络不互通,但FDI既能访问云上 VPC内的数据源,也能访问本地数据中心的数据源,实现不同网络环境间的数据 集成。
● 支持实时任务断点续传
支持在源端或者目标端故障恢复后,或者人工重启任务后,自动从上次中断的位 置恢复执行,继续进行数据采集,保证数据不丢失。
使用流程
使用ROMA Connect进行数据集成的流程如下图所示。
图4-1 业务使用流程
1. 已创建实例和集成应用。
2. 接入数据源。
接入源端和目标端数据源,确保可以正常从源端读取数据以及向目标端写入数 据。
3. 创建集成任务。
数据集成任务规定了源端到目标端的数据集成规则,包括两端的数据类型、数据 字段的映射规则、数据集成的过滤条件等。ROMA Connect支持创建两种数据集 成任务:
– 创建数据集成任务:普通数据集成任务,有定时任务和实时任务两种集成模
式,支持所有默认类型的数据源,对于数据库类型数据源,只支持源端一个 数据表到目标端一个数据表的集成同步。
– 创建数据集成任务(组合任务):组合任务,通过CDC(Change Data
Capture,数据变更抓取)实现源端到目标端数据的实时同步及增量同步,支 持一个源端多个数据表到一个目标端多个数据表的集成同步。当前支持 Oracle、MySQL、SQL Server等几种关系型数据库,具体请参见数据库的
CDC配置。
4. 启动集成任务。
– 定时任务启动后,ROMA Connect按照任务计划进行数据集成。首次执行 时,会把所有符合条件的源端数据集成到目标端,后续根据任务配置,集成 符合条件的全量数据或只集成增量数据。
– 实时任务启动后,ROMA Connect会不断检测源端数据变更。首次执行时,
会把所有符合条件的源端数据集成到目标端,后续若检测到新增数据,则将 其集成到目标端。
4.2 接入数据源
在创建数据集成任务前,ROMA Connect需要先接入源端和目标端数据源,确保可以 正常从源端读取数据以及向目标端写入数据。
根据数据源类型的不同,数据源的接入配置有所差异,具体如下表所示。接入数据源 后,点击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信 息。
说明
● ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流 数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数 据、文本等数据迁移到数据湖的场景,建议使用云数据迁移CDM。
● 当目标端数据源为FI Hive或MRS Hive时,源端数据源只能为API、MQS和SAP数据源。
表4-1 接入数据源
数据源接入配置 普通任务支 持的集成模 式(源端)
普通任务支持 的集成模式
(目标端)
组合任务支 持的集成模 式(源端)
组合任务支持 的集成模式
(目标端)
接入API数据源 定时 定时,实时 - -
接入ActiveMQ数据源 实时 定时,实时 - -
接入ArtemisMQ数据 源
实时 定时,实时 - -
接入DB2数据源 定时 定时,实时 - -
接入DIS数据源 实时 定时,实时 - -
接入DWS数据源 定时 定时,实时 - -
接入GaussDB(for
openGauss)数据源
定时 定时,实时 - -接入GaussDB(DWS) 数据源
定时 定时,实时 - -
接入FTP数据源 定时 定时 - -
接入FI HDFS数据源 定时 定时,实时 - -
接入FI Hive数据源 定时 定时,实时 - -
接入FI Kafka数据源 实时 定时,实时 - -
接入HL7数据源 实时 定时,实时 - -
接入HANA数据源 定时 定时,实时 - -