5.2 作业管理
5.2.4 随机集群创建作业并执行
功能介绍
随机集群创建作业并执行接口。
调试
您可以在API Explorer中调试该接口。
URI
POST /v1.1/{project_id}/clusters/job
表5-82 路径参数
参数 是否必选 参数类型 描述
project_id 是 String 项目ID
请求参数
表5-83 请求 Header 参数
参数 是否必选 参数类型 描述
X-Auth-Token 是 String 用户Token。
通过调用IAM服务获取用户 Token接口获取(响应消息头中 X-Subject-Token的值)。
X-Language 是 String 请求语言。
表5-84 请求 Body 参数
参数 是否必选 参数类型 描述
jobs 是 Array of Job
objects 作业列表,请参见jobs数据结构 说明。
clusters 是 Array of
strings CDM集群ID列表,系统会从里 面随机选择一个开机状态的集 群,在该集群中创建作业并执行 作业。
表5-85 Job
参数 是否必选 参数类型 描述
job_type 否 String 作业类型:
● NORMAL_JOB:表/文件迁 移。
● BATCH_JOB:整库迁移。
● SCENARIO_JOB:场景迁 移。
枚举值:
● NORMAL_JOB
● BATCH_JOB
● SCENARIO_JOB
from- connector-name
是 String 源端连接类型
to-config-values 是 ConfigValues
object 目的连接参数配置。
to-link-name 是 String 目的端连接名称
driver-config-values 是 ConfigValues
object 作业任务参数配置。
from-config-values 是 ConfigValues
object 源连接参数配置。
to-connector-name 否 String 目的端连接类型
name 否 String 作业名称,长度在1到240个字
符之间 最小长度:1 最大长度:240
参数 是否必选 参数类型 描述
from-link-name 否 String 源连接名称
creation-user 否 String 创建的用户。
creation-date 否 Long 作业创建的时间,单位:毫秒。
update-date 否 Long 作业最后更新的时间,单位:毫 秒。
is_incre_job 否 Boolean 是否增量
flag 否 Integer 标记
files_read 否 Integer 已读文件数
update-user 否 String 作业最后更新的用户。
external_id 否 String 外部ID。
type 否 String 作业类型
execute_start_
date 否 Long 执行_开始_日期。
delete_rows 否 Integer 删除行数
enabled 否 Boolean 是否激活连接
bytes_written 否 Long 写入字节
id 否 Integer 作业ID
is_use_sql 否 Boolean 用户是否使用sql update_rows 否 Integer 更新行数
group_name 否 String 组_名称
bytes_read 否 Long 读取字节
execute_upda
te_date 否 Long 执行_更新_日期。
write_rows 否 Integer 写入行数 files_writte 否 Integer 写入文件数 is_incrementi
ng 否 Boolean 是否增量
execute_creat
e_date 否 Long 执行_创建_日期
参数 是否必选 参数类型 描述
status 否 String 作业最后的执行状态:
● BOOTING:启动中。
● RUNNING:运行中。
● SUCCEEDED:成功。
● FAILED:失败。
● NEW:未被执行。
表5-86 ConfigValues
参数 是否必选 参数类型 描述
configs 否 Array of configs objects
源连接参数、目的连接参数和作 业任务参数,它们的配置数据结 构相同,其中“inputs”里的参 数不一样,详细请参见configs 数据结构说明
表5-87 configs
参数 是否必选 参数类型 描述
inputs 是 Array of
Input objects 输入参数列表,列表中的每个参 数为“name,value”结构,请 参考inputs数据结构参数说明。
在“from-config-values”数据 结构中,不同的源连接类型有不 同的“inputs”参数列表,请参 见源端作业参数说明下的章节。
在“to-cofig-values”数据结构 中,不同的目的连接类型有不同 的“inputs”参数列表,请参见 目的端作业参数说明下面的子章 节。在“driver-config-values”
数据结构中,“inputs”具体参 数请参见作业任务参数说明。
name 是 String 配置名称:源端作业的配置名称
为“fromJobConfig”。目的端 作业的配置名称为
“toJobConfig”,连接的配置名 称固定为“linkConfig”。
id 是 Integer 配置ID
type 是 String 配置类型
表5-88 Input
参数 是否必选 参数类型 描述
name 是 String 参数名
values 是 String 参数值
type 否 String 值类型
响应参数
状态码: 200
表5-89 响应 Body 参数
参数 参数类型 描述
submissions Array of StartJobSub mission objects
作业运行信息,请参见submission参数说明
表5-90 StartJobSubmission
参数 参数类型 描述
isIncrementin
g Boolean 作业是否为增量迁移
delete_rows Integer 删除数据行数 update_rows Integer 更新数据行数 write_rows Integer 写入数据行数 submission-id Integer 作业提交id job-name String 作业名称 creation-user String 创建用户
creation-date Long 创建时间,单位:毫秒。
execute-date Long 执行时间
progress Float 作业进度,失败时为“-1”,其它情况为0~100
参数 参数类型 描述
"job_type" : "NORMAL_JOB",
"from-connector-name" : "elasticsearch-connector", "to-config-values" : {
"to-link-name" : "dis", "driver-config-values" : { "configs" : [ {
"inputs" : [ {
"name" : "throttlingConfig.numExtractors", "value" : "1"
}, {
"name" : "throttlingConfig.submitToCluster", "value" : "false"
}, {
"name" : "throttlingConfig.numLoaders", "value" : "1"
}, {
"name" : "throttlingConfig.recordDirtyData", "value" : "false"
"name" : "schedulerConfig.isSchedulerJob", "value" : "false"
}, {
"name" : "schedulerConfig.disposableType", "value" : "NONE"
"value" : "array_f1_int:long&array_f2_text:string&array_f3_object:nested"
}, {
"name" : "fromJobConfig.splitNestedField", "value" : "false"
} ],
"name" : "fromJobConfig"
} ] },
"to-connector-name" : "dis-connector", "name" : "es_css",
"from-link-name" : "css"
} ],
"clusters" : [ "b0791496-e111-4e75-b7ca-9277aeab9297", "c2db1191-eb6c-464a-a0d3-b434e6c6df26",
"c2db1191-eb6c-464a-a0d3-b434e6c6df26" ] "isIncrementing" : false, "job-name" : "obs2obs-03", "submisson-id" : 13, "isStopingIncrement" : "",
"last-update-date" : 1635909057030,
"is-execute-auto" : false, "delete_rows" : 0, "write_rows" : 0,
"last-update-user" : "mwx5316849", "isDeleteJob" : false,
"creation-user" : "mwx5316849", "progress" : 0,
"creation-date" : 1635909057030, "update_rows" : 0,
"status" : "PENDING"
} ] }
状态码
状态码 描述
200 ok
错误码
请参见错误码。