5.3 转储管理
5.3.5 查询单个转储任务
功能介绍
查询单个转储任务。
调试
您可以在API Explorer中调试该接口。
URI
GET /v2/{project_id}/connectors/{connector_id}/sink-tasks/{task_id}
表5-69 路径参数
参数 是否必选 参数类型 描述
project_id 是 String 租户的项目ID。
connector_id 是 String 实例转储ID。 请参考[实例生命 周期][查询实例]接口返回的数 据。
task_id 是 String 转储任务ID。
表5-70 Query 参数
参数 是否必选 参数类型 描述
topic-info 否 String 是否包含topic信息。默认是 false。
请求参数
无
响应参数
状态码: 200
表5-71 响应 Body 参数
参数 参数类型 描述
task_name String 转储任务名称。
参数 参数类型 描述 destination_ty
pe String 转储任务类型。
create_time Long 转储任务创建时间戳。
status String 转储任务状态。
topics String 返回任务转存的topics列表或者正则表达式。
obs_destinatio
n_descriptor
obs_destinati on_descriptor
object转存目标的描述。
topics_info Array of
topics_info
objectstopic信息。
表5-72 obs_destination_descriptor
参数 参数类型 描述
consumer_str
ategy String 消费启动策略:
● latest:从Topic最后端开始消费。
● earliest: 从Topic最前端消息开始消费。
默认是latest。
destination_fil
e_type String 转储文件格式。目前只支持text格式。
obs_bucket_n
ame String 存储该通道数据的OBS桶名称。
obs_path String 存储在obs的路径。
参数 参数类型 描述 partition_for
mat String 将转储文件的生成时间使用
“yyyy/MM/dd/HH/mm”格式生成分区字符 串,用来定义写到OBS的Object文件所在的目录 层次结构。
● N/A:置空,不使用日期时间目录。
● yyyy:年
● yyyy/MM:年/月
● yyyy/MM/dd:年/月/日
● yyyy/MM/dd/HH:年/月/日/时
● yyyy/MM/dd/HH/mm:年/月/日/时/分,例 如:2017/11/10/14/49,目录结构就是
nterval Integer 根据用户配置的时间,周期性的将数据导入 OBS,若某个时间段内无数据,则此时间段不会 生成打包文件。 取值范围:30~900 缺省值:
300 单位:秒。
说明使用OBS通道转储流式数据时该参数为必选配置。
obs_part_size Long 每个传输文件多大后就开始上传,单位为byte。
默认值5242880。
表5-73 topics_info
参数 参数类型 描述
topic String topic名称。
参数 参数类型 描述 partitions Array of
partitions
objects分区列表。
表5-74 partitions
参数 参数类型 描述
partition_id String 分区ID。
status String 运行状态。
last_transfer_
offset String 已转储的消息偏移量。
log_end_offse
t String 消息偏移量。
lag String 积压的消息数。
请求示例
GET https://{endpoint}/v2/{project_id}/connectors/{connector_id}/sink-tasks/{task_id}?topic-info=true
响应示例
状态码: 200
查询单个转储任务成功。
{ "task_name" : "obsTransfer-56997523", "destination_type" : "OBS",
"create_time" : 1628126621283, "status" : "RUNNING",
"topics" : "topic-sdk-no-delete", "obs_destination_descriptor" : { "consumer_strategy" : "earliest", "destination_file_type" : "TEXT", "obs_bucket_name" : "testobs", "obs_path" : "obsTransfer-56997523", "partition_format" : "yyyy/MM/dd/HH/mm", "record_delimiter" : "\n",
"deliver_time_interval" : 300, "obs_part_size" : 5242880, "flush_size" : 1000000,
"connector_class" : "com.huawei.dms.connector.obs.OBSSinkConnector", "storage_class" : "com.huawei.dms.connector.obs.storage.OBSStorage",
"format_class" : "com.huawei.dms.connector.obs.format.bytearray.ByteArrayFormat",
"schema_generator_class" : "io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator", "partitioner_class" : "io.confluent.connect.storage.partitioner.TimeBasedPartitioner",
"value_converter" : "org.apache.kafka.connect.converters.ByteArrayConverter", "key_converter" : "org.apache.kafka.connect.converters.ByteArrayConverter"
}, "topics_info" : [ {
"topic" : "topic-sdk-no-delete", "partitions" : [ {
"partition_id" : "2", "status" : "RUNNING", "last_transfer_offset" : "3", "log_end_offset" : "3", "lag" : "0"
}, {
"partition_id" : "1", "status" : "RUNNING", "last_transfer_offset" : "3", "log_end_offset" : "3", "lag" : "0"
}, {
"partition_id" : "0", "status" : "RUNNING", "last_transfer_offset" : "3", "log_end_offset" : "3",
您可以在API Explorer中调试该接口。
URI
DELETE /v2/{project_id}/connectors/{connector_id}/sink-tasks/{task_id}
表5-75 路径参数
参数 是否必选 参数类型 描述
project_id 是 String 租户的项目ID。
connector_id 是 String 实例转储ID。 请参考[实例生命 周期][查询实例]接口返回的数 据。
task_id 是 String 转储任务ID。