• 沒有找到結果。

5.3 转储管理

5.3.5 查询单个转储任务

功能介绍

查询单个转储任务。

调试

您可以在API Explorer中调试该接口。

URI

GET /v2/{project_id}/connectors/{connector_id}/sink-tasks/{task_id}

5-69 路径参数

参数 是否必选 参数类型 描述

project_id 是 String 租户的项目ID。

connector_id 是 String 实例转储ID。 请参考[实例生命 周期][查询实例]接口返回的数 据。

task_id 是 String 转储任务ID。

5-70 Query 参数

参数 是否必选 参数类型 描述

topic-info 否 String 是否包含topic信息。默认是 false。

请求参数

响应参数

状态码: 200

5-71 响应 Body 参数

参数 参数类型 描述

task_name String 转储任务名称。

参数 参数类型 描述 destination_ty

pe String 转储任务类型。

create_time Long 转储任务创建时间戳。

status String 转储任务状态。

topics String 返回任务转存的topics列表或者正则表达式。

obs_destinatio

n_descriptor

obs_destinati on_descriptor

object

转存目标的描述。

topics_info Array of

topics_info

objects

topic信息。

5-72 obs_destination_descriptor

参数 参数类型 描述

consumer_str

ategy String 消费启动策略:

● latest:从Topic最后端开始消费。

● earliest: 从Topic最前端消息开始消费。

默认是latest。

destination_fil

e_type String 转储文件格式。目前只支持text格式。

obs_bucket_n

ame String 存储该通道数据的OBS桶名称。

obs_path String 存储在obs的路径。

参数 参数类型 描述 partition_for

mat String 将转储文件的生成时间使用

“yyyy/MM/dd/HH/mm”格式生成分区字符 串,用来定义写到OBS的Object文件所在的目录 层次结构。

● N/A:置空,不使用日期时间目录。

● yyyy:年

● yyyy/MM:年/月

● yyyy/MM/dd:年/月/日

● yyyy/MM/dd/HH:年/月/日/时

● yyyy/MM/dd/HH/mm:年/月/日/时/分,例 如:2017/11/10/14/49,目录结构就是

nterval Integer 根据用户配置的时间,周期性的将数据导入 OBS,若某个时间段内无数据,则此时间段不会 生成打包文件。 取值范围:30~900 缺省值:

300 单位:秒。

说明使用OBS通道转储流式数据时该参数为必选配置。

obs_part_size Long 每个传输文件多大后就开始上传,单位为byte。

默认值5242880。

5-73 topics_info

参数 参数类型 描述

topic String topic名称。

参数 参数类型 描述 partitions Array of

partitions

objects

分区列表。

5-74 partitions

参数 参数类型 描述

partition_id String 分区ID。

status String 运行状态。

last_transfer_

offset String 已转储的消息偏移量。

log_end_offse

t String 消息偏移量。

lag String 积压的消息数。

请求示例

GET https://{endpoint}/v2/{project_id}/connectors/{connector_id}/sink-tasks/{task_id}?topic-info=true

响应示例

状态码: 200

查询单个转储任务成功。

{ "task_name" : "obsTransfer-56997523", "destination_type" : "OBS",

"create_time" : 1628126621283, "status" : "RUNNING",

"topics" : "topic-sdk-no-delete", "obs_destination_descriptor" : { "consumer_strategy" : "earliest", "destination_file_type" : "TEXT", "obs_bucket_name" : "testobs", "obs_path" : "obsTransfer-56997523", "partition_format" : "yyyy/MM/dd/HH/mm", "record_delimiter" : "\n",

"deliver_time_interval" : 300, "obs_part_size" : 5242880, "flush_size" : 1000000,

"connector_class" : "com.huawei.dms.connector.obs.OBSSinkConnector", "storage_class" : "com.huawei.dms.connector.obs.storage.OBSStorage",

"format_class" : "com.huawei.dms.connector.obs.format.bytearray.ByteArrayFormat",

"schema_generator_class" : "io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator", "partitioner_class" : "io.confluent.connect.storage.partitioner.TimeBasedPartitioner",

"value_converter" : "org.apache.kafka.connect.converters.ByteArrayConverter", "key_converter" : "org.apache.kafka.connect.converters.ByteArrayConverter"

}, "topics_info" : [ {

"topic" : "topic-sdk-no-delete", "partitions" : [ {

"partition_id" : "2", "status" : "RUNNING", "last_transfer_offset" : "3", "log_end_offset" : "3", "lag" : "0"

}, {

"partition_id" : "1", "status" : "RUNNING", "last_transfer_offset" : "3", "log_end_offset" : "3", "lag" : "0"

}, {

"partition_id" : "0", "status" : "RUNNING", "last_transfer_offset" : "3", "log_end_offset" : "3",

您可以在API Explorer中调试该接口。

URI

DELETE /v2/{project_id}/connectors/{connector_id}/sink-tasks/{task_id}

5-75 路径参数

参数 是否必选 参数类型 描述

project_id 是 String 租户的项目ID。

connector_id 是 String 实例转储ID。 请参考[实例生命 周期][查询实例]接口返回的数 据。

task_id 是 String 转储任务ID。