5.5 转储任务管理
5.5.8 添加 MRS 转储任务
}}
响应示例
无
状态码
状态码 描述
201 正常返回
错误码
请参见错误码。
5.5.8 添加 MRS 转储任务
功能介绍
本接口用于添加MRS转储任务。
URI
POST /v2/{project_id}/streams/{stream_name}/transfer-tasks
表5-118 路径参数
参数 是否必选 参数类型 描述
project_id 是 String 项目ID。
stream_name 是 String 已创建的通道名称。
最大长度:60
请求参数
表5-119 请求 Header 参数
参数 是否必选 参数类型 描述
X-Auth-Token 是 String 用户Token。
通过调用IAM服务获取用户 Token接口获取(响应消息头中 X-Subject-Token的值)。
表5-120 请求 Body 参数
参数 是否必选 参数类型 描述
destination_ty
pe 是 String 转储任务类型。
● OBS:转储到OBS
● MRS:转储到MRS
● DLI:转储到DLI
● DWS:转储到DWS 缺省值:NOWHERE 枚举值:
● MRS mrs_destinati
on_descriptor 否 MRSDestinat ionDescriptor Request object
转储目的地为MRS的参数列表。
表5-121 MRSDestinationDescriptorRequest
参数 是否必选 参数类型 描述
task_name 是 String 转储任务的名称。 任务名称由 英文字母、数字、中划线和下划 线组成。长度为1~64个字符。
agency_name 是 String 在统一身份认证服务(IAM)中创 建委托的名称,DIS需要获取 IAM委托信息去访问您指定的资 源。创建委托的参数设置如下:
● 委托类型:云服务
● 云服务:DIS
● 持续时间:永久
● “所属区域”为“全局服 务”,“项目”为“对象存 储服务”对应的“策略”包 含“Tenant
Administrator”。 如果已经 创建过委托,可以使用IAM 服务提供的查询委托列表接 口,获取有效可用的委托名 称。 取值范围:长度不超过 64位,且不可配置为空。
如果有在Console控制台使用转 储任务,会提示自动创建委托,
自动创建的委托名称为:
dis_admin_agency 最大长度:64 deliver_time_i
nterval 是 Integer 根据用户配置的时间,周期性的
将数据导入OBS,若某个时间段 内无数据,则此时间段不会生成 打包文件。
取值范围:30~900 缺省值:300 单位:秒 最小值:30 最大值:900 缺省值:300
参数 是否必选 参数类型 描述 consumer_str
ategy 否 String 偏移量。
● LATEST:最大偏移量,即获 取最新的数据。
● TRIM_HORIZON:最小偏移 量,即读取最早的数据。
缺省值:LATEST 缺省值:LATEST 枚举值:
● LATEST
● TRIM_HORIZON mrs_cluster_n
ame 是 String 存储该通道数据的MRS集群名
称。
说明:
仅支持非Kerberos认证的MRS集 群。
mrs_cluster_id 是 String 存储该通道数据的MRS集群ID。
mrs_hdfs_pat
h 是 String 存储该通道数据的MRS集群的
HDFS路径。
file_prefix 否 String 临时存储该通道数据的OBS桶下 的自定义目录,多级目录可用
lder 否 String 在MRS集群HDFS中存储通道文
件的自定义目录,多级目录可用
"/"进行分隔。
取值范围:0~50个字符。
默认配置为空。
obs_bucket_p
ath 是 String 临时存储该通道数据的OBS桶名
称。
参数 是否必选 参数类型 描述
retry_duration 否 String 用户数据转储失败的失效重试时 间。重试时间超过该配置项配置 的值,则将转储失败的数据备份 至“OBS桶/ file_prefix/
mrs_error”目录下。
取值范围:0~7200。
单位:秒。
默认配置为1800。
配置为“0”表示DIS服务不会 在转储失败时进行重试。
响应参数
无
请求示例
添加MRS转储任务
POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks { "destination_type" : "MRS",
"mrs_destination_descriptor" : { "task_name" : "mrstask", "consumer_strategy" : "LATEST", "agency_name" : "dis_admin_agency", "destination_file_type" : "text",
"mrs_cluster_id" : "f8123fa6-99f1-4ed9-83f4-c827c7277d41", "mrs_cluster_name" : "mrscluster",
"mrs_hdfs_path" : "/user", "obs_bucket_path" : "obsbucket", "file_prefix" : "",
"hdfs_prefix_folder" : "", "deliver_time_interval" : 30, "retry_duration" : 1800 }}
响应示例
无
状态码
状态码 描述
201 正常返回
错误码
请参见错误码。