5.5 转储任务管理
5.5.4 查询转储任务详情
功能介绍
查询转储任务详情。
调试
您可以在API Explorer中调试该接口。
表5-90 路径参数
参数 是否必选 参数类型 描述
project_id 是 String 项目ID。
stream_name 是 String 已创建的通道的名称。
task_name 是 String 待删除的转储任务名称。
请求参数
表5-91 请求 Header 参数
参数 是否必选 参数类型 描述
X-Auth-Token 是 String 用户Token。
通过调用IAM服务获取用户 Token接口获取（响应消息头中 X-Subject-Token的值）。
响应参数
状态码： 200
表5-92 响应 Body 参数
参数 参数类型 描述
stream_name String 该转储任务所属通道名称。
task_name String 转储任务名称。
参数 参数类型 描述
state String 转储任务状态。
● ERROR：错误。
● STARTING：启动中。
● PAUSED：已停止。
● RUNNING：运行中。
● DELETE：已删除。
● ABNORMAL：异常。
枚举值：
● ERROR
● STARTING
● PAUSED
● RUNNING
● DELETE
● ABNORMAL destination_ty
pe String 转储任务类型。
● OBS：转储到OBS。
● MRS：转储到MRS。
● DLI：转储到DLI。
● DWS：转储到DWS。
枚举值：
● OBS
● MRS
● DLI
● DWS
create_time Long 转储任务创建时间。
last_transfer_t
imestamp Long 转储任务最近一次转储时间。
partitions Array of PartitionResu lt objects
分区转储详情列表。
obs_destinatio
n_description OBSDestinati onDescriptor Request object
转储目的地为OBS的参数列表。
dws_destinati
on_descripton DWSDestinat
ionDescriptor 转储目的地为DWS的参数列表。
参数 参数类型 描述 mrs_destinati
on_descriptio n
MRSDestinat ionDescriptor Request object
转储目的地为MRS的参数列表。
dli_destinatio
n_description DliDestinatio nDescriptorR equest object
转储目的地为DLI的参数列表。
表5-93 PartitionResult
参数 参数类型 描述
status String 分区的当前状态。
● CREATING：创建中
● ACTIVE：可用
● DELETED：删除中
● EXPIRED：已过期 枚举值：
● CREATING
● ACTIVE
● DELETED
● EXPIRED
partition_id String 分区的唯一标识符。
hash_range String 分区的可能哈希键值范围。
sequence_nu
mber_range String 分区的序列号范围。
parent_partiti
ons String 父分区。
表5-94 OBSDestinationDescriptorRequest
参数 参数类型 描述
task_name String 转储任务的名称。 任务名称由英文字母、数字、
中划线和下划线组成。长度为1～64个字符。
参数 参数类型 描述
agency_name String 在统一身份认证服务(IAM)中创建委托的名称，
DIS需要获取IAM委托信息去访问您指定的资源。
“Tenant Administrator”。 如果已经创建过 委托，可以使用IAM服务提供的查询委托列表
nterval Integer 根据用户配置的时间，周期性的将数据导入 OBS，若某个时间段内无数据，则此时间段不会
ategy String 偏移量。
● LATEST：最大偏移量，即获取最新的数据。
● TRIM_HORIZON：最小偏移量，即读取最早 的数据。
缺省值：LATEST 缺省值：LATEST 枚举值：
● LATEST
● TRIM_HORIZON
file_prefix String 在OBS中存储通道文件的自定义目录，多级目录 可用“/”进行分隔，不可以“/”开头。
取值范围：英文字母、数字、下划线和斜杠，最 大长度为50个字符。
默认配置为空。
参数 参数类型 描述 partition_for
mat String 将转储文件的生成时间使用
“yyyy/MM/dd/HH/mm”格式生成分区字符 串，用来定义写到OBS的Object文件所在的目录 层次结构。
● N/A：置空，不使用日期时间目录。
● yyyy：年
● yyyy/MM：年/
● yyyy/MM/dd：年/月/日
● yyyy/MM/dd/HH：年/月/日/时
● yyyy/MM/dd/HH/mm：年/月/日/时/分 例如：2017/11/10/14/49，目录结构就是“2017
● yyyy/MM
● yyyy/MM/dd
● yyyy/MM/dd/HH
● yyyy/MM/dd/HH/mm obs_bucket_p
ath String 存储该通道数据的OBS桶名称。
destination_fil
e_type String 转储文件格式。
● text：转储目标格式为TEXT，缺省值
● parquet：转储目标格式为Parquet
● carbon：转储目标格式为Carbon 说明：
● parquet
● carbon
参数 参数类型 描述 processing_sc
hema ProcessingSc
hema object 根据源数据的时间戳和已配置的
"partition_format"生成对应的转储时间目录。将
表5-95 ProcessingSchema
参数 参数类型 描述
timestamp_na
me String 源数据时间戳的属性名称。
timestamp_ty
pe String 源数据时间戳的类型。
● String
● Timestamp：Long类型的13位时间戳 timestamp_fo
rmat String 源数据时间戳的类型为String时必选，用于根据 时间戳格式生成OBS的时间目录。
取值范围：
● yyyy/MM/dd HH:mm:ss
● MM/dd/yyyy HH:mm:ss
● dd/MM/yyyy HH:mm:ss
● yyyy-MM-dd HH:mm:ss
● MM-dd-yyyy HH:mm:ss
● dd-MM-yyyy HH:mm:ss 枚举值：
● yyyy/MM/dd HH:mm:ss
● MM/dd/yyyy HH:mm:ss
● dd/MM/yyyy HH:mm:ss
● yyyy-MM-dd HH:mm:ss
表5-96 DWSDestinationDescriptorRequest
参数 参数类型 描述
task_name String 转储任务的名称。 任务名称由英文字母、数字、
中划线和下划线组成。长度为1～64个字符。
agency_name String 在统一身份认证服务(IAM)中创建委托的名称，
DIS需要获取IAM委托信息去访问您指定的资源。
“Tenant Administrator”。 如果已经创建过 委托，可以使用IAM服务提供的查询委托列表
nterval Integer 根据用户配置的时间，周期性的将数据导入 OBS，若某个时间段内无数据，则此时间段不会
ategy String 偏移量。
● LATEST：最大偏移量，即获取最新的数据。
● TRIM_HORIZON：最小偏移量，即读取最早 的数据。
缺省值：LATEST 缺省值：LATEST 枚举值：
● LATEST
● TRIM_HORIZON
参数 参数类型 描述 dws_cluster_n
ame String 存储该通道数据的DWS集群名称。
dws_cluster_i
d String 存储该通道数据的DWS集群ID。
dws_database
_name String 存储该通道数据的DWS数据库名称。
dws_schema String 存储该通道数据的DWS数据库模式。
dws_table_na
me String 存储该通道数据的DWS数据库模式下的数据表。
dws_delimiter String 用户数据的字段分隔符，根据此分隔符分隔用户 数据插入DWS数据表的相应列。
取值范围：“，”、“；”和“|”三种字符中的 一个。
user_name String 存储该通道数据的DWS数据库的用户名。
user_passwor
d String 存储该通道数据的DWS数据库的密码。
kms_user_key
_name String 用户在密钥管理服务（简称KMS）创建的用户主 密钥名称，用于加密存储DWS数据库的密码。
kms_user_key
_id String 用户在密钥管理服务（简称KMS）创建的用户主 密钥ID，用于加密存储DWS数据库的密码。
obs_bucket_p
ath String 临时存储该通道数据的OBS桶名称。
file_prefix String 临时存储该通道数据的OBS桶下的自定义目录，
多级目录可用“/”进行分隔，不可以“/”开 头。
取值范围：英文字母、数字、下划线和斜杠，最 大长度为50个字符。
默认配置为空。
retry_duration String 用户数据导入DWS集群失败的重试失效时间。超 出此配置项配置的时间，转储DWS失败的数据将 备份至“OBS桶/ file_prefix/dws_error”目录 下。
取值范围： 0～7200 单位：秒
默认配置为1800。
dws_table_col
umns String 指定要转储到DWS表中的列，为null或者为空则 默认全列。比如“c1,c2”表示将Schema中c1和
参数 参数类型 描述 options Options
object DWS容错性选项（用于指定外表数据的各类参 数）。
表5-97 Options
参数 参数类型 描述
fill_missing_fi
elds String 数据入库时，数据源文件中某行的最后一个字段 缺失时，请选择是直接将字段设为Null，还是在 错误表中报错提示。
取值范围：
● true/on
● false/off 缺省值：false/off 枚举值：
● true/on
● false/off ignore_extra_
data String 数据源文件中的字段比外表定义列数多时，是否 忽略多出的列。该参数只在数据导入过程中使 用。
取值范围：
● true/on
● false/off 缺省值：false/off 枚举值：
● true/on
● false/off compatible_ill
egal_chars String 导入非法字符容错参数。是将非法字符按照转换 规则转换后入库，还是报错中止导入。
取值范围：
● true/on
● false/off 缺省值：false/off 枚举值：
● true/on
● false/off
参数 参数类型 描述
reject_limit String 指定本次数据导入允许出现的数据格式错误个 数，当导入过程中出现的数据格式错误未达到限 定值时，本次数据导入可以成功。
取值范围：
● 整型值
● unlimited（无限制）
缺省值为0，有错误信息立即返回。
error_table_n
ame String 用于记录数据格式错误信息的错误表表名。并行 导入结束后查询此错误信息表，能够获取详细的 错误信息。
表5-98 MRSDestinationDescriptorRequest
参数 参数类型 描述
task_name String 转储任务的名称。 任务名称由英文字母、数字、
中划线和下划线组成。长度为1～64个字符。
agency_name String 在统一身份认证服务(IAM)中创建委托的名称，
DIS需要获取IAM委托信息去访问您指定的资源。
创建委托的参数设置如下：
● 委托类型：云服务
● 云服务：DIS
● 持续时间：永久
● “所属区域”为“全局服务”，“项目”为
“对象存储服务”对应的“策略”包含
“Tenant Administrator”。 如果已经创建过 委托，可以使用IAM服务提供的查询委托列表 接口，获取有效可用的委托名称。 取值范 围：长度不超过64位，且不可配置为空。
如果有在Console控制台使用转储任务，会提示自 动创建委托，自动创建的委托名称为：
dis_admin_agency 最大长度：64
参数 参数类型 描述 deliver_time_i
nterval Integer 根据用户配置的时间，周期性的将数据导入 OBS，若某个时间段内无数据，则此时间段不会
ategy String 偏移量。
● LATEST：最大偏移量，即获取最新的数据。
● TRIM_HORIZON：最小偏移量，即读取最早 的数据。
缺省值：LATEST 缺省值：LATEST 枚举值：
● LATEST
● TRIM_HORIZON mrs_cluster_n
ame String 存储该通道数据的MRS集群名称。
说明：
仅支持非Kerberos认证的MRS集群。
mrs_cluster_id String 存储该通道数据的MRS集群ID。
mrs_hdfs_pat
h String 存储该通道数据的MRS集群的HDFS路径。
file_prefix String 临时存储该通道数据的OBS桶下的自定义目录，
多级目录可用“/”进行分隔，不可以“/”开
lder String 在MRS集群HDFS中存储通道文件的自定义目录，
多级目录可用"/"进行分隔。
取值范围：0~50个字符。
默认配置为空。
obs_bucket_p
ath String 临时存储该通道数据的OBS桶名称。
参数 参数类型 描述
retry_duration String 用户数据转储失败的失效重试时间。重试时间超 过该配置项配置的值，则将转储失败的数据备份 至“OBS桶/ file_prefix/mrs_error”目录下。
取值范围：0~7200。
单位：秒。
默认配置为1800。
配置为“0”表示DIS服务不会在转储失败时进行 重试。
表5-99 DliDestinationDescriptorRequest
参数 参数类型 描述
task_name String 转储任务的名称。 任务名称由英文字母、数字、
中划线和下划线组成。长度为1～64个字符。
agency_name String 在统一身份认证服务(IAM)中创建委托的名称，
DIS需要获取IAM委托信息去访问您指定的资源。
“Tenant Administrator”。 如果已经创建过 委托，可以使用IAM服务提供的查询委托列表
nterval Integer 根据用户配置的时间，周期性的将数据导入 OBS，若某个时间段内无数据，则此时间段不会
参数 参数类型 描述 consumer_str
ategy String 偏移量。
● LATEST：最大偏移量，即获取最新的数据。
● TRIM_HORIZON：最小偏移量，即读取最早 的数据。
缺省值：LATEST 缺省值：LATEST 枚举值：
● LATEST
● TRIM_HORIZON dli_database_
name String 存储该通道数据的DLI数据库名称。
dli_table_nam
e String 存储该通道数据的DLI表名称。
说明：
仅支持数据位置为DLI的表，且用户需具有该表的 插入权限。
obs_bucket_p
ath String 临时存储该通道数据的OBS桶名称。
file_prefix String 临时存储该通道数据的OBS桶下的自定义目录，
file_prefix String 临时存储该通道数据的OBS桶下的自定义目录，