5.5 转储任务管理
5.5.7 添加 DWS 转储任务
}
响应示例
无
状态码
状态码 描述
200 正常返回
错误码
请参见错误码。
5.5.7 添加 DWS 转储任务
功能介绍
本接口用于添加DWS转储任务。
调试
您可以在API Explorer中调试该接口。
URI
POST /v2/{project_id}/streams/{stream_name}/transfer-tasks
表5-113 路径参数
参数 是否必选 参数类型 描述
project_id 是 String 项目ID。
请求参数
表5-114 请求 Header 参数
参数 是否必选 参数类型 描述
X-Auth-Token 是 String 用户Token。
通过调用IAM服务获取用户 Token接口获取（响应消息头中 X-Subject-Token的值）。
表5-115 请求 Body 参数
参数 是否必选 参数类型 描述
destination_ty
pe 是 String 转储任务类型。
● OBS：转储到OBS
● MRS：转储到MRS
● DLI：转储到DLI
● DWS：转储到DWS 缺省值：NOWHERE 枚举值：
● DWS dws_destinati
on_descriptor 否 DWSDestinat ionDescriptor Request object
转储目的地为DWS的参数列 表。
表5-116 DWSDestinationDescriptorRequest
参数 是否必选 参数类型 描述
task_name 是 String 转储任务的名称。 任务名称由 英文字母、数字、中划线和下划 线组成。长度为1～64个字符。
参数 是否必选 参数类型 描述
agency_name 是 String 在统一身份认证服务(IAM)中创 建委托的名称，DIS需要获取
Administrator”。 如果已经 创建过委托，可以使用IAM
nterval 是 Integer 根据用户配置的时间，周期性的
将数据导入OBS，若某个时间段
● LATEST：最大偏移量，即获 取最新的数据。
● TRIM_HORIZON：最小偏移 量，即读取最早的数据。
缺省值：LATEST 缺省值：LATEST 枚举值：
参数 是否必选 参数类型 描述 dws_cluster_n
ame 是 String 存储该通道数据的DWS集群名
称。
dws_cluster_i
d 是 String 存储该通道数据的DWS集群
ID。
dws_database
_name 是 String 存储该通道数据的DWS数据库
名称。
dws_schema 是 String 存储该通道数据的DWS数据库 模式。
dws_table_na
me 是 String 存储该通道数据的DWS数据库
模式下的数据表。
dws_delimiter 是 String 用户数据的字段分隔符，根据此 分隔符分隔用户数据插入DWS 数据表的相应列。
取值范围：“，”、“；”和
“|”三种字符中的一个。
user_name 是 String 存储该通道数据的DWS数据库 的用户名。
ath 是 String 临时存储该通道数据的OBS桶名
称。
file_prefix 否 String 临时存储该通道数据的OBS桶下 的自定义目录，多级目录可用
参数 是否必选 参数类型 描述
retry_duration 否 String 用户数据导入DWS集群失败的 重试失效时间。超出此配置项配 置的时间，转储DWS失败的数 据将备份至“OBS桶/
file_prefix/dws_error”目录 下。
取值范围： 0～7200 单位：秒
默认配置为1800。
dws_table_col
umns 否 String 指定要转储到DWS表中的列，
为null或者为空则默认全列。比 如“c1,c2”表示将Schema中c1 和c2这两列转储到DWS。
默认为空。
options 否 Options
object DWS容错性选项（用于指定外 表数据的各类参数）。
表5-117 Options
参数 是否必选 参数类型 描述
fill_missing_fi
elds 否 String 数据入库时，数据源文件中某行
的最后一个字段缺失时，请选择 是直接将字段设为Null，还是在 错误表中报错提示。
取值范围：
● true/on
● false/off 缺省值：false/off 枚举值：
● true/on
● false/off
参数 是否必选 参数类型 描述
● true/on
● false/off 缺省值：false/off 枚举值：
● true/on
● false/off compatible_ill
egal_chars 否 String 导入非法字符容错参数。是将非 法字符按照转换规则转换后入 库，还是报错中止导入。
取值范围：
● true/on
● false/off 缺省值：false/off 枚举值：
● true/on
● false/off
reject_limit 否 String 指定本次数据导入允许出现的数 据格式错误个数，当导入过程中 出现的数据格式错误未达到限定 值时，本次数据导入可以成功。
取值范围：
● 整型值
● unlimited（无限制）
缺省值为0，有错误信息立即返
请求示例
添加DWS转储任务
POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks { "destination_type" : "DWS",
"dws_destination_descriptor" : { "task_name" : "dwstask", "consumer_strategy" : "LATEST", "agency_name" : "dis_admin_agency", "dws_cluster_name" : "dwscluster",
"dws_cluster_id" : "f82dc227-3691-47eb-bca7-e7851f509b2a", "dws_database_name" : "postgres",
"dws_schema" : "dbadmin",
"dws_table_name" : "dwstablename", "dws_delimiter" : "",
"user_name" : "dbadmin", "user_password" : "userpassword", "kms_user_key_name" : "kmskey",
"kms_user_key_id" : "1e759f06-9188-4d21-afab-a75e57c04d2b", "obs_bucket_path" : "obsbucket",
"file_prefix" : "",
"deliver_time_interval" : 60, "retry_duration" : 1800, "options" : {
"fill_missing_fields" : "false", "ignore_extra_data" : "false", "compatible_illegal_chars" : "false"
} }}
响应示例
无
状态码
状态码 描述
201 正常返回
错误码
请参见错误码。