配置 OBS 目的端参数

作业中目的连接为配置OBS连接时，即导入数据到云服务OBS时，目的端作业参数如 表5-22所示。

高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。

表5-22 OBS 作为目的端时的作业参数 参数类

型

参数名 说明 取值样例

基本参 数

桶名 写入数据的OBS桶名。 bucket_2

写入目录 写入数据到OBS服务器的目录，目录前面不 加“/”。

该参数支持配置为时间宏变量，且一个路径 名中可以有多个宏定义变量。使用时间宏变 量和定时任务配合，可以实现定期同步新增 数据，详细说明请参见使用时间宏变量完成 增量同步。

directory/

文件格式 写入后的文件格式，可选择以下文件格式：

● CSV格式：按CSV格式写入，适用于数据 表到文件的迁移。

● 二进制格式：选择“二进制格式”时不解 析文件内容直接传输，CDM会原样写入文 件，不改变原始文件格式，适用于文件到 文件的迁移。

如果是文件类数据源（FTP/SFTP/HDFS/

OBS）之间相互迁移数据，此处的“文件格 式”只能选择与源端的文件格式一致。

CSV格式

重复文件处 理方式

只有文件名和文件大小都相同才会判定为重 复文件。写入时如果出现文件重复，可选择 如下处理方式：

● 替换重复文件

● 跳过重复文件

● 停止任务

具体使用方法可参见文件增量迁移。

跳过重复文 件

参数类

● KMS：使用数据加密服务中的KMS进行加 密。如果启用KMS加密则无法进行数据的 MD5校验。

● AES-256-GCM：使用长度为256byte的 AES对称加密算法，目前加密算法只支持 AES-256-GCM（NoPadding）。该参数 在目的端为加密，在源端为解密。

详细使用方法请参见迁移文件时加解密。

KMS

KMS ID 写入文件时加密使用的密钥，“加密方式”

选择“KMS”时显示该参数。单击输入框后 面的 ，可以直接选择在数据加密服务中已 创建好的KMS密钥。

● 当使用与CDM集群相同项目下的KMS密钥 时，不需要修改下面的“项目ID”参数。

● 当用户使用其它项目下的KMS密钥时，需 要修改下面的“项目ID”参数。

53440ccb-3 e73-4700-9 8b5-71ff54 76e621

项目ID KMS ID所属的项目ID，该参数默认值为当前 CDM集群所属的项目ID。

● 当“KMS ID”与CDM集群在同一个项目 下时，这里的“项目ID”保持默认即可。

● 当“KMS ID”使用的是其它项目下的 KMS ID时，这里需要修改为KMS所属的 项目ID。

9bd7c4bd5 4e5417198f 9591bef07a e67

数据加密密

钥 “加密方式”选择“AES-256-GCM”时显示 该参数，密钥由长度64的十六进制数组成。

请您牢记这里配置的“数据加密密钥”，解 密时的密钥与这里配置的必须一致。如果不 一致系统不会报异常，只是解密出来的数据 会错误。

DD0AE00D FECD78BF0 51BCFDA25 BD4E320DB 0A7AC75A1 F3FC3D3C5 6A457DCD C1B 初始化向量 “加密方式”选择“AES-256-GCM”时显示

该参数，初始化向量由长度32的十六进制数

5C91687BA 886EDCD12 ACBC3FF19 A3C3F

参数类 型

参数名 说明 取值样例

复制 Content-Type属性

“文件格式”为“二进制”，且源端、目的 端都为对象存储时，才有该参数。

选择“是”后，迁移对象文件时会复制源文 件的Content-Type属性，主要用于静态网站 的迁移场景。

归档存储的桶不支持设置Content-Type属 性，所以如果开启了该参数，目的端选择写 入的桶时，必须选择非归档存储的桶。

否

换行符 文件中的换行符，默认自动识别“\n”、

“\r”或“\r\n”。“文件格式”为“二进制 格式”时该参数值无效。

1024

校验MD5 值

使用“二进制格式”传输文件时，才能校验 MD5值。选择校验MD5值时，无法使用KMS 加密。

计算源文件的MD5值，并与OBS返回的MD5 值进行校验。如果源端已经存在MD5文件，

则直接读取源端的MD5文件与OBS返回的 MD5值进行校验，具体请参见MD5校验文件 一致性。

是

记录校验结 果

当选择校验MD5值时，可以选择是否记录校 验结果。

是

校验结果写

入连接 可以指定任意一个OBS连接，将MD5校验结

果写入该连接的桶下。 obslink

OBS桶 写入MD5校验结果的OBS桶。 cdm05 写入目录 写入MD5校验结果的目录。 /md5/

编码类型 文件编码类型，例如：“UTF-8”或

“GBK”。“文件格式”为“二进制格式”

时该参数值无效。

GBK

参数类 型

参数名 说明 取值样例

使用包围符 “文件格式”为“CSV格式”，才有该参 数，用于将数据库的表迁移到文件系统的场 景。

选择“是”时，如果源端数据表中的某一个 字段内容包含字段分隔符或换行符，写入目 的端时CDM会使用双引号（"）作为包围符 将该字段内容括起来，作为一个整体存储，

避免其中的字段分隔符误将一个字段分隔成 两个，或者换行符误将字段换行。例如：数 据库中某字段为hello,world，使用包围符 后，导出到CSV文件的时候数据为

"hello,world"。

否

首行为标题

行 从关系型数据库导出数据到OBS，“文件格 式”为“CSV格式”时，才有该参数。

在迁移表到CSV文件时，CDM默认是不迁移 表的标题行，如果该参数选择“是”，CDM 在才会将表的标题行数据写入文件。

否

作业成功标 识文件

当作业执行成功时，会在写入目录下生成一 个标识文件，文件名由用户指定。不指定时 默认关闭该功能。

finish.txt

自定义目录 层次

选择“是”时，支持迁移后的文件按照自定 义的目录存储。即只迁移文件，不迁移文件 所归属的目录。

是

目录层次 自定义迁移后文件的存储路径，支持时间宏

变量。 $

{dateforma t(yyyy-MM-ddHH:mm:ss, -1, DAY)}

参数类 型

参数名 说明 取值样例

自定义文件

名 从关系型数据库导出数据到OBS，且“文件 格式”为“CSV格式”时，才有该参数。

用户可以通过该参数自定义OBS端生成的文 件名，支持以下自定义方式：

● 字符串，支持特殊字符。例如

“cdm#”，则生成的文件名为

“cdm#.csv”。

● 时间宏，例如“${timestamp()}”，则生 成的文件名为“1554108737.csv”。

● 表名宏，例如“${tableName}”，则生 成的文件名为“sqltabname.csv”。

● 版本宏，例如“${version}”，则生成的 文件名为“v1.csv”。

● 字符串和宏（时间宏/表名宏/版本宏）任 意组合，例如“cdm#${timestamp()}_$

{version}”，则生成的文件名为

“cdm#1554108737_v1.csv”。

cdm