配置对象存储源端参数

作业中源连接为配置OBS连接、配置阿里云OSS连接、配置七牛云KODO/腾讯云COS 连接或配置亚马逊对象存储S3连接时，源端作业参数如表4-48所示。

高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。

表4-48 源端为对象存储时的作业参数

参数类型 参数名 说明 取值样例

基本参数 桶名 待迁移数据所在的桶名。 BUCKET_2

参数类型 参数名 说明 取值样例

FROM/

example.cs v

文件格式 指CDM以哪种格式解析数据，可选择以 下格式：

● CSV格式：以CSV格式解析源文件，

用于迁移文件到数据表的场景。

● 二进制格式：选择“二进制格式”时 不解析文件内容直接传输，不要求文 件格式必须为二进制。适用于文件到 文件的原样复制。

● JSON格式：以JSON格式解析源文 件，一般都是用于迁移文件到数据表 的场景。

CSV格式

列表文件 当“文件格式”选择为“二进制格式”

时，才有该参数。

打开列表文件功能时，支持读取OBS桶 中文件（如txt文件）的内容作为待迁移 文件的列表。该文件中的内容应为待迁 移文件的绝对路径（不支持目录），例 如直接写为如下内容：

/052101/DAY20211110.data /052101/DAY20211111.data

是

列表文件源连 接

当“列表文件”选择为“是”时，才有 该参数。可选择列表文件所在的OBS连 接。

OBS_test_li nk

列表文件OBS 桶

当“列表文件”选择为“是”时，才有 该参数。该参数表示列表文件所在的 OBS桶名。

01

列表文件或目 录

当“列表文件”选择为“是”时，才有 该参数。该参数表示列表文件所在的 OBS桶中的绝对路径或目录。

/0521/

Lists.txt

参数类型 参数名 说明 取值样例 JSON类型 当“文件格式”选择为“JSON格式”

时，才有该参数。JSON文件中存储的 JSON对象的类型，可以选择“JSON对 象”或“JSON数组”。

JSON对象

记录节点 当“文件格式”选择为“JSON格式”并 且“JSON类型”为“JSON对象”时，

才有该参数。对该JSON节点下的数据进 行解析，如果该节点对应的数据为JSON 数组，那么系统会以同一模式从该数组 中提取数据。多层嵌套的JSON节点以字 符“.”分割。

data.list

高级属性 换行符 文件中的换行符，默认自动识别

“\n”、“\r”或“\r\n”。当“文件格 式”选择为“CSV格式”时，才有该参 数。

\n

字段分隔符 文件中的字段分隔符，使用Tab键作为 分隔符请输入“\t”。当“文件格式”

选择为“CSV格式”时，才有该参数。

,

使用包围符 选择“是”时，包围符内的字段分隔符 会被视为字符串值的一部分，目前CDM 默认的包围符为："。 效。当“文件格式”选择为“CSV格 式”时，才有该参数。 该参数。在迁移CSV文件到表时，CDM 默认是全部写入，如果该参数选择

“是”，CDM会将CSV文件的第一行数 据作为标题行，不写入目的端的表。

否

编码类型 文件编码类型，例如：“UTF-8”或

“GBK”。只有文本文件可以设置编码 类型，当“文件格式”选择为“二进制 格式”时，该参数值无效。

GBK

参数类型 参数名 说明 取值样例 压缩格式 当“文件格式”为“CSV格式”或

“JSON格式”时该参数才显示。选择对 应压缩格式的源文件：

● 无：表示传输所有格式的文件。

● GZIP：表示只传输GZIP格式的文 件。

● ZIP：表示只传输ZIP格式的文件。

● TAR.GZ：表示只传输TAR.GZ格式的 文件。

ok.txt

等待时间 选择开启作业标识文件的功能时，如果 多个文件路径，CDM使用这里配置的文 件分隔符来区分各个文件，默认为|。

|

参数类型 参数名 说明 取值样例

*input

文件过滤器 “过滤类型”选择“通配符”时，用通 配符过滤目录下的文件，符合过滤器规 则的文件，允许进行迁移。支持配置多 个文件，中间使用“,”分隔。

*.csv,*.txt

时间过滤 选择“是”时，可以根据文件的修改时 格式需为“yyyy-MM-dd

HH:mm:ss”。

该参数支持配置为时间宏变量，例如$

{timestamp(dateformat(yyyy-MM-dd HH:mm:ss,-90,DAY))}表示：只迁 移最近90天内的文件。

2019-06-01 00:00:00

终止时间 “过滤类型”选择“时间过滤器”时，

可以指定一个时间值，当文件的修改时 间小于该时间才会被传输，输入的时间 格式需为“yyyy-MM-dd

HH:mm:ss”。

该参数支持配置为时间宏变量，例如$

{timestamp(dateformat(yyyy-MM-dd HH:mm:ss))}表示：只迁移修改时 间为当前时间以前的文件。

2019-07-01 00:00:00

加密方式 如果源端数据是被加密过的，则CDM支 持解密后再导出。这里选择是否对源端 数据解密，以及选择解密算法：

● 无：不解密，直接导出。

● AES-256-GCM：使用长度为256byte 的AES对称加密算法，目前加密算法 只支持AES-256-GCM

（NoPadding）。该参数在目的端为 加密，在源端为解密。

详细使用方法请参见迁移文件时加解 密。

AES-256-GCM

参数类型 参数名 说明 取值样例 忽略不存在原

路径/文件 如果将其设为是，那么作业在源路径不 存在的情况下也能成功执行。

否

数据加密密钥 “加密方式”选择“AES-256-GCM”时 显示该参数，密钥由长度64的十六进制 数组成，且必须与加密时配置的“数据 加密密钥”一致。如果不一致系统不会 报异常，只是解密出来的数据会错误。

DD0AE00D FECD78BF0 51BCFDA2 5BD4E320 DB0A7AC7 5A1F3FC3D 3C56A457 DCDC1B 初始化向量 “加密方式”选择“AES-256-GCM”时

显示该参数，初始化向量由长度32的十 六进制数组成，且必须与加密时配置的

“初始化向量”一致。如果不一致系统 不会报异常，只是解密出来的数据会错 误。

5C91687BA 886EDCD1 2ACBC3FF1 9A3C3F

MD5文件名后 缀

“文件格式”选择“二进制格式”时，

该参数才显示。

校验CDM抽取的文件，是否与源文件一 致，详细请参见MD5校验文件一致性。

.md5

说明

1. 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续 传。

例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会 跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。

2. 文件迁移时，单个任务支持千万数量的文件，如果待迁移目录下文件过多，建议拆分到不同 目录并创建多个任务。