配置 FTP/SFTP 源端参数

作业中源连接为配置FTP/SFTP连接时，源端作业参数如表5-12所示。

高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。

/ftp/

a.csv|/ftp/

b.txt

文件格式 指CDM以哪种格式解析数据，可选择以下格 式：

● CSV格式：以CSV格式解析源文件，用于 迁移文件到数据表的场景。

● 二进制格式：选择“二进制格式”时不解 析文件内容直接传输，不要求文件格式必 须为二进制。适用于文件到文件的原样复 制。

● JSON格式：以JSON格式解析源文件，一 般都是用于迁移文件到数据表的场景。

CSV格式

JSON类型 当“文件格式”选择为“JSON格式”时，才 有该参数。JSON文件中存储的JSON对象的 类型，可以选择“JSON对象”或“JSON数 组”。

JSON对象

参数类 型

参数名 说明 取值样例

记录节点 当“文件格式”选择为“JSON格式”并且

“JSON类型”为“JSON对象”时，才有该 参数。对该JSON节点下的数据进行解析，如 果该节点对应的数据为JSON数组，那么系统 会以同一模式从该数组中提取数据。多层嵌 套的JSON节点以字符“.”分割。

data.list

高级属 性

换行符 文件中的换行符，默认自动识别“\n”、

“\r”或“\r\n”。当“文件格式”选择为

“CSV格式”时，才有该参数。

\n

字段分隔符 文件中的字段分隔符，使用Tab键作为分隔 符请输入“\t”。当“文件格式”选择为

“CSV格式”时，才有该参数。

,

使用包围符 选择“是”时，包围符内的字段分隔符会被 视为字符串值的一部分，目前CDM默认的包 围符为："。

“文件格式”选择为“CSV格式”时，才有 该参数。

“文件格式”选择“CSV格式”时才有该参 数。在迁移CSV文件到表时，CDM默认是全 部写入，如果该参数选择“是”，CDM会将 CSV文件的第一行数据作为标题行，不写入 目的端的表。

是

编码类型 文件编码类型，例如：“UTF-8”或

“GBK”。只有文本文件可以设置编码类 型，当“文件格式”选择为“二进制格式”

时，该参数值无效。

UTF-8

压缩格式 当“文件格式”为“CSV格式”或“JSON格 式”时该参数才显示。选择对应压缩格式的 源文件：

● 无：表示传输所有格式的文件。

● GZIP：表示只传输GZIP格式的文件。

● ZIP：表示只传输ZIP格式的文件。

● TAR.GZ：表示只传输TAR.GZ格式的文 件。

无

参数类

ok.txt

等待时间 选择开启作业标识文件的功能时，如果源路 文件路径，CDM使用这里配置的文件分隔符 来区分各个文件，默认为|。

*input,*out

文件过滤器 “过滤类型”选择“通配符”时，用通配符 过滤目录下的文件，符合过滤器规则的文 件，允许进行迁移。支持配置多个文件，中 间使用“,”分隔。

*.csv

时间过滤 选择“是”时，可以根据文件的修改时间，

选择性的传输文件。

是

参数类

“yyyy-MM-dd HH:mm:ss”。

该参数支持配置为时间宏变量，例如$

{timestamp(dateformat(yyyy-MM-dd HH:mm:ss,-90,DAY))}表示：只迁移最近90 天内的文件。

2019-07-01 00:00:00

终止时间 “过滤类型”选择“时间过滤器”时，可以 指定一个时间值，当文件的修改时间小于该 时间才会被传输，输入的时间格式需为

“yyyy-MM-dd HH:mm:ss”。

该参数支持配置为时间宏变量，例如$

{timestamp(dateformat(yyyy-MM-dd HH:mm:ss))}表示：只迁移修改时间为当前 时间以前的文件。

2019-07-30 00:00:00

加密方式 如果源端数据是被加密过的，则CDM支持解 密后再导出。这里选择是否对源端数据解 密，以及选择解密算法：

● 无：不解密，直接导出。

● AES-256-GCM：使用长度为256byte的 AES对称加密算法，目前加密算法只支持 AES-256-GCM（NoPadding）。该参数 在目的端为加密，在源端为解密。

详细使用方法请参见迁移文件时加解密。

AES-256-GCM

忽略不存在

钥 “加密方式”选择“AES-256-GCM”时显示 该参数，密钥由长度64的十六进制数组成，

且必须与加密时配置的“数据加密密钥”一 致。如果不一致系统不会报异常，只是解密 出来的数据会错误。

DD0AE00D FECD78BF0 51BCFDA25 BD4E320DB 0A7AC75A1 F3FC3D3C5 6A457DCD C1B 初始化向量 “加密方式”选择“AES-256-GCM”时显示

该参数，初始化向量由长度32的十六进制数 组成，且必须与加密时配置的“初始化向 量”一致。如果不一致系统不会报异常，只 是解密出来的数据会错误。

5C91687BA 886EDCD12 ACBC3FF19 A3C3F

参数类 型

参数名 说明 取值样例

MD5文件 名后缀

“文件格式”选择“二进制格式”时，该参 数才显示。

校验CDM抽取的文件，是否与源文件一致，

详细请参见MD5校验文件一致性。

.md5