• 沒有找到結果。

功能说明

将本地源路径下的所有内容同步到OBS指定目标桶,使两边内容保持一致。这里的增 量同步有两层含义:1)增量,依次比较源文件和目标对象,只上传存在变化的源文 件;2)同步,命令执行完成后,保证本地源路径是OBS指定目标桶的子集,即本地源 路径下的所有文件均能在OBS指定目标桶中找到对应对象。

须知

● 同步上传时,请确保本地文件或文件夹在同步过程不发生变化,否则可能产生同步 失败或者数据不一致的问题。

● 同步上传每个文件时会对比桶中对应路径的对象,仅在对象不存在,或者对象大小 与文件大小不一致,或者对象的最后修改时间早于文件的最后修改时间时进行上 传。

命令结构

● Windows操作系统 – 同步上传文件

obsutil sync file_url obs://bucket[/key] [-arcDir=xxx] [-dryRun] [-link] [-vlength] [-vmd5] [-p=1]

threshold=5248800] acl=xxx] sc=xxx] meta=aaa:bbb#ccc:ddd] ps=auto] o=xxx] [-cpd=xxx] [-fr] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]

– 同步上传文件夹

obsutil sync folder_url obs://bucket[/key] arcDir=xxx] dryRun] link] vlength] vmd5] j=1] p=1] threshold=52428800] acl=xxx] sc=xxx] meta=aaa:bbb#ccc:ddd] ps=auto] include=*.xxx] exclude=*.xxx] timeRange=time1-time2] at] mf] o=xxx] cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]

● macOS/Linux操作系统 – 同步上传文件

./obsutil sync file_url obs://bucket[/key] arcDir=xxx] dryRun] link] vlength] vmd5] p=1] threshold=5248800] acl=xxx] sc=xxx] meta=aaa:bbb#ccc:ddd] ps=auto] o=xxx] [-cpd=xxx] [-fr] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]

– 同步上传文件夹

./obsutil sync folder_url obs://bucket[/key] arcDir=xxx] dryRun] link] vlength] vmd5] j=1] p=1] threshold=52428800] acl=xxx] sc=xxx] meta=aaa:bbb#ccc:ddd] ps=auto] include=*.xxx] exclude=*.xxx] timeRange=time1-time2] at] mf] o=xxx] cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]

运行示例

● 以Windows操作系统为例,运行obsutil sync d:\temp\test.txt obs://bucket-test/key,同步上传文件。

obsutil sync d:\temp\test.txt obs://bucket-test/key Parallel: 3 Jobs: 3

Threshold: 524288000 PartSize: 5242880 Exclude: Include:

VerifyLength: false VerifyMd5: false CheckpointDir: xxxx

[====================================================] 100.00% 1.68 MB/s 5s Upload successfully, 8.46MB, d:\temp\test.txt --> obs://bucket-test/key

● 以Windows操作系统为例,运行obsutil sync d:\temp obs://bucket-test/

temp ,同步上传文件夹。

obsutil sync d:\temp obs://bucket-test/temp Parallel: 3 Jobs: 3

Threshold: 524288000 PartSize: 5242880 Exclude: Include:

VerifyLength: false VerifyMd5: false CheckpointDir: xxxx

OutputDir: xxxx

[========================================================] 100.00% 2.02 KB/s 0s Succeed count is: 5 Failed count is: 0

Metrics [max cost:90 ms, min cost:45 ms, average cost:63.80 ms, average tps:35.71]

Task id is: 104786c8-27c2-48fc-bc6a-5886596fb0ed

● 更多运行示例,请参见同步上传示例。

参数说明

参数 约束 描述

file_url 同步上传文件 时必选

本地文件路径。

folder_url 同步上传文件 夹时必选

arcDir 附加参数,可 选

同步上传文件成功后的归档路径,上传成功后的文件 会移动到该路径下。

参数 约束 描述 dryRun 附加参数,可

产生“The system cannot find the file specified”的上 传失败异常,而macOS/Linux操作系统会产生“No such file or directory”的上传失败异常。

● 文件夹软链接不能形成环,否则上传会以panic的形式退 出;如果不希望产生panic,请在配置文件中配置 panicForSymbolicLinkCircle为false。

vlength 附加参数,可 选

MD5值校验通过后,会将该值设置为对象元数据x-obs-md5chksum,用于下载或复制时校验MD5。

p 附加参数,可

每个分段上传任务的最大并发数,默认为配置文件中 的defaultParallels。

threshold 附加参数,可 选

● 支持带容量单位配置,例如,配置1MB代表1048576字 节。

acl 附加参数,可 选

同步上传文件时可指定的预定义访问策略。支持的 值:

● private

● public-read

● public-read-write

● bucket-owner-full-control 说明

以上四个值分别对应:私有读写、公共读、公共读写、桶拥 有者完全控制,四种预定义访问策略。

参数 约束 描述

sc 附加参数,可

同步上传文件时可指定的对象的存储类型。支持的 值:

● standard:标准存储,访问时延低、吞吐量高,适 用于有大量热点文件(平均一个月多次)或小文件

(小于1MB)。

● warm:低频访问存储,可用性略低于standard,

适用于不频繁访问(平均一年少于12次)但在需要 时也要求快速访问数据的业务场景。

● cold:归档存储,安全、持久且成本极低,适用于 很少访问(平均一年访问一次)数据的业务场景。

meta 附加参数,可 选

上传文件时可指定的自定义元数据。格式为:

key1:value1#key2:value2#key3:value3。

说明

以上值表示上传文件完成后,桶内对象包含三组自定义元数 据,分别为:key1:value1、key2:value2、key3:value3。

ps 附加参数,可

选 每个分段上传任务的段大小,单位:字节,取值范围 是100KB~5GB,默认为配置文件中的

defaultPartSize。

说明

● 支持带容量单位配置,例如,配置1MB代表1048576字 节。

● 支持配置为auto,此时obsutil会根据源文件大小自动设 置每个分段任务的段大小。

cpd 附加参数,可

选 生成断点记录文件的文件夹,默认为运行obsutil命令 的用户目录的子文件夹.obsutil_checkpoint。

说明

每个分段上传任务会产生唯一对应的断点记录文件并保存至 该文件夹的upload子文件夹下,分段任务执行成功后,对应 的断点记录文件会被自动删除;分段任务执行失败或被中断 后,下次执行该分段任务时会尝试通过对应的断点记录文件 恢复任务。

j 附加参数,同

步文件夹时可 选

同步上传文件夹时批量任务的最大并发数,默认为配 置文件中的defaultJobs。

说明工具会保证该值至少为1。

参数 约束 描述 exclude 附加参数,同

步文件夹时可

● 建议使用引号传递该匹配模式(macOS/Linux操作系统 使用单引号,Windows操作系统使用双引号)防止特殊 符号被操作系统转义,导致不可预期的结果。

● 该匹配模式作用于文件全路径(含文件名和文件目 录)。

● 该匹配模式仅对文件夹中的文件生效。

● 支持指定多个exclude参数,如exclude=*.xxx -exclude=*.xxx

include 附加参数,同 步文件夹时可

● 首先执行exclude的匹配规则,如果待上传的文件名不匹 配exclude,则判断待上传的文件名是否匹配该参数,如 果匹配则上传该文件,否则跳过该文件的上传。

须知

● 建议使用引号传递该匹配模式(macOS/Linux操作系统 使用单引号,Windows操作系统使用双引号)防止特殊 符号被操作系统转义,导致不可预期的结果。

● 该匹配模式作用于文件全路径(含文件名和文件目 录)。

● 该匹配模式仅对文件夹中的文件生效。

● 支持指定多个include参数,如include=*.xxx -include=*.xxx

● 需配合timeRange使用 disableDir

Object 附加参数,同 步上传多文件

参数 约束 描述

● 使用“time1-time2”,代表匹配的时间段,其中time1 必须小于等于time2,格式为yyyyMMddHHmmss。

● 时间格式支持自动补全,例如yyyyMMdd等价于 yyyyMMdd000000,yyyyMM等价于

yyyyMM01000000。

● 使用“*-time2”,代表匹配最后修改时间在time2之前 的所有文件,使用“time1-*”,代表匹配最后修改时间 time1之后的所有文件。

须知该匹配模式表示的时间是UTC时间。

mf 附加参数,可

选 设置名称匹配模式(include、exclude)和时间匹配 模式(timeRange)对文件夹也生效。

● 结果清单文件命名规则:sync_{succeed | failed | warning}_report_时间_TaskId.txt。

config 附加参数,可 选

选 指定用户的securitytoken。

响应结果

请参考上传对象的响应结果。