功能说明
将源桶指定路径下的所有对象同步到目标桶指定路径,使两边内容保持一致。这里的 增量同步有两层含义:1)增量,依次比较源对象和目标对象,只复制存在变化的源对 象;2)同步,命令执行完成后,保证源桶指定路径是目标桶指定路径的子集,即源桶 指定路径下的所有对象均能在目标桶中找到对应对象。
须知
● 同步复制对象时,请确保OBS桶中的源对象不发生变化,否则可能产生同步失败或 者数据不一致的问题。
● 如果被复制对象的存储类型为cold,必须首先恢复被复制对象,否则无法复制成 功。
● 复制时需要有被复制对象的读权限和目标桶的写权限。
● 如果没有开启客户端跨区域复制模式,同步复制的源桶和目标桶必须在同一个区域
(Region)。
● 同步复制每个源对象时会对比目标桶中对应路径的目标对象,仅在目标对象不存 在,或者目标对象大小与源对象大小不一致,或者目标对象的最后修改时间早于源 对象的最后修改时间时进行复制。
● 如果源桶是并行文件系统(POSIX),则目标桶不能是对象存储桶。
命令结构
● Windows操作系统
obsutil sync obs://srcbucket[/key] obs://dstbucket[/dest] dryRun] crr] vlength] vmd5] j=1] p=1] threshold=52428800] acl=xxx] sc=xxx] meta=aaa:bbb#ccc:ddd] ps=auto]
include=*.xxx] exclude=*.xxx] timeRange=time1-time2] mf] o=xxx] cpd=xxx] config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
● macOS/Linux操作系统
./obsutil sync obs://srcbucket[/key] obs://dstbucket[/dest] dryRun] crr] vlength] vmd5] j=1] p=1] threshold=52428800] acl=xxx] sc=xxx] meta=aaa:bbb#ccc:ddd] ps=auto]
include=*.xxx] exclude=*.xxx] timeRange=time1-time2] mf] o=xxx] cpd=xxx] config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
说明
同步复制的源路径和目标路径不能完全相同,且源路径和目标路径不能相互嵌套。
运行示例
● 以Windows操作系统为例,运行obsutil sync obs://bucket-test/temp/ obs://
bucket-test2/temp/,同步复制对象。
obsutil sync obs://bucket-test/temp/ obs://bucket-test2/temp Parallel: 3 Jobs: 3
Threshold: 524288000 PartSize: 5242880
Exclude: Include:
VerifyLength: false VerifyMd5: false CheckpointDir: xxxx
OutputDir: xxxx
[=============================================================] 100.00% 10/s 0s Succeed count is: 5 Failed count is: 0
Metrics [max cost:298 ms, min cost:192 ms, average cost:238.00 ms, average tps:9.71]
Task id is: 0476929d-9d23-4dc5-b2f8-0a0493f027c5
● 更多运行示例,请参见同步复制示例。
参数说明
参数 约束 描述
srcbucket 必选 源桶名。
dstbucket 必选 目标桶名。
dest 可选 目标对象名前缀。
说明如果该值不为空且不以“/”结尾,则工具会自动为该值末
尾加上“/”作为目标对象名前缀。
key 可选 源对象名前缀。
规则如下:
● 如果该值为空,则将目标桶内满足目标对象名前 缀的所有对象与源桶中的所有对象保持一致;
● 如果该值不为空,则将目标桶内满足目标对象名 前缀的所有对象与源桶内满足源对象名前缀的所 有对象保持一致。
说明
● 如果该值不为空且不以“/”结尾,则工具会自动为该值 末尾加上“/”作为源对象名前缀。
● 请参考同步复制示例理解该参数的使用方式。
dryRun 附加参数,
可选 测试模式运行,不执行实际的复制操作。
crr 附加参数,
可选
复制时使用客户端跨区域复制模式,从通过数据流的 方式从源桶直接复制数据到目标桶,且两个桶可以是 任意两个OBS服务的桶。
说明
● 若设置了该参数,必须确保更新了配置文件中客户端跨 区域复制的相关配置信息,具体可参考更新配置文件。
● 复制时源桶对应的配置信息为配置文件中的:akCrr/
skCrr/tokenCrr/endpointCrr,目标桶对应的配置信息为 配置文件中的:ak/sk/token/endpoint。
须知
开启该模式后,会占用上传和下载的双向带宽。
参数 约束 描述 vlength 附加参数,
可选
● 源桶中对象必须包含元数据x-obs-md5chksum,否则会 忽略MD5值校验。
threshold 附加参数,
可选
● 支持带容量单位配置,例如,配置1MB代表1048576字 节。
acl 附加参数,
可选
复制对象时可指定的目标对象的预定义访问策略。支 持的值:
● private
● public-read
● public-read-write
● bucket-owner-full-control 说明
● standard:标准存储,访问时延低、吞吐量高,
适用于有大量热点文件(平均一个月多次)或小 文件(小于1MB)。
● warm:低频访问存储,可用性略低于standard,
适用于不频繁访问(平均一年少于12次)但在需 要时也要求快速访问数据的业务场景。
● cold:归档存储,安全、持久且成本极低,适用 于很少访问(平均一年访问一次)数据的业务场 景。
参数 约束 描述
● 支持带容量单位配置,例如,配置1MB代表1048576字 节。
● 支持配置为auto,此时obsutil会根据源对象大小自动设 置每个分段任务的段大小。
cpd 附加参数,
可选 生成断点记录文件的文件夹,默认为运行obsutil命令 的用户目录的子文件夹.obsutil_checkpoint。
exclude 附加参数,
批量复制时
● 建议使用引号传递该匹配模式(macOS/Linux操作系统 使用单引号,Windows操作系统使用双引号)防止特殊
● 支持指定多个exclude参数,如exclude=*.xxx -exclude=*.xxx
参数 约束 描述 include 附加参数,
批量复制时
● 首先执行exclude的匹配规则,如果待复制的对象名不 匹配exclude,则判断待复制的对象名是否匹配该参 数,如果匹配则复制该对象,否则跳过该文件的复制。
须知
● 建议使用引号传递该匹配模式(macOS/Linux操作系统 使用单引号,Windows操作系统使用双引号)防止特殊
● 支持指定多个include参数,如include=*.xxx -include=*.xxx
timeRange 附加参数,
可选
● 使用“time1-time2”,代表匹配的时间段,其中time1 必须小于等于time2,格式为yyyyMMddHHmmss。
● 时间格式支持自动补全,例如yyyyMMdd等价于 yyyyMMdd000000,yyyyMM等价于
yyyyMM01000000。
● 使用“*-time2”,代表匹配最后修改时间在time2之前 的所有文件,使用“time1-*”,代表匹配最后修改时间
可选 设置名称匹配模式(include、exclude)和时间匹配 模式(timeRange)对对象名以“/”结尾的对象也 生效。
参数 约束 描述
o 附加参数,
可选
生成结果清单文件的文件夹,命令执行完成后,会在 该文件夹下生成结果清单文件(可能包含成功结果、
失败结果和警告结果三个文件),默认为运行obsutil 命令的用户目录的子文件夹.obsutil_output。
说明
● 结果清单文件命名规则:sync_{succeed | failed | warning}_report_时间_TaskId.txt。
单个结果清单文件默认情况下最大为30MB且最大可保 留的文件个数为1024,可在配置文件中通过
recordMaxLogSize和recordBackups分别配置。
● 当涉及多文件/文件夹时,如需确认失败任务的具体错误 信息,可参考结果清单文件夹下的失败结果清单文件
"sync_failed_report_时间_TaskId.txt"及日志路径下的日 志文件;
config 附加参数,
可选
运行当前命令时的自定义配置文件,可支持的配置参 数请参考配置参数说明。
e 附加参数,
可选
指定终端节点。
i 附加参数,
可选 指定用户的AK。
k 附加参数,
可选 指定用户的SK。
t 附加参数,
可选
指定用户的securitytoken。
响应结果
请参考上传对象的响应结果。