不支持;当前OBSUtil工具支持配置多个不同的config文件,但是需要注意的是由于 config文件的加密需要,因此不能在同一个目录下配置多个config文件,否则会造成冲 突;如果需要配置多个config文件,则需要将不同的config配置文件初始化在不同的目 录下;
A 配置参数说明
proxyUrl=<value>
faultTolerantMode=<value>
各参数的详细描述如表A-1所示。
表A-1 obsutil 配置文件参数说明
参数 约束 描述 建议值
endpoint 必选 连接OBS的服务地址。可包含协 议类型、域名、端口号(可 选)。示例:https://your-endpoint:80。(出于安全性考 虑,建议使用https协议)
例如,访问区域为华为-北京四,
则实际的OBS服务地址为:
https://obs.cn-north-4.myhuaweicloud.com。
说明
● 您可以从这里查看OBS当前开通 的服务地址和区域信息。
● 如果配置的服务地址不带协议,
则默认使用HTTPS协议。
N/A
ak 可选 访问密钥中的AK。当配置了
autoChooseSecurityProvider为 true时可选。
说明
● 您可以从这里进入访问密钥管理 界面;
● 第一次运行obsutil后,工具会对 AK进行加密以保护密钥安全。
N/A
sk 可选 访问密钥中的SK。当配置了
autoChooseSecurityProvider为 true时可选。
说明
● 您可以从这里进入访问密钥管理 界面;
● 第一次运行obsutil后,工具会对 SK进行加密以保护密钥安全。
N/A
token 可选 安全令牌,为空表示不设置安全 令牌。当使用临时AK,SK访问的 时候必须要带token。
N/A
参数 约束 描述 建议值 endpointCrr 可选 客户端跨区域复制模式时,源桶
的OBS的服务地址。可包含协议 类型、域名、端口号。示例:
http://your-endpoint:80。
说明
● 您可以从这里查看OBS当前开通 的服务地址和区域信息。
● 如果配置的服务地址不带协议,
则默认使用HTTPS协议。
N/A
akCrr 可选 客户端跨区域复制模式时,源桶
使用的访问密钥中的AK。 N/A skCrr 可选 客户端跨区域复制模式时,源桶
使用的访问密钥中的SK。 N/A tokenCrr 可选 客户端跨区域复制模式时,源桶
使用的安全令牌,为空表示不设 置安全令牌。当使用临时访问密 钥访问的时候必须要带此参数。
N/A
connectTimeout 可选 建立HTTP/HTTPS连接的超时时
间,单位:秒,默认为30。 [5, 120]
socketTimeout 可选 读写数据的超时时间,单位:
秒,默认为310。 [5, 600]
maxRetryCount 可选 请求的最大重试次数,默认为3。
说明当请求OBS服务完成但获取到的 HTTP状态码为408、5XX时,或者请 求OBS服务发生超时错误时会进行重 试。
[0, 5]
maxConnections 可选 配置允许打开的最大HTTP连接
数。默认为1000。 N/A defaultBigfileThre
shold 可选 开启分段任务的阈值,如果待上 传/下载/复制的文件大于该阈 值,则采用分段任务的形式进行 上传/下载/复制。单位:字节,
默认为50MB。
说明
支持带容量单位配置,例如,配置 1MB代表1048576字节。
至少大于5MB
参数 约束 描述 建议值 defaultPartSize 可选 每个分段任务的段大小,单位:
字节,默认为auto。
● 如果值为auto,此时obsutil会根 据源文件/对象大小自动设置每个 分段任务的段大小。
[9MB, 100MB]
defaultParallels 可选 每个分段任务的最大并发数,默
认为5。 可参照obsutil性能
调优最佳实践进行 配置
defaultJobs 可选 批量任务的最大并发数,默认为 5。
sdkLogBackups 可选 最大可保留SDK日志的文件个
数,默认为10。 N/A
sdkLogLevel 可选 SDK日志的级别,支持的值:
● DEBUG
参数 约束 描述 建议值 sdkLogPath 可选 SDK日志文件的全路径,必须是
一个文件名,默认为用户目录
(macOS/Linux下为HOME目 录;Windows下为C:\Users\<用 户名>)的子文件夹.obsutil_log 下的obssdk.log文件。
说明
● 如果该参数为空,则不会产生日 志;
● 该路径必须是一个文件,不能为 文件夹;
● 开启SDK日志后,请求OBS服务 的正常/异常的日志记录都会保存 在SDK日志文件中,可用于问题 分析和定位;
● 请保证运行命令的用户对该路径 有读写权限。
须知同一个用户如果开启多个obsutil进程 同时运行时,可能导致日志文件并发 写失败或日志内容丢失的问题,请在 运行命令时加上-config参数为每个 进程配置独立的配置文件。
N/A
sdkMaxLogSize 可选 SDK日志文件大小,单位:字 节,默认为30MB。
说明
支持带容量单位配置,例如,配置 1MB代表1048576字节。
[10MB,100MB]
utilLogBackups 可选 最大可保留obsutil日志的文件个
数,默认为10。 N/A
utilLogLevel 可选 obsutil日志的级别,支持的值:
● DEBUG
● INFO
● WARN
● ERROR 默认为INFO。
N/A
参数 约束 描述 建议值 utilLogPath 可选 obsutil日志文件的全路径,必须
是一个文件名,默认为用户目录
(macOS/Linux下为HOME目 录;Windows下为C:\Users\<用 户名>)的子文件夹.obsutil_log 下的obsutil.log文件。
● 开启obsutil日志后,命令运行过 程中产生的正常/异常的日志记录 都会保存在obsutil日志文件中,
可用于问题分析和定位;
● 请保证运行命令的用户对该路径 有读写权限。
须知同一个用户如果开启多个obsutil进程 同时运行时,可能导致日志文件并发 写失败的问题,请在运行命令时加 上-config参数为每个进程配置独立 的配置文件。
N/A
utilMaxLogSize 可选 obsutil日志文件大小,单位:字 节,默认为30MB。
说明
支持带容量单位配置,例如,配置 1MB代表1048576字节。
[10MB,100MB]
writeBufferIoSize 可选 下载数据的缓存大小,单位:字 节,默认为65536。
readBufferIoSize 可选 上传数据的缓存大小,单位:字 节,默认为8192。
参数 约束 描述 建议值 recordMaxLogSize 可选 批量任务成功/失败/警告的结果
清单文件大小,单位:字节,默 认为30MB。
说明
支持带容量单位配置,例如,配置 1MB代表1048576字节。
[5MB, 100MB]
recordBackups 可选 批量任务最大可保留的成功或失 败的结果清单文件个数,默认为
showProgressBar 可选 是否在控制台显示进度条,为 true时表示显示进度条,默认为 true。
N/A
showStartTime 可选 是否在控制台显示开始时间,为
true时表示显示,默认为true。 N/A helpLanguage 可选 帮助文档的语种,当前完成国际
化的语种类型:
● Chinese
● English 默认为English。 C:\Users\<用户名>)的子文件 夹.obsutil_tempfile。
参数 约束 描述 建议值 fsyncForDownload 可选 下载时是否强制同步内存数据到
磁盘,为true时表示需要强制同
alScanForUpload 可选 上传文件夹时,是否使用内存占 用更少的扫描方式,为true时表 示使用,默认为true。
N/A
forceOverwriteFor
Download 可选 在linux/macOs操作系统上下载 对象时,强制覆盖本地可执行文
LinkCircle 可选 上传时对于检测到软链接形成环 后的处理方式,为false时代表仅 记录错误,为true时代表产生 panic异常,默认为false。
N/A
autoChooseSecuri
tyProvider 可选 是否依次从配置文件、环境变 量、ecs接口获取访问密钥自动获 取访问密钥,默认为false。
说明该参数的更多细节请参考为obsutil 配置自动获取访问密钥。
N/A
fastFailThreshold 可选 批量任务遇到4XX错误后快速失 败的阈值,当发生超过该阈值的
参数 约束 描述 建议值 abortHttpStatusFo
rResumableTasks 可选 分段上传/下载/复制任务快速中 断的HTTP状态码,当某个分段子 任务的HTTP状态码包含在该值范 围内时,则会立即中断整个分段 上传/下载/复制任务。默认值 为:401,403,404,405,409。
说明
● 可包含多个HTTP状态码,并以逗 号分隔,例如:401,403,404;
● 必须是4XX的HTTP状态码,其他 状态码将被忽略。
默认
showBytesForCop
y 可选 桶间复制对象时进度条是否以字
节方式显示速率,默认为false。 N/A proxyUrl 可选 HTTP代理配置,示例:http://
username:password@your-proxy:8080。
说明用户名和密码里面不能出现“:”和
“@”,否则解析用户名密码会出 错。
N/A
faultTolerantMod
e 可选 是否忽略读操作引发的panic,默 认为false,表示不忽略。 N/A
说明
● 建议值为N/A的表示需要根据实际情况进行设置;
● 建议指定sdkLogPath和utilLogPath开启SDK日志和obsutil日志;
● defaultBigfileThreshold、defaultPartSize、rateLimitThreshold、sdkMaxLogSize、
utilMaxLogSize、recordMaxLogSize、readBufferIoSize、writeBufferIoSize支持带容量单位 配置,例如,配置1MB代表1048576字节。
B 修订记录
发布日期 修订记录
2021-09-07 第十九次正式发布:
本次更新说明如下:
● 初始化配置章节补充使用临时ak、sk、securityToken进行初 始化的说明。
2021-04-28 第十八次正式发布:
本次更新说明如下:
● 列举命令新增-format参数。当前可选值[default],指定列 举结果在一行显示。
2021-03-22 第十七次正式发布:
本次更新说明如下:
● 优化对结果清单文件的说明。
2020-12-31 第十六次正式发布:
本次更新说明如下:
● 最佳实践新增“使用obsutil实现客户端跨区域复制”章节。
2020-09-30 第十五次正式发布:
本次更新说明如下:
● 新增stat命令的-bf参数,支持指定显示桶的存储用量、对象 大小字节数时的显示格式。
发布日期 修订记录
2020-05-31 第十四次正式发布:
本次更新说明如下:
● 新增policy导入导出功能,支持put,get,delete三种方 式,分别代表设置,获取,删除桶策略。
● 支持指定多个include、exclude参数以配置多条匹配规则。
● 新增update命令,支持在线检查并更新版本。
● 新增ls -failed命令,支持列举结果清单文件夹中cp命令及 sync命令对应的失败结果清单文件,支持设置-o参数指定结 果清单文件夹路径。
● 恢复上传/下载/复制任务时支持指定-clear参数,代表恢复 任务完成后删除已恢复任务对应的失败结果清单文件。
2020-02-20 第十三次正式发布:
本次更新说明如下:
● 新增cp、rm等命令的-i、-k、-e、-t用户身份信息选项,
sign增加-i、-k、-endpoint、-t选项,restore增加-i、-k、-e、-token选项。
2020-02-04 第十二次正式发布:
本次更新说明如下:
● 新增上传下载的排除文件夹示例。
2019-12-10 第十一次正式发布:
本次更新说明如下:
● 新增上传和同步上传的at选项。
2019-11-19 第十次正式发布:
本次更新说明如下:
● 调整命令展示结构。
● 修改“下载obsutil”章节,名称改为“下载和安装 obsutil”。
● “上传示例”新增“断点续传”和“增量上传”示例。
● “创建文件夹”新增创建同名文件夹的须知。
2019-10-30 第九次正式发布:
本次更新说明如下:
● 最佳实践新增“使用obsutil实现目录分享”章节。
● 对象相关命令新增“创建目录分享的授权码”章节。
● 对象相关命令新增“授权码列举对象”章节。
● 对象相关命令新增“授权码下载对象”章节。
● 常见示例新增“删除桶内全部分段上传任务”章节。
发布日期 修订记录
2019-10-15 第八次正式发布:
本次更新说明如下:
● 最佳实践新增“利用obsutil帮助命令查找工具功能”章节。
● 最佳实践新增“为obsutil配置自动获取访问密钥”章节。
● 下载obsutil章节,更新下载表格。
2019-08-15 第七次正式发布:
本次更新说明如下:
● 更新obsutil性能调优最佳实践中关于defaultParallels的算
● 更新obsutil性能调优最佳实践中关于defaultParallels的算