• 沒有找到結果。

是否支持多个 config 文件在同一个目录下

不支持;当前OBSUtil工具支持配置多个不同的config文件,但是需要注意的是由于 config文件的加密需要,因此不能在同一个目录下配置多个config文件,否则会造成冲 突;如果需要配置多个config文件,则需要将不同的config配置文件初始化在不同的目 录下;

A 配置参数说明

proxyUrl=<value>

faultTolerantMode=<value>

各参数的详细描述如表A-1所示。

A-1 obsutil 配置文件参数说明

参数 约束 描述 建议值

endpoint 必选 连接OBS的服务地址。可包含协 议类型、域名、端口号(可 选)。示例:https://your-endpoint:80。(出于安全性考 虑,建议使用https协议)

例如,访问区域为华为-北京四,

则实际的OBS服务地址为:

https://obs.cn-north-4.myhuaweicloud.com。

说明

● 您可以从这里查看OBS当前开通 的服务地址和区域信息。

● 如果配置的服务地址不带协议,

则默认使用HTTPS协议。

N/A

ak 可选 访问密钥中的AK。当配置了

autoChooseSecurityProvider为 true时可选。

说明

● 您可以从这里进入访问密钥管理 界面;

● 第一次运行obsutil后,工具会对 AK进行加密以保护密钥安全。

N/A

sk 可选 访问密钥中的SK。当配置了

autoChooseSecurityProvider为 true时可选。

说明

● 您可以从这里进入访问密钥管理 界面;

● 第一次运行obsutil后,工具会对 SK进行加密以保护密钥安全。

N/A

token 可选 安全令牌,为空表示不设置安全 令牌。当使用临时AK,SK访问的 时候必须要带token。

N/A

参数 约束 描述 建议值 endpointCrr 可选 客户端跨区域复制模式时,源桶

的OBS的服务地址。可包含协议 类型、域名、端口号。示例:

http://your-endpoint:80。

说明

● 您可以从这里查看OBS当前开通 的服务地址和区域信息。

● 如果配置的服务地址不带协议,

则默认使用HTTPS协议。

N/A

akCrr 可选 客户端跨区域复制模式时,源桶

使用的访问密钥中的AK。 N/A skCrr 可选 客户端跨区域复制模式时,源桶

使用的访问密钥中的SK。 N/A tokenCrr 可选 客户端跨区域复制模式时,源桶

使用的安全令牌,为空表示不设 置安全令牌。当使用临时访问密 钥访问的时候必须要带此参数。

N/A

connectTimeout 可选 建立HTTP/HTTPS连接的超时时

间,单位:秒,默认为30。 [5, 120]

socketTimeout 可选 读写数据的超时时间,单位:

秒,默认为310。 [5, 600]

maxRetryCount 可选 请求的最大重试次数,默认为3。

说明当请求OBS服务完成但获取到的 HTTP状态码为408、5XX时,或者请 求OBS服务发生超时错误时会进行重 试。

[0, 5]

maxConnections 可选 配置允许打开的最大HTTP连接

数。默认为1000。 N/A defaultBigfileThre

shold 可选 开启分段任务的阈值,如果待上 传/下载/复制的文件大于该阈 值,则采用分段任务的形式进行 上传/下载/复制。单位:字节,

默认为50MB。

说明

支持带容量单位配置,例如,配置 1MB代表1048576字节。

至少大于5MB

参数 约束 描述 建议值 defaultPartSize 可选 每个分段任务的段大小,单位:

字节,默认为auto。

● 如果值为auto,此时obsutil会根 据源文件/对象大小自动设置每个 分段任务的段大小。

[9MB, 100MB]

defaultParallels 可选 每个分段任务的最大并发数,默

认为5。 可参照obsutil性能

调优最佳实践进行 配置

defaultJobs 可选 批量任务的最大并发数,默认为 5。

sdkLogBackups 可选 最大可保留SDK日志的文件个

数,默认为10。 N/A

sdkLogLevel 可选 SDK日志的级别,支持的值:

● DEBUG

参数 约束 描述 建议值 sdkLogPath 可选 SDK日志文件的全路径,必须是

一个文件名,默认为用户目录

(macOS/Linux下为HOME目 录;Windows下为C:\Users\<用 户名>)的子文件夹.obsutil_log 下的obssdk.log文件。

说明

● 如果该参数为空,则不会产生日 志;

● 该路径必须是一个文件,不能为 文件夹;

● 开启SDK日志后,请求OBS服务 的正常/异常的日志记录都会保存 在SDK日志文件中,可用于问题 分析和定位;

● 请保证运行命令的用户对该路径 有读写权限。

须知同一个用户如果开启多个obsutil进程 同时运行时,可能导致日志文件并发 写失败或日志内容丢失的问题,请在 运行命令时加上-config参数为每个 进程配置独立的配置文件。

N/A

sdkMaxLogSize 可选 SDK日志文件大小,单位:字 节,默认为30MB。

说明

支持带容量单位配置,例如,配置 1MB代表1048576字节。

[10MB,100MB]

utilLogBackups 可选 最大可保留obsutil日志的文件个

数,默认为10。 N/A

utilLogLevel 可选 obsutil日志的级别,支持的值:

● DEBUG

● INFO

● WARN

● ERROR 默认为INFO。

N/A

参数 约束 描述 建议值 utilLogPath 可选 obsutil日志文件的全路径,必须

是一个文件名,默认为用户目录

(macOS/Linux下为HOME目 录;Windows下为C:\Users\<用 户名>)的子文件夹.obsutil_log 下的obsutil.log文件。

● 开启obsutil日志后,命令运行过 程中产生的正常/异常的日志记录 都会保存在obsutil日志文件中,

可用于问题分析和定位;

● 请保证运行命令的用户对该路径 有读写权限。

须知同一个用户如果开启多个obsutil进程 同时运行时,可能导致日志文件并发 写失败的问题,请在运行命令时加 上-config参数为每个进程配置独立 的配置文件。

N/A

utilMaxLogSize 可选 obsutil日志文件大小,单位:字 节,默认为30MB。

说明

支持带容量单位配置,例如,配置 1MB代表1048576字节。

[10MB,100MB]

writeBufferIoSize 可选 下载数据的缓存大小,单位:字 节,默认为65536。

readBufferIoSize 可选 上传数据的缓存大小,单位:字 节,默认为8192。

参数 约束 描述 建议值 recordMaxLogSize 可选 批量任务成功/失败/警告的结果

清单文件大小,单位:字节,默 认为30MB。

说明

支持带容量单位配置,例如,配置 1MB代表1048576字节。

[5MB, 100MB]

recordBackups 可选 批量任务最大可保留的成功或失 败的结果清单文件个数,默认为

showProgressBar 可选 是否在控制台显示进度条,为 true时表示显示进度条,默认为 true。

N/A

showStartTime 可选 是否在控制台显示开始时间,为

true时表示显示,默认为true。 N/A helpLanguage 可选 帮助文档的语种,当前完成国际

化的语种类型:

● Chinese

● English 默认为English。 C:\Users\<用户名>)的子文件 夹.obsutil_tempfile。

参数 约束 描述 建议值 fsyncForDownload 可选 下载时是否强制同步内存数据到

磁盘,为true时表示需要强制同

alScanForUpload 可选 上传文件夹时,是否使用内存占 用更少的扫描方式,为true时表 示使用,默认为true。

N/A

forceOverwriteFor

Download 可选 在linux/macOs操作系统上下载 对象时,强制覆盖本地可执行文

LinkCircle 可选 上传时对于检测到软链接形成环 后的处理方式,为false时代表仅 记录错误,为true时代表产生 panic异常,默认为false。

N/A

autoChooseSecuri

tyProvider 可选 是否依次从配置文件、环境变 量、ecs接口获取访问密钥自动获 取访问密钥,默认为false。

说明该参数的更多细节请参考为obsutil 配置自动获取访问密钥。

N/A

fastFailThreshold 可选 批量任务遇到4XX错误后快速失 败的阈值,当发生超过该阈值的

参数 约束 描述 建议值 abortHttpStatusFo

rResumableTasks 可选 分段上传/下载/复制任务快速中 断的HTTP状态码,当某个分段子 任务的HTTP状态码包含在该值范 围内时,则会立即中断整个分段 上传/下载/复制任务。默认值 为:401,403,404,405,409。

说明

● 可包含多个HTTP状态码,并以逗 号分隔,例如:401,403,404;

● 必须是4XX的HTTP状态码,其他 状态码将被忽略。

默认

showBytesForCop

y 可选 桶间复制对象时进度条是否以字

节方式显示速率,默认为false。 N/A proxyUrl 可选 HTTP代理配置,示例:http://

username:password@your-proxy:8080。

说明用户名和密码里面不能出现“:”和

“@”,否则解析用户名密码会出 错。

N/A

faultTolerantMod

e 可选 是否忽略读操作引发的panic,默 认为false,表示不忽略。 N/A

说明

● 建议值为N/A的表示需要根据实际情况进行设置;

● 建议指定sdkLogPath和utilLogPath开启SDK日志和obsutil日志;

● defaultBigfileThreshold、defaultPartSize、rateLimitThreshold、sdkMaxLogSize、

utilMaxLogSize、recordMaxLogSize、readBufferIoSize、writeBufferIoSize支持带容量单位 配置,例如,配置1MB代表1048576字节。

B 修订记录

发布日期 修订记录

2021-09-07 第十九次正式发布:

本次更新说明如下:

● 初始化配置章节补充使用临时ak、sk、securityToken进行初 始化的说明。

2021-04-28 第十八次正式发布:

本次更新说明如下:

● 列举命令新增-format参数。当前可选值[default],指定列 举结果在一行显示。

2021-03-22 第十七次正式发布:

本次更新说明如下:

● 优化对结果清单文件的说明。

2020-12-31 第十六次正式发布:

本次更新说明如下:

● 最佳实践新增“使用obsutil实现客户端跨区域复制”章节。

2020-09-30 第十五次正式发布:

本次更新说明如下:

● 新增stat命令的-bf参数,支持指定显示桶的存储用量、对象 大小字节数时的显示格式。

发布日期 修订记录

2020-05-31 第十四次正式发布:

本次更新说明如下:

● 新增policy导入导出功能,支持put,get,delete三种方 式,分别代表设置,获取,删除桶策略。

● 支持指定多个include、exclude参数以配置多条匹配规则。

● 新增update命令,支持在线检查并更新版本。

● 新增ls -failed命令,支持列举结果清单文件夹中cp命令及 sync命令对应的失败结果清单文件,支持设置-o参数指定结 果清单文件夹路径。

● 恢复上传/下载/复制任务时支持指定-clear参数,代表恢复 任务完成后删除已恢复任务对应的失败结果清单文件。

2020-02-20 第十三次正式发布:

本次更新说明如下:

● 新增cp、rm等命令的-i、-k、-e、-t用户身份信息选项,

sign增加-i、-k、-endpoint、-t选项,restore增加-i、-k、-e、-token选项。

2020-02-04 第十二次正式发布:

本次更新说明如下:

● 新增上传下载的排除文件夹示例。

2019-12-10 第十一次正式发布:

本次更新说明如下:

● 新增上传和同步上传的at选项。

2019-11-19 第十次正式发布:

本次更新说明如下:

● 调整命令展示结构。

● 修改“下载obsutil”章节,名称改为“下载和安装 obsutil”。

● “上传示例”新增“断点续传”和“增量上传”示例。

● “创建文件夹”新增创建同名文件夹的须知。

2019-10-30 第九次正式发布:

本次更新说明如下:

● 最佳实践新增“使用obsutil实现目录分享”章节。

● 对象相关命令新增“创建目录分享的授权码”章节。

● 对象相关命令新增“授权码列举对象”章节。

● 对象相关命令新增“授权码下载对象”章节。

● 常见示例新增“删除桶内全部分段上传任务”章节。

发布日期 修订记录

2019-10-15 第八次正式发布:

本次更新说明如下:

● 最佳实践新增“利用obsutil帮助命令查找工具功能”章节。

● 最佳实践新增“为obsutil配置自动获取访问密钥”章节。

● 下载obsutil章节,更新下载表格。

2019-08-15 第七次正式发布:

本次更新说明如下:

● 更新obsutil性能调优最佳实践中关于defaultParallels的算

● 更新obsutil性能调优最佳实践中关于defaultParallels的算