操作场景
将一个迁移任务智能拆分为多个迁移任务,并以组的方式进行管理。
前提条件
● 已获取源端和目的端账号的AK/SK。
– 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对 象元数据,获取对象内容。获取方式参见源端桶权限获取。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在华为云OBS服务中创建桶。
● 24小时内,单个Region内创建迁移任务组数量未满100个。
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 已在华为云注册账号,并完成实名认证。
右侧切换到“迁移任务组”页面。 配。最大长度是100个字符。
是否指定桶名 当您不具备列举桶权限,但具有列举桶中对象、获取
表3-3 目的端选择参数
参数 说明
访问密钥 华为云的访问密钥(AK)。最大长度是100个字符。
私有访问密钥 华为云的私有访问密钥(SK),与AK相匹配。最大长 度是100个字符。
输入访问密钥和私有访问密钥后,请单击“连接目的 端桶”。
桶名 存放迁移数据的华为云OBS桶。
步骤5 单击“下一步”,设置任务参数。
步骤6 选择迁移方式。
如果... 那么...
输入对象前缀 在“添加对象数据”区域内输入对象数
据名称或者名称前缀,系统会自动匹配 出数据。您可以单击 ,从这些匹配到 的迁移数据列表中删除不需要迁移的数 据。
说明
若不添加该参数,则默认迁移全桶的数据。
待迁移的对象会被记录在txt类型的列表文件 中(每个迁移任务对应一个列表文件),并 存放在目的端桶的“oms/taskgroup/”路径 下。当任务组迁移完成后,这些列表文件会 保留下来,您可以手动删除它们。
如果... 那么...
指定对象列表目录 指定对象列表方式,一般用于增量迁移 场景,用户需要将待迁移的源端对象名 称写入对象列表文件,并将生成的对象 列表文件放在华为云OBS桶中,对象存 储迁移服务将会迁移指定对象列表文件 中的所有对象。
1. 选择“列表目录所在桶(华为 云)”。
说明此参数中列出的桶是通过步骤4.2中输入 的目的端AK/SK得到的桶列表。
请确保列表文件所在桶与目的端桶处于同
“ContentType”只能为:“text/
plain”。
● 对象列表文件必须是UTF-8无BOM格式编 码格式。
● 对象列表文件中每行只能包含一个对象名 称,并且对象名称使用URL Encode编 码。
● 对象列表文件中每行不要添加无效空格,
否则会将空格作为对象名,导致迁移失 败。
● 对象列表文件中每行长度不要超过 65535,否则会导致迁移失败。
● 对象列表文件的元数据中不能设置
“ContentEncoding”,否则会导致迁移 失败。
● 对象列表文件如果是归档数据,迁移前需 要先手动恢复,对象存储迁移服务才能访 问和获取。
如果... 那么...
指定URL列表目录 指定URL列表目录方式,一般适用于 HTTP或HTTPS源端的迁移场景,用户需 要将待迁移的文件URL和目的端对象名称 写入一个或多个URL列表文件(单个列表 文件大小不能超过1 GB),并将生成的 URL列表文件放在华为云OBS桶的指定目 录中(目录下的文件个数不能超过2000 个且必须是“.txt”类型的文件),对象 存储迁移服务将会迁移OBS桶指定目录 下所有URL列表文件中的对象。
1. 选择“列表目录所在桶(华为 云)”。
说明
– 此参数中列出的桶是通过步骤4.2中输 入的目的端AK/SK得到的桶列表。
– 请确保列表文件所在桶与目的端桶处 于同一区域,否则后续将无法选择对 象列表文件。
– 出于安全考虑,若您的源端同时支持 HTTP和HTTPS协议,建议迁移时使用 HTTPS协议;若使用HTTP协议,会存 在数据可能会被监听窃取、数据被篡 改、中间人重放攻击等风险。
– 如果待迁移内容为非公开内容时,建 议不要将源端数据公开,采用其他非 HTTP/HTTPS方式进行迁移。
– URL列表迁移不支持URL重定向。
2. 在“选择URL列表目录”区域内单击
“选择”,选择用户指定的URL列表 文件,单击“确定”。
如果... 那么...
说明
– 单个URL列表文件大小不能超过1024 MB。
– 所选URL目录下的文件个数不能超过 2000个。
– URL列表文件必须是“.txt”类型的文 件,并且该文件元数据中的
“ContentType”只能为:“text/
plain”。
– URL列表文件必须是UTF-8无BOM格 式编码格式。
– URL列表文件中每行只能包含一个URL 和目的端对象名称。
– URL列表文件中每行长度不要超过 65535,否则会导致迁移失败。
– URL列表文件的元数据中不能设置
“ContentEncoding”,否则会导致 迁移失败。
– URL列表文件中每行使用制表符\t分割 URL和目的端对象名称,格式为:
[URL][制表符][目的端对象名称],其 中源端对象名称如果包含中文、特殊 字符必须使用URL Encode编码,例 如:http://xxx.obs.myhuaweicloud.com/doc
%2f%e6%96%87%e4%bb%b61.txt doc
%2f%e6%96%87%e4%bb%b61.txt http://xxx.obs.myhuaweicloud.com/doc
%2fthefile2.txt doc%2fthefile2.txt http://xxx.obs.myhuaweicloud.com/the
%20file.txt the%20file.txt
http://xxx.obs.myhuaweicloud.com/the
%20file2.txt the+file2.txt
http://xxx.obs.myhuaweicloud.com/doc
%2fthefile.txt doc/thefile.txt
注意:URL与目的端对象名称之间使 用一个制表符(键盘上Tab键)进行 分割,请勿使用空格。
以上示例中,URL所表示的文件,被 复制到目的端桶后,对象会被分别命 名为:doc/文件doc/thefile2.txt、the file.txt、the file2.txt以及doc/
thefile.txt。
– URL列表文件中每行不要添加无效空 格,否则会将空格作为对象名,导致 迁移失败。
步骤7 (可选)设置“源端参数”。
当您的源端云服务提供商提供了表3-4中首列相应的功能时,才会出现此部分参数。
表3-4 源端参数
参数 说明
源端使用自定义域 名下载
当默认域名不能满足您的迁移需求,比如您需要一个自定义域 名以便使用CDN降低源端出口下载流量的费用,且您的源端云 服务提供商支持自定义域名时,可以勾选此选项。
说明
● 如果使用了防盗链,建议关闭防盗链或联系华为云技术支持。
● 当源端云服务提供商是七牛云时,因其对默认域名的使用做了限 制,为确保您的迁移顺利进行,系统已为您自动勾选此参数。
勾选此选项后,进行如下设置:
1. 在“自定义域名传输协议”中选择传输协议。
说明HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。
如果待迁移内容为非公开内容时,建议不要将源端数据公开,采用 其他非HTTP/HTTPS方式进行迁移。
2. 填写“桶自定义域名”。
3. 如果您使用了源端云服务提供商提供的CDN鉴权,则选择
“启用CDN鉴权校验”,并配置校验类型和秘钥。
说明
– 您需要参见源端云服务提供商的相关资料配置CDN后,才能使 用CDN相关功能。
– 使用源端CDN产生的费用遵从源端云服务提供商的计费规则,
费用由源端云服务提供商向您收取。
– 不支持URl重定向。
4. 单击“检查”,检查配置是否正确。
– 如果检查未通过,请单击“详情”查看未通过的原因。
– 如果检查通过,则可继续进行其他迁移配置。
参数 说明
解冻归档数据 归档类型的对象存储要实现迁移,必须预先解冻。当您的源端 云服务提供商支持自动解冻归档类型数据时,可以勾选此选 项。
● 勾选:如果遇到归档类型对象,则自动解冻该对象并进行 迁移。如果解冻失败,则判定该对象迁移失败并跳过,继 续迁移其余对象。
● 不勾选:如果遇到归档类型对象,则直接判定该对象迁移 失败并跳过,继续迁移其余对象。
说明
● 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里 云、金山云、腾讯云。
● 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默 认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参 考各云服务提供商的相关文档。
● 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是 归档数据取回费用,这些均由源端云服务提供商向您收取。
● 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下 载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考 各云服务提供商的相关文档。
● 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目 的端桶的存储类型保持一致,与源端对象存储类型无关。
步骤8 单击“高级选项”后面“展开”,展开高级选项参数。
步骤9 (可选)设置高级选项参数。
表3-5 高级选项参数
参数 说明
服务端加密 如果勾选“KMS”,对迁移数据进行KMS服务端加密后再 存储至目的OBS桶中。
说明使用KMS服务端加密可能会降低迁移速率10%左右。
当前区域支持KMS加密时,此参数方可用。
参数 说明 文件中,普通任务和任务组任务都会上传到目的端桶的“oms/
failed_object_lists/”路径下。
该文件记录了迁移任务失败的摘要信息,包括:失败原因、发生 时间(参照当前区域所属时区)、失败对象(经过URL编码)、
失败对象(未经过URL编码)、源端SDK返回的错误码。
当迁移失败对象重传成功后,失败对象列表文件仍会保留在目的 SMN主题”对话框。
2. 选择接收SMN消息的主题,单击“确定”完成选 择。如果您所选的SMN主题没有对对象存储迁移服务授 权,单击“确定”则会弹出“警告”对话框。如果 需要授权,请单击“是”为对象存储迁移服务授 权,否则请单击“否”返回“选择SMN主题”页 面,选择其他SMN主题。
3. 设置“触发条件”参数。您可以只勾选其中一个参
说明如果您无法正常使用SMN消息通知功能,请参见SMN消息通 知功能无法正常使用怎么办?。
参数 说明
最多可输入255个字符。
步骤10 单击“下一步”,进入确认信息页面。