操作场景
使用对象存储迁移服务创建对象存储任务,对您的对象数据实施迁移。
背景信息
对象存储迁移服务支持以下的源端云服务商或数据源类型:
● 华为云
● 亚马逊云(中国)
● 阿里云
● 微软云
● 腾讯云
● 七牛云
● 青云
● 百度云
● 金山云
● 优刻得
● HTTP/HTTPS数据源
迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产 生的费用都遵从源端云服务提供商的计费规则并由其向您收取。
前提条件
● 已获取源端和目的端账号的AK/SK。
– 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对 象元数据,获取对象内容。获取方式参见源端桶权限获取。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在OBS服务中创建桶。
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录管理控制台。
步骤2 单击管理控制台左上角的 ,在下拉框中选择区域。
步骤3 单击“服务列表”,选择“迁移 > 对象存储迁移服务”。
进入“对象存储迁移服务”页面。
步骤4 单击 “创建迁移任务”。
仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建迁移任务”页面。
步骤5 选择源端/目的端。
1. 选择源端,具体参数参见表2-1。
表2-1 源端选择参数
参数 说明
数据源 待迁移的源端云服务提供商。
(可选)appID 当源端云服务提供商为腾讯云,则需要输入该参数,
appID 是您腾讯云帐户的一个标识。
访问密钥 源端云服务提供商的访问密钥(AK)。最大长度是100 个字符。
私有访问密钥 源端云服务提供商的私有访问密钥(SK),与AK相匹 配。最大长度是100个字符。
是否指定桶名 当您不具备列举桶权限,但具有列举桶中对象、获取
表2-2 “是否指定桶名”的设置说明
如果... 那么...
开启“是否指定桶名” 1. 在“选择区域”下拉框中选择源端桶所在 区域。
2. 在“桶名或路径”文本框中输入源端桶名 或带桶名的路径。
3. 单击“连接源端桶”。
说明
对象存储迁移服务将检查源端信息填写是否正 确。如果填写正确,会提示连接桶成功。
关闭“是否指定桶名”(默认设 置)
1. 单击“连接源端桶”。
对象存储迁移服务将检查源端信息填写是 否正确。如果填写正确,且您的账号具有 列举桶名的权限,则会在“桶名”中列举 您名下的所有桶。
2. 在“桶名”中选择待迁移数据所在的桶。
说明当源端AK/SK没有列举桶权限时,需要开启“是否 指定桶名”。
2. 选择目的端,具体参数参见表2-3。
表2-3 目的端选择参数
参数 说明
访问密钥 华为云的访问密钥(AK)。最大长度是100个字符。
私有访问密钥 华为云的私有访问密钥(SK),与AK相匹配。最大长 度是100个字符。
输入访问密钥和私有访问密钥后,请单击“连接目的 端桶”。
桶名 存放迁移数据的华为云OBS桶。
步骤6 单击“下一步”,设置任务参数。
步骤7 选择迁移方式。
如果... 那么...
选择文件/文件夹 单击“选择”,选择待迁移的文件或文 件夹后,单击“确定”。对于已选择的 文件或文件夹,您可以单击 从迁移对 象列表中删除。
说明
● 如果选择的云服务提供商为七牛,则不支 持选择文件/文件夹。
● 若不设置该参数,则默认迁移全桶数据。
● 针对每个迁移任务,在同一目录层级下,
您最多可以选择500个文件或文件夹。
● 由于OBS服务的规格限制,请确认对象迁 移到目的端后的名称不超过1024个字符,
否则将导致任务失败。
如果... 那么...
指定对象列表 指定对象列表方式,一般用于增量迁移
场景,用户需要将待迁移的源端对象名 称写入对象列表文件,并将生成的对象 列表文件放在华为云obs桶中,对象存储 迁移服务将会迁移指定对象列表文件中 的所有对象。
1. 选择“列表文件所在桶(华为 云)”。
说明此参数中列出的桶是通过步骤5.2中输入 的目的端AK/SK得到的桶列表。
请确保列表文件所在桶与目的端桶处于同
● 对象列表文件大小不能超过1024MB。
● 对象列表文件必须是“.txt”类型的文 件,并且该文件元数据中的
“ContentType”只能为:“text/
plain”。
● 对象列表文件必须是UTF-8无BOM格式编 码格式。
● 对象列表文件中每行只能包含一个对象名 称,并且对象名称使用URL Encode编码
● 对象列表文件中每行不要添加无效空格,
否则会将空格作为对象名,导致迁移失 败。
● 对象列表文件中每行长度不要超过 65535,否则会导致迁移失败。
● 对象列表文件的元数据中不能设置
“ContentEncoding”,否则会导致迁移 失败。
如果... 那么...
指定URL列表 指定URL列表方式,一般适用于HTTP或 HTTPS源端的迁移场景,用户需要将待 迁移的文件URL和目的端对象名称写入 URL列表文件,并将生成的URL列表文件 放在华为云OBS桶中,对象存储迁移服 务将会迁移指定URL列表文件中的所有对 象。
1. 选择“列表文件所在桶(华为 云)”。
说明
– 此参数中列出的桶是通过步骤5.2中输 入的目的端AK/SK得到的桶列表。
– 请确保列表文件所在桶与目的端桶处 于同一区域,否则后续将无法选择对 象列表文件。
– 出于安全考虑,若您的源端同时支持 HTTP和HTTPS协议,建议迁移时使用 HTTPS协议;若使用HTTP协议,会存 在数据可能会被监听窃取、数据被篡 改、中间人重放攻击等风险。
– 如果待迁移内容为非公开内容时,建 议不要将源端数据公开,采用其他非 HTTP/HTTPS方式进行迁移。
– URL列表迁移不支持URL重定向。
2. 在“选择URL列表文件”区域内单击
“选择”,选择用户指定的URL列表 文件,单击“确定”。
如果... 那么...
说明
– URL列表文件大小不能超过1024MB。
– URL列表文件必须是“.txt”类型的文 件,并且该文件元数据中的
“ContentType”只能为:“text/
plain”。
– URL列表文件必须是UTF-8无BOM格 式编码格式。
– URL列表文件中每行只能包含一个URL 和目的端对象名称。
– URL列表文件中每行长度不要超过 65535,否则会导致迁移失败。
– URL列表文件的元数据中不能设置
“ContentEncoding”,否则会导致 迁移失败。
– URL列表文件中每行使用制表符\t分割 URL和目的端对象名称,格式为:
[URL][制表符][目的端对象名称],其 中源端对象名称如果包含中文、特殊 字符必须使用URL Encode编码,例 如:http://xxx.obs.myhuaweicloud.com/doc
%2f%e6%96%87%e4%bb%b61.txt doc
%2f%e6%96%87%e4%bb%b61.txt http://xxx.obs.myhuaweicloud.com/doc
%2fthefile2.txt doc%2fthefile2.txt http://xxx.obs.myhuaweicloud.com/the
%20file.txt the%20file.txt
http://xxx.obs.myhuaweicloud.com/the
%20file2.txt the+file2.txt
http://xxx.obs.myhuaweicloud.com/doc
%2fthefile.txt doc/thefile.txt
注意:URL与目的端对象名称之间使 用一个制表符(键盘上Tab键)进行 分割,请勿使用空格。
以上示例中,URL所表示的文件,被 复制到目的端桶后,对象会被分别命 名为:doc/文件doc/thefile2.txt、the file.txt、the file2.txt以及doc/
thefile.txt。
– URL列表文件中每行不要添加无效空 格,否则会将空格作为对象名,导致 迁移失败。
步骤8 (可选)设置“源端参数”。
当您的源端云服务提供商提供了表2-4中首列相应的功能时,才会出现此部分参数。
表2-4 源端参数
参数 说明
源端使用自定义域 名下载
当默认域名不能满足您的迁移需求,比如您需要一个自定义域 名以便使用CDN降低源端出口下载流量的费用,且您的源端云 服务提供商支持自定义域名时,可以勾选此选项。
说明
● 如果使用了防盗链,建议关闭防盗链或联系华为云技术支持。
● 当源端云服务提供商是七牛云时,因其对默认域名的使用做了限 制,为确保您的迁移顺利进行,系统已为您自动勾选此参数。
勾选此选项后,进行如下设置:
1. 在“自定义域名传输协议”中选择传输协议。
说明HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。
如果待迁移内容为非公开内容时,建议不要将源端数据公开,采用 其他非HTTP/HTTPS方式进行迁移。
2. 填写“桶自定义域名”。
3. 如果您使用了源端云服务提供商提供的CDN鉴权,则选择
“启用CDN鉴权校验”,并配置校验类型和秘钥。
说明
– 您需要参见源端云服务提供商的相关资料配置CDN后,才能使 用CDN相关功能。
– 使用源端CDN产生的费用遵从源端云服务提供商的计费规则,
费用由源端云服务提供商向您收取。
– 不支持URl重定向。
4. 单击“检查”,检查配置是否正确。
– 如果检查未通过,请单击“详情”查看未通过的原因。
– 如果检查通过,则可继续进行其他迁移配置。
参数 说明
解冻归档数据 归档类型的对象存储要实现迁移,必须预先解冻。当您的源端 云服务提供商支持自动解冻归档类型数据时,可以勾选此选 项。
● 勾选:如果遇到归档类型对象,则自动解冻该对象并进行 迁移。如果解冻失败,则判定该对象迁移失败并跳过,继 续迁移其余对象。
● 不勾选:如果遇到归档类型对象,则直接判定该对象迁移 失败并跳过,继续迁移其余对象。
说明
● 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里 云、金山云、腾讯云。
● 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默 认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参 考各云服务提供商的相关文档。
● 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是 归档数据取回费用,这些均由源端云服务提供商向您收取。
● 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下 载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考
● 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下 载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考