最佳实践
文档版本 07
发布日期 2021-07-28
版权所有 © 华为技术有限公司 2021。 保留一切权利。
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传 播。
商标声明
和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标,由各自的所有人拥有。
注意
您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声 明或保证。
由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
目 录
1 最佳实践汇总... 1
2 增量数据迁移方案最佳实践...2
2.1 使用“回源配置方案”迁移增量对象数据... 2
2.2 使用“源端/目的端双写方案”方案迁移增量对象数据... 4
2.3 使用"多次同步方案"迁移增量对象数据...5
3 特殊场景迁移实践... 7
3.1 迁移归档存储数据... 7
4 各云服务商迁移教程... 9
4.1 华为云 OBS 之间迁移教程... 9
4.1.1 背景信息... 9
4.1.2 准备工作... 9
4.1.3 创建迁移任务... 10
4.1.4 创建迁移任务组...21
4.2 阿里云 OSS 迁移至华为云 OBS 教程... 28
4.2.1 背景信息... 28
4.2.2 准备工作... 29
4.2.3 创建迁移任务... 30
4.2.4 创建迁移任务组...43
4.3 腾讯云 COS 迁移至华为云 OBS 教程...51
4.3.1 背景信息... 51
4.3.2 准备工作... 51
4.3.3 创建迁移任务... 52
4.3.4 创建迁移任务组...64
4.4 七牛云迁移至华为云 OBS 教程... 71
4.4.1 背景信息... 71
4.4.2 准备工作... 72
4.4.3 创建迁移任务... 73
4.4.4 创建迁移任务组...83
5 修订记录...92
1 最佳实践汇总
本文汇总了基于对象存储迁移服务(Object Storage Migration Service,OMS)常见 应用场景的操作实践,每个实践我们提供详细的方案描述和操作指导,用于指导您快 速实现对象存储数据迁移。
表1-1 OMS 最佳实践一览表
最佳实践 使用场景 优势
使用“回源配置方案”迁 移增量对象数据
大批量数据迁移场景使 用,优先选择此方案。此 方案受OBS限制,具体的 约束请见数据回源。
● 业务零中断,增量迁移 间未同步的数据通过回 源配置保证用户无感 知。
● 可靠性高:割接前用户 业务校验充分,增量迁 移时全量扫描校验确保 数据无遗漏。
使用“源端/目的端双写方 案”方案迁移增量对象数 据
适用大批量数据迁移且 OBS回源不支持场景。由 于需要客户同时对源端和 目的端写数据,因此总体 费用比“回源配置方案”
高。
适用于双云备份场景:
● 业务零中断,业务切换 时间根据客户业务确 认,可随意调整。
● 一次迁移,操作简单。
使用"多次同步方案"迁移 增量对象数据
少量数据快速增量迁移场 景使用:
1. 客户自动识别增量对象 列表,然后使用OMS 对象列表迁移;
2. 记录迁移开始时间,设 置迁移指定时间
速度快,业务短时间中 断,操作简单。
增量迁移时长评估:
增量迁移时长=识别增量 数据的时间(源端桶和目 的端桶比对识别新增数 据)+增量数据迁移时 间。
迁移归档存储数据 源端存在归档存储数据, 先解冻后迁移,相对直接
2 增量数据迁移方案最佳实践
2.1 使用“回源配置方案”迁移增量对象数据
本节指导用户使用回源配置方案迁移增量对象数据。
优势
此方案优势在于:
● 业务零中断,增量迁移间未同步的数据通过回源配置保证用户无感知。
● 可靠性高,割接前可提前验证,迁移后可校验。
操作流程
“回源配置方案”迁移增量对象数据流程图,如图2-1所示。
图2-1 回源配置方案迁移增量对象流程图
迁移过程及操作步骤示意图如图2-2所示。
图2-2 迁移示意图
操作步骤说明如下:
1. T1时间:启动全量迁移、华为侧业务验证。
①全量迁移:将T1时间点之前的源端存量数据全量迁移到华为云(此时客户业务 系统还会继续往源端桶新增业务数据)。
②业务验证:验证迁移数据 + 验证华为侧数据业务(数据读取和写入)。
2. T2时间:启动首次增量数据迁移、评估数据增量速度。
③增量迁移:将T1~T2时间段生成的新增数据迁移到华为云。
④评估增量速度:对比源端和目的端,评估增量数据生成速度,用于确定后续业 务验证时间。
3. T3时间:OBS回源配置+业务割接、启动剩余增量数据迁移。
⑤OBS回源配置+业务割接:通过配置OBS回源,保证业务割接后,源端剩余的增 量数据能够通过OBS回源访问,客户业务不中断;业务割接后,客户业务系统开 始将新增数据存储到华为云,源端对象存储不会再有新增数据。
⑥增量迁移:将T2~T3时间段生成的新增数据迁移到华为云。
⑦一致性验证:对比源端、目的端桶的对象总数和总大小,确保源端数据全部迁 移完成。
注意
迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产 生的费用都遵从源端云服务提供商的计费规则并由其向您收取。
前提条件
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在OBS服务中创建桶。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录管理控制台。
步骤2 单击管理控制台左上角的 ,在下拉框中选择区域。
步骤3 单击“服务列表”,选择“迁移 > 对象存储迁移服务”。
进入“对象存储迁移服务”页面。
步骤4 使用OMS迁移源端全量数据,如果迁移数据量大于3TB,或者迁移对象数多于500万,
建议参考创建迁移任务组。
少量数据建议参考创建迁移任务。
步骤5 迁移完成+业务验证OK后。登录OBS控制台,创建数据回源规则并将业务切换到华为 云。
具体操作步骤,请参考创建数据回源规则。
步骤6 再次使用OMS迁移源端全量数据,执行增量迁移,并全量比较源端目的端对象差异,
将源端所有未迁移对象或有修改对象同步到目的端(比较规则请参见如果目的端存在 和源端同名的迁移对象,会不会发生覆盖?)。
如果迁移数据量大于3TB,或者迁移对象数多于500万,建议参考创建迁移任务组。
少量数据建议参考创建迁移任务。
----结束
2.2 使用“源端/目的端双写方案”方案迁移增量对象数据
操作场景
本章节指导用户使用“源端/目的端双写方案”方案迁移增量对象数据。此方案优势在 于可与确保业务零中断。
主要迁移步骤如下所示:
1. 用户在全量迁移前,需配置业务同时向源端和目的端写数据,保证增量数据在两 端都存在。
2. 使用OMS完成源端数据的全量迁移。
3. OMS全量迁移结束后+业务验证OK后将业务切换到华为云并停止业务向源端写数 据。
注意
迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产 生的费用都遵从源端云服务提供商的计费规则并由其向您收取。
前提条件
● 已获取源端和目的端账号的AK/SK。
– 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对 象元数据,获取对象内容。获取方式参见源端桶权限获取。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在OBS服务中创建桶。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录管理控制台。
步骤2 单击管理控制台左上角的 ,在下拉框中选择区域。
步骤3 单击“服务列表”,选择“迁移 > 对象存储迁移服务”。
进入“对象存储迁移服务”页面。
步骤4 如果迁移数据量大于3TB,或者迁移对象数多于500万,建议参考创建迁移任务组。
少量数据建议参考创建迁移任务。
步骤5 迁移完成+业务验证OK后。将业务切换到华为云并停止业务向源端写数据。
----结束
2.3 使用"多次同步方案"迁移增量对象数据
操作场景
本章节指导用户使用"多次同步方案"迁移增量对象数据。
主要迁移步骤如下所示:
1. 使用OMS完成源端数据的全量迁移。
2. 多次增量迁移数据,减少源端和目的端数据差异。
注意
迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产 生的费用都遵从源端云服务提供商的计费规则并由其向您收取。
前提条件
● 已获取源端和目的端账号的AK/SK。
– 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对 象元数据,获取对象内容。获取方式参见源端桶权限获取。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在OBS服务中创建桶。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录管理控制台。
步骤2 单击管理控制台左上角的 ,在下拉框中选择区域。
步骤3 单击“服务列表”,选择“迁移 > 对象存储迁移服务”。
进入“对象存储迁移服务”页面。
步骤4 如果迁移数据量大于3TB,或者迁移对象数多于500万,建议参考创建迁移任务组。
少量数据建议参考创建迁移任务。
步骤5 多次增量迁移后,确认一个能够接受的增量迁移时间窗,停止源端业务,启动最后一 次增量迁移,迁移完成后启动目的端写业务。
说明
以下方式能快速完成增量数据识别+ 迁移:
1. 用户通过业务侧自动识别增量对象列表,然后使用OMS对象列表迁移来指定完成数据迁移。
2. 记录迁移开始时间,设置迁移指定时间。
----结束
3 特殊场景迁移实践
3.1 迁移归档存储数据
操作场景
当源端对象存储有数据处于归档状态,直接使用OMS迁移,解冻时间长导致迁移时间 较长,可参考以下方案。
注意
● 如果不提前使用恢复归档存储,全量依靠OMS自动恢复功能,每个对象触发解冻 后,会等待1-5分钟(具体时间由源端对象存储决定),最终导致迁移速度缓慢,
影响您的整体迁移进度。
● 在OBS桶中仅开启归档数据直读功能,仅支持直接下载归档存储数据,并未修改相 应存储类型,因此OMS无法正常直接下载对象。
● 归档存储开启只读,和使用OMS自动恢复归档存储,源端对象存储服务都会收取相 应费用,详见产品价格详情。
● 迁移归档数据时,目的端桶类型建议选择为“标准存储”,待迁移完成确认数据无 误后,再通过对象生命周期将对应数据的存储类型改为“归档存储”。
前提条件
● 已获取源端和目的端账号的AK/SK。
– 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对 象元数据,获取对象内容。获取方式参见源端桶权限获取。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
操作步骤
步骤1 使用工具或在控制台恢复源端归档存储,建议恢复时间设置较长。
● 源端为其他云服务厂商时,具体解冻方式以源端云服务商为准。
● 源端为华为云时,使用obsutil恢复归档存储对象后重新迁移。
步骤2 登录管理控制台。
步骤3 单击“服务列表”,选择“迁移 > 对象存储迁移服务”。
进入“对象存储迁移服务”页面。
步骤4 如果迁移数据量大于3TB,或者迁移对象数多于500万,建议参考创建迁移任务组。
少量数据建议参考创建迁移任务。
注意
需开启“解冻归档数据”功能,遇到用户遗漏的归档对象,OMS支持自动恢复。
----结束
4 各云服务商迁移教程
4.1 华为云 OBS 之间迁移教程
4.1.1 背景信息
本教程介绍如何在华为云对象存储 OBS 之间进行跨账号、跨地域、以及同地域内的数 据迁移。
华为云对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数 据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的 对象存储服务(Object Storage Service,OBS)中,也可以在对象存储 OBS 之间进行 灵活的数据迁移。
使用华为云对象存储迁移服务,您只需在控制台填写源端数据地址和目的端 OBS 地址 信息,并创建迁移任务或创建迁移任务组即可(迁移任务与迁移任务组的区别参见迁 移任务与迁移任务组的适用场景是什么?)。启动迁移后,您可以通过控制台查看迁 移任务,管理迁移任务。
注意
● 2022年7月1日前,对象存储迁移服务(OMS)处于免费期,免费期结束后服务将 根据您累计使用的迁移流量进行收费,计费方式简单灵活、易于预测。具体费用详 情,请参见产品价格详情。迁移过程中会调用源端和目的端的对象存储服务的API 进行数据的上传、下载,所以会产生一定的API请求及下载流量费用,具体费用说 明请参见计费说明。
● 对象存储迁移服务暂不支持迁移多版本的对象存储数据。
4.1.2 准备工作
使用对象存储迁移服务前,请参考本节介绍完成准备工作。
● 目的端:参见创建访问密钥(AK/SK)。
创建目的端桶
创建用于存放迁移数据的桶,具体操作参见创建桶。
解冻源端归档数据
当源端对象存储有数据处于归档状态,直接使用OMS迁移,解冻时间长导致迁移时间 较长,推荐您提前进行解冻操作,待解冻完成后再创建迁移任务。具体操作参见恢复 归档存储对象。
注意
若您源端有解冻中的数据,待解冻完成后再进行迁移,否则这些数据会迁移失败。
(可选)迁移前评估
如果您的桶内数据容量超过3TB,数量超过500万个,建议使用迁移前评估功能,统计 桶内对象分布情况并估算迁移时间,具体操作参见评估桶内数据。
4.1.3 创建迁移任务
本节介绍创建迁移任务的操作步骤。
适用场景
适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创 建对象存储迁移任务,可将对象数据进行快速迁移。
说明
如果单个桶数据量大于3 TB或对象个数大于500万,建议您创建迁移任务组来进行迁移。
前提条件
● 已获取源端和目的端账号的AK/SK。
– 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对 象元数据,获取对象内容。获取方式参见源端桶权限获取。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在OBS服务中创建桶。
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录华为云控制台。
步骤2 单击控制台左上角的 ,在下拉框中选择迁移目的端桶所在的Region,如图4-1所 示。
图4-1 选择目的端桶 Region
步骤3 单击控制台左侧“服务列表”,选择“迁移 > 对象存储迁移服务 OMS”,进入“对 象存储迁移服务”页面。
您也可以在搜索框中输入“OMS”,快速查找“对象存储迁移服务 OMS”,如图4-2 所示。
图4-2 选择对象存储迁移服务
步骤4 在“迁移任务”页面,单击页面右上角的“创建迁移任务”,如图4-3所示。
图4-3 创建迁移任务
步骤5 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建迁移任务”的“选择源端/目的端”页面,如图4-4所示。
图4-4 选择源端/目的端页面
步骤6 设置“选择源端”区域的参数,参见表4-1。
表4-1 设置源端参数
参数 设置
数据源 选择华为云。
访问密钥 填写源端华为云的访问密钥(AK)。
私有访问密钥 填写源端华为云的私有访问密钥(SK)。
是否指定桶名 关闭“是否指定桶名”(默认设置)。
1. 单击“桶名”后的“连接源端桶”,在“桶名”中 列举您名下的所有桶。
2. 在“桶名”的下拉列表中选择需要迁移的桶。
说明当源端AK/SK没有列举桶权限时,需要开启“是否指定桶 名”。
参数 设置
开启“是否指定桶名”。
1. 在“选择区域”下拉框中选择源端桶所在区域。
2. 在“桶名与路径”文本框中输入源端桶名或带桶名 的路径。
3. 单击“连接源端桶”。
步骤7 设置“选择目的端”区域的参数,参见表4-2。
表4-2 设置目的端参数
参数 设置
访问密钥 填写目的端华为云的访问密钥(AK)。
私有访问密钥 填写目的端华为云的私有访问密钥(SK)。
填写访问密钥和私有访问密钥后,请单击“连接目的端 桶”。
桶名 选择存放迁移数据的华为云OBS桶。
步骤8 单击“下一步”,进入“设置任务参数”页面,如图4-5所示。
图4-5 设置任务参数页面
迁移方式 适用场景 说明
选择文件/文件夹 已知迁移对象文件名或者
所在文件目录。 ● 选择文件夹:迁移勾选 文件夹下的所有对象。
● 选择文件:迁移勾选的 对象文件。
支持同时勾选文件夹和对 象文件进行迁移,若不勾 选,则默认迁移桶内的所 有对象。
指定对象列表 已知所有需要迁移对象的
文件名,并将所有文件名 放置在一个.txt文件中,上 传到华为云OBS桶。
● 列表文件所在桶(华为 云):必须与目的端桶 处于同一区域,否则将 无法选择对象列表文 件。
● 选择对象列表文件:选 择包含所有对象文件名 的.txt文件 。
说明
● 对象列表文件大小不能 超过1024MB。
● 对象列表文件中的首个 对象必须存在,否则会 预校验不通过。
● 对象列表文件必须是
“.txt”类型的文件,并 且该文件元数据中的
“ContentType”只能 为:“text/plain”。
● 对象列表文件必须是 UTF-8无BOM格式编码 格式。
● 对象列表文件中每行只 能包含一个对象名称,
并且对象名称使用URL Encode编码
● 对象列表文件中每行不 要添加无效空格,否则 会将空格作为对象名,
导致迁移失败。
● 对象列表文件中每行长 度不要超过65535,否则 会导致迁移失败。
● 对象列表文件的元数据 中不能设置
“ContentEncoding”,
否则会导致迁移失败。
● 对象列表文件如果是归 档数据,迁移前需要先 手动恢复,对象存储迁 移服务才能访问和获 取。
迁移方式 适用场景 说明
输入对象前缀 已知迁移对象的命名格
式,且需要迁移对象用相 同前缀命名。
前缀添加成功后,会迁移 桶中所有以该前缀开头的 对象。
若不添加该参数,则默认 迁移桶内的所有对象。
步骤10 (可选)“选择文件/文件夹”迁移方式。
1. 单击桶名下方的“选择”按钮,弹出“选择文件/文件夹”窗口。
2. 勾选待迁移的文件夹,如图4-6所示;勾选待迁移的文件,如图4-7所示。
说明
支持同时勾选文件夹和对象文件进行迁移,若不勾选,则默认迁移桶内的所有对象。
图4-6 选择文件夹
图4-7 选择文件
3. 单击“确定”,所选文件/文件夹显示在下方,如图4-8所示。
图4-8 选择完成
步骤11 (可选)选择“指定对象列表”迁移方式。
1. 在“列表文件所在桶(华为云)”下拉列表中,选择存放列表文件的桶,如图4-9 所示。
注意
请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表 文件。
图4-9 选择列表文件所在桶
2. 在“选择对象列表文件”参数后面,单击“选择”按钮,弹出“选择对象列表文 件”窗口,选择包含所有对象文件名的.txt文件,单击“确定”,如图4-10所示。
图4-10 选择对象列表文件
步骤12 (可选)选择“输入对象前缀”迁移方式。
1. 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图4-11所 示。
图4-11 输入对象数据名称或名称前缀
2. 单击“添加”按钮,系统会自动匹配出数据,如图4-12所示。
图4-12 匹配数据
说明
您可以单击 ,从匹配到的迁移数据列表中删除不需要迁移的数据。若不添加该参数,则 默认迁移全桶的数据。
步骤13 (可选)单击“高级选项”后面“展开”,如图4-13所示。根据表4-3参数说明,设置
“高级选项”参数。
图4-13 高级选项
表4-3 参数说明
参数 说明
服务端加密 可选,如果勾选“KMS”,对迁移数据进行KMS服 务端加密后再存储至目的OBS桶中。
记录失败对象 默认“是”。
● 选择“否”,不记录迁移失败的对象。如果迁移 失败,只能全量重传。
● 选择“是”,记录迁移失败的对象。如果迁移失 败,支持只对迁移失败对象进行重传。
说明
– 单个迁移任务或迁移任务组任务,都会将迁移失败 的对象记录在一个以任务名称命名的失败对象列表 文件中,并将该文件上传到目的端桶的“oms/
failed_object_lists/”路径下。
– 失败对象列表文件,最多记录10万个失败对象。
解冻归档数据 默认“否”。不建议开启,迁移数据中有归档数据 时,优先选择使用OBS的解冻工具将数据解冻后再 进行迁移。具体操作参见恢复归档存储对象。
● 选择“否”,迁移数据中有归档数据时,则直接 判定该对象迁移失败并跳过,继续迁移其余数 据。
● 选择“是”,迁移数据中有归档数据时,会自动
参数 说明
迁移指定时间后的对象 使用时间过滤源端待迁移对象,默认“否”。
● 选择“否”,不过滤源端待迁移对象。
● 选择“是”,仅迁移在指定时间之后修改的源端 待迁移对象。
发送通知 默认“否”,选择是否使用SMN消息通知功能,该 功能可以通知您迁移任务的结果。
● 选择“否”,不接收SMN消息。
● 选择“是”,接收SMN消息。
流量控制 默认“否”,设置迁移任务在指定时段的最大流量 带宽。
● 选择“否”,不进行流量控制。
● 选择“是”,进行流量控制。
描述 输入本次迁移任务的简单描述信息。
步骤14 单击“下一步”,进入“确认信息”页面,如图4-14所示。
图4-14 确认信息页面
步骤15 确认源端信息、目的端信息、任务参数、高级选项等参数无误后,单击“开始迁 移”。提示创建迁移任务成功。查看迁移任务列表已新增该任务。
说明
任务创建后,会生成一个任务ID供您快速识别。它显示在列表中任务的左上角,由源端桶名+目 的端桶名+时间序列标识拼接而成。
----结束
相关操作
您可以对创建的迁移任务进行如下操作。
如果... 那么...
查看迁移任务 请参见查看迁移任务。
管理迁移任务 请参见管理迁移任务。
4.1.4 创建迁移任务组
本节介绍创建迁移任务组的操作步骤。
适用场景
适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源 端待迁移对象智能分解到多个迁移任务中并行迁移。
前提条件
● 已获取源端和目的端账号的AK/SK。
– 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对 象元数据,获取对象内容。获取方式参见源端桶权限获取。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在华为云OBS服务中创建桶。
● 24小时内,单个Region内创建迁移任务组数量未满100个。
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录华为云控制台。
步骤2 单击控制台左上角的 ,在下拉框中选择迁移目的端桶所在的Region,如图4-15所 示。
图4-15 选择目的端桶 Region
步骤3 单击控制台左侧“服务列表”,选择“迁移 > 对象存储迁移服务 OMS”,进入“对 象存储迁移服务”页面。
您也可以在搜索框中输入“OMS”,快速查找“对象存储迁移服务 OMS”,如图 4-16所示。
图4-16 选择对象存储迁移服务
步骤4 在左侧导航树,选择“迁移任务组”,切换到“迁移任务组”页面。
步骤5 在“迁移任务组”页面,单击页面右上角的“创建迁移任务组”,如图4-17所示。
图4-17 创建迁移任务组
步骤6 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建迁移任务组”的“选择源端/目的端”页面,如图4-18所示。
图4-18 选择源端/目的端页面
步骤7 设置“选择源端”区域的参数,参见表4-4。
表4-4 设置源端参数
参数 设置
数据源 选择华为云。
访问密钥 填写源端华为云的访问密钥(AK)。
私有访问密钥 填写源端华为云的私有访问密钥(SK)。
是否指定桶名 关闭“是否指定桶名”(默认设置)。
1. 单击“桶名”后的“连接源端桶”,在“桶名”中 列举您名下的所有桶。
2. 在“桶名”的下拉列表中选择需要迁移的桶。
说明当源端AK/SK没有列举桶权限时,需要开启“是否指定桶 名”。
参数 设置
开启“是否指定桶名”。
1. 在“选择区域”下拉框中选择源端桶所在区域。
2. 在“桶名与路径”文本框中输入源端桶名或带桶名 的路径。
3. 单击“连接源端桶”。
步骤8 设置“选择目的端”区域的参数,参见表4-5。
表4-5 设置目的端参数
参数 设置
访问密钥 填写目的端华为云的访问密钥(AK)。
私有访问密钥 填写目的端华为云的私有访问密钥(SK)。
填写访问密钥和私有访问密钥后,请单击“连接目的端 桶”。
桶名 选择存放迁移数据的华为云OBS桶。
步骤9 单击“下一步”,进入“设置任务组参数”页面,如图4-19所示。
图4-19 设置任务组参数页面
步骤10 选择“输入对象前缀”迁移方式。
1. 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图4-20所 示。
图4-20 输入对象数据名称或名称前缀
2. 单击“添加”按钮,系统会自动匹配出数据,如图4-21所示。
图4-21 匹配数据
说明
您可以单击 ,从匹配到的迁移数据列表中删除不需要迁移的数据。若不添加该参数,则 默认迁移全桶的数据。
步骤11 (可选)单击“高级选项”后面“展开”,如图4-22所示。根据表4-6参数说明,设置
“高级选项”参数。
图4-22 高级选项
表4-6 参数说明
参数 说明
服务端加密 可选,如果勾选“KMS”,对迁移数据进行KMS服 务端加密后再存储至目的OBS桶中。
记录失败对象 默认“是”。
● 选择“否”,不记录迁移失败的对象。如果迁移 失败,只能全量重传。
● 选择“是”,记录迁移失败的对象。如果迁移失 败,支持只对迁移失败对象进行重传。
说明
– 单个迁移任务或迁移任务组任务,都会将迁移失败 的对象记录在一个以任务名称命名的失败对象列表 文件中,并将该文件上传到目的端桶的“oms/
failed_object_lists/”路径下。
– 失败对象列表文件,最多记录10万个失败对象。
解冻归档数据 默认“否”。不建议开启,迁移数据中有归档数据 时,优先选择使用OBS的解冻工具将数据解冻后再 进行迁移。具体操作参见恢复归档存储对象。
● 选择“否”,迁移数据中有归档数据时,则直接 判定该对象迁移失败并跳过,继续迁移其余数 据。
● 选择“是”,迁移数据中有归档数据时,会自动 解冻归档类型数据并迁移。
迁移指定时间后的对象 使用时间过滤源端待迁移对象,默认“否”。
● 选择“否”,不过滤源端待迁移对象。
● 选择“是”,仅迁移在指定时间之后修改的源端 待迁移对象。
发送通知 默认“否”,选择是否使用SMN消息通知功能,该 功能可以通知您迁移任务的结果。
● 选择“否”,不接收SMN消息。
● 选择“是”,接收SMN消息。
流量控制 默认“否”,设置迁移任务在指定时段的最大流量 带宽。
● 选择“否”,不进行流量控制。
● 选择“是”,进行流量控制。
描述 输入本次迁移任务的简单描述信息。
步骤12 单击“下一步”,进入“确认信息”页面,如图4-23所示。
图4-23 确认信息页面
步骤13 确认源端信息、目的端信息、任务参数、高级选项等参数无误后,单击“开始迁 移”。提示任务提交成功。查看迁移任务组列表已新增该任务组。
----结束
相关操作
您可以对创建的迁移任务组进行如下操作。
如果... 那么...
查看迁移任务组 请参见查看迁移任务组。
管理迁移任务组 请参见管理迁移任务组。
4.2 阿里云 OSS 迁移至华为云 OBS 教程
4.2.1 背景信息
本教程讲解了如何将阿里云对象存储(Object Storage Service,简称OSS)上的数据 迁移到华为云对象存储 OBS。
华为云对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数 据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的 对象存储服务(Object Storage Service,OBS)中,也可以在对象存储 OBS 之间进行 灵活的数据迁移。
使用华为云对象存储迁移服务,您只需在控制台填写源端数据地址和目的端 OBS 地址 信息,并创建迁移任务或创建迁移任务组即可(迁移任务与迁移任务组的区别参见迁 移任务与迁移任务组的适用场景是什么?)。启动迁移后,您可以通过控制台查看迁 移任务,管理迁移任务。
注意
● 2022年7月1日前,对象存储迁移服务(OMS)处于免费期,免费期结束后服务将 根据您累计使用的迁移流量进行收费,计费方式简单灵活、易于预测。具体费用详 情,请参见产品价格详情。迁移过程中会调用源端和目的端的对象存储服务的API 进行数据的上传、下载,所以会产生一定的API请求及下载流量费用,具体费用说 明请参见计费说明。
● 对象存储迁移服务暂不支持迁移多版本的对象存储数据。
4.2.2 准备工作
使用对象存储迁移服务前,请参考本节介绍完成准备工作。
创建源端阿里云和目的端华为云的访问密钥(AK/SK)
● 源端阿里云:检查阿里云迁移账号是否拥有AK/SK以及只读访问对象存储服务 (OSS)的权限(AliyunOSSReadOnlyAccess),如果没有,参考如下步骤生成 AK/SK并添加权限。
a. 登录阿里云RAM控制台。
b. 在左侧导航栏,选择身份管理 > 用户。
c. 在用户页面,单击用户名称,进入用户详情页面。
d. 在用户 AccessKey区域,单击“创建 AccessKey”,生成AccessKey ID和 AccessKey Secret。
e. 添加权限
在用户页面,单击RAM用户操作列的添加权限,授予RAM用户只读访问对象 存储服务(OSS)的权限(AliyunOSSReadOnlyAccess)。
● 目的端华为云:参见创建访问密钥(AK/SK)。
创建目的端桶
创建用于存放迁移数据的桶,具体操作参见创建桶。
解冻源端归档数据
当源端对象存储有数据处于归档状态,直接使用OMS迁移,解冻时间长导致迁移时间 较长,推荐您提前进行解冻操作,待解冻完成后再创建迁移任务。阿里云OSS提供了
注意
若您源端有解冻中的数据,待解冻完成后再进行迁移,否则这些数据会迁移失败。
(可选)迁移前评估
如果您的桶内数据容量超过3TB,数量超过500万个,建议使用迁移前评估功能,统计 桶内对象分布情况并估算迁移时间,具体操作参见评估桶内数据。
4.2.3 创建迁移任务
本节介绍创建迁移任务的操作步骤。
适用场景
适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创 建对象存储迁移任务,可将对象数据进行快速迁移。
说明
如果单个桶数据量大于3 TB或对象个数大于500万,建议您创建迁移任务组来进行迁移。
前提条件
● 已获取源端和目的端账号的AK/SK并授予相关权限。
– 源端桶对应账户需要的权限:只读访问对象存储服务(OSS)的权限
(AliyunOSSReadOnlyAccess)。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在OBS服务中创建桶。
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录华为云控制台。
步骤2 单击控制台左上角的 ,在下拉框中选择迁移目的端桶所在的Region,如图4-24所 示。
图4-24 选择目的端桶 Region
步骤3 单击控制台左侧“服务列表”,选择“迁移 > 对象存储迁移服务 OMS”,进入“对 象存储迁移服务”页面。
您也可以在搜索框中输入“OMS”,快速查找“对象存储迁移服务 OMS”,如图 4-25所示。
图4-25 选择对象存储迁移服务
步骤4 在“迁移任务”页面,单击页面右上角的“创建迁移任务”,如图4-26所示。
图4-26 创建迁移任务
步骤5 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建迁移任务”的“选择源端/目的端”页面,如图4-27所示。
图4-27 选择源端/目的端页面
步骤6 设置“选择源端”区域的参数,参见表4-7。
表4-7 设置源端参数
参数 设置
数据源 选择阿里云。
访问密钥 填写源端阿里云的访问密钥(AK)。
私有访问密钥 填写源端阿里云的私有访问密钥(SK)。
是否指定桶名 关闭“是否指定桶名”(默认设置)。
1. 单击“桶名”后的“连接源端桶”,在“桶名”中 列举您名下的所有桶。
2. 在“桶名”的下拉列表中选择需要迁移的桶。
说明当源端AK/SK没有列举桶权限时,需要开启“是否指定桶 名”。
参数 设置
开启“是否指定桶名”。
1. 在“选择区域”下拉框中选择源端桶所在区域。
2. 在“桶名与路径”文本框中输入源端桶名或带桶名 的路径。
3. 单击“连接源端桶”。
步骤7 设置“选择目的端”区域的参数,参见表4-8。
表4-8 设置目的端参数
参数 设置
访问密钥 填写目的端华为云的访问密钥(AK)。
私有访问密钥 填写目的端华为云的私有访问密钥(SK)。
填写访问密钥和私有访问密钥后,请单击“连接目的端 桶”。
桶名 选择存放迁移数据的华为云OBS桶。
步骤8 单击“下一步”,进入“设置任务参数”页面,如图4-28所示。
图4-28 设置任务参数页面
步骤9 根据下表迁移方式和适用场景说明,选择迁移方式。
迁移方式 适用场景 说明
选择文件/文件夹 已知迁移对象文件名或者
所在文件目录。 ● 选择文件夹:迁移勾选 文件夹下的所有对象。
● 选择文件:迁移勾选的 对象文件。
支持同时勾选文件夹和对 象文件进行迁移,若不勾 选,则默认迁移桶内的所 有对象。
迁移方式 适用场景 说明
指定对象列表 已知所有需要迁移对象的
文件名,并将所有文件名 放置在一个.txt文件中,上 传到华为云OBS桶。
● 列表文件所在桶(华为 云):必须与目的端桶 处于同一区域,否则将 无法选择对象列表文 件。
● 选择对象列表文件:选 择包含所有对象文件名 的.txt文件 。
说明
● 对象列表文件大小不能 超过1024MB。
● 对象列表文件中的首个 对象必须存在,否则会 预校验不通过。
● 对象列表文件必须是
“.txt”类型的文件,并 且该文件元数据中的
“ContentType”只能 为:“text/plain”。
● 对象列表文件必须是 UTF-8无BOM格式编码 格式。
● 对象列表文件中每行只 能包含一个对象名称,
并且对象名称使用URL Encode编码
● 对象列表文件中每行不 要添加无效空格,否则 会将空格作为对象名,
导致迁移失败。
● 对象列表文件中每行长 度不要超过65535,否则 会导致迁移失败。
● 对象列表文件的元数据 中不能设置
“ContentEncoding”,
否则会导致迁移失败。
● 对象列表文件如果是归 档数据,迁移前需要先 手动恢复,对象存储迁 移服务才能访问和获 取。
输入对象前缀 已知迁移对象的命名格
式,且需要迁移对象用相 同前缀命名。
前缀添加成功后,会迁移 桶中所有以该前缀开头的 对象。
若不添加该参数,则默认 迁移桶内的所有对象。
1. 单击桶名下方的“选择”按钮,弹出“选择文件/文件夹”窗口。
2. 勾选待迁移的文件夹,如图4-29所示;勾选待迁移的文件,如图4-30所示。
说明
支持同时勾选文件夹和对象文件进行迁移,若不勾选,则默认迁移桶内的所有对象。
图4-29 选择文件夹
图4-30 选择文件
3. 单击“确定”,所选文件/文件夹显示在下方,如图4-31所示。
图4-31 选择完成
步骤11 (可选)选择“指定对象列表”迁移方式。
1. 在“列表文件所在桶(华为云)”下拉列表中,选择存放列表文件的桶,如图 4-32所示。
注意
请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表 文件。
图4-32 选择列表文件所在桶
2. 在“选择对象列表文件”参数后面,单击“选择”按钮,弹出“选择对象列表文 件”窗口,选择包含所有对象文件名的.txt文件,单击“确定”,如图4-33所示。
图4-33 选择对象列表文件
步骤12 (可选)选择“输入对象前缀”迁移方式。
1. 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图4-34所 示。
图4-34 输入对象数据名称或名称前缀
2. 单击“添加”按钮,系统会自动匹配出数据,如图4-35所示。
图4-35 匹配数据
说明
您可以单击 ,从匹配到的迁移数据列表中删除不需要迁移的数据。若不添加该参数,则 默认迁移全桶的数据。
步骤13 (可选)根据表4-9,设置“源端参数”。
表4-9 源端参数设置
参数 设置
源端使用自定义域 名下载
默认不勾选。
当默认域名不能满足您的迁移需求,比如您需要一个自定义域 名以便使用CDN降低源端出口下载流量的费用,可以勾选此选 项,并进行如下设置:
说明
如果使用了防盗链,建议关闭防盗链或联系华为云技术支持。
1. 在“自定义域名传输协议”中选择传输协议。
说明HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。
2. 填写“桶自定义域名”。
启用CDN鉴权校验 默认不勾选。
如果您使用了阿里云提供的CDN鉴权,请勾选此项,并进行如 下设置:
1. 选择“校验类型”,包含“A方式”、“B方式”、“C方 式”,当前仅支持“C方式”。
2. 输入CDN“校验秘钥”。
说明
– 使用阿里云CDN产生的费用遵从阿里云的计费规则,费用由阿 里云向您收取。
– 不支持URL重定向。
检查 单击“检查”按钮,检查参数设置是否正确。
● 检查未通过,请单击“详情”查看未通过的原因。
● 检查通过,继续进行其他迁移配置。
步骤14 (可选)单击“高级选项”后面“展开”,如图4-36所示。根据表4-10参数说明,设 置“高级选项”参数。
图4-36 高级选项
表4-10 参数说明
参数 说明
服务端加密 可选,如果勾选“KMS”,对迁移数据进行KMS服 务端加密后再存储至目的OBS桶中。
记录失败对象 默认“是”。
● 选择“否”,不记录迁移失败的对象。如果迁移 失败,只能全量重传。
● 选择“是”,记录迁移失败的对象。如果迁移失 败,支持只对迁移失败对象进行重传。
说明
– 单个迁移任务或迁移任务组任务,都会将迁移失败 的对象记录在一个以任务名称命名的失败对象列表 文件中,并将该文件上传到目的端桶的“oms/
failed_object_lists/”路径下。
– 失败对象列表文件,最多记录10万个失败对象。
解冻归档数据 默认“否”。
● 选择“否”,迁移数据中有归档数据时,则直接 判定该对象迁移失败并跳过,继续迁移其余数
参数 说明
迁移指定时间后的对象 使用时间过滤源端待迁移对象,默认“否”。
● 选择“否”,不过滤源端待迁移对象。
● 选择“是”,仅迁移在指定时间之后修改的源端 待迁移对象。
发送通知 默认“否”,选择是否使用SMN消息通知功能,该 功能可以通知您迁移任务的结果。
● 选择“否”,不接收SMN消息。
● 选择“是”,接收SMN消息。
流量控制 默认“否”,设置迁移任务在指定时段的最大流量 带宽。
● 选择“否”,不进行流量控制。
● 选择“是”,进行流量控制。
描述 输入本次迁移任务的简单描述信息。
步骤15 单击“下一步”,进入“确认信息”页面,如图4-37所示。
图4-37 确认信息页面
步骤16 确认源端信息、目的端信息、任务参数、高级选项等参数无误后,单击“开始迁 移”。提示创建迁移任务成功。查看迁移任务列表已新增该任务。
说明
任务创建后,会生成一个任务ID供您快速识别。它显示在列表中任务的左上角,由源端桶名+目 的端桶名+时间序列标识拼接而成。
----结束
相关操作
您可以对创建的迁移任务进行如下操作。
如果... 那么...
查看迁移任务 请参见查看迁移任务。
管理迁移任务 请参见管理迁移任务。
4.2.4 创建迁移任务组
本节介绍创建迁移任务组的操作步骤。
适用场景
适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源 端待迁移对象智能分解到多个迁移任务中并行迁移。
前提条件
● 已获取源端和目的端账号的AK/SK并授予相关权限。
– 源端桶对应账户需要的权限:只读访问对象存储服务(OSS)的权限
(AliyunOSSReadOnlyAccess)。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在OBS服务中创建桶。
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录华为云控制台。
步骤2 单击控制台左上角的 ,在下拉框中选择迁移目的端桶所在的Region,如图4-38所 示。
图4-38 选择目的端桶 Region
您也可以在搜索框中输入“OMS”,快速查找“对象存储迁移服务 OMS”,如图 4-39所示。
图4-39 选择对象存储迁移服务
步骤4 在左侧导航树,选择“迁移任务组”,切换到“迁移任务组”页面。
步骤5 在“迁移任务组”页面,单击页面右上角的“创建迁移任务组”,如图4-40所示。
图4-40 创建迁移任务组
步骤6 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建迁移任务组”的“选择源端/目的端”页面,如图4-41所示。
图4-41 选择源端/目的端页面
步骤7 设置“选择源端”区域的参数,参见表4-11。
表4-11 设置源端参数
参数 设置
数据源 选择阿里云。
访问密钥 填写源端阿里云的访问密钥(AK)。
私有访问密钥 填写源端阿里云的私有访问密钥(SK)。
是否指定桶名 关闭“是否指定桶名”(默认设置)。
1. 单击“桶名”后的“连接源端桶”,在“桶名”中 列举您名下的所有桶。
2. 在“桶名”的下拉列表中选择需要迁移的桶。
说明当源端AK/SK没有列举桶权限时,需要开启“是否指定桶 名”。
开启“是否指定桶名”。
1. 在“选择区域”下拉框中选择源端桶所在区域。
2. 在“桶名与路径”文本框中输入源端桶名或带桶名 的路径。
3. 单击“连接源端桶”。
步骤8 设置“选择目的端”区域的参数,参见表4-12。
表4-12 设置目的端参数
参数 设置
访问密钥 填写目的端华为云的访问密钥(AK)。
私有访问密钥 填写目的端华为云的私有访问密钥(SK)。
填写访问密钥和私有访问密钥后,请单击“连接目的端 桶”。
桶名 选择存放迁移数据的华为云OBS桶。
步骤9 单击“下一步”,进入“设置任务组参数”页面,如图4-42所示。
图4-42 设置任务组参数页面
步骤10 选择“输入对象前缀”迁移方式。
1. 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图4-43所 示。
图4-43 输入对象数据名称或名称前缀
2. 单击“添加”按钮,系统会自动匹配出数据,如图4-44所示。
图4-44 匹配数据
说明
您可以单击 ,从匹配到的迁移数据列表中删除不需要迁移的数据。若不添加该参数,则 默认迁移全桶的数据。
步骤11 (可选)根据表4-13,设置“源端参数”。
表4-13 源端参数设置
参数 设置
源端使用自定义域 名下载
默认不勾选。
当默认域名不能满足您的迁移需求,比如您需要一个自定义域 名以便使用CDN降低源端出口下载流量的费用,可以勾选此选 项,并进行如下设置:
说明
如果使用了防盗链,建议关闭防盗链或联系华为云技术支持。
1. 在“自定义域名传输协议”中选择传输协议。
说明HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。
2. 填写“桶自定义域名”。
启用CDN鉴权校验 默认不勾选。
如果您使用了阿里云提供的CDN鉴权,请勾选此项,并进行如 下设置:
1. 选择“校验类型”,包含“A方式”、“B方式”、“C方 式”,当前仅支持“C方式”。
2. 输入CDN“校验秘钥”。
说明
– 使用阿里云CDN产生的费用遵从阿里云的计费规则,费用由阿 里云向您收取。
– 不支持URL重定向。
检查 单击“检查”按钮,检查参数设置是否正确。
● 检查未通过,请单击“详情”查看未通过的原因。
● 检查通过,继续进行其他迁移配置。
步骤12 (可选)单击“高级选项”后面“展开”,如图4-45所示。根据表4-14参数说明,设 置“高级选项”参数。
图4-45 高级选项
表4-14 参数说明
参数 说明
服务端加密 可选,如果勾选“KMS”,对迁移数据进行KMS服 务端加密后再存储至目的OBS桶中。
记录失败对象 默认“是”。
● 选择“否”,不记录迁移失败的对象。如果迁移 失败,只能全量重传。
● 选择“是”,记录迁移失败的对象。如果迁移失 败,支持只对迁移失败对象进行重传。
说明
– 单个迁移任务或迁移任务组任务,都会将迁移失败 的对象记录在一个以任务名称命名的失败对象列表 文件中,并将该文件上传到目的端桶的“oms/
failed_object_lists/”路径下。
– 失败对象列表文件,最多记录10万个失败对象。
解冻归档数据 默认“否”。
● 选择“否”,迁移数据中有归档数据时,则直接 判定该对象迁移失败并跳过,继续迁移其余数 据。
● 选择“是”,迁移数据中有归档数据时,会自动 解冻归档类型数据并迁移。
参数 说明
迁移指定时间后的对象 使用时间过滤源端待迁移对象,默认“否”。
● 选择“否”,不过滤源端待迁移对象。
● 选择“是”,仅迁移在指定时间之后修改的源端 待迁移对象。
发送通知 默认“否”,选择是否使用SMN消息通知功能,该 功能可以通知您迁移任务的结果。
● 选择“否”,不接收SMN消息。
● 选择“是”,接收SMN消息。
流量控制 默认“否”,设置迁移任务在指定时段的最大流量 带宽。
● 选择“否”,不进行流量控制。
● 选择“是”,进行流量控制。
描述 输入本次迁移任务组的简单描述信息。
步骤13 单击“下一步”,进入“确认信息”页面,如图4-46所示。
图4-46 确认信息页面
步骤14 确认源端信息、目的端信息、任务参数、高级选项等参数无误后,单击“开始迁 移”。提示任务提交成功。查看迁移任务组列表已新增该任务组。
----结束
相关操作
您可以对创建的迁移任务组进行如下操作。
如果... 那么...
查看迁移任务组 请参见查看迁移任务组。
管理迁移任务组 请参见管理迁移任务组。
4.3 腾讯云 COS 迁移至华为云 OBS 教程
4.3.1 背景信息
本教程讲解了如何将腾讯云对象存储(Cloud Object Storage,简称COS)上的数据迁 移到华为云对象存储 OBS。
华为云对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数 据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的 对象存储服务(Object Storage Service,OBS)中,也可以在对象存储 OBS 之间进行 灵活的数据迁移。
使用华为云对象存储迁移服务,您只需在控制台填写源端数据地址和目的端 OBS 地址 信息,并创建迁移任务或创建迁移任务组即可(迁移任务与迁移任务组的区别参见迁 移任务与迁移任务组的适用场景是什么?)。启动迁移后,您可以通过控制台查看迁 移任务,管理迁移任务。
注意
● 2022年7月1日前,对象存储迁移服务(OMS)处于免费期,免费期结束后服务将 根据您累计使用的迁移流量进行收费,计费方式简单灵活、易于预测。具体费用详 情,请参见产品价格详情。迁移过程中会调用源端和目的端的对象存储服务的API 进行数据的上传、下载,所以会产生一定的API请求及下载流量费用,具体费用说 明请参见计费说明。
● 对象存储迁移服务暂不支持迁移多版本的对象存储数据。
4.3.2 准备工作
使用对象存储迁移服务前,请参考本节介绍完成准备工作。
创建源端腾讯云和目的端华为云的访问密钥
● 源端腾讯云:检查腾讯云迁移账号是否拥有SecretId/SecretKey以及只读权限
(ReadOnlyAccess),如果没有,参考如下步骤生成SecretId/SecretKey并添加 权限。
a. 登录腾讯云访问管理控制台。
b. 在左导航栏中选择【用户>用户列表】,进入用户列表页面。
在用户列表页面,单击子用户操作列的授权,勾选ReadOnlyAccess,单击
“确定”。
● 目的端华为云:参见创建访问密钥(AK/SK)。
创建目的端桶
创建用于存放迁移数据的桶,具体操作参见创建桶。
(可选)迁移前评估
如果您的桶内数据容量超过3TB,数量超过500万个,建议使用迁移前评估功能,统计 桶内对象分布情况并估算迁移时间,具体操作参见评估桶内数据。
4.3.3 创建迁移任务
本节介绍创建迁移任务的操作步骤。
适用场景
适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创 建对象存储迁移任务,可将对象数据进行快速迁移。
说明
如果单个桶数据量大于3 TB或对象个数大于500万,建议您创建迁移任务组来进行迁移。
前提条件
● 已获取源端和目的端账号的AK/SK并授予相关权限。
– 源端桶对应账户需要的权限:只读权限(ReadOnlyAccess) 。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在OBS服务中创建桶。
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录华为云控制台。
步骤2 单击控制台左上角的 ,在下拉框中选择迁移目的端桶所在的Region,如图4-47所 示。
图4-47 选择目的端桶 Region
步骤3 单击控制台左侧“服务列表”,选择“迁移 > 对象存储迁移服务 OMS”,进入“对 象存储迁移服务”页面。
您也可以在搜索框中输入“OMS”,快速查找“对象存储迁移服务 OMS”,如图 4-48所示。
图4-48 选择对象存储迁移服务
步骤4 在“迁移任务”页面,单击页面右上角的“创建迁移任务”,如图4-49所示。
图4-49 创建迁移任务
步骤5 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建迁移任务”的“选择源端/目的端”页面,如图4-50所示。
图4-50 选择源端/目的端页面
步骤6 设置“选择源端”区域的参数,参见表4-15。
表4-15 设置源端参数
参数 设置
数据源 选择腾讯云。
appID 填写腾讯云APPID。
说明您可以在腾讯云控制台账号信息页面查看APPID。
访问密钥 填写源端腾讯云的访问密钥(SecretId)。
私有访问密钥 填写源端腾讯云的私有访问密钥(SecretKey)。
参数 设置
是否指定桶名 关闭“是否指定桶名”(默认设置)。
1. 单击“桶名”后的“连接源端桶”,在“桶名”中 列举您名下的所有桶。
2. 在“桶名”的下拉列表中选择需要迁移的桶。
说明当源端AK/SK没有列举桶权限时,需要开启“是否指定桶 名”。
开启“是否指定桶名”。
1. 在“选择区域”下拉框中选择源端桶所在区域。
2. 在“桶名与路径”文本框中输入源端桶名或带桶名 的路径。
说明输入的桶名不包含APPID。
3. 单击“连接源端桶”。
步骤7 设置“选择目的端”区域的参数,参见表4-16。
表4-16 设置目的端参数
参数 设置
访问密钥 填写目的端华为云的访问密钥(AK)。
私有访问密钥 填写目的端华为云的私有访问密钥(SK)。
填写访问密钥和私有访问密钥后,请单击“连接目的端 桶”。
桶名 选择存放迁移数据的华为云OBS桶。
步骤8 单击“下一步”,进入“设置任务参数”页面,如图4-51所示。
图4-51 设置任务参数页面
步骤9 根据下表迁移方式和适用场景说明,选择迁移方式。
迁移方式 适用场景 说明
选择文件/文件夹 已知迁移对象文件名或者
所在文件目录。 ● 选择文件夹:迁移勾选 文件夹下的所有对象。
● 选择文件:迁移勾选的 对象文件。
支持同时勾选文件夹和对 象文件进行迁移,若不勾 选,则默认迁移桶内的所 有对象。
迁移方式 适用场景 说明
指定对象列表 已知所有需要迁移对象的
文件名,并将所有文件名 放置在一个.txt文件中,上 传到华为云OBS桶。
● 列表文件所在桶(华为 云):必须与目的端桶 处于同一区域,否则将 无法选择对象列表文 件。
● 选择对象列表文件:选 择包含所有对象文件名 的.txt文件 。
说明
● 对象列表文件大小不能 超过1024MB。
● 对象列表文件中的首个 对象必须存在,否则会 预校验不通过。
● 对象列表文件必须是
“.txt”类型的文件,并 且该文件元数据中的
“ContentType”只能 为:“text/plain”。
● 对象列表文件必须是 UTF-8无BOM格式编码 格式。
● 对象列表文件中每行只 能包含一个对象名称,
并且对象名称使用URL Encode编码
● 对象列表文件中每行不 要添加无效空格,否则 会将空格作为对象名,
导致迁移失败。
● 对象列表文件中每行长 度不要超过65535,否则 会导致迁移失败。
● 对象列表文件的元数据 中不能设置
“ContentEncoding”,
否则会导致迁移失败。
● 对象列表文件如果是归 档数据,迁移前需要先 手动恢复,对象存储迁 移服务才能访问和获 取。
输入对象前缀 已知迁移对象的命名格
式,且需要迁移对象用相 同前缀命名。
前缀添加成功后,会迁移 桶中所有以该前缀开头的 对象。
若不添加该参数,则默认 迁移桶内的所有对象。
1. 单击桶名下方的“选择”按钮,弹出“选择文件/文件夹”窗口。
2. 勾选待迁移的文件夹,如图4-52所示;勾选待迁移的文件,如图4-53所示。
说明
支持同时勾选文件夹和对象文件进行迁移,若不勾选,则默认迁移桶内的所有对象。
图4-52 选择文件夹
图4-53 选择文件
3. 单击“确定”,所选文件/文件夹显示在下方,如图4-54所示。
图4-54 选择完成
步骤11 (可选)选择“指定对象列表”迁移方式。
1. 在“列表文件所在桶(华为云)”下拉列表中,选择存放列表文件的桶,如图 4-55所示。
注意
请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表 文件。
图4-55 选择列表文件所在桶
2. 在“选择对象列表文件”参数后面,单击“选择”按钮,弹出“选择对象列表文 件”窗口,选择包含所有对象文件名的.txt文件,单击“确定”,如图4-56所示。
图4-56 选择对象列表文件
步骤12 (可选)选择“输入对象前缀”迁移方式。
1. 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图4-57所 示。
图4-57 输入对象数据名称或名称前缀
2. 单击“添加”按钮,系统会自动匹配出数据,如图4-58所示。
图4-58 匹配数据
说明
您可以单击 ,从匹配到的迁移数据列表中删除不需要迁移的数据。若不添加该参数,则 默认迁移全桶的数据。
步骤13 (可选)单击“高级选项”后面“展开”,如图4-59所示。根据表4-17参数说明,设 置“高级选项”参数。