MaaS 对象数据迁移服务
产品介绍
文档版本 16
发布日期 2021-10-09
版权所有 © 华为技术有限公司 2021。 保留一切权利。
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传 播。
商标声明
和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标,由各自的所有人拥有。
注意
您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声 明或保证。
由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
目 录
1 什么是对象存储迁移服务...1
2 功能...2
3 优势...3
4 约束与限制... 4
5 和其他服务的关系... 5
6 隐私声明...6
7 计费说明...7
8 权限管理...10
9 功能特性...12
9.1 迁移任务... 12
9.2 迁移任务组... 13
9.3 迁移前评估... 14
9.4 同步任务... 14
10 个人数据保护机制...16
11 修订记录... 18
产品介绍 目 录
1 什么是对象存储迁移服务
对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移 服务,帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服 务(Object Storage Service,OBS)中。
说明
目前支持亚马逊云(中国)、阿里云、微软云、百度云、华为云、金山云、优刻得、青云、七牛 云、腾讯云平台的对象存储数据迁移。
对象存储迁移服务的典型应用场景有:
● 对象数据搬迁:将典型Web应用搬迁到华为云上时,把用户的对象存储数据搬迁 到华为云中。
● 云上容灾:出于灾备,把用户对象存储数据复制到华为云中。
● 对象数据恢复:利用其他云服务提供商备份的数据,恢复用户在华为云丢失的对 象存储数据。
产品介绍 1 什么是对象存储迁移服务
2 功能
对象选择
● 选择源端对象:支持多种对象选择方式,包括文件/文件夹、对象列表、指定对象 前缀。
● 按条件过滤源端对象:支持迁移指定时间后的源端对象。
多任务创建
● 对于大容量、大规模的对象迁移,对象存储迁移服务提供了迁移前评估功能,对 桶内的数据进行分析。
● 基于评估结果批量创建迁移任务,最大化利用服务的并发性能。
● 支持以组的方式对迁移任务进行管理。
高效传输
● 并行迁移:支持多对象并行迁移。
● 解冻归档数据:对于归档类型的对象存储,支持自动解冻该对象后进行迁移。
● 自定义域名迁移:支持使用源端桶自定义域名迁移。
● 记录失败对象:支持记录迁移失败对象,以及重传这些失败对象。
● 流量控制:支持对不同时段设置最大流量带宽。
● 断点续传:如果出现短暂的网络中断,支持手动重启迁移任务,从中断的位置继 续开始迁移任务,已迁移完成的数据无需重新迁移。
结果通知
对于耗时较长的迁移任务,您可以在创建迁移任务时,选择使用SMN消息通知功能,
以便当迁移任务结束后,您可以通过电子邮件、短信或者自定义URL等通知方式及时 了解迁移任务的结果。
产品介绍 2 功能
3 优势
对象存储迁移服务具备的优势主要有如下几点:
● 简单易用
对象存储迁移服务的使用方法简单,您通过登录管理控制台创建迁移任务后,即 可等待系统完成迁移,中途无需额外操作。
● 安全认证
对象存储迁移服务的鉴权支持AK/SK方式,启动数据传输时会充分认证身份的合 法性,避免数据被盗用。
说明
● 创建迁移任务时您需要输入AK/SK进行安全认证,校验成功后,系统才可以访问源端和 目的端的迁移数据,从而成功创建迁移任务。
● 迁移任务创建成功后,AK/SK会被加密存放在数据库中。加密AK/SK采用的是业界通用 的高级加密标准AES(Advanced Encryption Standard)。
● 当迁移任务失败、成功或者暂停时,会删除AK/SK。
● 如果迁移任务处于等待状态,则AK/SK会被暂时保存。AK/SK的最大保存时间为72小 时。
● 传输加密
对象存储迁移服务支持通过HTTPS加密在线传输数据,确保数据在传输过程中的 安全。
说明
源端云服务提供商可能只支持HTTP在线传输,请在迁移前及时了解。
● 存储加密
对象存储迁移服务可以对迁移后存储在华为云中的对象数据进行加密,使您的对 象数据存储更安全。
产品介绍 3 优势
4 约束与限制
● OMS默认迁移最新版本,暂不支持迁移多个版本的对象存储数据。
● OMS迁移任务限制如表4-1所示。
表4-1 OMS 迁移任务限制
类别 数量限制 类型限制
迁移任务 同一用户,单个Region内并发任务数最大 为5。
说明假设分别迁移对象存储数据到华北-北京一和华 南-广州时,总并发数为5*2=10个。
OMS当前针对对象元数 据迁移只支持Http协议标 准请求头:ContentType
24小时内,单个Region内最多创建迁移任 务数为5000个。
迁移任务 组
24小时内,单个Region内最多创建迁移任 务组数量为100个。
同步任务 同步任务和迁移任务、迁移任务组共用配 额,优先于迁移任务、迁移任务组下发。
并发执行同步中的任务数量最多为5个。
产品介绍 4 约束与限制
5 和其他服务的关系
对象存储迁移服务与其他服务的关系如表5-1所示。
表5-1 与其他服务的关系
交互功能 相关服务 位置
将源端对象数据迁移至华为
云创建的OBS桶中 对象存储服务(Object
Storage Service,OBS) 创建单个迁移任务 基于评估创建迁移任务 创建迁移任务组 将迁移到华为云OBS桶中的
文件进行KMS加密 数据加密服务(Data Encryption Workshop,
DEW)
及时获取迁移任务的结果 消息通知服务(Simple Message Notification,
SMN)
记录与对象存储迁移服务相 关的操作事件,便于日后的 查询、审计和回溯
云审计服务(Cloud Trace
Service,CTS) 查看审计日志
产品介绍 5 和其他服务的关系
6 隐私声明
请您在使用我们的产品(或服务)前,仔细阅读并了解本《隐私声明》。
本产品(或服务)的核心业务功能为对象存储数据迁移。
为了完成核心业务功能所需,您同意授权我们收集和使用您的个人信息或个人敏感信 息,包括源端云厂商AK和SK、CDN鉴权密钥、目的端华为云AK和SK,以及调用您的 华为云用户ID、项目ID和账号ID。
我们收集您的上述信息,将用于为您提供对象存储迁移服务。对于您的源端云厂商AK 和SK、CDN鉴权密钥、目的端华为云AK和SK,系统将于完成您的迁移服务后自动删除 上述信息。对于您的华为云用户ID、项目ID和账号ID,将保存至您注销华为云账号 时。
我们将会为您的上述信息采取相关安全保障措施,包括但不限于加密。
对于您提供的上述信息,华为云不进行对外共享、转让、公开披露,除非依据您的指 示或法律法规的强制性要求。
您有访问、更改、删除您上述信息的权利。对于您权利的行使,请通过提交工单的方 式联系我们。
上述所有信息均存储于您所选择的区域隶属的国家境内。
您应确保,您使用本迁移服务符合法律法规的要求。华为云仅按照您的指示,为您提 供标准迁移服务,并不对您使用迁移服务的合法合规性负责。
您理解上述信息均是为您提供服务之必需。如您选择不提供或不同意我们收集、使用 以上这些信息,将导致您无法正常使用我们的产品(或服务),我们将无法为您服 务。
如您有任何疑问,可通过提交工单的方式联系我们。
产品介绍 6 隐私声明
7 计费说明
计费方式
2022年7月1日前,对象存储迁移服务(Object Storage Migration Service,以下简称 OMS)处于免费期,免费期内使用OMS服务不收取任何费用。
免费期结束后,OMS服务将根据您使用的迁移流量进行收费,计费方式简单灵活、易 于预测。具体费用详情,请参见产品价格详情。
注意
迁移过程中会调用源端和目的端的对象存储服务的API进行数据的上传、下载,所以会 产生一定的API请求及下载流量费用,具体费用说明请参见API请求次数与下载与上传 流量费用。
下载与上传流量费用
数据迁移时,OMS会先将数据从源端下载,再将数据上传至OBS,这个过程会产生一 定的流量费用。
● 源端下载数据时,会产生流量费用,流量由数据的实际大小决定,费用由源端数 据所在云服务商收取。
说明
● 为节省您的费用,建议您开通CDN流量包或使用OMS多策略限速功能,在对象存储非 闲时采取限速。具体CDN流量包和闲时流量包费用,以各云服务商定价为准。
● 如果使用OMS的自动解冻功能,还会存在对象解冻/取回费用。
● 数据上传至华为云OBS不收取流量费用。
API 请求次数
OMS在数据迁移前需要对源端和目的端的文件进行对比;迁移时将源端数据下载后上 传到目的端;迁移完成后校验文件,会产生API请求。API请求分为每个对象基本请求+
公共请求(列举对象,上传失败对象列表,网络异常重试,自动解冻等)。不同场景 下,API请求次数不同。
产品介绍 7 计费说明
说明
若源端需要迁移的文件大于50 MB,则迁移数据时会将文件进行分段后再上传,单个分段大小为 50 MB,此时迁移数据的请求数根据迁移数据大小决定。例如,大小为200 MB的文件会被分成 四段上传,源端产生3次head,4次get,目的端产生2次head,5次put(4个分片上传+一次合 并)请求。
● 目的端不存在源端同名对象 – 对源端的操作
▪
迁移前判断对象是否存在+对比数据需要两次请求:head▪
迁移数据需要一次请求:get▪
迁移完成后校验数据需要一次请求:head – 对目的端的操作▪
迁移前对比数据需要一次请求(判断对象是否存在):head▪
迁移数据需要一次请求:put▪
迁移完成后校验数据需要一次请求:head● 目的端存在源端同名对象(大小一致,且目的端最后修改时间晚于源端最后修改 时间),重复对象,无需迁移。
– 对源端的操作
▪
迁移前判断对象是否存在+对比数据需要两次请求:head – 对目的端的操作▪
迁移前对比数据需要一次请求(判断对象是否存在):head● 目的端存在源端同名对象(大小不一致,或源端最后修改时间晚于目的端最后修 改时间),不同对象,目的端对象会被源端对象覆盖。
– 对源端的操作
▪
迁移前判断对象是否存在+对比数据需要两次请求:head▪
迁移数据需要一次请求:get▪
迁移完成后校验数据需要一次请求:head – 对目的端的操作▪
迁移前对比数据需要一次请求(判断对象是否存在):head▪
迁移数据需要一次请求:put▪
迁移完成后校验数据需要一次请求:head 说明产品介绍 7 计费说明
迁移费用=调用源端API次数 x 源端API调用单价+调用目的端API次数 x 目的端API调用 单价+对象总容量x 源端出口流量单价
● 调用源端API次数=(对象总数/1000)+对象总数 x 4
● 调用目的端API次数=对象总数 x 3
● 源端出口流量单价(根据源端云服务商套餐确定)
须知
华为云只负责收取调用目的端API的费用;调用源端API的费用和源端出口流量费 用均由源端云服务商收取。
产品介绍 7 计费说明
8 权限管理
如果您需要对华为云上的对象存储迁移服务(Object Storage Migration Service),
给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用 统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限 管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控 制华为云资源的访问。
通过IAM,您可以在华为云账号中给员工创建IAM用户,并使用策略来控制他们对华为 云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有对象存 储迁移服务(OMS)的使用权限,但是不希望他们拥有删除其他服务(如ECS)等高 危操作的权限,那么您可以使用IAM为开发人员创建用户,通过授予仅能使用OMS,
但是不允许删除ECS的权限,控制他们对OMS资源的使用范围。
如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您 可以跳过本章节,不影响您使用OMS的其它功能。
IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的 资源进行付费。关于IAM的详细介绍,请参见IAM产品介绍。
OMS 权限
默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并授予用 户组策略或角色,使得用户组中的用户获得对应的权限,这一过程称为授权。用户获 得对应权限后就可以对云服务进行操作。
说明
访问OMS时,需要先切换至授权区域。
授权时,“作用范围”需要选择“区域级项目”,在指定区域(如华北-北京1)对应 的项目(cn-north-1)中设置相关权限,该权限仅对此项目生效;如果在“所有项 目”中设置权限,则该权限在所有区域项目中都生效。
产品介绍 8 权限管理
表8-1 OMS 系统权限
角色名称 描述 类别 依赖关系
OMSAdministrat or
对象存储迁移服务所有 权限。
系统角色 依赖OBS
OperateAccess系统策 略。
源端桶权限获取
说明
以华为云OBS源端桶为例,如果源端桶为其他云服务商,请联系对应的云服务商工程师。
源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容。获取方式参见源端桶权限获取。
目的端桶权限获取
目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取 对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权 限获取。
产品介绍 8 权限管理
9 功能特性
9.1 迁移任务
适用场景
适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创 建对象存储迁移任务,可将对象数据进行快速迁移。
支持的源端云服务商和数据类型
迁移任务支持的源端云服务商和数据类型包括:
● 华为云
● 亚马逊云(中国)
● 阿里云
● 微软云
● 腾讯云
● 七牛云
● 青云
● 百度云
● 金山云
● 优刻得
● HTTP/HTTPS数据源
产品介绍 9 功能特性
功能 说明
查看迁移任务 创建迁移任务后,您可以随时查看迁移
的进度以及详情,以确定任务的执行状 态是否正常。
管理迁移任务 创建迁移任务后,您可以对迁移任务执
行暂停/恢复、重启、删除等操作。
9.2 迁移任务组
适用场景
适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源 端待迁移对象智能分解到多个迁移任务中并行迁移。
支持的源端云服务商和数据类型
迁移任务支持的源端云服务商和数据类型包括:
● 华为云
● 亚马逊云(中国)
● 阿里云
● 微软云
● 腾讯云
● 七牛云
● 青云
● 百度云
● 金山云
● 优刻得
● HTTP/HTTPS数据源
支持的功能
功能 说明
创建迁移任务组 将一个迁移任务智能拆分为多个迁移任
务,并以组的方式进行管理。
查看迁移任务组 创建迁移任务组后,您可以随时查看迁
移的进度以及详情,以确定任务组的执 行状态是否正常。
管理迁移任务组 创建迁移任务组后,您可以对迁移任务
执行暂停/恢复、重启等操作。
产品介绍 9 功能特性
9.3 迁移前评估
适用场景
迁移前评估主要用于在实际数据迁移前,统计桶内对象分布情况,估算迁移时间。
支持评估的云服务商
支持评估的云服务商包括:
● 华为云
● 阿里云
● 微软云
● 腾讯云
● 亚马逊云(中国)
● 七牛云
● 金山云
● 优刻得
● 百度云
支持的功能
功能 说明
评估桶内数据 统计桶内对象分布情况并估算迁移时
间,以便自动划分并创建迁移任务,最 大化利用服务的并发性能。
基于评估创建迁移任务 基于评估的结果,自动划分并创建迁移
任务。
9.4 同步任务
适用场景
同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发 器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步 接口,及时将数据同步到华为云OBS侧。
产品介绍 9 功能特性
● 华为云
● 亚马逊云(中国)
● 阿里云
● 微软云
● 腾讯云
● 七牛云
● 青云
● 百度云
● 金山云
● 优刻得
支持的功能
功能 说明
创建同步任务 填写源端和目的端AK/SK并配置同步任务参数。
源端配置同步请求 源端配置同步请求,以确保源端云服务提供商的对
象存储服务可以针对源端新增、修改对象实时调用 OMS同步接口(例如通过消息通知或函数计算服务 方式),以完成对源端新增、修改对象数据的同步迁 移。
监控同步任务状态 同步任务开始后,您可以随时查看同步的进度以及
详情,以确定同步迁移的执行状态是否正常。
产品介绍 9 功能特性
10 个人数据保护机制
为了确保您的个人数据(源端AK、源端SK、源端CDN秘钥、目的端AK、目的端SK)
不被未经过认证、授权的实体或者个人获取,对象存储迁移服务系统通过加密存储个 人数据、控制个人数据访问权限以及记录操作日志等方法防止个人数据泄露,保证您 的个人数据安全。
收集范围
对象存储迁移服务收集的个人数据如表10-1所示:
表10-1 个人数据范围列表
类型 收集方式及目的 是否可
以修改 是否必须 生命周期 源端AK(Acces
s Key)
用户在界面输入,
用于鉴权认证
否 是,使用
HTTP/HTTPS 数据源时为非 必须
迁移完成、迁移失 败、暂停时删除。
源端SK(Secret Key)
用户在界面输入,
用于鉴权认证
否
源端CDN 秘钥
用户在界面输入,
用于鉴权认证
否 否,CDN迁移 场景下为必须 目的端AK(Acces
s Key)
用户在界面输入,
用于鉴权认证
否 是
目的端SK(Secret Key)
用户在界面输入,
用于鉴权认证
否 是
产品介绍 10 个人数据保护机制
访问权限控制
用户个人数据通过加密后存储在对象存储迁移服务数据库中,数据库的访问需要通过 白名单的认证与授权。
API 接口限制
用户调用API接口时,需要使用IAM Token进行认证。
产品介绍 10 个人数据保护机制
11 修订记录
发布日期 修订记录
2021-10-09 第十六次正式发布。
计费说明章节新增“估算迁移费用”。
2021-04-23 第十五次正式发布。
优化约束与限制章节。
2021-03-18 第十四次正式发布。
新增功能特性章节。
2021-03-10 第十三次正式发布。
权限管理章节内容优化。
2021-01-14 第十二次正式发布。
计费说明章节内容优化。
2020-08-06 第十一次正式发布。
计费说明章节内容优化。
2020-06-19 第十次正式发布。
新增个人数据保护机制章节。
2020-04-01 第九次正式发布。
新增计费说明章节。
2020-02-10 第八次正式发布。
新增权限管理章节。
2019-10-15 第七次正式发布。
产品介绍 11 修订记录
发布日期 修订记录
2019-07-05 第五次正式发布。
增加隐私声明一节。
2019-04-29 第四次正式发布。
● 在什么是对象存储迁移服务中,增加应用场景。
● 在什么是对象存储迁移服务中,删除同名覆盖说明,内容移至 常见问题。
● 在功能中,更新功能表述。
● 在和其他服务的关系中,增加数据加密服务。
2019-04-17 第三次正式发布。
● 在什么是对象存储迁移服务中,更新同名覆盖的说明。
● 在和其他服务的关系中,采用表格进行描述。
● 在功能中,新增迁移评估。
2018-12-21 第二次正式发布。
在优势中,对传输加密功能增加说明。
2018-04-09 第一次正式发布。
产品介绍 11 修订记录