用户指南
文档版本 14
发布日期 2021-06-21
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传 播。
商标声明
和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标,由各自的所有人拥有。
注意
您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声 明或保证。
由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
目 录
1 权限管理...1
1.1 创建用户并使用 OMS... 1
2 迁移任务...3
2.1 创建迁移任务... 3
2.2 查看迁移任务...13
2.3 管理迁移任务...14
3 迁移任务组...16
3.1 创建迁移任务组... 16
3.2 查看迁移任务组... 25
3.3 管理迁移任务组... 26
4 迁移前评估...28
4.1 评估桶内数据...28
4.2 基于评估创建迁移任务... 30
5 同步任务...33
5.1 创建同步任务...33
5.2 源端配置同步请求... 38
5.3 监控同步任务状态... 45
6 查看审计日志...48
7 修订记录...49
1 权限管理
1.1 创建用户并使用 OMS
如果您需要对您所拥有的OMS进行精细的权限管理,您可以使用统一身份认证服务
(Identity and Access Management,简称IAM),通过IAM,您可以:
● 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建 IAM用户,让员工拥有唯一安全凭证,并使用OMS。
● 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。
● 将OMS委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务 可以根据权限进行代运维。
如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章 节,不影响您使用OMS的其它功能。
本章节为您介绍对用户授权的方法,操作流程如图1-1所示。
前提条件
给用户组授权之前,请您了解用户组可以添加的OMS权限,并结合实际需求进行选 择,OMS支持的系统权限,请参见:OMS系统权限。若您需要对除OMS之外的其它 服务授权,IAM支持服务的所有权限请参见权限策略。
示例流程
图1-1 给用户授权 OMS 权限流程
1. 创建用户组并授权
在IAM控制台创建用户组,并授予对象存储迁移服务“OMS Administrator”与
“OBS OperateAccess”。
2. 创建用户并加入用户组
在IAM控制台创建用户,并将其加入1中创建的用户组。
3. 用户登录并验证权限
新创建的用户登录控制台,切换至授权区域,验证权限:
– 在“服务列表”中选择对象存储迁移服务,进入对象存储迁移服务主界面,
单击右上角“创建迁移任务”,如果可以创建迁移任务,表示“OMS Administrator”已生效。
– 在“服务列表”中选择除对象存储迁移服务外(假设当前策略仅包含OMS Administrator)的任一服务,若提示权限不足,表示“OMS
Administrator”已生效。
2 迁移任务
适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创 建对象存储迁移任务,可将对象数据进行快速迁移。
对客户开放迁移任务API,客户可根据自身业务诉求进行定制化开发,例如周期性定时 创建同步任务。
2.1 创建迁移任务
操作场景
使用对象存储迁移服务创建对象存储任务,对您的对象数据实施迁移。
背景信息
对象存储迁移服务支持以下的源端云服务商或数据源类型:
● 华为云
● 亚马逊云(中国)
● 阿里云
● 微软云
● 腾讯云
● 七牛云
● 青云
● 百度云
● 金山云
● 优刻得
● HTTP/HTTPS数据源
迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产 生的费用都遵从源端云服务提供商的计费规则并由其向您收取。
前提条件
● 已获取源端和目的端账号的AK/SK。
– 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对 象元数据,获取对象内容。获取方式参见源端桶权限获取。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在OBS服务中创建桶。
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录管理控制台。
步骤2 单击管理控制台左上角的 ,在下拉框中选择区域。
步骤3 单击“服务列表”,选择“迁移 > 对象存储迁移服务”。
进入“对象存储迁移服务”页面。
步骤4 单击 “创建迁移任务”。
仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建迁移任务”页面。
步骤5 选择源端/目的端。
1. 选择源端,具体参数参见表2-1。
表2-1 源端选择参数
参数 说明
数据源 待迁移的源端云服务提供商。
(可选)appID 当源端云服务提供商为腾讯云,则需要输入该参数,
appID 是您腾讯云帐户的一个标识。
访问密钥 源端云服务提供商的访问密钥(AK)。最大长度是100 个字符。
私有访问密钥 源端云服务提供商的私有访问密钥(SK),与AK相匹 配。最大长度是100个字符。
是否指定桶名 当您不具备列举桶权限,但具有列举桶中对象、获取
表2-2 “是否指定桶名”的设置说明
如果... 那么...
开启“是否指定桶名” 1. 在“选择区域”下拉框中选择源端桶所在 区域。
2. 在“桶名或路径”文本框中输入源端桶名 或带桶名的路径。
3. 单击“连接源端桶”。
说明
对象存储迁移服务将检查源端信息填写是否正 确。如果填写正确,会提示连接桶成功。
关闭“是否指定桶名”(默认设 置)
1. 单击“连接源端桶”。
对象存储迁移服务将检查源端信息填写是 否正确。如果填写正确,且您的账号具有 列举桶名的权限,则会在“桶名”中列举 您名下的所有桶。
2. 在“桶名”中选择待迁移数据所在的桶。
说明当源端AK/SK没有列举桶权限时,需要开启“是否 指定桶名”。
2. 选择目的端,具体参数参见表2-3。
表2-3 目的端选择参数
参数 说明
访问密钥 华为云的访问密钥(AK)。最大长度是100个字符。
私有访问密钥 华为云的私有访问密钥(SK),与AK相匹配。最大长 度是100个字符。
输入访问密钥和私有访问密钥后,请单击“连接目的 端桶”。
桶名 存放迁移数据的华为云OBS桶。
步骤6 单击“下一步”,设置任务参数。
步骤7 选择迁移方式。
如果... 那么...
选择文件/文件夹 单击“选择”,选择待迁移的文件或文 件夹后,单击“确定”。对于已选择的 文件或文件夹,您可以单击 从迁移对 象列表中删除。
说明
● 如果选择的云服务提供商为七牛,则不支 持选择文件/文件夹。
● 若不设置该参数,则默认迁移全桶数据。
● 针对每个迁移任务,在同一目录层级下,
您最多可以选择500个文件或文件夹。
● 由于OBS服务的规格限制,请确认对象迁 移到目的端后的名称不超过1024个字符,
否则将导致任务失败。
如果... 那么...
指定对象列表 指定对象列表方式,一般用于增量迁移
场景,用户需要将待迁移的源端对象名 称写入对象列表文件,并将生成的对象 列表文件放在华为云obs桶中,对象存储 迁移服务将会迁移指定对象列表文件中 的所有对象。
1. 选择“列表文件所在桶(华为 云)”。
说明此参数中列出的桶是通过步骤5.2中输入 的目的端AK/SK得到的桶列表。
请确保列表文件所在桶与目的端桶处于同 一区域,否则后续将无法选择对象列表文 件。
2. 在“对象列表文件”区域内单击“选 择”,选择用户指定的对象列表文 件,单击“确定”。
说明
● 对象列表文件大小不能超过1024MB。
● 对象列表文件必须是“.txt”类型的文 件,并且该文件元数据中的
“ContentType”只能为:“text/
plain”。
● 对象列表文件必须是UTF-8无BOM格式编 码格式。
● 对象列表文件中每行只能包含一个对象名 称,并且对象名称使用URL Encode编码
● 对象列表文件中每行不要添加无效空格,
否则会将空格作为对象名,导致迁移失 败。
● 对象列表文件中每行长度不要超过 65535,否则会导致迁移失败。
● 对象列表文件的元数据中不能设置
“ContentEncoding”,否则会导致迁移 失败。
● 对象列表文件如果是归档数据,迁移前需 要先手动恢复,对象存储迁移服务才能访 问和获取。
输入对象前缀 在“添加对象数据”区域内输入对象数
据名称或者名称前缀,系统会自动匹配 出数据。您可以单击 ,从这些匹配到 的迁移数据列表中删除不需要迁移的数 据。
说明
若不添加该参数,则默认迁移全桶的数据。
如果... 那么...
指定URL列表 指定URL列表方式,一般适用于HTTP或 HTTPS源端的迁移场景,用户需要将待 迁移的文件URL和目的端对象名称写入 URL列表文件,并将生成的URL列表文件 放在华为云OBS桶中,对象存储迁移服 务将会迁移指定URL列表文件中的所有对 象。
1. 选择“列表文件所在桶(华为 云)”。
说明
– 此参数中列出的桶是通过步骤5.2中输 入的目的端AK/SK得到的桶列表。
– 请确保列表文件所在桶与目的端桶处 于同一区域,否则后续将无法选择对 象列表文件。
– 出于安全考虑,若您的源端同时支持 HTTP和HTTPS协议,建议迁移时使用 HTTPS协议;若使用HTTP协议,会存 在数据可能会被监听窃取、数据被篡 改、中间人重放攻击等风险。
– 如果待迁移内容为非公开内容时,建 议不要将源端数据公开,采用其他非 HTTP/HTTPS方式进行迁移。
– URL列表迁移不支持URL重定向。
2. 在“选择URL列表文件”区域内单击
“选择”,选择用户指定的URL列表 文件,单击“确定”。
如果... 那么...
说明
– URL列表文件大小不能超过1024MB。
– URL列表文件必须是“.txt”类型的文 件,并且该文件元数据中的
“ContentType”只能为:“text/
plain”。
– URL列表文件必须是UTF-8无BOM格 式编码格式。
– URL列表文件中每行只能包含一个URL 和目的端对象名称。
– URL列表文件中每行长度不要超过 65535,否则会导致迁移失败。
– URL列表文件的元数据中不能设置
“ContentEncoding”,否则会导致 迁移失败。
– URL列表文件中每行使用制表符\t分割 URL和目的端对象名称,格式为:
[URL][制表符][目的端对象名称],其 中源端对象名称如果包含中文、特殊 字符必须使用URL Encode编码,例 如:http://xxx.obs.myhuaweicloud.com/doc
%2f%e6%96%87%e4%bb%b61.txt doc
%2f%e6%96%87%e4%bb%b61.txt http://xxx.obs.myhuaweicloud.com/doc
%2fthefile2.txt doc%2fthefile2.txt http://xxx.obs.myhuaweicloud.com/the
%20file.txt the%20file.txt
http://xxx.obs.myhuaweicloud.com/the
%20file2.txt the+file2.txt
http://xxx.obs.myhuaweicloud.com/doc
%2fthefile.txt doc/thefile.txt
注意:URL与目的端对象名称之间使 用一个制表符(键盘上Tab键)进行 分割,请勿使用空格。
以上示例中,URL所表示的文件,被 复制到目的端桶后,对象会被分别命 名为:doc/文件doc/thefile2.txt、the file.txt、the file2.txt以及doc/
thefile.txt。
– URL列表文件中每行不要添加无效空 格,否则会将空格作为对象名,导致 迁移失败。
步骤8 (可选)设置“源端参数”。
当您的源端云服务提供商提供了表2-4中首列相应的功能时,才会出现此部分参数。
表2-4 源端参数
参数 说明
源端使用自定义域 名下载
当默认域名不能满足您的迁移需求,比如您需要一个自定义域 名以便使用CDN降低源端出口下载流量的费用,且您的源端云 服务提供商支持自定义域名时,可以勾选此选项。
说明
● 如果使用了防盗链,建议关闭防盗链或联系华为云技术支持。
● 当源端云服务提供商是七牛云时,因其对默认域名的使用做了限 制,为确保您的迁移顺利进行,系统已为您自动勾选此参数。
勾选此选项后,进行如下设置:
1. 在“自定义域名传输协议”中选择传输协议。
说明HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。
如果待迁移内容为非公开内容时,建议不要将源端数据公开,采用 其他非HTTP/HTTPS方式进行迁移。
2. 填写“桶自定义域名”。
3. 如果您使用了源端云服务提供商提供的CDN鉴权,则选择
“启用CDN鉴权校验”,并配置校验类型和秘钥。
说明
– 您需要参见源端云服务提供商的相关资料配置CDN后,才能使 用CDN相关功能。
– 使用源端CDN产生的费用遵从源端云服务提供商的计费规则,
费用由源端云服务提供商向您收取。
– 不支持URl重定向。
4. 单击“检查”,检查配置是否正确。
– 如果检查未通过,请单击“详情”查看未通过的原因。
– 如果检查通过,则可继续进行其他迁移配置。
参数 说明
解冻归档数据 归档类型的对象存储要实现迁移,必须预先解冻。当您的源端 云服务提供商支持自动解冻归档类型数据时,可以勾选此选 项。
● 勾选:如果遇到归档类型对象,则自动解冻该对象并进行 迁移。如果解冻失败,则判定该对象迁移失败并跳过,继 续迁移其余对象。
● 不勾选:如果遇到归档类型对象,则直接判定该对象迁移 失败并跳过,继续迁移其余对象。
说明
● 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里 云、金山云、腾讯云。
● 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默 认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参 考各云服务提供商的相关文档。
● 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是 归档数据取回费用,这些均由源端云服务提供商向您收取。
● 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下 载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考 各云服务提供商的相关文档。
● 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目 的端桶的存储类型保持一致,与源端对象存储类型无关。
步骤9 单击“高级选项”后面“展开”,展开高级选项参数。
步骤10 (可选)设置高级选项参数。
表2-5 高级选项参数
参数 说明
服务端加密 如果勾选“KMS”,对迁移数据进行KMS服务端加密后再 存储至目的OBS桶中。
说明使用KMS服务端加密可能会降低迁移速率10%左右。
当前区域支持KMS加密时,此参数方可用。
参数 说明
记录失败对象 选择是否记录迁移失败的对象。
● 选择“否”,则不记录迁移失败的对象。如果迁移失 败,只能全量重传。
● 选择“是”,记录迁移失败的对象。如果迁移失败,支 持只对迁移失败对象进行重传。
说明
迁移失败的对象将被记录在一个以任务名称命名的失败对象列表 文件中,普通任务和任务组任务都会上传到目的端桶的“oms/
failed_object_lists/”路径下。
该文件记录了迁移任务失败的摘要信息,包括:失败原因、发生 时间(参照当前区域所属时区)、失败对象(经过URL编码)、
失败对象(未经过URL编码)、源端SDK返回的错误码。
当迁移失败对象重传成功后,失败对象列表文件仍会保留在目的 端。您如果不再需要该文件,请手动删除。
迁移指定时间后的对象 选择是否使用时间过滤源端待迁移对象。
● 选择“否”,不过滤源端待迁移对象。
● 选择“是”,仅迁移在指定时间之后修改的源端待迁移 对象。需要单击 ,设置迁移指定时间。
发送通知 选择是否使用SMN消息通知功能,该功能可以通知您迁移 任务的结果。
● 选择“否”,不接收SMN消息。
● 选择“是”,接收SMN消息。
需要执行以下步骤:
1. 单击“SMN主题”所在行的“添加”,弹出“选择 SMN主题”对话框。
2. 选择接收SMN消息的主题,单击“确定”完成选 择。如果您所选的SMN主题没有对对象存储迁移服务授 权,单击“确定”则会弹出“警告”对话框。如果 需要授权,请单击“是”为对象存储迁移服务授 权,否则请单击“否”返回“选择SMN主题”页 面,选择其他SMN主题。
3. 设置“触发条件”参数。您可以只勾选其中一个参 数或者两个参数都勾选。
– “迁移成功”表示迁移任务成功时发送SMN消息通 知。
– “迁移失败”表示迁移任务失败时发送SMN消息通 知。
说明如果您无法正常使用SMN消息通知功能,请参见SMN消息通 知功能无法正常使用怎么办?。
参数 说明
流量控制 设置迁移任务在指定时段的最大流量带宽。
● 选择“否”,不进行流量控制。
● 选择“是”,进行流量控制。
需要执行以下步骤:
1. 单击“新增流量控制”。
下方新增一条规则记录。
2. 在“开始时间”、“结束时间”和“限制最大流 量”文本框中输入数值。
限制最大流量的数值范围:1~ 200MB/s 。 3. 重复1. ~2. ,增加新的流量控制规则。
您也可以单击“操作”栏的 ,删除本行记录。
说明最多可以创建5条记录。
即使在创建任务后,您也可以在任务详情中继续设置流量 控制规则。
描述 输入本次迁移任务的简单描述信息。
最多可输入255个字符。
步骤11 单击“下一步”,进入确认信息页面。
步骤12 确认迁移信息的设置,并启动迁移。
1. 浏览各项迁移参数的设置是否正确。
如果有误,可以单击“上一步”返回之前的页面进行修改。
2. 单击“开始迁移”。
提示创建迁移任务成功。查看迁移任务列表已新增该任务。
关于迁移任务状态,参见查看迁移任务。
说明
任务创建后,会生成一个任务ID供您快速识别。它显示在列表中任务的左上角,由源端桶 名+目的端桶名+时间序列标识拼接而成。
----结束
2.2 查看迁移任务
操作场景
创建迁移任务后,您可以随时查看迁移的进度以及详情,以确定任务的执行状态是否 正常。
操作步骤
步骤1 登录管理控制台,进入“对象存储迁移服务”页面。
步骤2 在迁移任务列表的右上角,设置条件过滤迁移任务。
● 迁移任务组ID:如果迁移任务通过创建迁移任务组生成,输入任务组ID,可以筛 选出该任务组下面的所有迁移任务。
任务组ID的具体信息,需要从迁移任务组页面获取。
● 任务状态:各状态说明参见表2-6。
表2-6 迁移任务状态
状态 说明
等待中 迁移任务创建后正在进行后台初始化操作或等待其他正在 迁移中的任务完成。
迁移中 迁移任务进行中,对象数据正在从其他云服务商迁移至华 为云。
暂停中 迁移任务暂停,可手动恢复任务。
迁移成功 迁移任务已正常迁移完成。
迁移失败 迁移任务失败,未成功完成迁移。失败的任务可手动重 启。
步骤3 单击某一个迁移任务右下角的“详情”,查看该迁移任务的详情。
说明
迁移任务详情包含了迁移的对象数量,以及您在创建迁移任务时的各项参数信息。
您可以单击带有链接的目的端桶名,进入OBS桶中查看已迁移到华为云的对象存储数据。
对于迁移中的任务,如果开启了流量控制,可以单击“流量控制”旁边的 ,继续设置当前任 务的流量控制规则。
----结束
2.3 管理迁移任务
操作场景
创建迁移任务后,您可以对迁移任务执行暂停/恢复、重启、删除等操作。
操作步骤
步骤1 登录管理控制台,进入“对象存储迁移服务”页面。
步骤2 对目标迁移任务进行操作。
表2-7 管理迁移任务
项目 场景 操作
暂停迁移任务 因故暂停正在迁移的任务,比 如:
● 当迁移任务并发数超过系统 的限制时,暂停部分次要迁 移任务,优先执行重要的迁 移任务。
● 当需要增加迁移对象时,可 以暂停迁移任务,在尚未迁 移的源端区域添加对象后,
再恢复迁移。
1. 单击 。
2. 仔细阅读弹出窗口中的内容 后单击“确定”,暂停该迁 移任务。
任务状态显示为“暂停 中”。
恢复迁移任务 对于暂停的迁移任务,您可以手
动恢复,继续迁移。 1. 单击 。
2. 在弹出窗口中输入源端和目 的端的AK、SK后,单击“确 定”。
说明如果启用了CDN鉴权,还需要 输入校验秘钥。
任务状态显示为“迁移 中”。
重启迁移任务 当迁移任务失败时,您可以手动 重启迁移失败的任务,重新执行 迁移。
1. 单击 。
2. 在弹出窗口中输入源端和目 的端的AK、SK后,单击“确 定”。
说明
– 如果设置了记录失败对象,
还需要选择迁移范围,包括 所有对象和失败对象。
– 如果启用了CDN鉴权,还需 要输入校验秘钥。
任务状态显示为“迁移 中”。
删除迁移任务 若您无需再继续迁移,或者需要 清理历史迁移任务,可以删除非 迁移中的任务。
说明
如果任务正在迁移,请暂停迁移任 务后再进行删除。
1. 单击 。
删除的迁移任务从当前任务 列表中消失。
----结束
3 迁移任务组
适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源 端待迁移对象智能分解到多个迁移任务中并行迁移。以组的方式进行管理,包括进度 查询,暂停恢复,失败重启等。
说明
迁移任务组相较于迁移任务,提供更快的迁移速度和可靠性,便于灵活识别异常对象并快速恢 复。
3.1 创建迁移任务组
操作场景
将一个迁移任务智能拆分为多个迁移任务,并以组的方式进行管理。
前提条件
● 已获取源端和目的端账号的AK/SK。
– 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对 象元数据,获取对象内容。获取方式参见源端桶权限获取。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在华为云OBS服务中创建桶。
● 24小时内,单个Region内创建迁移任务组数量未满100个。
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 已在华为云注册账号,并完成实名认证。
右侧切换到“迁移任务组”页面。
步骤3 单击“创建迁移任务组”。
仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建迁移任务组”页面。
步骤4 选择源端/目的端。
1. 选择源端,具体参数参见表3-1。
表3-1 源端选择参数
参数 说明
数据源 待迁移的源端云服务提供商。
(可选)appID 当源端云服务提供商为腾讯云,则需要输入该参数,
appID 是您腾讯云帐户的一个标识。
访问密钥 源端云服务提供商的访问密钥(AK)。最大长度是100 个字符。
私有访问密钥 源端云服务提供商的私有访问密钥(SK),与AK相匹 配。最大长度是100个字符。
是否指定桶名 当您不具备列举桶权限,但具有列举桶中对象、获取 对象元数据和获取对象权限时可以开启此参数,通过 指定源端桶的路径来进行迁移。
设置说明参见表3-2。
表3-2 “是否指定桶名”的设置说明
如果... 那么...
开启“是否指定桶名” 1. 在“选择区域”下拉框中选择源端桶所在 区域。
2. 在“桶名或路径”文本框中输入源端桶名 或带桶名的路径。
3. 单击“连接源端桶”。
说明
对象存储迁移服务将检查源端信息填写是否正 确。如果填写正确,会提示连接桶成功。
关闭“是否指定桶名”(默认设
置) 1. 单击“连接源端桶”。
对象存储迁移服务将检查源端信息填写是 否正确。如果填写正确,且您的账号具有 列举桶名的权限,则会在“桶名”中列举 您名下的所有桶。
2. 在“桶名”中选择待迁移数据所在的桶。
2. 选择目的端,具体参数参见表3-3。
表3-3 目的端选择参数
参数 说明
访问密钥 华为云的访问密钥(AK)。最大长度是100个字符。
私有访问密钥 华为云的私有访问密钥(SK),与AK相匹配。最大长 度是100个字符。
输入访问密钥和私有访问密钥后,请单击“连接目的 端桶”。
桶名 存放迁移数据的华为云OBS桶。
步骤5 单击“下一步”,设置任务参数。
步骤6 选择迁移方式。
如果... 那么...
输入对象前缀 在“添加对象数据”区域内输入对象数
据名称或者名称前缀,系统会自动匹配 出数据。您可以单击 ,从这些匹配到 的迁移数据列表中删除不需要迁移的数 据。
说明
若不添加该参数,则默认迁移全桶的数据。
待迁移的对象会被记录在txt类型的列表文件 中(每个迁移任务对应一个列表文件),并 存放在目的端桶的“oms/taskgroup/”路径 下。当任务组迁移完成后,这些列表文件会 保留下来,您可以手动删除它们。
如果... 那么...
指定对象列表目录 指定对象列表方式,一般用于增量迁移 场景,用户需要将待迁移的源端对象名 称写入对象列表文件,并将生成的对象 列表文件放在华为云OBS桶中,对象存 储迁移服务将会迁移指定对象列表文件 中的所有对象。
1. 选择“列表目录所在桶(华为 云)”。
说明此参数中列出的桶是通过步骤4.2中输入 的目的端AK/SK得到的桶列表。
请确保列表文件所在桶与目的端桶处于同 一区域,否则后续将无法选择对象列表文 件。
2. 在“选择对象列表目录”区域内单击
“选择”,选择用户指定的对象列表 文件,单击“确定”。
说明
● 对象列表文件大小不能超过1024 MB。
● 对象列表文件必须是“.txt”类型的文 件,并且该文件元数据中的
“ContentType”只能为:“text/
plain”。
● 对象列表文件必须是UTF-8无BOM格式编 码格式。
● 对象列表文件中每行只能包含一个对象名 称,并且对象名称使用URL Encode编 码。
● 对象列表文件中每行不要添加无效空格,
否则会将空格作为对象名,导致迁移失 败。
● 对象列表文件中每行长度不要超过 65535,否则会导致迁移失败。
● 对象列表文件的元数据中不能设置
“ContentEncoding”,否则会导致迁移 失败。
● 对象列表文件如果是归档数据,迁移前需 要先手动恢复,对象存储迁移服务才能访 问和获取。
如果... 那么...
指定URL列表目录 指定URL列表目录方式,一般适用于 HTTP或HTTPS源端的迁移场景,用户需 要将待迁移的文件URL和目的端对象名称 写入一个或多个URL列表文件(单个列表 文件大小不能超过1 GB),并将生成的 URL列表文件放在华为云OBS桶的指定目 录中(目录下的文件个数不能超过2000 个且必须是“.txt”类型的文件),对象 存储迁移服务将会迁移OBS桶指定目录 下所有URL列表文件中的对象。
1. 选择“列表目录所在桶(华为 云)”。
说明
– 此参数中列出的桶是通过步骤4.2中输 入的目的端AK/SK得到的桶列表。
– 请确保列表文件所在桶与目的端桶处 于同一区域,否则后续将无法选择对 象列表文件。
– 出于安全考虑,若您的源端同时支持 HTTP和HTTPS协议,建议迁移时使用 HTTPS协议;若使用HTTP协议,会存 在数据可能会被监听窃取、数据被篡 改、中间人重放攻击等风险。
– 如果待迁移内容为非公开内容时,建 议不要将源端数据公开,采用其他非 HTTP/HTTPS方式进行迁移。
– URL列表迁移不支持URL重定向。
2. 在“选择URL列表目录”区域内单击
“选择”,选择用户指定的URL列表 文件,单击“确定”。
如果... 那么...
说明
– 单个URL列表文件大小不能超过1024 MB。
– 所选URL目录下的文件个数不能超过 2000个。
– URL列表文件必须是“.txt”类型的文 件,并且该文件元数据中的
“ContentType”只能为:“text/
plain”。
– URL列表文件必须是UTF-8无BOM格 式编码格式。
– URL列表文件中每行只能包含一个URL 和目的端对象名称。
– URL列表文件中每行长度不要超过 65535,否则会导致迁移失败。
– URL列表文件的元数据中不能设置
“ContentEncoding”,否则会导致 迁移失败。
– URL列表文件中每行使用制表符\t分割 URL和目的端对象名称,格式为:
[URL][制表符][目的端对象名称],其 中源端对象名称如果包含中文、特殊 字符必须使用URL Encode编码,例 如:http://xxx.obs.myhuaweicloud.com/doc
%2f%e6%96%87%e4%bb%b61.txt doc
%2f%e6%96%87%e4%bb%b61.txt http://xxx.obs.myhuaweicloud.com/doc
%2fthefile2.txt doc%2fthefile2.txt http://xxx.obs.myhuaweicloud.com/the
%20file.txt the%20file.txt
http://xxx.obs.myhuaweicloud.com/the
%20file2.txt the+file2.txt
http://xxx.obs.myhuaweicloud.com/doc
%2fthefile.txt doc/thefile.txt
注意:URL与目的端对象名称之间使 用一个制表符(键盘上Tab键)进行 分割,请勿使用空格。
以上示例中,URL所表示的文件,被 复制到目的端桶后,对象会被分别命 名为:doc/文件doc/thefile2.txt、the file.txt、the file2.txt以及doc/
thefile.txt。
– URL列表文件中每行不要添加无效空 格,否则会将空格作为对象名,导致 迁移失败。
步骤7 (可选)设置“源端参数”。
当您的源端云服务提供商提供了表3-4中首列相应的功能时,才会出现此部分参数。
表3-4 源端参数
参数 说明
源端使用自定义域 名下载
当默认域名不能满足您的迁移需求,比如您需要一个自定义域 名以便使用CDN降低源端出口下载流量的费用,且您的源端云 服务提供商支持自定义域名时,可以勾选此选项。
说明
● 如果使用了防盗链,建议关闭防盗链或联系华为云技术支持。
● 当源端云服务提供商是七牛云时,因其对默认域名的使用做了限 制,为确保您的迁移顺利进行,系统已为您自动勾选此参数。
勾选此选项后,进行如下设置:
1. 在“自定义域名传输协议”中选择传输协议。
说明HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。
如果待迁移内容为非公开内容时,建议不要将源端数据公开,采用 其他非HTTP/HTTPS方式进行迁移。
2. 填写“桶自定义域名”。
3. 如果您使用了源端云服务提供商提供的CDN鉴权,则选择
“启用CDN鉴权校验”,并配置校验类型和秘钥。
说明
– 您需要参见源端云服务提供商的相关资料配置CDN后,才能使 用CDN相关功能。
– 使用源端CDN产生的费用遵从源端云服务提供商的计费规则,
费用由源端云服务提供商向您收取。
– 不支持URl重定向。
4. 单击“检查”,检查配置是否正确。
– 如果检查未通过,请单击“详情”查看未通过的原因。
– 如果检查通过,则可继续进行其他迁移配置。
参数 说明
解冻归档数据 归档类型的对象存储要实现迁移,必须预先解冻。当您的源端 云服务提供商支持自动解冻归档类型数据时,可以勾选此选 项。
● 勾选:如果遇到归档类型对象,则自动解冻该对象并进行 迁移。如果解冻失败,则判定该对象迁移失败并跳过,继 续迁移其余对象。
● 不勾选:如果遇到归档类型对象,则直接判定该对象迁移 失败并跳过,继续迁移其余对象。
说明
● 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里 云、金山云、腾讯云。
● 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默 认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参 考各云服务提供商的相关文档。
● 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是 归档数据取回费用,这些均由源端云服务提供商向您收取。
● 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下 载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考 各云服务提供商的相关文档。
● 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目 的端桶的存储类型保持一致,与源端对象存储类型无关。
步骤8 单击“高级选项”后面“展开”,展开高级选项参数。
步骤9 (可选)设置高级选项参数。
表3-5 高级选项参数
参数 说明
服务端加密 如果勾选“KMS”,对迁移数据进行KMS服务端加密后再 存储至目的OBS桶中。
说明使用KMS服务端加密可能会降低迁移速率10%左右。
当前区域支持KMS加密时,此参数方可用。
参数 说明
记录失败对象 选择是否记录迁移失败的对象。
● 选择“否”,则不记录迁移失败的对象。如果迁移失 败,只能全量重传。
● 选择“是”,记录迁移失败的对象。如果迁移失败,支 持只对迁移失败对象进行重传。
说明
迁移失败的对象将被记录在一个以任务名称命名的失败对象列表 文件中,普通任务和任务组任务都会上传到目的端桶的“oms/
failed_object_lists/”路径下。
该文件记录了迁移任务失败的摘要信息,包括:失败原因、发生 时间(参照当前区域所属时区)、失败对象(经过URL编码)、
失败对象(未经过URL编码)、源端SDK返回的错误码。
当迁移失败对象重传成功后,失败对象列表文件仍会保留在目的 端。您如果不再需要该文件,请手动删除。
迁移指定时间后的对象 选择是否使用时间过滤源端待迁移对象。
● 选择“否”,不过滤源端待迁移对象。
● 选择“是”,仅迁移在指定时间之后修改的源端待迁移 对象。需要单击 ,设置迁移指定时间。
发送通知 选择是否使用SMN消息通知功能,该功能可以通知您迁移 任务的结果。
● 选择“否”,不接收SMN消息。
● 选择“是”,接收SMN消息。
需要执行以下步骤:
1. 单击“SMN主题”所在行的“添加”,弹出“选择 SMN主题”对话框。
2. 选择接收SMN消息的主题,单击“确定”完成选 择。如果您所选的SMN主题没有对对象存储迁移服务授 权,单击“确定”则会弹出“警告”对话框。如果 需要授权,请单击“是”为对象存储迁移服务授 权,否则请单击“否”返回“选择SMN主题”页 面,选择其他SMN主题。
3. 设置“触发条件”参数。您可以只勾选其中一个参 数或者两个参数都勾选。
– “迁移成功”表示迁移任务成功时发送SMN消息通 知。
– “迁移失败”表示迁移任务失败时发送SMN消息通 知。
说明如果您无法正常使用SMN消息通知功能,请参见SMN消息通 知功能无法正常使用怎么办?。
参数 说明
流量控制 设置迁移任务在指定时段的最大流量带宽。
● 选择“否”,不进行流量控制。
● 选择“是”,进行流量控制。
需要执行以下步骤:
1. 单击“新增流量控制”。
下方新增一条规则记录。
2. 在“开始时间”、“结束时间”和“限制最大流 量”文本框中输入数值。
限制最大流量的数值范围:1~ 200MB/s 。 3. 重复步骤9.a~步骤9.b,增加新的流量控制规则。
您也可以单击“操作”栏的 ,删除本行记录。
说明最多可以创建5条记录。
即使在创建任务后,您也可以在任务详情中继续设置流量 控制规则。
描述 输入本次迁移任务的简单描述信息。
最多可输入255个字符。
步骤10 单击“下一步”,进入确认信息页面。
步骤11 确认迁移信息的设置,并启动迁移。
1. 浏览各项迁移参数的设置是否正确。
如果有误,可以单击“上一步”返回之前的页面进行修改。
2. 单击“开始迁移”。
提示创建迁移任务成功。查看迁移任务组列表已新增该任务组 ----结束
3.2 查看迁移任务组
操作场景
创建迁移任务组后,您可以随时查看迁移的进度以及详情,以确定任务组的执行状态 是否正常。
操作步骤
步骤1 登录管理控制台,进入“对象存储迁移服务”页面。
步骤2 在左侧导航树,选择“迁移任务组”。
右侧切换到“迁移任务组”页面。
步骤3 在迁移任务组列表的右上角,设置迁移状态以过滤任务组。
任务组状态说明参见表3-6。
表3-6 迁移任务组状态
状态 说明
等待 迁移任务组创建后正在进行后台初始化操作。
创建任务 正在创建任务组中的迁移任务。
监控任务执行 任务组中的迁移任务正在进行中。
暂停创建中 正在暂停任务组中迁移任务的创建。
暂停创建 已暂停任务组中迁移任务的创建,可手动恢复。
创建任务失败 任务组中的迁移任务创建失败。
迁移失败 未成功完成迁移。失败的任务可手动重启。
迁移完成 已正常完成迁移。
步骤4 单击任务组记录左侧的 ,查看该任务组的详情。
说明
迁移任务组详情包含了迁移任务数量、对象数量,以及您在创建迁移任务时的各项参数信息。
您可以单击带有链接的目的端桶名,进入OBS桶中查看已迁移到华为云的对象存储数据。
----结束
3.3 管理迁移任务组
创建迁移任务组后,您可以对迁移任务执行暂停/恢复、重启等操作。
操作步骤
步骤1 登录管理控制台,进入“对象存储迁移服务”页面。
步骤2 在左侧导航树,选择“迁移任务组”。
右侧切换到“迁移任务组”页面。
步骤3 对目标迁移任务组进行操作。
表3-7 管理迁移任务组
项目 场景 操作
暂停迁移任务 组
暂停状态为“创建任务”的任务
组。 1. 单击“暂停”。
2. 仔细阅读弹出窗口中的内容
项目 场景 操作 恢复迁移任务
组
对于暂停的迁移任务组,您可以
手动恢复,继续迁移。 1. 单击恢复按钮。
2. 在弹出窗口中输入源端和目 的端的AK、SK后,单击“确 定”。
说明如果启用了CDN鉴权,还需要 输入校验秘钥。
任务状态显示为“迁移 中”。
重启迁移任务 组
当迁移任务失败时,您可以手动 重启迁移失败的任务组,重新执 行迁移。
1. 单击重启按钮。
2. 在弹出窗口中输入源端和目 的端的AK、SK后,单击“确 定”。
说明
– 如果设置了记录失败对象,
还需要选择迁移范围,包括 所有对象和失败对象。
– 如果启用了CDN鉴权,还需 要输入校验秘钥。
任务状态显示为“迁移 中”。
----结束
4 迁移前评估
迁移前评估主要用于在实际数据迁移前,统计桶内对象分布情况,估算迁移时间。
4.1 评估桶内数据
操作场景
如果您的桶内数据容量超过3TB,数量超过500万个,建议使用迁移前评估功能,统计 桶内对象分布情况并估算迁移时间,以便自动划分并创建迁移任务,最大化利用服务 的并发性能。
说明
目前支持评估以下云服务提供商:华为云、阿里云、微软云、腾讯云、亚马逊云(中国)、七牛 云、金山云、优刻得、百度云。
背景信息
● 由于需要全量分析桶内对象基础信息,如果您的桶内对象数量非常多,评估将会 消耗较长时间,详细信息请参考表4-1。
表4-1 对象存储评估速度
云服务提供商 评估速度
华为云 27,000,000个/小时 阿里云 27,000,000个/小时 腾讯云 20,000,000个/小时 亚马逊云(中国) 24,000,000个/小时 七牛云 20,000,000个/小时
● 评估不会下载您的对象数据信息,只会获取对象的属性。
● 评估只会消耗您的API调用费用,不会产生额外费用。
以1万次API调用收取0.01元为例,每次API调用列举1000个对象,评估1亿个对象 将消耗您0.1元。
● 允许一个租户一天最多对500个桶进行评估。
操作步骤
步骤1 登录管理控制台,进入“对象存储迁移服务”页面。
步骤2 在左侧导航树,选择“迁移前评估”。
右侧切换到“迁移前评估”页面。
步骤3 单击“创建评估”。
仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建评估”页面。
步骤4 选择源端参数,参见表4-2,并单击“列出桶”。
在下方区域显示源端的桶对象。
表4-2 源端参数配置
参数 说明
云服务提供商 待评估的源端云服务提供商。
访问密钥 源端云服务提供商的访问密钥ID。最大长度是100个字 符。
私有访问密钥 源端云服务提供商的私有访问密钥ID,与访问密钥相匹 配。最大长度是100个字符。
AppId 如果云服务提供商为腾讯云,则需要输入该参数,
AppId是您腾讯云账户的一个标识。
步骤5 选择需要进行评估的桶,单击“开始评估”。
评估过程中,如果您需要终止本次评估,请单击“操作”栏的“终止”。
评估完成后,在“迁移前评估”页面的“评估报告”列单击“查看”了解详情。
说明
评估详情包括了对象size分布、对象前缀分布和对象时间分布等统计信息。
有关评估的状态说明,参见表4-3。
表4-3 评估状态说明
状态 说明
等待中 评估创建后正在进行后台初始化操作。
评估中 系统正在对您指定的桶进行评估。
评估成功 已成功完成对桶的评估。您可以基于此评估创建迁移任 务。
评估失败 对桶的评估没有成功。您需要排查原因。
终止中 在您单击“终止”后,系统正在终止本次评估。
已终止 评估已终止。如果您需要评估,需要重新创建评估。
----结束
4.2 基于评估创建迁移任务
操作场景
基于评估的结果,自动划分并创建迁移任务。
背景信息
请参见创建迁移任务,了解各迁移参数的更为详细的解释。
前提条件
待迁移的源端桶已经评估成功。
操作步骤
步骤1 登录管理控制台,进入“对象存储迁移服务”页面。
步骤2 在“迁移前评估”页面,勾选评估成功的桶,单击“创建迁移任务”。
仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建迁移任务”页面。
说明
可同时选中同一个云服务提供商名下的多个桶。
步骤3 配置鉴权,参见表4-4。
表4-4 鉴权配置
类型 参数 说明
源端鉴权 访问密钥 云服务提供商的访问密钥ID,最大长 度是100个字符。
私有访问密钥 云服务提供商的私有访问密钥ID,与 访问密钥相匹配。最大长度是100个字 符。
目的端鉴权 访问密钥 华为云的访问密钥ID,最大长度是100 个字符。
私有访问密钥 华为云的私有访问密钥ID,与访问密 钥相匹配。最大长度是100个字符。
步骤4 配置各迁移任务的基本参数,参见表4-5。
表4-5 迁移配置
参数 说明
目的端桶 华为云的待迁移桶。
KMS加密 对迁移数据进行KMS服务端加密后再存储至目的端OBS桶 中。
解冻归档数据 当您的源端云服务提供商支持自动解冻归档类型数据时,
可以开启此选项。
流量控制 设置迁移任务在指定时段的最大流量带宽。单击 进行配 置。
源端自定义域名配置 当默认域名不能满足您的迁移需求时,可以使用此参数,
单击 进行配置。
步骤5 配置高级选项,参见表4-6。
表4-6 高级选项
参数 说明
记录失败对象 是否记录迁移失败的对象。
迁移指定时间后的对象 是否使用时间过滤源端待迁移对象。
SMN通知 是否使用SMN消息通知功能,以便通知您迁移任务的结 果。
步骤6 单击“创建任务”,提交迁移任务。
提示“任务提交成功”,同时在对象存储迁移服务的任务列表左上角提示创建进度。
----结束
5 同步任务
同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发 器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步 接口,及时将数据同步到华为云OBS侧。
5.1 创建同步任务
OMS同步任务迁移流程图如图5-1所示。
图5-1 同步任务迁移流程图
操作场景
填写源端和目的端AK/SK并配置同步任务参数,用于后续源端同步请求数据迁移和查 看同步任务详情。
说明
目前只支持华北-北京四、华东-上海一地区。
前提条件
● 已获取源端和目的端账号的AK/SK。
– 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对 象元数据,获取对象内容。获取方式参见源端桶权限获取。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在华为云OBS服务中创建桶。
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 您名下处于“同步中”状态的同步任务未满5个。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录管理控制台,进入“对象存储迁移服务”页面。
步骤2 在左侧导航树,选择“同步任务”。
步骤3 单击“创建同步任务”。
步骤4 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建同步任务”页面。
步骤5 选择源端/目的端。
1. 选择源端,具体参数说明参见表5-1。
表5-1 源端选择参数
参数 说明
数据源 待迁移的源端云服务提供商,包括:
● 华为云
● 亚马逊云(中国)
● 阿里云
● 微软云
● 腾讯云
● 七牛云
● 青云
● 百度云
● 金山云
● 优刻得
appID 如果源端云服务提供商为腾讯云,则需要输入该参数,
appID 是您腾讯云帐户的一个标识。
访问密钥 源端云服务提供商的访问密钥(AK)。最大长度是100个
参数 说明
是否指定桶名 当您不具备列举桶权限,但具有列举桶中对象、获取对象 元数据和获取对象权限时可以开启此参数,通过指定源端 桶的路径来进行迁移。
设置说明参见表5-2。
表5-2 “是否指定桶名”的设置说明
如果... 那么...
开启“是否指定桶名” 1. 在“选择区域”下拉框中选择源端桶所在区 域。
2. 在“桶名或路径”文本框中输入源端桶名或 带桶名的路径。
3. 单击“连接源端桶”。
对象存储迁移服务将检查源端信息填写是否 正确。如果填写正确,会提示连接桶成功。
关闭“是否指定桶名”(默认设
置) 1. 单击“连接源端桶”。
对象存储迁移服务将检查源端信息填写是否 正确。如果填写正确,且您的账号具有列举 桶名的权限,则会在“桶名”中列举您名下 的所有桶。
2. 在“桶名”中选择待迁移数据所在的桶。
2. 选择目的端,具体参数参见表5-3。
表5-3 目的端选择参数
参数 说明
访问密钥 华为云的访问密钥(AK)。最大长度是100个字符。
私有访问密钥 华为云的私有访问密钥(SK),与AK相匹配。最大长度是 100个字符。
输入访问密钥和私有访问密钥后,请单击“连接目的端 桶”。
桶名 存放迁移数据的华为云OBS桶。
步骤6 单击“下一步”,设置任务参数。具体选项参见表5-4。
表5-4 任务参数
参数 说明
服务端加密 如果勾选“KMS”,所有数据在迁移到
OBS服务后都将被加密存储。
说明使用KMS服务端加密可能会降低迁移速率 10%左右。
当前区域支持KMS加密时,此参数才可用。
解冻归档数据 归档类型的对象存储要实现迁移,必须
预先解冻。当您的源端云服务提供商支 持自动解冻归档类型数据时,可以勾选 此选项。
● 勾选:如果遇到归档类型对象,则自 动解冻该对象并进行迁移。如果解冻 失败,则判定该对象迁移失败并跳 过,继续迁移其余对象。
不勾选:如果遇到归档类型对象,则 直接判定该对象迁移失败并跳过,继 续迁移其余对象。
说明
– 目前支持以下云服务提供商的归档数 据的自动解冻:华为云、阿里云、金 山云、腾讯云。
– 解冻预计耗时1分钟及以上,对象越大 解冻耗时越长,超过3分钟默认解冻失 败。各云服务提供商的解冻耗时可能 存在差异,具体请参考各云服务提供 商的相关文档。
– 解冻归档数据的过程中会产生两种费 用,一是API调用费用,二是归档数据 取回费用,这些均由源端云服务提供 商向您收取。
– 归档数据的解冻状态会持续一段时 间,在此时间内支持对象的下载/访 问,超过此时间后需要重新解冻。解 冻状态持续时间请参考各云服务提供 商的相关文档。
– 对象存储数据从源端云服务提供商迁 移到华为云后,存储类型和目的端桶 的存储类型保持一致,与源端对象存 储类型无关。
步骤7 单击“下一步”,进入确认信息页面。
确认同步任务信息的设置,并启动同步。
1. 浏览各项同步任务参数的设置是否正确。
关于状态说明,参见表5 同步任务状态。
表5-5 同步任务状态
状态 说明
同步中 表明源端对象存储服务的数据正在进行
同步。
说明
创建同步任务后,该任务状态显示为同步 中,仅代表可以接受源端发送的同步请求并 进行同步,需要您前往源端完成同步请求的 配置,详情请参见源端配置同步请求。通过 源端配置,使得源端新增/修改对象能够发送 同步请求。配置完成后,您的数据将开始进 行同步迁移。
已停止 表明停止对源端对象存储服务数据的同
步。
说明
如要停止对源端对象存储服务数据的同步,
请先在源端执行暂停操作,建议等待十五分 钟后,然后在同步任务页面点击“停止”。
否则由于时间差可能会造成部分已接收到的 同步请求对象同步失败。
步骤8 操作同步任务。
1. 启动同步任务。
说明
● 状态为“已停止”的同步任务,才可执行同步任务的重新启动。
● 停止后再次启动同步任务,出于安全考虑,系统不保存个人数据,需要重新输入源端,目的 端访问密钥以及私有访问密钥,完成身份验证。
2. 停止同步任务。
说明
● 状态为“同步中”的同步任务,才可执行同步任务的停止。
● 如要停止对源端对象存储服务数据的同步,请先在源端执行暂停操作,建议等待十五分钟 后,然后在同步任务页面点击“停止”。否则由于时间差可能会造成部分已接收到的同步请 求对象同步失败。
3. 删除同步任务。
说明
● 状态为“已停止”的同步任务,才可执行同步任务的删除。
----结束
5.2 源端配置同步请求
操作场景
创建同步任务后,您需要在源端配置同步请求,以确保源端云服务提供商的对象存储 服务可以针对源端新增、修改对象实时调用OMS同步接口(例如通过消息通知或函数计 算服务方式),以完成对源端新增、修改对象数据的同步迁移。
源端同步请求配置条件
● 实时获取源端新增、修改对象名称。
● 调用OMS同步接口,将源端变化对象传递给对象存储迁移服务,从而完成源端同 步迁移。
源端同步请求配置方式
● 基于源端云服务提供商的对象存储服务和函数工作流服务:通过配置源端云服务 提供商的对象存储服务和函数工作流服务来触发新增、修改对象的同步请求。
说明
客户需要在源端云服务提供商的函数工作流服务中,创建OMS数据同步函数,然后在对象 存储服务中设置基于函数工作流服务的事件通知,从而完成源端对象存储服务,函数工作 流服务以及OMS服务之间的数据链调用配置。
当源端对象发生新增、修改时,源端对象存储服务会主动调用函数工作流服务中配置的 OMS数据同步函数,从而完成源端对象同步迁移。
● 基于客户自建业务系统:通过客户自建业务系统触发新增、修改对象的同步请 求。
说明
当源端对象发生新增,修改时,客户自建业务系统通过接收源端对象存储服务的消息通知 或解析业务系统数据库变化来主动捕获对象信息,然后调用OMS服务的同步接口,从而完 成源端同步迁移。
操作步骤
以源端云服务提供商为华为云,通过函数工作流服务配置源端同步请求为例:
步骤1 登录管理控制台。
步骤2 单击“服务列表”,选择“计算 > 函数工作流 FunctionGraph",进入“函数工作 流”页面。
步骤3 单击左侧导航树“函数模板”,进入函数模板页面。
步骤4 在函数模板页面,右上角搜索框中输入OMS,筛选出“OMS数据同步”模板,如图1
OMS数据同步模板所示。
图5-2 OMS 数据同步模板
说明
单击模板“详情”,可查看数据类别、输入参数、输出参数、注意事项等说明。
步骤5 单击“使用模板”,进入创建函数页面,如图5-3所示。设置相关参数,参数说明参见 表5-6。
图5-3 创建函数
表5-6 创建函数参数说明
参数名称 说明
函数名称 用户自定义。可包含字母、数字、下划
线和中划线,以大/小写字母开头,以字 母或数字结尾,长度不超过60个字符。
所属应用 default
委托名称 不使用任何委托。
企业项目 用户根据实际场景来选择,默认为
default。
描述(可选) 用户自定义,用来对函数进行说明。
运行时语言 Python 3.6
函数执行入口 index.handler
环境变量 ● sync_url:同步请求接收地址,从同 步任务详情中获取。
● sync_task_id:同步任务ID,从同步 任务页面获取。
● log_bucket:记录函数调用日志桶 名,用来记录发送同步请求成功和失 败的对象。 需要与当前区域一致。
● obs_endpoint:OBS域名,区域需要 和当前区域一致,获取地址:地区和 终端节点。
● hw_ak:华为云访问密钥ID。
● hw_sk:华为云私有访问密钥。
说明
单击“添加环境变量”,可添加自定义环 境变量。
步骤6 单击“创建函数”按钮,进入函数详情配置界面。
步骤7 在代码页签,单击“依赖代码包”右侧的“添加”按钮,弹出“选择依赖包”窗口,
勾选依赖包名称为“obssdk-3.0.2”的依赖包,单击“确定”。
步骤8 单击配置页签,设置“执行超时时间”,建议为60s,单击右上角“保存”按钮,如图
5-4所示。
图5-4 设置执行超时时间
步骤9 单击触发器页签,在页面右上角单击“创建触发器”按钮,弹出创建触发器窗口,如 图5-5所示。设置相关参数,参数说明参见表5-7。
图5-5 创建触发器
表5-7 创建触发器参数说明
参数名称 说明
触发器类型 下拉选择对象存储服务(OBS)。
桶 下拉选择源端需要进行同步复制的桶。
事件 用户根据实际场景来选择。
参数名称 说明
后缀(可选) 输入一个可选性后缀来限制对以此关键
字结尾的对象的通知。
步骤10 单击“确定”,完成触发器的创建。
须知
源端同步请求函数工作流创建与配置完成后,需要配置测试事件来进行检验。
步骤11 在函数详情配置界面右上角,单击"请选择测试事件"下拉菜单,选择“配置测试事 件”,弹出配置测试事件页面,如图5-6所示。配置相关参数,参见表5-8。
图5-6 配置测试事件
表5-8 参数配置说明
参数 配置说明
配置测试事件 选择创建新的测试事件
事件模板 下拉选择“obs-event-template”
事件名称 自动生成,用户也可自定义
步骤12 单击“保存”按钮,测试事件保存成功。
步骤13 单击函数详情配置界面右上角“测试”按钮,页面上方将返回测试执行结果。
图5-7 测试执行结果
说明
配置测试结果成功后,在源端桶上传一个对象,等待10分钟后,该对象会同步到目的端桶中。
----结束
相关操作
如果... 那么...
查看发送同步请求成功对象列表 获取路径:oms_source_record/
success_object/
查看发送同步请求失败对象列表 获取路径:oms_source_record/
failed_object/
说明
5.3 监控同步任务状态
操作场景
同步任务开始后,您可以随时查看同步的进度以及详情,以确定同步迁移的执行状态 是否正常。
操作步骤
步骤1 登录管理控制台,进入“对象存储迁移服务”页面。
步骤2 在左侧导航树,选择“同步任务”。
步骤3 单击任务ID记录左侧的 ,查看同步任务执行情况。如图1所示。具体的参数说明参 见表1。
图5-8 监控同步任务
表5-9 监控同步任务
参数 说明
接收同步请求对象数(本月) 统计本月截止目前接收到的来自源端发 送的同步请求对象数量。
同步对象数(本月) ● 成功
统计本月截止目前同步成功的对象,
可通过对象列表在目的桶中查看同步 成功对象列表。
● 失败
统计本月截止目前同步失败的对象,
可通过对象列表在目的桶中查看同步 失败对象列表。
● 忽略
统计本月截止目前同步忽略的对象,
可通过对象列表在目的桶中查看忽略 对象列表。
说明
当目的端已存在的对象(对象名、大小相 同,且创建时间在源端之后),OMS不会 进行迁移,计为忽略对象。