• 沒有找到結果。

查看审计日志_对象存储迁移服务 OMS_用户指南_华为云

N/A
N/A
Protected

Academic year: 2022

Share "查看审计日志_对象存储迁移服务 OMS_用户指南_华为云"

Copied!
53
0
0

加載中.... (立即查看全文)

全文

(1)

用户指南

文档版本 14

发布日期 2021-06-21

(2)

非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传 播。

商标声明

和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标,由各自的所有人拥有。

注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声 明或保证。

由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

(3)

目 录

1 权限管理...1

1.1 创建用户并使用 OMS... 1

2 迁移任务...3

2.1 创建迁移任务... 3

2.2 查看迁移任务...13

2.3 管理迁移任务...14

3 迁移任务组...16

3.1 创建迁移任务组... 16

3.2 查看迁移任务组... 25

3.3 管理迁移任务组... 26

4 迁移前评估...28

4.1 评估桶内数据...28

4.2 基于评估创建迁移任务... 30

5 同步任务...33

5.1 创建同步任务...33

5.2 源端配置同步请求... 38

5.3 监控同步任务状态... 45

6 查看审计日志...48

7 修订记录...49

(4)

1 权限管理

1.1 创建用户并使用 OMS

如果您需要对您所拥有的OMS进行精细的权限管理,您可以使用统一身份认证服务

(Identity and Access Management,简称IAM),通过IAM,您可以:

● 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建 IAM用户,让员工拥有唯一安全凭证,并使用OMS。

● 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。

● 将OMS委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务 可以根据权限进行代运维。

如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章 节,不影响您使用OMS的其它功能。

本章节为您介绍对用户授权的方法,操作流程如图1-1所示。

前提条件

给用户组授权之前,请您了解用户组可以添加的OMS权限,并结合实际需求进行选 择,OMS支持的系统权限,请参见:OMS系统权限。若您需要对除OMS之外的其它 服务授权,IAM支持服务的所有权限请参见权限策略。

(5)

示例流程

1-1 给用户授权 OMS 权限流程

1. 创建用户组并授权

在IAM控制台创建用户组,并授予对象存储迁移服务“OMS Administrator”与

“OBS OperateAccess”。

2. 创建用户并加入用户组

在IAM控制台创建用户,并将其加入1中创建的用户组。

3. 用户登录并验证权限

新创建的用户登录控制台,切换至授权区域,验证权限:

– 在“服务列表”中选择对象存储迁移服务,进入对象存储迁移服务主界面,

单击右上角“创建迁移任务”,如果可以创建迁移任务,表示“OMS Administrator”已生效。

– 在“服务列表”中选择除对象存储迁移服务外(假设当前策略仅包含OMS Administrator)的任一服务,若提示权限不足,表示“OMS

Administrator”已生效。

(6)

2 迁移任务

适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创 建对象存储迁移任务,可将对象数据进行快速迁移。

对客户开放迁移任务API,客户可根据自身业务诉求进行定制化开发,例如周期性定时 创建同步任务。

2.1 创建迁移任务

操作场景

使用对象存储迁移服务创建对象存储任务,对您的对象数据实施迁移。

背景信息

对象存储迁移服务支持以下的源端云服务商或数据源类型:

● 华为云

● 亚马逊云(中国)

● 阿里云

● 微软云

● 腾讯云

● 七牛云

● 青云

● 百度云

● 金山云

● 优刻得

● HTTP/HTTPS数据源

迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产 生的费用都遵从源端云服务提供商的计费规则并由其向您收取。

(7)

前提条件

● 已获取源端和目的端账号的AK/SK。

– 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对 象元数据,获取对象内容。获取方式参见源端桶权限获取。

– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。

● 已在OBS服务中创建桶。

● 您过去24小时内已创建的迁移任务未满5000个。

● 您名下处于“等待中”状态的迁移任务未满5000个。

● 已在华为云注册账号,并完成实名认证。

操作步骤

步骤1 登录管理控制台。

步骤2 单击管理控制台左上角的 ,在下拉框中选择区域。

步骤3 单击“服务列表”,选择“迁移 > 对象存储迁移服务”。

进入“对象存储迁移服务”页面。

步骤4 单击 “创建迁移任务”。

仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入

“创建迁移任务”页面。

步骤5 选择源端/目的端。

1. 选择源端,具体参数参见表2-1。

2-1 源端选择参数

参数 说明

数据源 待迁移的源端云服务提供商。

(可选)appID 当源端云服务提供商为腾讯云,则需要输入该参数,

appID 是您腾讯云帐户的一个标识。

访问密钥 源端云服务提供商的访问密钥(AK)。最大长度是100 个字符。

私有访问密钥 源端云服务提供商的私有访问密钥(SK),与AK相匹 配。最大长度是100个字符。

是否指定桶名 当您不具备列举桶权限,但具有列举桶中对象、获取

(8)

2-2 “是否指定桶名”的设置说明

如果... 那么...

开启“是否指定桶名” 1. 在“选择区域”下拉框中选择源端桶所在 区域。

2. 在“桶名或路径”文本框中输入源端桶名 或带桶名的路径。

3. 单击“连接源端桶”。

说明

对象存储迁移服务将检查源端信息填写是否正 确。如果填写正确,会提示连接桶成功。

关闭“是否指定桶名”(默认设 置)

1. 单击“连接源端桶”。

对象存储迁移服务将检查源端信息填写是 否正确。如果填写正确,且您的账号具有 列举桶名的权限,则会在“桶名”中列举 您名下的所有桶。

2. 在“桶名”中选择待迁移数据所在的桶。

说明当源端AK/SK没有列举桶权限时,需要开启“是否 指定桶名”。

2. 选择目的端,具体参数参见表2-3。

2-3 目的端选择参数

参数 说明

访问密钥 华为云的访问密钥(AK)。最大长度是100个字符。

私有访问密钥 华为云的私有访问密钥(SK),与AK相匹配。最大长 度是100个字符。

输入访问密钥和私有访问密钥后,请单击“连接目的 端桶”。

桶名 存放迁移数据的华为云OBS桶。

步骤6 单击“下一步”,设置任务参数。

步骤7 选择迁移方式。

(9)

如果... 那么...

选择文件/文件夹 单击“选择”,选择待迁移的文件或文 件夹后,单击“确定”。对于已选择的 文件或文件夹,您可以单击 从迁移对 象列表中删除。

说明

● 如果选择的云服务提供商为七牛,则不支 持选择文件/文件夹。

● 若不设置该参数,则默认迁移全桶数据。

● 针对每个迁移任务,在同一目录层级下,

您最多可以选择500个文件或文件夹。

● 由于OBS服务的规格限制,请确认对象迁 移到目的端后的名称不超过1024个字符,

否则将导致任务失败。

(10)

如果... 那么...

指定对象列表 指定对象列表方式,一般用于增量迁移

场景,用户需要将待迁移的源端对象名 称写入对象列表文件,并将生成的对象 列表文件放在华为云obs桶中,对象存储 迁移服务将会迁移指定对象列表文件中 的所有对象。

1. 选择“列表文件所在桶(华为 云)”。

说明此参数中列出的桶是通过步骤5.2中输入 的目的端AK/SK得到的桶列表。

请确保列表文件所在桶与目的端桶处于同 一区域,否则后续将无法选择对象列表文 件。

2. 在“对象列表文件”区域内单击“选 择”,选择用户指定的对象列表文 件,单击“确定”。

说明

● 对象列表文件大小不能超过1024MB。

● 对象列表文件必须是“.txt”类型的文 件,并且该文件元数据中的

“ContentType”只能为:“text/

plain”。

● 对象列表文件必须是UTF-8无BOM格式编 码格式。

● 对象列表文件中每行只能包含一个对象名 称,并且对象名称使用URL Encode编码

● 对象列表文件中每行不要添加无效空格,

否则会将空格作为对象名,导致迁移失 败。

● 对象列表文件中每行长度不要超过 65535,否则会导致迁移失败。

● 对象列表文件的元数据中不能设置

“ContentEncoding”,否则会导致迁移 失败。

● 对象列表文件如果是归档数据,迁移前需 要先手动恢复,对象存储迁移服务才能访 问和获取。

输入对象前缀 在“添加对象数据”区域内输入对象数

据名称或者名称前缀,系统会自动匹配 出数据。您可以单击 ,从这些匹配到 的迁移数据列表中删除不需要迁移的数 据。

说明

若不添加该参数,则默认迁移全桶的数据。

(11)

如果... 那么...

指定URL列表 指定URL列表方式,一般适用于HTTP或 HTTPS源端的迁移场景,用户需要将待 迁移的文件URL和目的端对象名称写入 URL列表文件,并将生成的URL列表文件 放在华为云OBS桶中,对象存储迁移服 务将会迁移指定URL列表文件中的所有对 象。

1. 选择“列表文件所在桶(华为 云)”。

说明

– 此参数中列出的桶是通过步骤5.2中输 入的目的端AK/SK得到的桶列表。

– 请确保列表文件所在桶与目的端桶处 于同一区域,否则后续将无法选择对 象列表文件。

– 出于安全考虑,若您的源端同时支持 HTTP和HTTPS协议,建议迁移时使用 HTTPS协议;若使用HTTP协议,会存 在数据可能会被监听窃取、数据被篡 改、中间人重放攻击等风险。

– 如果待迁移内容为非公开内容时,建 议不要将源端数据公开,采用其他非 HTTP/HTTPS方式进行迁移。

– URL列表迁移不支持URL重定向。

2. 在“选择URL列表文件”区域内单击

“选择”,选择用户指定的URL列表 文件,单击“确定”。

(12)

如果... 那么...

说明

– URL列表文件大小不能超过1024MB。

– URL列表文件必须是“.txt”类型的文 件,并且该文件元数据中的

“ContentType”只能为:“text/

plain”。

– URL列表文件必须是UTF-8无BOM格 式编码格式。

– URL列表文件中每行只能包含一个URL 和目的端对象名称。

– URL列表文件中每行长度不要超过 65535,否则会导致迁移失败。

– URL列表文件的元数据中不能设置

“ContentEncoding”,否则会导致 迁移失败。

– URL列表文件中每行使用制表符\t分割 URL和目的端对象名称,格式为:

[URL][制表符][目的端对象名称],其 中源端对象名称如果包含中文、特殊 字符必须使用URL Encode编码,例 如:http://xxx.obs.myhuaweicloud.com/doc

%2f%e6%96%87%e4%bb%b61.txt doc

%2f%e6%96%87%e4%bb%b61.txt http://xxx.obs.myhuaweicloud.com/doc

%2fthefile2.txt doc%2fthefile2.txt http://xxx.obs.myhuaweicloud.com/the

%20file.txt the%20file.txt

http://xxx.obs.myhuaweicloud.com/the

%20file2.txt the+file2.txt

http://xxx.obs.myhuaweicloud.com/doc

%2fthefile.txt doc/thefile.txt

注意:URL与目的端对象名称之间使 用一个制表符(键盘上Tab键)进行 分割,请勿使用空格。

以上示例中,URL所表示的文件,被 复制到目的端桶后,对象会被分别命 名为:doc/文件doc/thefile2.txt、the file.txt、the file2.txt以及doc/

thefile.txt。

– URL列表文件中每行不要添加无效空 格,否则会将空格作为对象名,导致 迁移失败。

步骤8 (可选)设置“源端参数”。

当您的源端云服务提供商提供了表2-4中首列相应的功能时,才会出现此部分参数。

(13)

2-4 源端参数

参数 说明

源端使用自定义域 名下载

当默认域名不能满足您的迁移需求,比如您需要一个自定义域 名以便使用CDN降低源端出口下载流量的费用,且您的源端云 服务提供商支持自定义域名时,可以勾选此选项。

说明

● 如果使用了防盗链,建议关闭防盗链或联系华为云技术支持。

● 当源端云服务提供商是七牛云时,因其对默认域名的使用做了限 制,为确保您的迁移顺利进行,系统已为您自动勾选此参数。

勾选此选项后,进行如下设置:

1. 在“自定义域名传输协议”中选择传输协议。

说明HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。

如果待迁移内容为非公开内容时,建议不要将源端数据公开,采用 其他非HTTP/HTTPS方式进行迁移。

2. 填写“桶自定义域名”。

3. 如果您使用了源端云服务提供商提供的CDN鉴权,则选择

“启用CDN鉴权校验”,并配置校验类型和秘钥。

说明

– 您需要参见源端云服务提供商的相关资料配置CDN后,才能使 用CDN相关功能。

– 使用源端CDN产生的费用遵从源端云服务提供商的计费规则,

费用由源端云服务提供商向您收取。

– 不支持URl重定向。

4. 单击“检查”,检查配置是否正确。

– 如果检查未通过,请单击“详情”查看未通过的原因。

– 如果检查通过,则可继续进行其他迁移配置。

(14)

参数 说明

解冻归档数据 归档类型的对象存储要实现迁移,必须预先解冻。当您的源端 云服务提供商支持自动解冻归档类型数据时,可以勾选此选 项。

● 勾选:如果遇到归档类型对象,则自动解冻该对象并进行 迁移。如果解冻失败,则判定该对象迁移失败并跳过,继 续迁移其余对象。

● 不勾选:如果遇到归档类型对象,则直接判定该对象迁移 失败并跳过,继续迁移其余对象。

说明

● 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里 云、金山云、腾讯云。

● 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默 认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参 考各云服务提供商的相关文档。

● 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是 归档数据取回费用,这些均由源端云服务提供商向您收取。

● 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下 载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考 各云服务提供商的相关文档。

● 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目 的端桶的存储类型保持一致,与源端对象存储类型无关。

步骤9 单击“高级选项”后面“展开”,展开高级选项参数。

步骤10 (可选)设置高级选项参数。

2-5 高级选项参数

参数 说明

服务端加密 如果勾选“KMS”,对迁移数据进行KMS服务端加密后再 存储至目的OBS桶中。

说明使用KMS服务端加密可能会降低迁移速率10%左右。

当前区域支持KMS加密时,此参数方可用。

(15)

参数 说明

记录失败对象 选择是否记录迁移失败的对象。

● 选择“否”,则不记录迁移失败的对象。如果迁移失 败,只能全量重传。

● 选择“是”,记录迁移失败的对象。如果迁移失败,支 持只对迁移失败对象进行重传。

说明

迁移失败的对象将被记录在一个以任务名称命名的失败对象列表 文件中,普通任务和任务组任务都会上传到目的端桶的“oms/

failed_object_lists/”路径下。

该文件记录了迁移任务失败的摘要信息,包括:失败原因、发生 时间(参照当前区域所属时区)、失败对象(经过URL编码)、

失败对象(未经过URL编码)、源端SDK返回的错误码。

当迁移失败对象重传成功后,失败对象列表文件仍会保留在目的 端。您如果不再需要该文件,请手动删除。

迁移指定时间后的对象 选择是否使用时间过滤源端待迁移对象。

● 选择“否”,不过滤源端待迁移对象。

● 选择“是”,仅迁移在指定时间之后修改的源端待迁移 对象。需要单击 ,设置迁移指定时间。

发送通知 选择是否使用SMN消息通知功能,该功能可以通知您迁移 任务的结果。

● 选择“否”,不接收SMN消息。

● 选择“是”,接收SMN消息。

需要执行以下步骤:

1. 单击“SMN主题”所在行的“添加”,弹出“选择 SMN主题”对话框。

2. 选择接收SMN消息的主题,单击“确定”完成选 择。如果您所选的SMN主题没有对对象存储迁移服务授 权,单击“确定”则会弹出“警告”对话框。如果 需要授权,请单击“是”为对象存储迁移服务授 权,否则请单击“否”返回“选择SMN主题”页 面,选择其他SMN主题。

3. 设置“触发条件”参数。您可以只勾选其中一个参 数或者两个参数都勾选。

– “迁移成功”表示迁移任务成功时发送SMN消息通 知。

– “迁移失败”表示迁移任务失败时发送SMN消息通 知。

说明如果您无法正常使用SMN消息通知功能,请参见SMN消息通 知功能无法正常使用怎么办?。

(16)

参数 说明

流量控制 设置迁移任务在指定时段的最大流量带宽。

● 选择“否”,不进行流量控制。

● 选择“是”,进行流量控制。

需要执行以下步骤:

1. 单击“新增流量控制”。

下方新增一条规则记录。

2. 在“开始时间”、“结束时间”和“限制最大流 量”文本框中输入数值。

限制最大流量的数值范围:1~ 200MB/s 。 3. 重复1. ~2. ,增加新的流量控制规则。

您也可以单击“操作”栏的 ,删除本行记录。

说明最多可以创建5条记录。

即使在创建任务后,您也可以在任务详情中继续设置流量 控制规则。

描述 输入本次迁移任务的简单描述信息。

最多可输入255个字符。

步骤11 单击“下一步”,进入确认信息页面。

步骤12 确认迁移信息的设置,并启动迁移。

1. 浏览各项迁移参数的设置是否正确。

如果有误,可以单击“上一步”返回之前的页面进行修改。

2. 单击“开始迁移”。

提示创建迁移任务成功。查看迁移任务列表已新增该任务。

关于迁移任务状态,参见查看迁移任务。

说明

任务创建后,会生成一个任务ID供您快速识别。它显示在列表中任务的左上角,由源端桶 名+目的端桶名+时间序列标识拼接而成。

----结束

2.2 查看迁移任务

操作场景

创建迁移任务后,您可以随时查看迁移的进度以及详情,以确定任务的执行状态是否 正常。

操作步骤

步骤1 登录管理控制台,进入“对象存储迁移服务”页面。

(17)

步骤2 在迁移任务列表的右上角,设置条件过滤迁移任务。

● 迁移任务组ID:如果迁移任务通过创建迁移任务组生成,输入任务组ID,可以筛 选出该任务组下面的所有迁移任务。

任务组ID的具体信息,需要从迁移任务组页面获取。

● 任务状态:各状态说明参见表2-6。

2-6 迁移任务状态

状态 说明

等待中 迁移任务创建后正在进行后台初始化操作或等待其他正在 迁移中的任务完成。

迁移中 迁移任务进行中,对象数据正在从其他云服务商迁移至华 为云。

暂停中 迁移任务暂停,可手动恢复任务。

迁移成功 迁移任务已正常迁移完成。

迁移失败 迁移任务失败,未成功完成迁移。失败的任务可手动重 启。

步骤3 单击某一个迁移任务右下角的“详情”,查看该迁移任务的详情。

说明

迁移任务详情包含了迁移的对象数量,以及您在创建迁移任务时的各项参数信息。

您可以单击带有链接的目的端桶名,进入OBS桶中查看已迁移到华为云的对象存储数据。

对于迁移中的任务,如果开启了流量控制,可以单击“流量控制”旁边的 ,继续设置当前任 务的流量控制规则。

----结束

2.3 管理迁移任务

操作场景

创建迁移任务后,您可以对迁移任务执行暂停/恢复、重启、删除等操作。

操作步骤

步骤1 登录管理控制台,进入“对象存储迁移服务”页面。

步骤2 对目标迁移任务进行操作。

(18)

2-7 管理迁移任务

项目 场景 操作

暂停迁移任务 因故暂停正在迁移的任务,比 如:

● 当迁移任务并发数超过系统 的限制时,暂停部分次要迁 移任务,优先执行重要的迁 移任务。

● 当需要增加迁移对象时,可 以暂停迁移任务,在尚未迁 移的源端区域添加对象后,

再恢复迁移。

1. 单击 。

2. 仔细阅读弹出窗口中的内容 后单击“确定”,暂停该迁 移任务。

任务状态显示为“暂停 中”。

恢复迁移任务 对于暂停的迁移任务,您可以手

动恢复,继续迁移。 1. 单击 。

2. 在弹出窗口中输入源端和目 的端的AK、SK后,单击“确 定”。

说明如果启用了CDN鉴权,还需要 输入校验秘钥。

任务状态显示为“迁移 中”。

重启迁移任务 当迁移任务失败时,您可以手动 重启迁移失败的任务,重新执行 迁移。

1. 单击 。

2. 在弹出窗口中输入源端和目 的端的AK、SK后,单击“确 定”。

说明

– 如果设置了记录失败对象,

还需要选择迁移范围,包括 所有对象和失败对象。

– 如果启用了CDN鉴权,还需 要输入校验秘钥。

任务状态显示为“迁移 中”。

删除迁移任务 若您无需再继续迁移,或者需要 清理历史迁移任务,可以删除非 迁移中的任务。

说明

如果任务正在迁移,请暂停迁移任 务后再进行删除。

1. 单击 。

删除的迁移任务从当前任务 列表中消失。

----结束

(19)

3 迁移任务组

适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源 端待迁移对象智能分解到多个迁移任务中并行迁移。以组的方式进行管理,包括进度 查询,暂停恢复,失败重启等。

说明

迁移任务组相较于迁移任务,提供更快的迁移速度和可靠性,便于灵活识别异常对象并快速恢 复。

3.1 创建迁移任务组

操作场景

将一个迁移任务智能拆分为多个迁移任务,并以组的方式进行管理。

前提条件

● 已获取源端和目的端账号的AK/SK。

– 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对 象元数据,获取对象内容。获取方式参见源端桶权限获取。

– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。

● 已在华为云OBS服务中创建桶。

● 24小时内,单个Region内创建迁移任务组数量未满100个。

● 您过去24小时内已创建的迁移任务未满5000个。

● 您名下处于“等待中”状态的迁移任务未满5000个。

● 已在华为云注册账号,并完成实名认证。

(20)

右侧切换到“迁移任务组”页面。

步骤3 单击“创建迁移任务组”。

仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入

“创建迁移任务组”页面。

步骤4 选择源端/目的端。

1. 选择源端,具体参数参见表3-1。

3-1 源端选择参数

参数 说明

数据源 待迁移的源端云服务提供商。

(可选)appID 当源端云服务提供商为腾讯云,则需要输入该参数,

appID 是您腾讯云帐户的一个标识。

访问密钥 源端云服务提供商的访问密钥(AK)。最大长度是100 个字符。

私有访问密钥 源端云服务提供商的私有访问密钥(SK),与AK相匹 配。最大长度是100个字符。

是否指定桶名 当您不具备列举桶权限,但具有列举桶中对象、获取 对象元数据和获取对象权限时可以开启此参数,通过 指定源端桶的路径来进行迁移。

设置说明参见表3-2。

3-2 “是否指定桶名”的设置说明

如果... 那么...

开启“是否指定桶名” 1. 在“选择区域”下拉框中选择源端桶所在 区域。

2. 在“桶名或路径”文本框中输入源端桶名 或带桶名的路径。

3. 单击“连接源端桶”。

说明

对象存储迁移服务将检查源端信息填写是否正 确。如果填写正确,会提示连接桶成功。

关闭“是否指定桶名”(默认设

置) 1. 单击“连接源端桶”。

对象存储迁移服务将检查源端信息填写是 否正确。如果填写正确,且您的账号具有 列举桶名的权限,则会在“桶名”中列举 您名下的所有桶。

2. 在“桶名”中选择待迁移数据所在的桶。

2. 选择目的端,具体参数参见表3-3。

(21)

3-3 目的端选择参数

参数 说明

访问密钥 华为云的访问密钥(AK)。最大长度是100个字符。

私有访问密钥 华为云的私有访问密钥(SK),与AK相匹配。最大长 度是100个字符。

输入访问密钥和私有访问密钥后,请单击“连接目的 端桶”。

桶名 存放迁移数据的华为云OBS桶。

步骤5 单击“下一步”,设置任务参数。

步骤6 选择迁移方式。

如果... 那么...

输入对象前缀 在“添加对象数据”区域内输入对象数

据名称或者名称前缀,系统会自动匹配 出数据。您可以单击 ,从这些匹配到 的迁移数据列表中删除不需要迁移的数 据。

说明

若不添加该参数,则默认迁移全桶的数据。

待迁移的对象会被记录在txt类型的列表文件 中(每个迁移任务对应一个列表文件),并 存放在目的端桶的“oms/taskgroup/”路径 下。当任务组迁移完成后,这些列表文件会 保留下来,您可以手动删除它们。

(22)

如果... 那么...

指定对象列表目录 指定对象列表方式,一般用于增量迁移 场景,用户需要将待迁移的源端对象名 称写入对象列表文件,并将生成的对象 列表文件放在华为云OBS桶中,对象存 储迁移服务将会迁移指定对象列表文件 中的所有对象。

1. 选择“列表目录所在桶(华为 云)”。

说明此参数中列出的桶是通过步骤4.2中输入 的目的端AK/SK得到的桶列表。

请确保列表文件所在桶与目的端桶处于同 一区域,否则后续将无法选择对象列表文 件。

2. 在“选择对象列表目录”区域内单击

“选择”,选择用户指定的对象列表 文件,单击“确定”。

说明

● 对象列表文件大小不能超过1024 MB。

● 对象列表文件必须是“.txt”类型的文 件,并且该文件元数据中的

“ContentType”只能为:“text/

plain”。

● 对象列表文件必须是UTF-8无BOM格式编 码格式。

● 对象列表文件中每行只能包含一个对象名 称,并且对象名称使用URL Encode编 码。

● 对象列表文件中每行不要添加无效空格,

否则会将空格作为对象名,导致迁移失 败。

● 对象列表文件中每行长度不要超过 65535,否则会导致迁移失败。

● 对象列表文件的元数据中不能设置

“ContentEncoding”,否则会导致迁移 失败。

● 对象列表文件如果是归档数据,迁移前需 要先手动恢复,对象存储迁移服务才能访 问和获取。

(23)

如果... 那么...

指定URL列表目录 指定URL列表目录方式,一般适用于 HTTP或HTTPS源端的迁移场景,用户需 要将待迁移的文件URL和目的端对象名称 写入一个或多个URL列表文件(单个列表 文件大小不能超过1 GB),并将生成的 URL列表文件放在华为云OBS桶的指定目 录中(目录下的文件个数不能超过2000 个且必须是“.txt”类型的文件),对象 存储迁移服务将会迁移OBS桶指定目录 下所有URL列表文件中的对象。

1. 选择“列表目录所在桶(华为 云)”。

说明

– 此参数中列出的桶是通过步骤4.2中输 入的目的端AK/SK得到的桶列表。

– 请确保列表文件所在桶与目的端桶处 于同一区域,否则后续将无法选择对 象列表文件。

– 出于安全考虑,若您的源端同时支持 HTTP和HTTPS协议,建议迁移时使用 HTTPS协议;若使用HTTP协议,会存 在数据可能会被监听窃取、数据被篡 改、中间人重放攻击等风险。

– 如果待迁移内容为非公开内容时,建 议不要将源端数据公开,采用其他非 HTTP/HTTPS方式进行迁移。

– URL列表迁移不支持URL重定向。

2. 在“选择URL列表目录”区域内单击

“选择”,选择用户指定的URL列表 文件,单击“确定”。

(24)

如果... 那么...

说明

– 单个URL列表文件大小不能超过1024 MB。

– 所选URL目录下的文件个数不能超过 2000个。

– URL列表文件必须是“.txt”类型的文 件,并且该文件元数据中的

“ContentType”只能为:“text/

plain”。

– URL列表文件必须是UTF-8无BOM格 式编码格式。

– URL列表文件中每行只能包含一个URL 和目的端对象名称。

– URL列表文件中每行长度不要超过 65535,否则会导致迁移失败。

– URL列表文件的元数据中不能设置

“ContentEncoding”,否则会导致 迁移失败。

– URL列表文件中每行使用制表符\t分割 URL和目的端对象名称,格式为:

[URL][制表符][目的端对象名称],其 中源端对象名称如果包含中文、特殊 字符必须使用URL Encode编码,例 如:http://xxx.obs.myhuaweicloud.com/doc

%2f%e6%96%87%e4%bb%b61.txt doc

%2f%e6%96%87%e4%bb%b61.txt http://xxx.obs.myhuaweicloud.com/doc

%2fthefile2.txt doc%2fthefile2.txt http://xxx.obs.myhuaweicloud.com/the

%20file.txt the%20file.txt

http://xxx.obs.myhuaweicloud.com/the

%20file2.txt the+file2.txt

http://xxx.obs.myhuaweicloud.com/doc

%2fthefile.txt doc/thefile.txt

注意:URL与目的端对象名称之间使 用一个制表符(键盘上Tab键)进行 分割,请勿使用空格。

以上示例中,URL所表示的文件,被 复制到目的端桶后,对象会被分别命 名为:doc/文件doc/thefile2.txt、the file.txt、the file2.txt以及doc/

thefile.txt。

– URL列表文件中每行不要添加无效空 格,否则会将空格作为对象名,导致 迁移失败。

步骤7 (可选)设置“源端参数”。

当您的源端云服务提供商提供了表3-4中首列相应的功能时,才会出现此部分参数。

(25)

3-4 源端参数

参数 说明

源端使用自定义域 名下载

当默认域名不能满足您的迁移需求,比如您需要一个自定义域 名以便使用CDN降低源端出口下载流量的费用,且您的源端云 服务提供商支持自定义域名时,可以勾选此选项。

说明

● 如果使用了防盗链,建议关闭防盗链或联系华为云技术支持。

● 当源端云服务提供商是七牛云时,因其对默认域名的使用做了限 制,为确保您的迁移顺利进行,系统已为您自动勾选此参数。

勾选此选项后,进行如下设置:

1. 在“自定义域名传输协议”中选择传输协议。

说明HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。

如果待迁移内容为非公开内容时,建议不要将源端数据公开,采用 其他非HTTP/HTTPS方式进行迁移。

2. 填写“桶自定义域名”。

3. 如果您使用了源端云服务提供商提供的CDN鉴权,则选择

“启用CDN鉴权校验”,并配置校验类型和秘钥。

说明

– 您需要参见源端云服务提供商的相关资料配置CDN后,才能使 用CDN相关功能。

– 使用源端CDN产生的费用遵从源端云服务提供商的计费规则,

费用由源端云服务提供商向您收取。

– 不支持URl重定向。

4. 单击“检查”,检查配置是否正确。

– 如果检查未通过,请单击“详情”查看未通过的原因。

– 如果检查通过,则可继续进行其他迁移配置。

(26)

参数 说明

解冻归档数据 归档类型的对象存储要实现迁移,必须预先解冻。当您的源端 云服务提供商支持自动解冻归档类型数据时,可以勾选此选 项。

● 勾选:如果遇到归档类型对象,则自动解冻该对象并进行 迁移。如果解冻失败,则判定该对象迁移失败并跳过,继 续迁移其余对象。

● 不勾选:如果遇到归档类型对象,则直接判定该对象迁移 失败并跳过,继续迁移其余对象。

说明

● 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里 云、金山云、腾讯云。

● 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默 认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参 考各云服务提供商的相关文档。

● 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是 归档数据取回费用,这些均由源端云服务提供商向您收取。

● 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下 载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考 各云服务提供商的相关文档。

● 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目 的端桶的存储类型保持一致,与源端对象存储类型无关。

步骤8 单击“高级选项”后面“展开”,展开高级选项参数。

步骤9 (可选)设置高级选项参数。

3-5 高级选项参数

参数 说明

服务端加密 如果勾选“KMS”,对迁移数据进行KMS服务端加密后再 存储至目的OBS桶中。

说明使用KMS服务端加密可能会降低迁移速率10%左右。

当前区域支持KMS加密时,此参数方可用。

(27)

参数 说明

记录失败对象 选择是否记录迁移失败的对象。

● 选择“否”,则不记录迁移失败的对象。如果迁移失 败,只能全量重传。

● 选择“是”,记录迁移失败的对象。如果迁移失败,支 持只对迁移失败对象进行重传。

说明

迁移失败的对象将被记录在一个以任务名称命名的失败对象列表 文件中,普通任务和任务组任务都会上传到目的端桶的“oms/

failed_object_lists/”路径下。

该文件记录了迁移任务失败的摘要信息,包括:失败原因、发生 时间(参照当前区域所属时区)、失败对象(经过URL编码)、

失败对象(未经过URL编码)、源端SDK返回的错误码。

当迁移失败对象重传成功后,失败对象列表文件仍会保留在目的 端。您如果不再需要该文件,请手动删除。

迁移指定时间后的对象 选择是否使用时间过滤源端待迁移对象。

● 选择“否”,不过滤源端待迁移对象。

● 选择“是”,仅迁移在指定时间之后修改的源端待迁移 对象。需要单击 ,设置迁移指定时间。

发送通知 选择是否使用SMN消息通知功能,该功能可以通知您迁移 任务的结果。

● 选择“否”,不接收SMN消息。

● 选择“是”,接收SMN消息。

需要执行以下步骤:

1. 单击“SMN主题”所在行的“添加”,弹出“选择 SMN主题”对话框。

2. 选择接收SMN消息的主题,单击“确定”完成选 择。如果您所选的SMN主题没有对对象存储迁移服务授 权,单击“确定”则会弹出“警告”对话框。如果 需要授权,请单击“是”为对象存储迁移服务授 权,否则请单击“否”返回“选择SMN主题”页 面,选择其他SMN主题。

3. 设置“触发条件”参数。您可以只勾选其中一个参 数或者两个参数都勾选。

– “迁移成功”表示迁移任务成功时发送SMN消息通 知。

– “迁移失败”表示迁移任务失败时发送SMN消息通 知。

说明如果您无法正常使用SMN消息通知功能,请参见SMN消息通 知功能无法正常使用怎么办?。

(28)

参数 说明

流量控制 设置迁移任务在指定时段的最大流量带宽。

● 选择“否”,不进行流量控制。

● 选择“是”,进行流量控制。

需要执行以下步骤:

1. 单击“新增流量控制”。

下方新增一条规则记录。

2. 在“开始时间”、“结束时间”和“限制最大流 量”文本框中输入数值。

限制最大流量的数值范围:1~ 200MB/s 。 3. 重复步骤9.a~步骤9.b,增加新的流量控制规则。

您也可以单击“操作”栏的 ,删除本行记录。

说明最多可以创建5条记录。

即使在创建任务后,您也可以在任务详情中继续设置流量 控制规则。

描述 输入本次迁移任务的简单描述信息。

最多可输入255个字符。

步骤10 单击“下一步”,进入确认信息页面。

步骤11 确认迁移信息的设置,并启动迁移。

1. 浏览各项迁移参数的设置是否正确。

如果有误,可以单击“上一步”返回之前的页面进行修改。

2. 单击“开始迁移”。

提示创建迁移任务成功。查看迁移任务组列表已新增该任务组 ----结束

3.2 查看迁移任务组

操作场景

创建迁移任务组后,您可以随时查看迁移的进度以及详情,以确定任务组的执行状态 是否正常。

操作步骤

步骤1 登录管理控制台,进入“对象存储迁移服务”页面。

步骤2 在左侧导航树,选择“迁移任务组”。

右侧切换到“迁移任务组”页面。

步骤3 在迁移任务组列表的右上角,设置迁移状态以过滤任务组。

任务组状态说明参见表3-6。

(29)

3-6 迁移任务组状态

状态 说明

等待 迁移任务组创建后正在进行后台初始化操作。

创建任务 正在创建任务组中的迁移任务。

监控任务执行 任务组中的迁移任务正在进行中。

暂停创建中 正在暂停任务组中迁移任务的创建。

暂停创建 已暂停任务组中迁移任务的创建,可手动恢复。

创建任务失败 任务组中的迁移任务创建失败。

迁移失败 未成功完成迁移。失败的任务可手动重启。

迁移完成 已正常完成迁移。

步骤4 单击任务组记录左侧的 ,查看该任务组的详情。

说明

迁移任务组详情包含了迁移任务数量、对象数量,以及您在创建迁移任务时的各项参数信息。

您可以单击带有链接的目的端桶名,进入OBS桶中查看已迁移到华为云的对象存储数据。

----结束

3.3 管理迁移任务组

创建迁移任务组后,您可以对迁移任务执行暂停/恢复、重启等操作。

操作步骤

步骤1 登录管理控制台,进入“对象存储迁移服务”页面。

步骤2 在左侧导航树,选择“迁移任务组”。

右侧切换到“迁移任务组”页面。

步骤3 对目标迁移任务组进行操作。

3-7 管理迁移任务组

项目 场景 操作

暂停迁移任务 组

暂停状态为“创建任务”的任务

组。 1. 单击“暂停”。

2. 仔细阅读弹出窗口中的内容

(30)

项目 场景 操作 恢复迁移任务

对于暂停的迁移任务组,您可以

手动恢复,继续迁移。 1. 单击恢复按钮。

2. 在弹出窗口中输入源端和目 的端的AK、SK后,单击“确 定”。

说明如果启用了CDN鉴权,还需要 输入校验秘钥。

任务状态显示为“迁移 中”。

重启迁移任务 组

当迁移任务失败时,您可以手动 重启迁移失败的任务组,重新执 行迁移。

1. 单击重启按钮。

2. 在弹出窗口中输入源端和目 的端的AK、SK后,单击“确 定”。

说明

– 如果设置了记录失败对象,

还需要选择迁移范围,包括 所有对象和失败对象。

– 如果启用了CDN鉴权,还需 要输入校验秘钥。

任务状态显示为“迁移 中”。

----结束

(31)

4 迁移前评估

迁移前评估主要用于在实际数据迁移前,统计桶内对象分布情况,估算迁移时间。

4.1 评估桶内数据

操作场景

如果您的桶内数据容量超过3TB,数量超过500万个,建议使用迁移前评估功能,统计 桶内对象分布情况并估算迁移时间,以便自动划分并创建迁移任务,最大化利用服务 的并发性能。

说明

目前支持评估以下云服务提供商:华为云、阿里云、微软云、腾讯云、亚马逊云(中国)、七牛 云、金山云、优刻得、百度云。

背景信息

● 由于需要全量分析桶内对象基础信息,如果您的桶内对象数量非常多,评估将会 消耗较长时间,详细信息请参考表4-1。

4-1 对象存储评估速度

云服务提供商 评估速度

华为云 27,000,000个/小时 阿里云 27,000,000个/小时 腾讯云 20,000,000个/小时 亚马逊云(中国) 24,000,000个/小时 七牛云 20,000,000个/小时

(32)

● 评估不会下载您的对象数据信息,只会获取对象的属性。

● 评估只会消耗您的API调用费用,不会产生额外费用。

以1万次API调用收取0.01元为例,每次API调用列举1000个对象,评估1亿个对象 将消耗您0.1元。

● 允许一个租户一天最多对500个桶进行评估。

操作步骤

步骤1 登录管理控制台,进入“对象存储迁移服务”页面。

步骤2 在左侧导航树,选择“迁移前评估”。

右侧切换到“迁移前评估”页面。

步骤3 单击“创建评估”。

仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入

“创建评估”页面。

步骤4 选择源端参数,参见表4-2,并单击“列出桶”。

在下方区域显示源端的桶对象。

4-2 源端参数配置

参数 说明

云服务提供商 待评估的源端云服务提供商。

访问密钥 源端云服务提供商的访问密钥ID。最大长度是100个字 符。

私有访问密钥 源端云服务提供商的私有访问密钥ID,与访问密钥相匹 配。最大长度是100个字符。

AppId 如果云服务提供商为腾讯云,则需要输入该参数,

AppId是您腾讯云账户的一个标识。

步骤5 选择需要进行评估的桶,单击“开始评估”。

评估过程中,如果您需要终止本次评估,请单击“操作”栏的“终止”。

评估完成后,在“迁移前评估”页面的“评估报告”列单击“查看”了解详情。

说明

评估详情包括了对象size分布、对象前缀分布和对象时间分布等统计信息。

有关评估的状态说明,参见表4-3。

(33)

4-3 评估状态说明

状态 说明

等待中 评估创建后正在进行后台初始化操作。

评估中 系统正在对您指定的桶进行评估。

评估成功 已成功完成对桶的评估。您可以基于此评估创建迁移任 务。

评估失败 对桶的评估没有成功。您需要排查原因。

终止中 在您单击“终止”后,系统正在终止本次评估。

已终止 评估已终止。如果您需要评估,需要重新创建评估。

----结束

4.2 基于评估创建迁移任务

操作场景

基于评估的结果,自动划分并创建迁移任务。

背景信息

请参见创建迁移任务,了解各迁移参数的更为详细的解释。

前提条件

待迁移的源端桶已经评估成功。

操作步骤

步骤1 登录管理控制台,进入“对象存储迁移服务”页面。

步骤2 在“迁移前评估”页面,勾选评估成功的桶,单击“创建迁移任务”。

仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入

“创建迁移任务”页面。

说明

可同时选中同一个云服务提供商名下的多个桶。

步骤3 配置鉴权,参见表4-4。

(34)

4-4 鉴权配置

类型 参数 说明

源端鉴权 访问密钥 云服务提供商的访问密钥ID,最大长 度是100个字符。

私有访问密钥 云服务提供商的私有访问密钥ID,与 访问密钥相匹配。最大长度是100个字 符。

目的端鉴权 访问密钥 华为云的访问密钥ID,最大长度是100 个字符。

私有访问密钥 华为云的私有访问密钥ID,与访问密 钥相匹配。最大长度是100个字符。

步骤4 配置各迁移任务的基本参数,参见表4-5。

4-5 迁移配置

参数 说明

目的端桶 华为云的待迁移桶。

KMS加密 对迁移数据进行KMS服务端加密后再存储至目的端OBS桶 中。

解冻归档数据 当您的源端云服务提供商支持自动解冻归档类型数据时,

可以开启此选项。

流量控制 设置迁移任务在指定时段的最大流量带宽。单击 进行配 置。

源端自定义域名配置 当默认域名不能满足您的迁移需求时,可以使用此参数,

单击 进行配置。

步骤5 配置高级选项,参见表4-6。

4-6 高级选项

参数 说明

记录失败对象 是否记录迁移失败的对象。

迁移指定时间后的对象 是否使用时间过滤源端待迁移对象。

SMN通知 是否使用SMN消息通知功能,以便通知您迁移任务的结 果。

步骤6 单击“创建任务”,提交迁移任务。

(35)

提示“任务提交成功”,同时在对象存储迁移服务的任务列表左上角提示创建进度。

----结束

(36)

5 同步任务

同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发 器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步 接口,及时将数据同步到华为云OBS侧。

5.1 创建同步任务

OMS同步任务迁移流程图如图5-1所示。

5-1 同步任务迁移流程图

操作场景

填写源端和目的端AK/SK并配置同步任务参数,用于后续源端同步请求数据迁移和查 看同步任务详情。

说明

目前只支持华北-北京四、华东-上海一地区。

前提条件

● 已获取源端和目的端账号的AK/SK。

– 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对 象元数据,获取对象内容。获取方式参见源端桶权限获取。

(37)

– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。

● 已在华为云OBS服务中创建桶。

● 您过去24小时内已创建的迁移任务未满5000个。

● 您名下处于“等待中”状态的迁移任务未满5000个。

● 您名下处于“同步中”状态的同步任务未满5个。

● 已在华为云注册账号,并完成实名认证。

操作步骤

步骤1 登录管理控制台,进入“对象存储迁移服务”页面。

步骤2 在左侧导航树,选择“同步任务”。

步骤3 单击“创建同步任务”。

步骤4 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入

“创建同步任务”页面。

步骤5 选择源端/目的端。

1. 选择源端,具体参数说明参见表5-1。

5-1 源端选择参数

参数 说明

数据源 待迁移的源端云服务提供商,包括:

● 华为云

● 亚马逊云(中国)

● 阿里云

● 微软云

● 腾讯云

● 七牛云

● 青云

● 百度云

● 金山云

● 优刻得

appID 如果源端云服务提供商为腾讯云,则需要输入该参数,

appID 是您腾讯云帐户的一个标识。

访问密钥 源端云服务提供商的访问密钥(AK)。最大长度是100个

(38)

参数 说明

是否指定桶名 当您不具备列举桶权限,但具有列举桶中对象、获取对象 元数据和获取对象权限时可以开启此参数,通过指定源端 桶的路径来进行迁移。

设置说明参见表5-2。

5-2 “是否指定桶名”的设置说明

如果... 那么...

开启“是否指定桶名” 1. 在“选择区域”下拉框中选择源端桶所在区 域。

2. 在“桶名或路径”文本框中输入源端桶名或 带桶名的路径。

3. 单击“连接源端桶”。

对象存储迁移服务将检查源端信息填写是否 正确。如果填写正确,会提示连接桶成功。

关闭“是否指定桶名”(默认设

置) 1. 单击“连接源端桶”。

对象存储迁移服务将检查源端信息填写是否 正确。如果填写正确,且您的账号具有列举 桶名的权限,则会在“桶名”中列举您名下 的所有桶。

2. 在“桶名”中选择待迁移数据所在的桶。

2. 选择目的端,具体参数参见表5-3。

5-3 目的端选择参数

参数 说明

访问密钥 华为云的访问密钥(AK)。最大长度是100个字符。

私有访问密钥 华为云的私有访问密钥(SK),与AK相匹配。最大长度是 100个字符。

输入访问密钥和私有访问密钥后,请单击“连接目的端 桶”。

桶名 存放迁移数据的华为云OBS桶。

步骤6 单击“下一步”,设置任务参数。具体选项参见表5-4。

(39)

5-4 任务参数

参数 说明

服务端加密 如果勾选“KMS”,所有数据在迁移到

OBS服务后都将被加密存储。

说明使用KMS服务端加密可能会降低迁移速率 10%左右。

当前区域支持KMS加密时,此参数才可用。

解冻归档数据 归档类型的对象存储要实现迁移,必须

预先解冻。当您的源端云服务提供商支 持自动解冻归档类型数据时,可以勾选 此选项。

● 勾选:如果遇到归档类型对象,则自 动解冻该对象并进行迁移。如果解冻 失败,则判定该对象迁移失败并跳 过,继续迁移其余对象。

不勾选:如果遇到归档类型对象,则 直接判定该对象迁移失败并跳过,继 续迁移其余对象。

说明

– 目前支持以下云服务提供商的归档数 据的自动解冻:华为云、阿里云、金 山云、腾讯云。

– 解冻预计耗时1分钟及以上,对象越大 解冻耗时越长,超过3分钟默认解冻失 败。各云服务提供商的解冻耗时可能 存在差异,具体请参考各云服务提供 商的相关文档。

– 解冻归档数据的过程中会产生两种费 用,一是API调用费用,二是归档数据 取回费用,这些均由源端云服务提供 商向您收取。

– 归档数据的解冻状态会持续一段时 间,在此时间内支持对象的下载/访 问,超过此时间后需要重新解冻。解 冻状态持续时间请参考各云服务提供 商的相关文档。

– 对象存储数据从源端云服务提供商迁 移到华为云后,存储类型和目的端桶 的存储类型保持一致,与源端对象存 储类型无关。

步骤7 单击“下一步”,进入确认信息页面。

确认同步任务信息的设置,并启动同步。

1. 浏览各项同步任务参数的设置是否正确。

(40)

关于状态说明,参见表5 同步任务状态。

5-5 同步任务状态

状态 说明

同步中 表明源端对象存储服务的数据正在进行

同步。

说明

创建同步任务后,该任务状态显示为同步 中,仅代表可以接受源端发送的同步请求并 进行同步,需要您前往源端完成同步请求的 配置,详情请参见源端配置同步请求。通过 源端配置,使得源端新增/修改对象能够发送 同步请求。配置完成后,您的数据将开始进 行同步迁移。

已停止 表明停止对源端对象存储服务数据的同

步。

说明

如要停止对源端对象存储服务数据的同步,

请先在源端执行暂停操作,建议等待十五分 钟后,然后在同步任务页面点击“停止”。

否则由于时间差可能会造成部分已接收到的 同步请求对象同步失败。

步骤8 操作同步任务。

1. 启动同步任务。

说明

● 状态为“已停止”的同步任务,才可执行同步任务的重新启动。

● 停止后再次启动同步任务,出于安全考虑,系统不保存个人数据,需要重新输入源端,目的 端访问密钥以及私有访问密钥,完成身份验证。

2. 停止同步任务。

说明

● 状态为“同步中”的同步任务,才可执行同步任务的停止。

● 如要停止对源端对象存储服务数据的同步,请先在源端执行暂停操作,建议等待十五分钟 后,然后在同步任务页面点击“停止”。否则由于时间差可能会造成部分已接收到的同步请 求对象同步失败。

3. 删除同步任务。

说明

● 状态为“已停止”的同步任务,才可执行同步任务的删除。

----结束

(41)

5.2 源端配置同步请求

操作场景

创建同步任务后,您需要在源端配置同步请求,以确保源端云服务提供商的对象存储 服务可以针对源端新增、修改对象实时调用OMS同步接口(例如通过消息通知或函数计 算服务方式),以完成对源端新增、修改对象数据的同步迁移。

源端同步请求配置条件

● 实时获取源端新增、修改对象名称。

● 调用OMS同步接口,将源端变化对象传递给对象存储迁移服务,从而完成源端同 步迁移。

源端同步请求配置方式

● 基于源端云服务提供商的对象存储服务和函数工作流服务:通过配置源端云服务 提供商的对象存储服务和函数工作流服务来触发新增、修改对象的同步请求。

说明

客户需要在源端云服务提供商的函数工作流服务中,创建OMS数据同步函数,然后在对象 存储服务中设置基于函数工作流服务的事件通知,从而完成源端对象存储服务,函数工作 流服务以及OMS服务之间的数据链调用配置。

当源端对象发生新增、修改时,源端对象存储服务会主动调用函数工作流服务中配置的 OMS数据同步函数,从而完成源端对象同步迁移。

● 基于客户自建业务系统:通过客户自建业务系统触发新增、修改对象的同步请 求。

说明

当源端对象发生新增,修改时,客户自建业务系统通过接收源端对象存储服务的消息通知 或解析业务系统数据库变化来主动捕获对象信息,然后调用OMS服务的同步接口,从而完 成源端同步迁移。

操作步骤

以源端云服务提供商为华为云,通过函数工作流服务配置源端同步请求为例:

步骤1 登录管理控制台。

步骤2 单击“服务列表”,选择“计算 > 函数工作流 FunctionGraph",进入“函数工作 流”页面。

步骤3 单击左侧导航树“函数模板”,进入函数模板页面。

步骤4 在函数模板页面,右上角搜索框中输入OMS,筛选出“OMS数据同步”模板,如图1

OMS数据同步模板所示。

(42)

5-2 OMS 数据同步模板

说明

单击模板“详情”,可查看数据类别、输入参数、输出参数、注意事项等说明。

步骤5 单击“使用模板”,进入创建函数页面,如图5-3所示。设置相关参数,参数说明参见 表5-6。

(43)

5-3 创建函数

5-6 创建函数参数说明

(44)

参数名称 说明

函数名称 用户自定义。可包含字母、数字、下划

线和中划线,以大/小写字母开头,以字 母或数字结尾,长度不超过60个字符。

所属应用 default

委托名称 不使用任何委托。

企业项目 用户根据实际场景来选择,默认为

default。

描述(可选) 用户自定义,用来对函数进行说明。

运行时语言 Python 3.6

函数执行入口 index.handler

环境变量 ● sync_url:同步请求接收地址,从同 步任务详情中获取。

● sync_task_id:同步任务ID,从同步 任务页面获取。

● log_bucket:记录函数调用日志桶 名,用来记录发送同步请求成功和失 败的对象。 需要与当前区域一致。

● obs_endpoint:OBS域名,区域需要 和当前区域一致,获取地址:地区和 终端节点。

● hw_ak:华为云访问密钥ID。

● hw_sk:华为云私有访问密钥。

说明

单击“添加环境变量”,可添加自定义环 境变量。

步骤6 单击“创建函数”按钮,进入函数详情配置界面。

步骤7 在代码页签,单击“依赖代码包”右侧的“添加”按钮,弹出“选择依赖包”窗口,

勾选依赖包名称为“obssdk-3.0.2”的依赖包,单击“确定”。

步骤8 单击配置页签,设置“执行超时时间”,建议为60s,单击右上角“保存”按钮,如图

5-4所示。

(45)

5-4 设置执行超时时间

步骤9 单击触发器页签,在页面右上角单击“创建触发器”按钮,弹出创建触发器窗口,如 图5-5所示。设置相关参数,参数说明参见表5-7。

5-5 创建触发器

5-7 创建触发器参数说明

参数名称 说明

触发器类型 下拉选择对象存储服务(OBS)。

桶 下拉选择源端需要进行同步复制的桶。

事件 用户根据实际场景来选择。

(46)

参数名称 说明

后缀(可选) 输入一个可选性后缀来限制对以此关键

字结尾的对象的通知。

步骤10 单击“确定”,完成触发器的创建。

须知

源端同步请求函数工作流创建与配置完成后,需要配置测试事件来进行检验。

步骤11 在函数详情配置界面右上角,单击"请选择测试事件"下拉菜单,选择“配置测试事 件”,弹出配置测试事件页面,如图5-6所示。配置相关参数,参见表5-8。

5-6 配置测试事件

(47)

5-8 参数配置说明

参数 配置说明

配置测试事件 选择创建新的测试事件

事件模板 下拉选择“obs-event-template”

事件名称 自动生成,用户也可自定义

步骤12 单击“保存”按钮,测试事件保存成功。

步骤13 单击函数详情配置界面右上角“测试”按钮,页面上方将返回测试执行结果。

5-7 测试执行结果

说明

配置测试结果成功后,在源端桶上传一个对象,等待10分钟后,该对象会同步到目的端桶中。

----结束

相关操作

如果... 那么...

查看发送同步请求成功对象列表 获取路径:oms_source_record/

success_object/

查看发送同步请求失败对象列表 获取路径:oms_source_record/

failed_object/

说明

(48)

5.3 监控同步任务状态

操作场景

同步任务开始后,您可以随时查看同步的进度以及详情,以确定同步迁移的执行状态 是否正常。

操作步骤

步骤1 登录管理控制台,进入“对象存储迁移服务”页面。

步骤2 在左侧导航树,选择“同步任务”。

步骤3 单击任务ID记录左侧的 ,查看同步任务执行情况。如图1所示。具体的参数说明参 见表1。

5-8 监控同步任务

5-9 监控同步任务

参数 说明

接收同步请求对象数(本月) 统计本月截止目前接收到的来自源端发 送的同步请求对象数量。

同步对象数(本月) ● 成功

统计本月截止目前同步成功的对象,

可通过对象列表在目的桶中查看同步 成功对象列表。

● 失败

统计本月截止目前同步失败的对象,

可通过对象列表在目的桶中查看同步 失败对象列表。

● 忽略

统计本月截止目前同步忽略的对象,

可通过对象列表在目的桶中查看忽略 对象列表。

说明

当目的端已存在的对象(对象名、大小相 同,且创建时间在源端之后),OMS不会 进行迁移,计为忽略对象。

數據

表 2-2 “是否指定桶名”的设置说明 如果... 那么... 开启“是否指定桶名” 1. 在“选择区域”下拉框中选择源端桶所在 区域。 2. 在“桶名或路径”文本框中输入源端桶名 或带桶名的路径。 3
表 2-4 源端参数 参数 说明 源端使用自定义域 名下载 当默认域名不能满足您的迁移需求,比如您需要一个自定义域 名以便使用CDN降低源端出口下载流量的费用,且您的源端云 服务提供商支持自定义域名时,可以勾选此选项。 说明 ● 如果使用了防盗链,建议关闭防盗链或联系华为云技术支持。 ● 当源端云服务提供商是七牛云时,因其对默认域名的使用做了限 制,为确保您的迁移顺利进行,系统已为您自动勾选此参数。 勾选此选项后,进行如下设置: 1
表 2-7 管理迁移任务 项目 场景 操作 暂停迁移任务 因故暂停正在迁移的任务,比 如: ● 当迁移任务并发数超过系统 的限制时,暂停部分次要迁 移任务,优先执行重要的迁 移任务。 ● 当需要增加迁移对象时,可 以暂停迁移任务,在尚未迁 移的源端区域添加对象后, 再恢复迁移。 1
表 3-3 目的端选择参数 参数 说明 访问密钥 华为云的访问密钥(AK)。最大长度是100个字符。 私有访问密钥 华为云的私有访问密钥(SK),与AK相匹配。最大长 度是100个字符。 输入访问密钥和私有访问密钥后,请单击“连接目的 端桶”。 桶名 存放迁移数据的华为云OBS桶。 步骤5 单击“下一步”,设置任务参数。 步骤6 选择迁移方式。 如果..
+7

參考文獻

相關文件

撥款 目的/對象 申請辦法 中史科如何用? 運用津貼指引 學校發展津貼. /整合代課教 師津貼/擴大 的營辦開支整

。所謂「意象」,即是用文字寫出可見、可感的事物,這個事物

● 使用多重準則(例如清晰度、準確度、有效性、是否及

例如 : http ( 網頁伺服器所用的協定 ) 定義了 client 如何向 server request 網頁及 server 如何 將網頁及其中的各種內容回傳給 client 。. 提供服務給 application layer

Because Feng used “Yuan-Yuan Tang” so often in the titles of his prose works, most scholars labeled “Yuan-Yuan Tang” as the unified symbol of Feng and the term “Yuan-Yuan

禪宗典籍之中,從惠能《六祖壇經》開始,已有應用「花」意象作為禪 意的象徵,例如〈機緣品〉惠能為法達說偈: 「但信佛無言,蓮花從口發」

評定量表 (rating scale) :指用以評定等級的工具,按評定結果可以看出學生 在某種特質上的等級,當中有各種形式如數字評定量表 (numerical rating scal e) 、圖示評定量表

中國傳統詩歌的中秋意象 (Google Doc) 奇華的文化意象 災難.