4.3.1 背景信息
本教程讲解了如何将腾讯云对象存储(Cloud Object Storage,简称COS)上的数据迁 移到华为云对象存储 OBS。
华为云对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数 据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的 对象存储服务(Object Storage Service,OBS)中,也可以在对象存储 OBS 之间进行 灵活的数据迁移。
● 2022年7月1日前,对象存储迁移服务(OMS)处于免费期,免费期结束后服务将 根据您累计使用的迁移流量进行收费,计费方式简单灵活、易于预测。具体费用详 情,请参见产品价格详情。迁移过程中会调用源端和目的端的对象存储服务的API 进行数据的上传、下载,所以会产生一定的API请求及下载流量费用,具体费用说 明请参见计费说明。
● 对象存储迁移服务暂不支持迁移多版本的对象存储数据。
4.3.2 准备工作
使用对象存储迁移服务前,请参考本节介绍完成准备工作。
创建源端腾讯云和目的端华为云的访问密钥
● 源端腾讯云:检查腾讯云迁移账号是否拥有SecretId/SecretKey以及只读权限
(ReadOnlyAccess),如果没有,参考如下步骤生成SecretId/SecretKey并添加 权限。
a. 登录腾讯云访问管理控制台。
b. 在左导航栏中选择【用户>用户列表】,进入用户列表页面。
在用户列表页面,单击子用户操作列的授权,勾选ReadOnlyAccess,单击
如果您的桶内数据容量超过3TB,数量超过500万个,建议使用迁移前评估功能,统计 桶内对象分布情况并估算迁移时间,具体操作参见评估桶内数据。
4.3.3 创建迁移任务
本节介绍创建迁移任务的操作步骤。
适用场景
适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创 建对象存储迁移任务,可将对象数据进行快速迁移。
说明
如果单个桶数据量大于3 TB或对象个数大于500万,建议您创建迁移任务组来进行迁移。
前提条件
● 已获取源端和目的端账号的AK/SK并授予相关权限。
– 源端桶对应账户需要的权限:只读权限(ReadOnlyAccess) 。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在OBS服务中创建桶。
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录华为云控制台。
步骤2 单击控制台左上角的 ,在下拉框中选择迁移目的端桶所在的Region,如图4-47所 示。
图4-47 选择目的端桶 Region
步骤3 单击控制台左侧“服务列表”,选择“迁移 > 对象存储迁移服务 OMS”,进入“对 象存储迁移服务”页面。
您也可以在搜索框中输入“OMS”,快速查找“对象存储迁移服务 OMS”,如图 4-48所示。
图4-48 选择对象存储迁移服务
步骤4 在“迁移任务”页面,单击页面右上角的“创建迁移任务”,如图4-49所示。
图4-49 创建迁移任务
步骤5 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建迁移任务”的“选择源端/目的端”页面,如图4-50所示。
图4-50 选择源端/目的端页面
步骤6 设置“选择源端”区域的参数,参见表4-15。
表4-15 设置源端参数
参数 设置
数据源 选择腾讯云。
appID 填写腾讯云APPID。
说明您可以在腾讯云控制台账号信息页面查看APPID。
访问密钥 填写源端腾讯云的访问密钥(SecretId)。
私有访问密钥 填写源端腾讯云的私有访问密钥(SecretKey)。
参数 设置
图4-51 设置任务参数页面
步骤9 根据下表迁移方式和适用场景说明,选择迁移方式。
迁移方式 适用场景 说明
选择文件/文件夹 已知迁移对象文件名或者
所在文件目录。 ● 选择文件夹:迁移勾选 文件夹下的所有对象。
● 选择文件:迁移勾选的 对象文件。
支持同时勾选文件夹和对 象文件进行迁移,若不勾 选,则默认迁移桶内的所 有对象。
迁移方式 适用场景 说明
指定对象列表 已知所有需要迁移对象的
文件名,并将所有文件名 放置在一个.txt文件中,上 传到华为云OBS桶。
● 列表文件所在桶(华为 超过1024MB。
● 对象列表文件中的首个 对象必须存在,否则会 预校验不通过。
● 对象列表文件必须是
“.txt”类型的文件,并 且该文件元数据中的
“ContentType”只能 为:“text/plain”。
● 对象列表文件必须是 UTF-8无BOM格式编码 格式。
● 对象列表文件中每行只 能包含一个对象名称,
并且对象名称使用URL Encode编码
● 对象列表文件中每行不 要添加无效空格,否则 会将空格作为对象名,
导致迁移失败。
● 对象列表文件中每行长 度不要超过65535,否则 会导致迁移失败。
● 对象列表文件的元数据 中不能设置
“ContentEncoding”,
否则会导致迁移失败。
1. 单击桶名下方的“选择”按钮,弹出“选择文件/文件夹”窗口。
2. 勾选待迁移的文件夹,如图4-52所示;勾选待迁移的文件,如图4-53所示。
说明
支持同时勾选文件夹和对象文件进行迁移,若不勾选,则默认迁移桶内的所有对象。
图4-52 选择文件夹
图4-53 选择文件
3. 单击“确定”,所选文件/文件夹显示在下方,如图4-54所示。
图4-54 选择完成
步骤11 (可选)选择“指定对象列表”迁移方式。
1. 在“列表文件所在桶(华为云)”下拉列表中,选择存放列表文件的桶,如图 4-55所示。
注意
请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表 文件。
图4-55 选择列表文件所在桶
2. 在“选择对象列表文件”参数后面,单击“选择”按钮,弹出“选择对象列表文 件”窗口,选择包含所有对象文件名的.txt文件,单击“确定”,如图4-56所示。
图4-56 选择对象列表文件
步骤12 (可选)选择“输入对象前缀”迁移方式。
1. 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图4-57所 示。
图4-57 输入对象数据名称或名称前缀
2. 单击“添加”按钮,系统会自动匹配出数据,如图4-58所示。
图4-58 匹配数据
说明
您可以单击 ,从匹配到的迁移数据列表中删除不需要迁移的数据。若不添加该参数,则 默认迁移全桶的数据。
步骤13 (可选)单击“高级选项”后面“展开”,如图4-59所示。根据表4-17参数说明,设 置“高级选项”参数。
图4-59 高级选项
表4-17 参数说明
参数 说明
服务端加密 可选,如果勾选“KMS”,对迁移数据进行KMS服 务端加密后再存储至目的OBS桶中。
记录失败对象 默认“是”。 文件中,并将该文件上传到目的端桶的“oms/
failed_object_lists/”路径下。
– 失败对象列表文件,最多记录10万个失败对象。
参数 说明
迁移指定时间后的对象 使用时间过滤源端待迁移对象,默认“否”。
● 选择“否”,不过滤源端待迁移对象。
● 选择“是”,仅迁移在指定时间之后修改的源端 待迁移对象。
发送通知 默认“否”,选择是否使用SMN消息通知功能,该 功能可以通知您迁移任务的结果。
● 选择“否”,不接收SMN消息。
● 选择“是”,接收SMN消息。
流量控制 默认“否”,设置迁移任务在指定时段的最大流量 带宽。
● 选择“否”,不进行流量控制。
● 选择“是”,进行流量控制。
描述 输入本次迁移任务的简单描述信息。
步骤14 单击“下一步”,进入“确认信息”页面,如图4-60所示。
图4-60 确认信息页面
步骤15 确认源端信息、目的端信息、任务参数、高级选项等参数无误后,单击“开始迁 移”。提示创建迁移任务成功。查看迁移任务列表已新增该任务。
说明
相关操作
适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源 端待迁移对象智能分解到多个迁移任务中并行迁移。
前提条件
● 已获取源端和目的端账号的AK/SK并授予相关权限。
– 源端桶对应账户需要的权限:只读权限(ReadOnlyAccess) 。
– 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数 据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方 式参见目的端桶权限获取。
● 已在OBS服务中创建桶。
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录华为云控制台。
步骤2 单击控制台左上角的 ,在下拉框中选择迁移目的端桶所在的Region,如图4-61所 示。
图4-61 选择目的端桶 Region
步骤3 单击控制台左侧“服务列表”,选择“迁移 > 对象存储迁移服务 OMS”,进入“对 象存储迁移服务”页面。
您也可以在搜索框中输入“OMS”,快速查找“对象存储迁移服务 OMS”,如图 4-62所示。
图4-62 选择对象存储迁移服务
步骤4 在左侧导航树,选择“迁移任务组”,切换到“迁移任务组”页面。
步骤5 在“迁移任务组”页面,单击页面右上角的“创建迁移任务组”,如图4-63所示。
图4-63 创建迁移任务组
步骤6 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建迁移任务组”的“选择源端/目的端”页面,如图4-64所示。
图4-64 选择源端/目的端页面
步骤7 设置“选择源端”区域的参数,参见表4-18。
表4-18 设置源端参数
参数 设置
数据源 选择腾讯云。
appID 填写腾讯云APPID。
说明您可以在腾讯云控制台账号信息页面查看APPID。
访问密钥 填写源端腾讯云的访问密钥(SecretId)。
私有访问密钥 填写源端腾讯云的私有访问密钥(SecretKey)。
参数 设置
图4-65 设置任务组参数页面
步骤10 选择“输入对象前缀”迁移方式。
1. 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图4-66所 示。
图4-66 输入对象数据名称或名称前缀
2. 单击“添加”按钮,系统会自动匹配出数据,如图4-67所示。
图4-67 匹配数据
说明
您可以单击 ,从匹配到的迁移数据列表中删除不需要迁移的数据。若不添加该参数,则 默认迁移全桶的数据。
步骤11 (可选)单击“高级选项”后面“展开”,如图4-68所示。根据表4-20参数说明,设
步骤11 (可选)单击“高级选项”后面“展开”,如图4-68所示。根据表4-20参数说明,设