4.4.1 背景信息
本教程讲解了如何将七牛云对象存储(Kodo)上的数据迁移到华为云对象存储 OBS。
华为云对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数 据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的 对象存储服务(Object Storage Service,OBS)中,也可以在对象存储 OBS 之间进行 灵活的数据迁移。
使用华为云对象存储迁移服务,您只需在控制台填写源端数据地址和目的端 OBS 地址
注意
● 2022年7月1日前,对象存储迁移服务(OMS)处于免费期,免费期结束后服务将 根据您累计使用的迁移流量进行收费,计费方式简单灵活、易于预测。具体费用详 情,请参见产品价格详情。迁移过程中会调用源端和目的端的对象存储服务的API 进行数据的上传、下载,所以会产生一定的API请求及下载流量费用,具体费用说 明请参见计费说明。
● 对象存储迁移服务暂不支持迁移多版本的对象存储数据。
4.4.2 准备工作
使用对象存储迁移服务前,请参考本节介绍完成准备工作。
创建源端七牛云和目的端华为云的访问密钥(AK/SK)
● 源端七牛云:检查七牛云迁移账号是否拥有AK/SK以及只读权限(对空间的所有对 象拥有访问权限),如果没有,参考如下步骤生成AK/SK并添加权限。
a. 登录七牛云管理控制台。
b. 在界面顶部导航栏单击用户名,选择“密钥管理” ,单击“创建密钥”生成 AK/SK。
c. 添加权限
● 目的端华为云:参见创建访问密钥(AK/SK)。
创建目的端桶
创建用于存放迁移数据的桶,具体操作参见创建桶。
(可选)迁移前评估
如果您的桶内数据容量超过3TB,数量超过500万个,建议使用迁移前评估功能,统计 桶内对象分布情况并估算迁移时间,具体操作参见评估桶内数据。
4.4.3 创建迁移任务
本节介绍创建迁移任务的操作步骤。
适用场景
适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创 建对象存储迁移任务,可将对象数据进行快速迁移。
说明
如果单个桶数据量大于3 TB或对象个数大于500万,建议您创建迁移任务组来进行迁移。
前提条件
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录华为云控制台。
图4-70 选择目的端桶 Region
步骤3 单击控制台左侧“服务列表”,选择“迁移 > 对象存储迁移服务 OMS”,进入“对 象存储迁移服务”页面。
您也可以在搜索框中输入“OMS”,快速查找“对象存储迁移服务 OMS”,如图 4-71所示。
图4-71 选择对象存储迁移服务
步骤4 在“迁移任务”页面,单击页面右上角的“创建迁移任务”,如图4-72所示。
图4-72 创建迁移任务
步骤5 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建迁移任务”的“选择源端/目的端”页面,如图4-73所示。
图4-73 选择源端/目的端页面
步骤6 设置“选择源端”区域的参数,参见表4-21。
表4-21 设置源端参数
参数 设置
数据源 选择七牛云。
访问密钥 填写源端七牛云的访问密钥(AK)。
私有访问密钥 填写源端七牛云的私有访问密钥(SK)。
是否指定桶名 关闭“是否指定桶名”(默认设置)。
1. 单击“桶名”后的“连接源端桶”,在“桶名”中 列举您名下的所有桶。
2. 在“桶名”的下拉列表中选择需要迁移的桶。
说明
参数 设置
开启“是否指定桶名”。
1. 在“选择区域”下拉框中选择源端桶所在区域。
2. 在“桶名与路径”文本框中输入源端桶名或带桶名 的路径。
3. 单击“连接源端桶”。
步骤7 设置“选择目的端”区域的参数,参见表4-22。
表4-22 设置目的端参数
参数 设置
访问密钥 填写目的端华为云的访问密钥(AK)。
私有访问密钥 填写目的端华为云的私有访问密钥(SK)。
填写访问密钥和私有访问密钥后,请单击“连接目的端 桶”。
桶名 选择存放迁移数据的华为云OBS桶。
步骤8 单击“下一步”,进入“设置任务参数”页面,如图4-74所示。
图4-74 设置任务参数页面
步骤9 根据下表迁移方式和适用场景说明,选择迁移方式。
迁移方式 适用场景 说明
指定对象列表 已知所有需要迁移对象的
文件名,并将所有文件名 放置在一个.txt文件中,上 传到华为云OBS桶。
● 列表文件所在桶(华为 超过1024MB。
● 对象列表文件中的首个 对象必须存在,否则会 预校验不通过。
● 对象列表文件必须是
“.txt”类型的文件,并 且该文件元数据中的
“ContentType”只能 为:“text/plain”。
● 对象列表文件必须是 UTF-8无BOM格式编码 格式。
● 对象列表文件中每行只 能包含一个对象名称,
并且对象名称使用URL Encode编码
● 对象列表文件中每行不 要添加无效空格,否则 会将空格作为对象名,
导致迁移失败。
● 对象列表文件中每行长 度不要超过65535,否则 会导致迁移失败。
● 对象列表文件的元数据 中不能设置
“ContentEncoding”,
否则会导致迁移失败。
1. 在“列表文件所在桶(华为云)”下拉列表中,选择存放列表文件的桶,如图 4-75所示。
注意
请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表 文件。
图4-75 选择列表文件所在桶
2. 在“选择对象列表文件”参数后面,单击“选择”按钮,弹出“选择对象列表文 件”窗口,选择包含所有对象文件名的.txt文件,单击“确定”,如图4-76所示。
图4-76 选择对象列表文件
图4-77 输入对象数据名称或名称前缀
2. 单击“添加”按钮,系统会自动匹配出数据,如图4-78所示。
图4-78 匹配数据
说明
您可以单击 ,从匹配到的迁移数据列表中删除不需要迁移的数据。若不添加该参数,则 默认迁移全桶的数据。
步骤12 根据表4-23,设置“源端参数”。
表4-23 源端参数设置
参数 设置
源端使用自定义域
名下载 1. 在“自定义域名传输协议”中选择传输协议。
说明
– HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。
– 如果使用了防盗链,建议关闭防盗链或联系华为云技术支持。
2. 填写“桶自定义域名”。
检查 单击“检查”按钮,检查参数设置是否正确。
● 检查未通过,请单击“详情”查看未通过的原因。
● 检查通过,继续进行其他迁移配置。
步骤13 (可选)单击“高级选项”后面“展开”,如图4-79所示。根据表4-24参数说明,设 置“高级选项”参数。
图4-79 高级选项
表4-24 参数说明
参数 说明
服务端加密 可选,如果勾选“KMS”,对迁移数据进行KMS服 务端加密后再存储至目的OBS桶中。
参数 说明 文件中,并将该文件上传到目的端桶的“oms/
failed_object_lists/”路径下。
– 失败对象列表文件,最多记录10万个失败对象。
图4-80 确认信息页面
步骤15 确认源端信息、目的端信息、任务参数、高级选项等参数无误后,单击“开始迁 移”。提示创建迁移任务成功。查看迁移任务列表已新增该任务。
说明
任务创建后,会生成一个任务ID供您快速识别。它显示在列表中任务的左上角,由源端桶名+目 的端桶名+时间序列标识拼接而成。
----结束
相关操作
您可以对创建的迁移任务进行如下操作。
如果... 那么...
查看迁移任务 请参见查看迁移任务。
管理迁移任务 请参见管理迁移任务。
4.4.4 创建迁移任务组
本节介绍创建迁移任务组的操作步骤。
适用场景
前提条件
● 您过去24小时内已创建的迁移任务未满5000个。
● 您名下处于“等待中”状态的迁移任务未满5000个。
● 已在华为云注册账号,并完成实名认证。
操作步骤
步骤1 登录华为云控制台。
步骤2 单击控制台左上角的 ,在下拉框中选择迁移目的端桶所在的Region,如图4-81所 示。
图4-81 选择目的端桶 Region
步骤3 单击控制台左侧“服务列表”,选择“迁移 > 对象存储迁移服务 OMS”,进入“对 象存储迁移服务”页面。
您也可以在搜索框中输入“OMS”,快速查找“对象存储迁移服务 OMS”,如图 4-82所示。
图4-82 选择对象存储迁移服务
步骤4 在左侧导航树,选择“迁移任务组”,切换到“迁移任务组”页面。
步骤5 在“迁移任务组”页面,单击页面右上角的“创建迁移任务组”,如图4-83所示。
图4-83 创建迁移任务组
步骤6 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入
“创建迁移任务组”的“选择源端/目的端”页面,如图4-84所示。
图4-84 选择源端/目的端页面
步骤7 设置“选择源端”区域的参数,参见表4-25。
表4-25 设置源端参数
参数 设置
数据源 选择七牛云。
访问密钥 填写源端七牛云的访问密钥(AK)。
私有访问密钥 填写源端七牛云的私有访问密钥(SK)。
参数 设置
图4-85 设置任务组参数页面
步骤10 选择“输入对象前缀”迁移方式。
1. 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图4-86所 示。
图4-86 输入对象数据名称或名称前缀
2. 单击“添加”按钮,系统会自动匹配出数据,如图4-87所示。
图4-87 匹配数据
说明
您可以单击 ,从匹配到的迁移数据列表中删除不需要迁移的数据。若不添加该参数,则 默认迁移全桶的数据。
步骤11 根据表4-27,设置“源端参数”。
表4-27 源端参数设置
参数 设置
源端使用自定义域
名下载 1. 在“自定义域名传输协议”中选择传输协议。
说明
– HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。
– 如果使用了防盗链,建议关闭防盗链或联系华为云技术支持。
2. 填写“桶自定义域名”。
检查 单击“检查”按钮,检查参数设置是否正确。
● 检查未通过,请单击“详情”查看未通过的原因。
● 检查通过,继续进行其他迁移配置。
步骤12 (可选)单击“高级选项”后面“展开”,如图4-88所示。根据表4-28参数说明,设 置“高级选项”参数。
图4-88 高级选项
表4-28 参数说明
参数 说明
服务端加密 可选,如果勾选“KMS”,对迁移数据进行KMS服 务端加密后再存储至目的OBS桶中。
参数 说明 文件中,并将该文件上传到目的端桶的“oms/
failed_object_lists/”路径下。
– 失败对象列表文件,最多记录10万个失败对象。
图4-89 确认信息页面
步骤14 确认源端信息、目的端信息、任务参数、高级选项等参数无误后,单击“开始迁
步骤14 确认源端信息、目的端信息、任务参数、高级选项等参数无误后,单击“开始迁