• 沒有找到結果。

性能优化最佳实践_对象存储服务 OBS_最佳实践_华为云

N/A
N/A
Protected

Academic year: 2022

Share "性能优化最佳实践_对象存储服务 OBS_最佳实践_华为云"

Copied!
112
0
0

加載中.... (立即查看全文)

全文

(1)

最佳实践

文档版本 16

发布日期 2021-10-30

(2)

版权所有 © 华为技术有限公司 2022。 保留一切权利。

非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传 播。

商标声明

和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标,由各自的所有人拥有。

注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声 明或保证。

由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

(3)

目 录

1 OBS 最佳实践汇总... 1

2 搬迁本地数据至 OBS...3

2.1 概述... 3

2.2 OBS 工具方式... 4

2.3 CDM 方式... 4

2.4 DES 磁盘方式...5

2.5 DES Teleport 方式... 6

2.6 云专线方式... 7

3 迁移第三方云厂商数据至 OBS... 8

3.1 概述... 8

3.2 OMS 方式... 9

3.3 CDM 方式... 9

3.4 OBS 镜像回源方式... 10

4 OBS 之间数据迁移... 12

5 使用备份软件实现本地数据备份至 OBS... 14

5.1 概述... 14

5.2 使用 Commvault 备份本地 SAP HANA... 14

5.3 使用 AnyBackup Cloud 备份方案...16

6 在 ECS 上通过内网访问 OBS...17

6.1 概述... 17

6.2 在 Windows ECS 上使用 OBS Browser+通过内网访问 OBS...19

6.3 在 Linux ECS 上使用 obsutil 通过内网访问 OBS... 22

7 通过 CDN 加速访问 OBS...25

7.1 概述... 25

7.2 通过 CDN 实现 OBS 文件下载加速... 28

8 使用自定义域名托管静态网站...34

8.1 托管静态网站...34

8.2 更新静态网站...40

9 OBS 数据一致性校验... 42

9.1 概述... 42

(4)

9.2 校验上传对象的一致性... 45

9.3 校验下载对象的一致性... 47

10 性能优化最佳实践...50

11 将 WordPress 远程附件存储到 OBS...51

12 Web 端通过 PostObject 接口直传 OBS...54

13 移动应用直传...61

13.1 概览... 61

13.2 使用临时安全凭证直传 OBS... 61

13.3 使用预签名 URL 直传 OBS... 65

14 小程序直传 OBS...70

15 通过 Nginx 反向代理访问 OBS... 76

16 大数据场景下使用 OBS 实现存算分离... 81

16.1 方案概述... 81

16.2 对接大数据平台...84

16.2.1 支持的大数据平台简介... 84

16.2.2 华为云 MRS 对接 OBS... 85

16.2.3 Cloudera CDH 对接 OBS...85

16.2.4 Hortonworks HDP 对接 OBS...88

16.3 对接大数据组件...90

16.3.1 支持的大数据组件简介... 90

16.3.2 Hadoop 对接 OBS... 90

16.3.3 Hive 对接 OBS...95

16.3.4 Spark 对接 OBS... 96

16.3.5 Flume 对接 OBS... 97

16.3.6 DataX 对接 OBS... 98

16.3.7 Druid 对接 OBS... 100

16.3.8 Flink 对接 OBS...102

16.3.9 Logstash 对接 OBS...103

16.4 迁移 HDFS 数据至 OBS... 104

16.5 相关参考... 105

16.5.1 如何防止数据误删除... 105

A 修订记录... 107

最佳实践 目 录

(5)

1 OBS 最佳实践汇总

本文汇总了基于对象存储服务(OBS,Object Storage Service)常见应用场景的操作 实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松构建基于OBS的存 储业务。

1-1 OBS 最佳实践一览表

最佳实践 说明

搬迁本地数据至OBS 本章节根据用户本地(个人电脑或自建存储服务器)

数据大小,介绍了几种将本地数据搬迁至OBS的方 式,并针对不同方式提供了对应操作流程及指导。

迁移第三方云厂商的数据至

OBS 本章节根据存储在第三方云厂商的数据量及迁移场

景,介绍了几种迁移方式,并针对不同方式提供了对 应操作流程及指导。

使用备份软件实现本地数据

备份至OBS 本章节描述了备份本地数据至OBS的背景以及OBS支

持的备份软件,并以Commvault备份软件为例,介绍 了备份本地数据至OBS的基本流程。

OBS之间数据迁移 本章节介绍如何在华为云对象存储服务OBS之间进行 跨账号、跨地域、以及同地域内的数据迁移。

在ECS上通过内网访问OBS ECS支持通过公网和华为云内网两种方式访问OBS,

为优化性能、节省开支,建议通过华为云内网访问 OBS。本章节详细描述了在ECS上如何通过华为云内 网访问OBS服务。

通过CDN加速访问OBS OBS支持通过CDN加速实现快速获取存储在OBS上的

数据,提升终端用户体验,降低OBS流量开销。本章 节以OBS文件下载加速为例,介绍了如何通过CDN加 速访问OBS。

使用自定义域名托管静态网 站

本章节详细描述了在OBS上使用自定义域名托管静态 网站的操作流程及步骤,无需搭建网站服务器,即可 快速发布个人及企业静态网站。

(6)

最佳实践 说明

OBS数据一致性校验 对象数据在上传下载过程中,有可能会因为网络劫 持、数据缓存等原因,存在数据不一致的问题。本章 介绍如何利用OBS提供的通过计算MD5值的方式,对 上传下载的数据进行一致性校验。

性能优化最佳实践 本章节介绍如何通过给对象添加随机前缀名,对高速

率访问请求进行水平扩展,以达到提升访问速率,降 低访问时延的效果。

将WordPress远程附件存储

到OBS 本章节介绍如何通过插件,将WordPress远程附件存 储到华为云OBS。

Web端通过PostObject接

口直传OBS 本章节介绍一种在Web端利用PostObject接口直传文

件至OBS的方法,即使用表单上传方式上传文件至 OBS。该方案省去了应用服务器这一步骤,提高了传 输效率,不会对服务器产生压力,且服务端签名后直 传可以保证传输的安全性。

移动应用直传 本章节介绍了应用客户端访问OBS的两种方法,从而

更好地保护应用数据,避免被攻击后数据泄露以及越 权访问的风险。

小程序直传OBS 本章节通过一个示例程序演示了如何通过微信小程序

上传文件至OBS。

通过Nginx反向代理访问

OBS 本章节介绍如何通过在ECS上配置Nginx反向代理,实 现通过固定IP地址访问OBS。

大数据场景下使用OBS实现 存算分离

华为云存算分离大数据方案相比传统大数据方案,在 同样的业务规模下所使用的计算资源、存储资源以及 服务器数量都会有明显下降,同时资源利用率也能得 到显著提升,可帮助企业降低业务综合成本。

最佳实践 1 OBS 最佳实践汇总

(7)

2 搬迁本地数据至 OBS

2.1 概述

背景

传统的自建存储服务器已不能满足大量的数据存储需求,主要原因可以归类为以下三 点:

● 数据存储量受限于搭建服务器时使用的硬件设备,如果存储量不够,需要重新购 买存储硬盘,进行人工扩容。

● 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业 业务。

● 需承担网络信息安全、技术漏洞、误操作等各方面的数据安全风险。

OBS提供海量、稳定、安全的云存储能力,无需事先规划存储容量,存储资源可线性 无限扩展,用户永远不必担心存储容量不够用。在OBS上可以存储任何类型和大小的 非结构化数据,多级可靠性架构以及服务端加密、日志管理、权限控制等功能,保障 存储在OBS上的数据高度稳定和安全。在成本方面,OBS即开即用,免去了自建存储 服务器带来的资金、时间及人力成本的投入,后期的设备维护也全部交由OBS处理。

华为云提供搬迁方案,帮助用户将自建存储服务器上的数据短时间、低成本、安全、

高效地搬迁至OBS。用户可根据数据量、耗时、费用等需求选择适合的方案进行数据 搬迁。

搬迁方案

针对不同的搬迁场景及需求,华为云提供如表2-1所示的几种搬迁方案。

(8)

2-1 搬迁方案

搬迁方式 适用数据量 要求 耗时 费用

OBS工具方 式(在线)

不高于1TB的数 据量

要求用户公网带 宽空闲,需要人 工操作客户端或 脚本启动数据上 传

家用100Mbps带 宽,1TB耗时1天 左右

数据传输不 收取费用,

仅OBS收取 基本的存储 费用 CDM方式

(在线) 单次小于8TB的 数据量

需要用户单独购

买CDM服务 1TB~8TB/天

(取决于网络和 数据读取源的读 写性能)

根据购买CDM实例规 格以及使用 时长收费,

具体参见CDM价格详

DES磁盘方 式(离线)

单次小于30TB 的数据量

需要用户自己提 供磁盘

请参见从创建 DES服务单到数 据导入华为云需 要多长时间?

根据磁盘数 量以及使用 时长收费,

具体参见DES价格详

DESTeleport方 式(离线)

单次小于500TB 的数据量

由华为数据中心 邮寄Teleport给 用户使用

请参见从创建 DES服务单到数 据导入华为云需 要多长时间?

根据数据大 小以及使用 时长收费,

具体参见DES价格详

云专线方式

(实时)

每月大于100TB 的数据量,需 要实时在线上 传

需要部署专线 根据专线带宽决 定

根据专线距 离以及带宽 收费,具体 参见云专线 价格详情

2.2 OBS 工具方式

OBS工具方式适用于百GB规模的数据搬迁。OBS提供OBS Browser+、obsutil等多种客 户端工具,方便用户在本地直接将数据上传至OBS。由于上传需要占用用户公网带 宽,为不影响用户在公网上的主营业务,建议利用公网带宽空闲的时间上传数据。

各工具使用场景及操作指导,请参见OBS工具指南。

2.3 CDM 方式

简介

云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移 服务。CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象

最佳实践 2 搬迁本地数据至 OBS

(9)

存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至 OBS。

2-1 CDM 方式搬迁数据示意图

1. 创建OBS桶

通过OBS控制台或OBS Browser+创建桶,用于存放用户原始数据。

2. 购买CDM

购买CDM服务,即创建CDM集群,用于管理连接与作业。

3. 配置连接与作业

在创建CDM集群中创建一个源连接和一个目的连接,分别与用户本地数据源和云 端OBS连接。然后再创建CDM作业,执行从本地数据搬迁到云端OBS的任务。

4. 启动数据传输

运行CDM作业,启动数据传输。用户可以通过作业管理界面查看作业进度。

示例:周期性备份 FTP 服务器上的文件到 OBS

CDM支持周期性自动将新增文件上传到OBS,不需要写代码,也不需要用户频繁手动 上传即可使用华为云OBS的海量存储能力进行文件备份。以CDM周期性备份FTP服务 器上的文件到OBS为例,在CDM上的详细操作请参见周期性备份FTP/SFTP的文件到华 为云OBS。

示例:金融大数据咨询业务数据迁移

使用CDM将本地贸易统计数据导入到OBS,再使用数据湖探索(Data Lake Insight,

DLI)进行贸易统计分析,帮助H咨询公司以极简、极低成本构建其大数据分析平台,

使得该公司更好地聚焦业务,持续创新。

详细操作请参见金融大数据咨询业务数据迁移。

2.4 DES 磁盘方式

DES磁盘方式同样采用离线的方式将用户数据磁盘(USB、eSATA接口的磁盘等)快递 至华为云,实现数据高效传输。磁盘方式适用于30TB以下的数据量搬迁。

(10)

2-2 DES 磁盘方式搬迁数据示意图

1. 创建OBS桶

通过OBS控制台或OBS Browser+创建桶,用于存放用户原始数据。

2. 创建DES磁盘方式服务单

登录DES控制台,创建一个磁盘方式的服务单。然后将DES提供的签名文件导入本 地数据磁盘并邮寄给华为云数据中心。

3. 启动数据传输

华为云数据中心收到用户的磁盘并将磁盘挂载到物理服务器后,会短信通知用户 填写访问密钥(AK和SK)来启动数据上传。数据传输完成后,用户可以通过DES 控制台和OBS控制台两种途径查看传输结果。同时华为云数据中心也会将用户磁 盘回寄给用户。

具体操作步骤请参见磁盘方式详细指导。

2.5 DES Teleport 方式

Teleport是数据快递服务(Data Express Service,DES)专为30TB~500TB范围内数据 搬迁至OBS而定制的存储设备,具有防尘防水、抗震抗压以及GPS锁定、传输加密等多 重安全防护机制,配合离线传输的方式,能安全、高效的完成大规模数据搬迁。

2-3 DES Teleport 方式搬迁数据示意图

1. 创建OBS桶

通过OBS控制台或OBS Browser+创建桶,用于存放用户原始数据。

2. 创建DES Teleport服务单

DES提供Teleport和磁盘两种数据快递方式,在当前场景下选择Teleport方式。

3. 接收并导入数据至Teleport

最佳实践 2 搬迁本地数据至 OBS

(11)

成功创建DES服务单后,用户将接收到由华为数据中心邮寄的Teleport设备。接着 进行简单配置操作使Teleport与用户客户端连接起来,然后执行数据拷贝并将设备 回寄给华为云数据中心。

4. 启动数据传输

在华为云数据中心收到回寄的Teleport后,用户可以在DES控制台上输入访问密钥 启动数据从Teleport到OBS指定桶的传输。数据传输完成后,用户可以通过DES控 制台和OBS控制台两种途径查看传输结果。

具体操作步骤请参见Teleport方式详细指导。

2.6 云专线方式

云专线方式由用户自己购买云专线服务(Direct Connect,DC),直接将用户本地的 网络与华为云网络打通,实现专线直接访问OBS等服务。云专线方式适用于需要频繁 或实时地将本地数据搬迁至OBS的场景。专线提供的低时延、高带宽,可以满足用户 随时上传数据至OBS的需求。

2-4 云专线方式搬迁数据示意图

1. 创建OBS桶

登录OBS控制台,创建一个或多个用于存储用户数据的桶。

2. 开通云专线服务

登录云专线控制台,根据业务需求填写专线申请并提交订单,待管理员审核通过 后,用户支付订单,联系运营商安排工程师接通两端物理线路,华为工程师配合 进行连接配置。具体操作步骤请参见开通云专线。

3. 配置VPC终端节点

在VPC终端节点中创建DNS终端节点和OBS终端节点,在本地数据中心配置DNS 转发规则、DNS路由以及OBS路由。具体操作参见配置通过内网访问OBS服务的 终端节点。

说明

仅“拉美-墨西哥城一”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域支持将OBS配置为 终端节点服务,因此本场景仅适用于这些区域。

4. 启动数据传输

专线搭建成功并完成VPC终端节点配置后,用户便可以通过控制台、工具、API、

SDK等多种方式将本地数据上传至OBS。

(12)

3 迁移第三方云厂商数据至 OBS

3.1 概述

有大量数据在第三方云厂商对象存储上的用户,需要先将第三方云厂商上的对象数据 下载到本地,再通过OBS控制台、客户端等工具上传到OBS,整个过程耗时又耗力,

容易存在漏传、误传等问题。

针对迁移第三方云厂商的对象数据至OBS的场景,华为云提供OMS和CDM两种迁移服 务。通过迁移服务,用户只需在控制台配置简单的连接参数以及迁移任务,即可把数 据从第三方云厂商轻松、平滑地迁移至OBS。如表3-1所示,用户可根据适用场景、迁 移速率和费用选择适合的迁移方式。

3-1 迁移方案

迁移方式 适用场景 支持的迁移

源端

迁移速率 费用

OMS方式 适用于大规模对象数

据(500TB以下)全 量或增量迁移场景。

请参见OMS 支持迁移的 第三方云厂 商

10~20TB

/天 收费方法请参 见OMS计费 说明。

CDM方式 适用于小容量数据

(10TB以下)迁移或 者周期性迁移场景。

请参见CDM 支持迁移的 第三方云厂 商

5~10TB/

天 根据购买的

CDM实例以 及使用时长收 费,具体参见 CDM价格详 情。

OBS镜像回源 方式(公测 中)

适用于无缝迁移数据 到OBS场景,即业务 数据存储用户自己建 立的源站,需要在不 中断业务的情况下迁 移到OBS上。

用户自己建 立的数据源 站

不涉及 由第三方云厂 商收取数据读 取费用,具体 以第三方云厂 商提供的价格 为准。

最佳实践 3 迁移第三方云厂商数据至 OBS

(13)

说明

低成本、500TB以上的数据迁移请在华为云上提交工单或联系人工客服,根据您的业务模型,为 您定制适合超大规模数据迁移的方案。

3.2 OMS 方式

OMS是一种云上的对象数据迁移服务,具有安全、高效等优势。数据迁移时,采用 HTTPS数据加密通道,确保数据的传输安全。在重复迁移过程中,只迁移有变动或新 增的对象,降低成本。

3-1 OMS 方式迁移数据示意图

1. 创建OBS桶

登录OBS控制台,创建桶用于存放迁移数据。

2. 创建OMS迁移任务

在OMS控制台创建迁移任务,通过配置访问密钥、桶名等参数将第三方云厂商

(源端)与OBS(目的端)关联。

具体操作步骤请参见创建对象存储迁移任务。

3. 开始数据迁移

执行OMS迁移任务,开始数据迁移。数据迁移过程中,可以在OMS查看任务执行 状态以及查看到最终结果。

3.3 CDM 方式

通过CDM,用户可以将第三方云厂商的对象存储服务与华为云OBS连接,从而实现对 象数据无缝迁移。

(14)

3-2 CDM 方式迁移数据示意图

1. 创建OBS桶

通过OBS控制台或OBS Browser+创建桶,用于存放用户原始数据。

2. 购买CDM

购买CDM服务,即创建CDM集群并绑定EIP,用于管理连接与作业。

3. 配置连接与作业

a. 在CDM集群中新建连接:需要新建一个以第三方云厂商作为数据源的源连 接,和一个以OBS作为数据目的地的目的连接。

b. 创建CDM作业,执行从第三方云厂商迁移到OBS的任务。

4. 开始数据迁移

运行CDM作业,启动数据迁移。用户可以通过作业管理界面查看作业进度。

3.4 OBS 镜像回源方式

一般情况下,当客户端访问OBS时,如果OBS中没有被访问的数据,将会返回404错 误。OBS提供镜像回源功能,可以在被请求的数据不存在时,通过回源规则从源站获 取对应数据。

用户为桶定义镜像回源规则后,如果客户端访问OBS桶中不存在的资源,且该资源符 合镜像回源规则,OBS将以镜像回源的方式去数据源站获取资源,将该资源上传到 OBS中并返回给客户端。整个过程不中断业务,适用于客户源站无缝迁移数据到 OBS,用户可以在无感知的情况下,低成本地迁移业务到OBS上来。镜像回源流程如 图3-3所示。

3-3 镜像回源流程

最佳实践 3 迁移第三方云厂商数据至 OBS

(15)

配置方法

当前镜像回源处于公测阶段,配置方法请参见创建镜像回源规则。

(16)

4 OBS 之间数据迁移

本教程介绍如何通过对象存储迁移服务OMS实现对象存储服务OBS之间跨帐号、跨区 域、以及同区域内的数据迁移。

● 跨帐号迁移:不同的华为云帐号之间桶数据迁移。

● 跨区域迁移:不同区域之间的桶数据迁移。

● 同区域迁移:同区域内的桶数据迁移。

什么是对象存储迁移服务

对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移 服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存 储服务(Object Storage Service,OBS)中,也可以在对象存储服务OBS之间进行灵 活的数据迁移。

使用对象存储迁移服务,您只需在控制台填写源端OBS数据信息和目的端OBS数据信 息,并创建迁移任务或创建迁移任务组即可,迁移任务与迁移任务组的区别请参见迁 移任务与迁移任务组的适用场景。

注意

● 2022年1月1日前,对象存储迁移服务(OMS)处于免费期,免费期结束后服务将 根据您累计使用的迁移流量进行收费,计费方式简单灵活、易于预测。具体费用详 情,请参见产品价格详情。迁移过程中会调用源端和目的端的对象存储服务的API 进行数据的上传、下载,所以会产生一定的API请求及下载流量费用,具体费用说 明请参见计费说明。

● 跨帐号迁移过程除了会产生对象存储迁移服务费用(2022年1月1日前免费)外,还 会产生请求费用和流量费用。

1. 请求费用:该项费用在调用OBS API时产生,按请求次数计费,包括PUT/POST/

COPY/LIST/GET/HEAD等。

2. 流量费用:源端下载数据时,会产生流量费用,流量由数据的实际大小决定,费 用由源端数据所在云服务商收取;数据上传至华为云OBS不收取流量费用。

● 对象存储迁移服务暂不支持迁移多版本的对象存储数据。

● OMS同样适用于OBS桶和并行文件系统桶之间的数据迁移。

最佳实践 4 OBS 之间数据迁移

(17)

迁移流程

迁移流程如图4-1所示,具体操作请参见华为云OBS之间迁移操作指导。

4-1 OBS 之间数据迁移流程

(18)

5 使用备份软件实现本地数据备份至 OBS

5.1 概述

传统的备份与恢复方案需要将备份数据写入磁带等存储设备,然后再运输至数据中 心。在此过程中数据的安全及完整性依赖很多因素,比如硬件、人员等等。无论是从 前期搭建数据中心还是后期的维护,都使得传统的备份与恢复方案面临着管理复杂、

投入成本高的难题。

云存储定位于简单、安全、高效且低成本,使其成为磁带等传统存储设备的非常有吸 引力的替代品。OBS即一种云存储服务,它提供海量、可弹性扩展的存储服务。OBS 所有的业务、存储节点采用分布集群方式工作使得OBS的可扩展性更高。提供数据多 份冗余、一致性检查等功能使得存储在OBS中的数据更加安全、可靠。OBS按照使用 量付费,使得成本易于预测。

Commvault、爱数云备份服务(AnyBackup Cloud)等第三方备份软件,都支持对接 OBS进行数据备份。通过这些备份软件,用户可以根据自身需求制定合适的备份策 略,达到安全、高效的备份目的。

5.2 使用 Commvault 备份本地 SAP HANA

SAP HANA是基于内存计算技术的高性能实时数据计算平台,多应用于需要处理大量 实时业务数据的企业。备份软件Commvault,与SAP HANA 、OBS无缝集成,支持在 线数据库、日志的备份。当SAP HANA系统出现故障或业务迁移时,Commvault能帮 助用户从OBS快速、轻松地恢复数据,从而为SAP HANA提供企业级数据保护。

说明

在本场景下推荐使用Commvault V11版本。

逻辑架构

此处以使用Commvault备份本地单节点部署的SAP HANA为例,其逻辑架构如图5-1所 示。

最佳实践 5 使用备份软件实现本地数据备份至 OBS

(19)

5-1 逻辑架构

逻辑架构中各组件说明如表5-1所示:

5-1 组件说明

Name 说明

iDataAgent (iDA) 备份客户端代理,Commvault备份软件的组成部分,部署在 SAP HANA节点上,负责获取SAP HANA上需要备份的数据。

CommServe (CS) 备份服务器,Commvault备份软件的组成部分,部署在备份管 理节点,负责全局备份策略的制定和备份业务的调度。

Media Agent

(MA) 备份介质,Commvault备份软件的组成部分,部署在备份业务 节点,负责直接将备份数据存储至OBS。

OBS 在备份场景下OBS负责存储备份数据,桶是OBS中存储数据的 容器,最终数据都存储在OBS桶中。

说明

一个CommCell是一个备份管理域 ,是软件的逻辑组合 ,包含获取数据 、传输数据 、管理数据 和信息的所有软件组件。

备份流程

1. 安装和预配置备份软件

在备份SAP HANA场景下,需要安装和配置备份服务器(CommServe)、备份介 质(MediaAgent)及SAP HANA备份客户端代理(iDataAgent)三个组件。

2. 创建备份存储空间(OBS桶)

a. 登录OBS控制台,创建一个桶,作为备份数据存储空间。详细创建桶操作请 参见创建桶。

b. 在CommCell Console上创建云存储库,输入OBS终端节点地址、访问密钥、

桶名,用以将Commvault的备份介质(MediaAgent)与OBS关联。

(20)

说明

CommCell Console是用于管理CommCell环境、监视和控制活动作业以及查看与活动 相关的事件的图形用户界面。

3. 制定Commvault备份策略

在Commcell Console上创建备份策略,指定数据备份的周期、时间以及加密方式 等。

4. 检查备份执行情况

备份策略执行期间,用户可以通过Commcell Console查看备份执行情况。

5. (可选)执行数据恢复

在SAP HANA源机上执行数据恢复。

说明

Commvault的具体操作请参见Commvault官方文档。

5.3 使用 AnyBackup Cloud 备份方案

爱数AnyBackup Cloud结合华为云基础服务,将本地数据备份或迁移到云,提供安 全、经济、易管理的数据保护解决方案。

购买方式

进入华为云市场,搜索AnyBackup Cloud,根据场景选择适合自己业务的备份方案。

最佳实践 5 使用备份软件实现本地数据备份至 OBS

(21)

6 在 ECS 上通过内网访问 OBS

6.1 概述

场景介绍

某企业基于弹性云服务器(Elastic Cloud Server,ECS)构建好基础的业务后,随着数 据增长,硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海 量、弹性的云存储服务OBS后,决定将OBS作为数据存储资源池,以减轻服务器负 担。

在ECS上可以通过公网和华为云内网两种网络访问OBS。当有存取对象数据的需求时,

公网方式响应速度会因为网络质量而受到影响,读取数据还将收取一定的流量费用。

为最大化的优化性能、节省开支,企业管理者希望通过内网的方式访问OBS。

说明

当通过内网访问OBS时,需要确保待访问的OBS资源与ECS属于同一个区域,如果不属于同一个 区域,将采用公网访问。

方案

在已搭建的ECS上通过配置内网DNS,由内网DNS解析OBS域名,即可实现在ECS上经 由内网访问OBS。访问过程示意图如图6-1所示。

(22)

6-1 内网访问 OBS 示意图

示意图中各服务说明如表6-1所示。

6-1 服务说明

服务 说明

虚拟私有云(VPC) VPC主要负责为ECS构建隔离的、用户自主配置和管理的虚 拟网络环境,提升用户云中资源的安全性,简化用户的网络 部署。

子网是VPC中用来为ECS提供IP地址管理、DNS服务的一个 网络,子网内ECS的IP地址都属于该子网。

云解析服务(DNS) DNS提供内网DNS,专门用于处理华为云内网域名以及OBS 域名的解析请求,简化域名解析流程,减少因访问公网产生 的流量费用。

● 对于Windows ECS,推荐使用OBS Browser+工具,实现内网访问OBS的目的,详 细操作请参见:

在Windows ECS上使用OBS Browser+通过内网访问OBS

● 对于Linux ECS,推荐使用obsutil工具,实现内网访问OBS的目的,详细操作请参 见:

在Linux ECS上使用obsutil通过内网访问OBS

当在ECS上通过内网访问OBS时,即可在内网进行数据读取、备份归档等业务,而不影 响外网带宽。

最佳实践 6 在 ECS 上通过内网访问 OBS

(23)

6.2 在 Windows ECS 上使用 OBS Browser+通过内网访问 OBS

OBS Browser+是一款用于访问和管理对象存储服务的图形化工具,支持通过配置内网 DNS服务器地址的方式,使在华为云上的Windows ECS通过内网直接访问OBS,下面 将介绍具体其操作流程和操作步骤。

流程

6-2 在 Windows ECS 上使用 OBS Browser+通过内网访问 OBS 的流程

操作步骤

步骤1 登录Windows ECS

1. 登录华为云,在页面右上角单击“控制台”,进入“管理控制台”页面。

(24)

2. 在打开的控制台首页,选择“计算 > 弹性云服务器”。

3. 选择待登录的云服务器,登录弹性云服务器。

Windows弹性云服务器提供“VNC远程登录方式”和“MSTSC方式”两种登录方 式,具体操作请参见登录Windows弹性云服务器。

步骤2 查看Windows ECS是否已配置内网DNS

在Windows ECS上,您可以通过图形界面和命令行两种方式查看当前的DNS配置。此 处以通过命令行方式为例,介绍如何查看DNS配置。

1. 成功登录弹性云服务器后,打开cmd命令行。

2. 运行ipconfig /all命令,查看“DNS服务器”是否为当前ECS所在区域的内网DNS 地址。

说明

华为云针对各区域提供了不同的内网DNS服务器地址,具体请参见华为云提供的内网DNS 服务器地址。

– 否,执行步骤3。

– 是,执行步骤5。

步骤3 配置内网DNS

修改ECS的DNS服务器地址为华为云提供的内网DNS,可以通过修改VPC子网DNS地址 和修改本地DNS配置两种方式实现。

● 方式一:修改VPC子网DNS地址

确定ECS所在VPC,并修改VPC子网的DNS服务器地址为内网DNS地址后,可以使 整个VPC内的ECS都通过内网DNS进行解析,从而访问在华为云内网的OBS服务。

详细操作请参见修改子网网络信息。

说明

内网DNS服务器地址需根据ECS所在区域选择内网DNS服务器地址,具体的地址信息请参 见华为云提供的内网DNS服务器地址。

● 方式二:修改本地DNS配置

采用此方式配置的内网DNS会在ECS每次重启后失效,在重启后需要重新配置内网 DNS才可以通过内网访问OBS。此处以通过命令行配置为例,介绍如何在本地修 改DNS配置。

1. 打开cmd命令行。

2. 运行以下命令,配置首选DNS服务器地址。

netsh interface ip set dns name="本地连接" source=static addr=内网DNS服务器地址 register=primary 说明

– 本地连接:网卡名称,需要根据实际正在使用的网卡进行修改。

– 内网DNS服务器地址:需要根据ECS所在区域选择内网DNS服务器地址,具体的地址信 息请参见华为云提供的内网DNS服务器地址。

3. (可选)运行以下命令,配置备份DNS服务器地址。

netsh interface ip add dns name="本地连接" addr=备选DNS服务器地址 index=2

最佳实践 6 在 ECS 上通过内网访问 OBS

(25)

说明

– 本地连接:网卡名称,需要根据实际正在使用的网卡进行修改。

– 备选DNS服务器地址:是在首选DNS服务器出现故障、不可用或无法解析请求的域名时 使用的DNS服务器,因此您可以设置为华为云内网DNS服务器的地址(需要根据ECS所 在区域选择内网DNS服务器地址,具体的地址信息请参见华为云提供的内网DNS服务 器地址。),也可以设置成公网DNS服务器地址,具体以实际业务为准。

步骤4 确认是否已经是内网访问OBS

具体方法请参见如何判断是否内网访问OBS?

步骤5 下载OBS Browser+

OBS Browser+下载地址及具体操作请参见下载OBS Browser+。

步骤6 登录OBS Browser+

由于OBS Browser+默认使用公网访问OBS,因此在登录OBS Browser+添加帐号时,

“服务提供商”和“服务器地址”需要按照以下要求填写:

● 服务提供商:选择“其他对象存储服务”。

● 服务器地址:根据ECS所在区域输入OBS在此区域的终端节点(Endpoint)和端口 号(HTTPS协议端口号为“443”,HTTP协议端口号为“80”。系统默认服务器 为HTTPS服务器)。

示例:obs.cn-south-1.myhuaweicloud.com:443 说明

OBS区域和终端节点信息请参见地区和终端节点。

步骤7 开始使用OBS Browser+

成功登录OBS Browser+后,便可以在Windows ECS上直接通过华为云内网访问OBS,

进行基本的数据存取操作以及其他的高级设置操作。

(26)

详细使用指南请参见对象存储服务工具指南(OBS Browser+)。

----结束

6.3 在 Linux ECS 上使用 obsutil 通过内网访问 OBS

obsutil是适用于Windows、macOS和Linux操作系统的命令行工具,支持通过配置内 网DNS服务器地址的方式,使在华为云上的Linux ECS通过内网直接访问OBS,下面将 介绍其具体操作流程和操作步骤。

流程

6-3 在 Linux ECS 上使用 obsutil 通过内网访问 OBS 的流程

操作步骤

步骤1 登录Linux ECS

1. 登录华为云,在页面右上角单击“控制台”,进入“管理控制台”页面。

最佳实践 6 在 ECS 上通过内网访问 OBS

(27)

2. 在打开的控制台首页,选择“计算 > 弹性云服务器”。

3. 选择待登录的云服务器,登录弹性云服务器。

由于购买Linux ECS时设置的登录鉴权方式不同,登录方式因此也存在差异,不同 方式登录的具体操作请参见登录Linux弹性云服务器。

步骤2 查看Linux ECS是否已配置内网DNS

1. 成功登录Linux ECS后,打开命令行终端。

2. 运行cat /etc/resolv.conf命令,查看首行“nameserver”后的IP地址是否为当前 ECS所在区域的内网DNS地址。

说明

华为云针对各区域提供了不同的内网DNS服务器地址,具体请参见华为云提供的内网DNS 服务器地址。

– 否,执行步骤3。

– 是,执行步骤5。

步骤3 配置内网DNS

修改ECS的DNS服务器地址为华为云提供的内网DNS,可以通过修改VPC子网DNS地址 和修改本地DNS配置两种方式实现。

● 方式一:修改VPC子网DNS地址

确定ECS所在VPC,并修改VPC子网的DNS服务器地址为内网DNS地址后,可以使 整个VPC内的ECS都通过内网DNS进行解析,从而访问在华为云内网的OBS服务。

详细操作请参见修改子网网络信息。

说明

内网DNS服务器地址需根据ECS所在区域选择内网DNS服务器地址,具体的地址信息请参 见华为云提供的内网DNS服务器地址。

● 方式二:修改本地DNS配置

此处以CentOS 6.x 64bit弹性云服务器为例,介绍如何修改本地DNS配置。

a. 打开命令行终端。

b. 运行以下命令,打开“/etc/resolv.conf”文件。

vi /etc/resolv.conf

c. 按下i键进入编辑模式,在“/etc/resolv.conf”文件中按照以下格式,在原有 的DNS服务器地址之前新增内网DNS服务器地址。

nameserver 内网DNS服务器地址 说明

内网DNS服务器地址:需要根据ECS所在区域选择内网DNS服务器地址,具体的地 址信息请参见华为云提供的内网DNS服务器地址。

新增的DNS服务器地址必须位于所有原有的DNS服务器地址之前。

DNS服务器按照nameserver顺序选择,且仅在前一个DNS服务器出现故障、不可 用或无法解析请求的域名时,才选择下一个DNS服务器。因此,后续如果想切换 成公网方式,需要将首行DNS地址改为公网的DNS,或者在已有DNS服务器地址 前增加一条公网DNS服务器地址。

d. 按下Esc键,并输入:wq!,保存并退出文件。

(28)

说明

修改后的DNS地址在保存“/etc/resolv.conf”文件的修改操作后立即生效。

步骤4 确认是否已经是内网访问OBS

具体方法请参见如何判断是否内网访问OBS?

步骤5 下载obsutil

obsutil最新版本和下载链接请参见下载obsutil。

步骤6 配置obsutil

使用obsutil之前,您需要配置obsutil与OBS的对接信息,包括OBS终端节点

(Endpoint)和访问密钥(AK和SK)。具体操作请参见obsutil指南的初始化配置章 节。

说明

其中OBS终端节点(Endpoint)需要根据ECS所在区域输入。OBS区域和终端节点信息请参见地 区和终端节点。

步骤7 使用obsutil

obsutil配置成功后,便可以在Linux ECS上直接通过内网访问OBS,进行基本的数据存 取操作以及其他的高级设置操作。

常见的数据存储操作请参见:

● 上传对象

● 下载对象

详细使用指南请参见对象存储服务工具指南(obsutil)。

----结束

最佳实践 6 在 ECS 上通过内网访问 OBS

(29)

7 通过 CDN 加速访问 OBS

7.1 概述

背景介绍

现在越来越多的行业使用OBS存储图片、视频、软件包等静态资源文件,并将OBS作 为网站、论坛、APP、游戏等业务的存储源。在需要获取这些静态资源时,用户通过 URL直接从OBS请求数据,数据请求过程如图7-1所示。OBS能够很好的解决本地存储 不够用的难题,但一般情况下文件只存储在一个区域,不同区域的用户访问OBS的响 应速度存在差异。在需要频繁访问的场景下,直接访问OBS来获取相应文件,还会消 耗大量的流量费用。

7-1 从 OBS 获取数据过程

方案说明

OBS提供低成本的存储,华为云CDN可以提供网站加速、文件下载加速和点播加速。

将数据存放在OBS中然后通过配置CDN加速,这样构造的业务系统可以在降低成本的 同时,提高终端用户使用感受。当终端用户发起访问请求时,会首先通过CDN查找对 此域名响应速度最快的CDN节点,并查询此节点是否有缓存终端用户请求的内容。

(30)

在CDN节点没有缓存用户请求的数据或缓存到期的情况下,CDN加速访问OBS的示意 图如图7-2所示。

7-2 CDN 加速访问 OBS 示意图(CDN 无缓存)

当其他终端用户再次访问相同的数据时,CDN将直接返回缓存的数据给终端用户,而 无需再向OBS发起访问请求。在CDN有缓存的情况下,CDN加速访问OBS的示意图如 图7-3所示。

最佳实践 7 通过 CDN 加速访问 OBS

(31)

7-3 CDN 加速访问 OBS 示意图(CDN 有缓存)

方案优势

● 低成本:OBS提供CDN回源流量包折扣方式,使CDN从OBS获取数据时流量费用 更低。当数据缓存至CDN节点时,后续请求都将通过CDN回源流量计费,从而减 少OBS费用。

● 高效率:华为云CDN具有加速资源丰富、节点分布广泛优势,保证将用户请求精 准调度至更优的边缘节点,提供有效且稳定的加速效果。

适用场景

● 通过OBS提供文件下载业务的应用或服务。例如:通过http/https提供文件下载业 务的网站、工具下载、游戏客户端、APP商店等。

● 通过OBS提供音视频点播业务的应用或服务。例如:在线教育类网站、在线视频 分享网站、互联网电视点播平台、音乐视频点播APP等。

约束与限制

只有桶版本号为3.0及以上的桶支持此方案。桶版本号可以在OBS控制台上,进入桶概 览页面后,在“基本信息”中查看。

(32)

7.2 通过 CDN 实现 OBS 文件下载加速

本章节以某游戏网站的游戏下载、更新业务为例,介绍如何通过华为云CDN实现加速 下载存储在OBS中的游戏安装包以及更新包。

场景介绍

某游戏网站目前已购买OBS服务,并存放了大量游戏软件、图片视频等文件在OBS 中。随着用户不断增长,游戏下载、图片加载都存在响应较慢的问题,特别是离文件 存放区域较远的用户。基于以上诉求,该网站决定采用CDN加速访问OBS方案,以最 低成本实现游戏下载加速,提升用户访问体验。

数据准备

7-1 数据准备

准备项 说明 示例

网站域名 游戏网站域名。根据中国《互联网管理条 例》的要求,此域名必须在工信部已备案 并在有效期内才可以使用CDN加速。

download.game-apk.com

OBS桶 存放图片、软件包等静态资源的桶,存储 类别为“标准存储”,桶策略为“私 有”。

game-apk

前提条件

已将网站所需图片、软件包等静态资源存储至已准备的OBS桶中。

说明

如果上述操作还未完成,可通过OBS控制台、OBS Browser+、SDK等多种方式创建桶、上传文 件,具体操作请参考各自帮助文档。

配置步骤

步骤1 (可选)购买CDN回源流量包

当回源获取数据时,CDN访问OBS会产生回源流量。OBS提供回源流量包,可以减少 回源流量产生的流量费用。

1. 登录华为云控制台,在控制台首页选择“存储 > 对象存储服务 OBS”,进入OBS 管理控制台。

2. 单击页面右上角的“购买资源包”。

3. 根据实际业务需求配置以下参数。

– 区域:选择待配置CDN加速的桶所在区域。

– 资源包类型:选择“回源流量包”。

– 每月流量:根据每月实际流量使用情况选择合适的规格。

最佳实践 7 通过 CDN 加速访问 OBS

(33)

– 购买数量:输入购买回源流量包的数量。与每月流量结合,以组成不同规格 的回源流量包。例如购买2个每月1TB的回源流量包,则实得流量为2TB。

– 购买时长:选择需要购买的回源流量包时长。

– 生效时间:根据实际情况选择“支付完成后立即生效”或“指定生效时 间”。

4. 单击“加入清单”。

5. 在右侧资源包清单中确认资源包信息,单击“立即购买”。

步骤2 配置CDN文件下载加速

OBS支持域名管理功能,在OBS上绑定用户域名即可实现使用自定义域名访问OBS,并 可以直接在绑定过程中开启CDN加速,而不用前往CDN开启。

1. 登录华为云控制台,在控制台首页选择“存储 > 对象存储服务 OBS”,进入OBS 管理控制台。

2. 单击存放软件包的桶名称,此处以“game-apk”为例。

3. 在左侧导航栏选择“域名管理”,单击“绑定用户域名”。

4. 在“绑定用户域名”弹框中配置域名及CDN加速等信息,如图7-4所示。

– 用户域名:输入游戏网站域名,此处以“download.game-apk.com”为例。

– CDN加速:开启CDN加速。

– 业务类型:选择“文件下载加速”。

7-4 绑定用户域名

5. 单击“确定”。

步骤3 配置CNAME

在OBS绑定用户域名时开启CDN加速后,CDN会自动生成一条CNAME域名。通过在域 名服务商处配置CNAME记录,将加速域名以CNAME方式指向CDN服务中对应的 CNAME域名,域名解析生效后,该域名的所有请求都将转向CDN节点。本实践中自动 生成的CNAME域名为“download.game-apk.com.c.cdnhwc1.com”。

不同DNS服务商的CNAME配置方式不同,此处以华为云云解析服务为例。其他DNS服 务商的CNAME配置方法可参考配置CNAME域名解析。

(34)

1. 登录华为云控制台,在控制台首页选择“网络 > 云解析服务 DNS”,进入云解析 服务页面。

2. 在左侧菜单栏中,选择“域名解析 > 公网解析”,进入公网域名列表页面。

3. 在待添加记录集的域名所在行,单击“域名”列的域名名称。本实践中对应的域 名为“game-apk.com.”。

4. 单击“添加记录集”,进入“添加记录集”页面。

5. 根据界面提示填写参数配置,参数信息如表7-2所示。下表中未提到的参数可保持 默认值。

7-2 参数说明

参数 参数说明 取值样例

主机记录 主机记录指域名前缀。 download 类型 记录集的类型,此处为CNAME类

型。 CNAME-将域名指向另

外一个域名 别名 用于是否将此记录集关联至云服务

资源实例。

线路类型 用于DNS服务器在解析域名时,根 据访问者的来源,返回对应的服务 器IP地址。

添加解析线路类型时,切记先添加 默认线路类型,以保证网站可访 问。

全网默认

TTL(秒) TTL指解析记录在本地DNS服务器 的有效缓存时间。如果您的服务地 址经常更换,建议TTL值设置相对 小些,反之,建议设置相对大些。

默认为“5分钟”,即 300s。

值 需指向的域名。

若没有开启CDN加速,该值为桶 访问域名;若开启CDN加速后,

该值为CDN分配的CNAME域名。

download.game- apk.com.c.cdnhwc1.co m

6. 单击“确定”,完成添加。

7. 验证CNAME配置是否生效。

打开Windows操作系统中的cmd程序,输入如下指令:

nslookup -qt=cname 桶绑定的自定义域名

本实践中桶绑定的自定义域名为“download.game-apk.com”。如果回显CDN分 配的CNAME域名,则表示CNAME配置已经生效。

步骤4 开启私有桶回源

由于当前存储软件包的桶为私有桶,需要前往CDN开启私有桶回源,CDN才能从OBS 中回源获取数据。

1. 登录华为云控制台,在控制台首页选择“存储 > CDN”,进入CDN控制台。

2. 在左侧菜单栏中,选择“域名管理”。

最佳实践 7 通过 CDN 加速访问 OBS

(35)

3. 在域名列表中,单击需要修改的域名或域名所在行的“设置”,进入域名配置页 面。本实践中对应的域名为“download.game-apk.com”。

4. 选择“回源配置”页签。

5. 在私有桶回源配置模块,选择开启私有桶回源配置开关。

若您帐号下的此域名是初次配置OBS私有桶回源,您还需要先对CDN进行云资源 委托授权,授权成功后CDN将有权限访问您帐号下的OBS私有桶。

a. (仅初次配置时需要)单击“立即授权”,弹出云资源委托授权对话框。

b. (仅初次配置时需要)单击“同意授权”,系统将为您在IAM委托中创建名 为“CDNAccessPrivateOBS”的委托关系,允许CDN访问您的OBS私有桶。

说明

请勿删除CDN针对OBS的委托关系,否则会导致CDN无法在回源时从OBS私有桶获取 相应资源。

c. 开启OBS私有桶回源开关。

步骤5 配置文件下载URL

将代码中需要加速下载的文件URL地址配置为:游戏网站域名+文件在OBS桶中的存储 路径+文件名称。

以步骤2配置的游戏网站域名download.game-apk.com以及存储在game-apk桶中的 game/3.2.1/文件夹下的android.apk文件为例,文件下载URL的配置如下:

https://download.game-apk.com/game/3.2.1/android.apk

步骤6 配置OBS高级桶策略,避免私有桶内对象被匿名用户列举

开启私有桶回源后,任何匿名用户访问桶的自定义域名(CDN加速域名),均可以成 功列举桶根目录中的对象,导致对象列表暴露在公网。因此,如果不希望任何人都能 列举桶内对象,还需要配置两条高级桶策略,仅允许指定用户列举桶内对象。

1. 登录华为云控制台,在控制台首页选择“存储 > 对象存储服务 OBS”,进入OBS 管理控制台。

2. 单击存放软件包的桶名称(即开启了私有桶回源的OBS桶),本例中为“game- apk”。

3. 在左侧导航栏选择“访问权限控制 > 桶策略”。

4. 单击“创建”,创建第一条桶策略。

5. 在桶策略模板第一行,单击右侧的“自定义创建”。

6. 配置如下参数。

本条策略的含义:除了指定的用户外,其他任何人都没有桶的列举权限

(List*)。

7-3 桶策略参数配置说明

参数 说明

策略配置方式 可视化视图

策略名称 自定义

策略内容 效果 拒绝

(36)

参数 说明

被授权用户 – 授权用户:当前帐号

– 子用户:选择允许列举桶内对象的用户。可根 据实际业务需要,选择与帐号同名的IAM用户 或其他IAM用户

– 用户策略:排除以上用户 资源 – 资源范围:选择当前桶

– 资源策略:包含以上资源 动作 – 选择动作:List*

– 操作策略:包含以上动作

7. 单击右下角的“配置确认”。

8. 单击右下角的“创建”,完成第一条桶策略创建。

9. 再次单击“创建”,创建第二条桶策略。

10. 在桶策略模板第一行,单击右侧的“自定义创建”。

11. 配置如下参数。

本条策略的含义:允许指定的用户拥有桶的列举权限(List*)。此处指定的用户 需要和上一条策略保持一致。

说明

Q:为什么还要配置第二条允许列举的桶策略?

A:由于在控制台普通模式下创建桶策略,被授权用户无法指定到当前帐号本身。所以在 第一条桶策略中,被授权用户无论选择与帐号同名的IAM用户或其他IAM用户,实际都把 当前帐号本身排除在外了。这些IAM用户之前有私有桶的列举权限,是因为帐号在IAM中 进行了授权。但在第一条桶策略配置完成后,帐号本身不再有列举权限,导致无法给这些 IAM用户授予列举权限,所以当前这些IAM用户的列举权限为默认Deny。基于显示Deny >

Allow > 默认Deny的原则,还需要配置一条允许列举的桶策略,才能让这些IAM用户实现 正常列举。

7-4 桶策略参数配置说明

参数 说明

策略配置方式 可视化视图

策略名称 自定义

策略内容 效果 允许

被授权用户 – 授权用户:当前帐号

– 子用户:选择允许列举桶内对象的用户。需要 和第一条桶策略保持一致。

– 用户策略:包含以上用户 资源 – 资源范围:选择当前桶

– 资源策略:包含以上资源

最佳实践 7 通过 CDN 加速访问 OBS

(37)

参数 说明

动作 – 选择动作:List*

– 操作策略:包含以上动作

12. 单击右下角的“配置确认”。

13. 单击右下角的“创建”,完成第二条桶策略创建。

14. 登录CDN控制台,在“预热刷新 > 缓存刷新”中,刷新CDN缓存,使桶策略在 CDN加速域名生效。

刷新缓存时选择“URL”类型,输入的URL为配置文件下载URL中添加的文件下载 URL,本例中为:

https://download.game-apk.com/game/3.2.1/android.apk

步骤7 验证业务

待游戏网站重新部署后,登录游戏网站,浏览网页图片、进行游戏下载。

如果图片可以成功显示、游戏可以成功下载,则表示加速配置成功。

----结束

(38)

8 使用自定义域名托管静态网站

8.1 托管静态网站

OBS支持通过自定义域名访问托管在OBS上的静态网站。本章节将以一个具体场景作 为示例,帮助您了解如何使用自定义域名配置静态网站托管。在此之前,您可能需要 了解一些关于OBS静态网站托管的基本概念及操作,详情请参阅静态网站托管。

场景介绍

企业A有大量静态网站文件需要存档,但并不希望花费大量的人力、物力在存储资源 上。因此该企业开通了OBS,用于托管静态网站,并希望使用自定义域名让该企业下 的用户访问这些静态资源,如图8-1所示。

8-1 使用自定义域名访问静态网站示意图

数据规划

执行配置操作前,需要提前规划如表8-1所示的数据。

最佳实践 8 使用自定义域名托管静态网站

(39)

8-1 数据规划

规划项 说明 示例

自定义域名 用户自己的域名地址。 www.example.com 静态网站首页 访问静态网站时返回的索引页

面,即首页。

index.html

404错误页面 当访问错误的静态网站路径

时,返回的404错误页面。 error.html

● index.html的内容为:

<html>

<head>

<title>Hello OBS!</title>

<meta charset="utf-8">

</head>

<body>

<p>欢迎使用OBS静态网站托管功能</p>

<p>这是首页</p>

</body>

</html>

● error.html的内容为:

<html>

<head>

<title>Hello OBS!</title>

<meta charset="utf-8">

</head>

<body>

<p>欢迎使用OBS静态网站托管功能</p>

<p>这是404错误页面</p>

</body>

</html>

托管静态网站流程

您需要先在OBS管理控制台上创建一个桶,用于存放静态网站资源,并启用该桶的静 态网站托管,然后通过OBS提供的绑定自定义域名功能,将自定义域名与新创建的桶 绑定,再通过云解析服务(Domain Name Service,DNS)创建和配置域名托管,实 现自定义域名访问托管在OBS上的静态网站。具体操作流程如下:

1. 注册域名 2. 创建桶

3. 上传静态网站文件

4. 在OBS上托管静态网站

5. 绑定自定义域名

6. 创建和配置域名托管

7. 验证

托管静态网站步骤

步骤1 注册域名

如果您拥有一个已注册的域名,可跳过本步骤。

(40)

如果您还没有,请选择一个合适的注册商注册一个属于自己企业的域名。在本场景 下,以数据规划中的示例域名www.example.com进行注册,在实际操作中,您需要将 此域名替换为您自己规划的域名。

步骤2 创建桶

桶名没有特殊要求,您只需要按照界面提示的命名规则创建一个桶用于存储静态网站 文件。此处以创建一个桶名称为example的桶为例,其具体操作步骤如下:

1. 打开OBS管理控制台,根据页面提示进行登录。

2. 在页面上方单击“创建桶”。

3. 在弹出的对话框中配置以下参数。

– 区域:根据就近原则选择离业务较近的区域。

– 存储类别:推荐选择“标准存储”。

说明

您也可以根据网站的访问频率以及对响应速度的要求,选择“低频访问存储”或“归 档存储”。存储类别详细介绍请参见桶存储类别简介。

– 桶名称:输入“example”。

– 桶策略:选择“公共读”使桶内对象能够被任何用户访问。

– “默认加密”:选择“关闭”。

4. 单击“立即创建”,完成桶创建。

步骤3 上传静态网站文件

整理好待上传的静态网站文件,在OBS控制台重复执行以下步骤,直至所有的静态网 站文件都上传至步骤2创建的桶中。

说明

在支持批量上传的区域,OBS控制台每次最多支持100个文件同时上传,总大小不超过5GB,如 果网站文件较多,建议使用OBS Browser+上传,具体操作步骤请参见使用OBS Browser+上传 文件或文件夹。

1. 单击待操作的桶名称,进入桶概览页面后在左侧导航栏单击“对象”。

2. 单击“上传对象”,系统将弹出如图8-2所示对话框。

8-2 上传对象

最佳实践 8 使用自定义域名托管静态网站

(41)

3. 添加待上传的文件。

说明

– 不可加密上传静态网站文件。

– 存储类别建议选择“标准存储”。如果静态网站文件的存储类别为“归档存储”,则需 要先恢复才能被访问,具体恢复步骤请参见恢复归档存储文件。

– 网站首页文件(index.html)和404错误页面(error.html),需要存放在桶的根目录 下。

4. 单击“上传”完成文件上传。

步骤4 配置静态网站托管

上传完静态网站文件后,您需要执行以下步骤,将当前桶设置为静态网站托管模式。

说明

您也可以将整个静态网站直接重定向至另一个桶或域名,配置操作请参见重定向请求。

1. 单击桶名称,进入桶概览页面后单击“基础配置 > 静态网站托管”。

2. 单击“配置静态网站托管”按钮。

3. 在弹出的对话框中,开启静态网站托管并选择“配置到当前桶”,将“默认首 页”配置为数据规划中的index.html,将“默认404错误页面”配置为数据规划中 的error.html,如图8-3所示。

8-3 配置静态网站托管

说明

您也可以根据业务需求配置重定向规则,实现网站内容重定向,具体操作请参见配置静态 网站托管。

(42)

4. 单击“确定”。

步骤5 绑定自定义域名

通过OBS绑定自定义域名的操作步骤如下:

1. 单击桶名称进入“概览”页面,在左侧导航栏选择“域名管理”。

2. 单击“绑定用户域名”,在“用户域名”输入“www.example.com”,如图8-4 所示。

8-4 绑定用户域名

3. (可选)配置CDN加速。

使能CDN加速后,根据托管的静态网站类型选择网站加速、文件下载加速或点播 加速。CDN加速需收费,具体请参见CDN价格说明。

4. 单击“确定”,完成自定义域名绑定到桶域名。

5. (可选)如果开启了CDN加速,需要按照以下步骤配置CDN源站信息。

a. 在已绑定的自定义域名操作列,单击“管理CDN加速”。

b. 在打开的CDN控制台页面,单击域名,进入域名基本配置页面。

c. 在“源站配置”区域单击“编辑”按钮,在弹出的“修改源站信息”弹框 中,勾选“静态网站托管”。

d. 单击“确定”。

e. 在“高级配置”中添加“Content-Disposition”响应头,取值为“inline”。

步骤6 创建和配置域名托管。

为了方便对您的自定义域名和静态网站统一管理,实现业务全面云化,您可以直接在 华为云提供的云解析服务(Domain Name Service,DNS)上托管您的自定义域名。

托管完成后,后续域名解析的管理都可以在云解析服务上进行,包括:管理记录集、

管理反向解析、设置域名泛解析等等。

说明

您也可以直接在域名注册商域名解析中,根据是否开启CDN加速来添加一条别名记录。

● 若绑定自定义域名时开启了CDN加速,则添加的别名记录需指向CDN提供的加速域名。例 如:域名“www.example.com”开启CDN加速后的加速域名为

“www.example.com.c.cdnhwc1.com”,则需要在域名注册商添加一条值为

“www.example.com CNAME www.example.com.c.cdnhwc1.com”的记录。

● 若绑定自定义域名时未开启CDN加速,则添加的别名记录需指向桶的访问域名。例如:桶

“example”所处区域“华北-北京一”,则需要在域名注册商添加一条值为

“www.example.com CNAME example.obs.cn-north-1.myhuaweicloud.com”的记录。

使用云解析服务创建和配置域名托管的操作步骤如下:

最佳实践 8 使用自定义域名托管静态网站

(43)

1. 创建公网域名。

在云解析服务中创建公网域名,使用步骤1中注册的根域名“example.com”作为 创建公网域名。详细的创建方法请参见配置网站解析(第三方注册域名)章节中 的“添加域名”部分内容。

2. 添加别名记录。

在云解析服务中为托管域名子域名“www.example.com”添加记录集,配置该子 域名别名指向OBS的静态网站托管域名。在添加别名记录时参数配置如下:

– 主机记录:输入“www”。

– 类型:选择“CNAME-规范名称记录”。

– 线路类型:选择“全网默认”。

TTL(秒):保持默认。

– 值:需指向的域名。若绑定自定义域名时没有开启CDN加速,此处填写OBS 的桶的静态网站托管域名;若开启了CDN加速,此处填写CDN提供的加速域 名(即CNAME)。

详细的创建方法请参见增加CNAME类型记录集。

3. 在域名注册商处修改域名解析服务器地址。

在域名注册商处,将该根域名对应的NS记录中域名解析服务器地址修改为云解析 服务(DNS)服务器的地址,具体地址为云解析服务中该公网域名记录集中NS记 录的值字段内容信息。

详细的更改域名解析服务器地址的方法请参见配置网站解析(第三方注册域名)

章节中的“更改域名的DNS服务器”部分。

说明

更改后的域名解析服务器地址将于48小时内生效,具体生效时间请以域名注册商处的说明 为准。

步骤7 验证。

● 在浏览器中输入访问地址:www.example.com,验证能否访问到配置的默认首 页,如图8-5所示。

8-5 默认首页

● 在浏览器中输入一个桶中不存在的静态文件访问地址,例如:

www.example.com/imgs,验证能否访问到配置的404错误页面,如图8-6所示。

(44)

8-6 404 错误页面

说明

由于浏览器缓存等原因,您可能需要清除浏览器缓存后才能查看到预期效果。

----结束

8.2 更新静态网站

后续如果需要对网站某个静态文件(如:图片、音乐、html文件、css文件等)进行更 新,您可以重新上传该静态文件。但需要注意的是,默认情况下,在OBS同一路径下 新上传的文件会覆盖OBS上已存在的同名文件。为避免文件覆盖的情况,您可以选择 启用OBS的多版本控制功能。利用多版本控制,可以保留静态文件的多个版本,使您 更方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据。

启用多版本控制

步骤1 登录OBS管理控制台。

步骤2 在桶列表中单击待操作的桶,进入“概览”页面。

步骤3 在“基本信息”区域的“多版本控制”后,单击“编辑”,如图8-7所示。

8-7 多版本控制

步骤4 勾选“启用”后单击“确定”,启用目标桶中对象的多版本控制。

----结束

关于多版本控制的更多介绍以及操作指导,请参见多版本控制。

最佳实践 8 使用自定义域名托管静态网站

(45)

更新静态文件

步骤1 登录OBS管理控制台。

步骤2 在桶列表中单击待操作的桶,进入“概览”页面。

步骤3 在左侧导航栏,单击“对象”。

步骤4 单击“上传对象”,或选择待更新文件所在文件夹后单击“上传对象”,系统将弹出 如图8-8所示对话框。

8-8 上传对象

步骤5 添加待上传文件。

说明

● 不可加密上传静态网站文件。

● 存储类别建议选择“标准存储”。如果静态网站文件的存储类别为“归档存储”,则需要先 恢复才能被访问,具体恢复步骤请参见恢复归档存储文件。

步骤6 单击“上传”完成文件上传。

在同一路径下新上传的同名文件会作为“最新版本”显示在对象列表,每次访问此文 件时,都是访问的此文件的最新版本,以此达到更新静态网站文件的效果。

----结束

(46)

9 OBS 数据一致性校验

9.1 概述

背景

对象数据在上传下载过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不 一致的问题。

方案

OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。默认情况下,

OBS不会进行一致性校验,您可以通过以下方式在上传下载时主动启用校验。

说明

● 各种方式的一致性校验结果互通,即无论您使用以下何种方式在上传时通过了一致性校验,

都可以使用其他方式在下载时校验一致性。

● 下载对象时,只有当待下载对象具有MD5值时,MD5校验才会生效。

9-1 校验数据一致性的方式

方式 说明 操作指导

obsutil 命令行工具,可以通过简单的一行 命令实现上传下载,并且在命令中 选择是否采用MD5校验。

使用obsutil校验上传对象的 一致性

使用obsutil校验下载对象的 一致性

OBS Browser

+ 图形化界面工具,可以一键开启或

关闭MD5校验,同时提供任务管 理,方便查看校验状态。

使用OBS Browser+校验上传 对象的一致性

使用OBS Browser+校验下载 对象的一致性

最佳实践 9 OBS 数据一致性校验

(47)

方式 说明 操作指导 OBS SDK 开发者可以通过OBS SDK进行二次

开发,自行判断MD5校验结果,

并根据实际业务进行结果处理。

使用OBS SDK校验上传对象 的一致性

使用OBS SDK校验下载对象 的一致性

上传对象时,OBS会先在客户端计算出对象的MD5值然后携带上传至OBS,OBS服务 端再根据上传的对象内容计算出MD5值,最终与携带上传的MD5值进行对比,如果对 比结果一致,对象上传成功,否则上传失败。使用MD5值对上传数据进行一致性校验 的示意图如图9-1所示。

(48)

9-1 校验上传对象的一致性

下载对象时,OBS会将对象已有的MD5值与根据下载的对象内容计算出来的MD5值进 行对比,如果对比结果一致,对象下载成功,否则下载失败。使用MD5值对下载数据 进行一致性校验的示意图如图9-2所示。

最佳实践 9 OBS 数据一致性校验

數據

表 2-1 搬迁方案 搬迁方式 适用数据量 要求 耗时 费用 OBS工具方 式(在线) 不高于1TB的数据量 要求用户公网带宽空闲,需要人 工操作客户端或 脚本启动数据上 传 家用100Mbps带 宽,1TB耗时1天左右 数据传输不收取费用,仅OBS收取基本的存储费用 CDM方式 (在线) 单次小于8TB的数据量 需要用户单独购 买CDM服务 1TB~8TB/天 (取决于网络和 数据读取源的读 写性能) 根据购买 CDM实例规格以及使用时长收费, 具体参见 CDM价格详 情 DES磁盘方 式(离线) 单次小
表 5-1 组件说明
表 8-1 数据规划 规划项 说明 示例 自定义域名 用户自己的域名地址。 www.example.com 静态网站首页 访问静态网站时返回的索引页 面,即首页。 index.html 404错误页面 当访问错误的静态网站路径 时,返回的404错误页面。 error.html ● index.html的内容为: &lt;html&gt;   &lt;head&gt;       &lt;title&gt;Hello OBS!&lt;/title&gt;       &lt;meta charset=&#34
表 12-1 CORS 规则 参数 说明 配置建议 允许的来 源 必选参数,指定允许的跨域请求的来 源,即允许来自该域名下的请求访问该 桶。 允许多条匹配规则,以回车换行为间 隔。每个匹配规则允许使用最多一个 “*”通配符。例如: http://rds.example.com https://*.vbs.example.com * 允许的方 法 必选参数,指定允许的跨域请求方法,即桶和对象的几种操作类型。包括: Get、Post、Put、Delete、Head。 全选

參考文獻

相關文件

結 果發現這個新解跟greedy choice一樣好 (也是一個 最佳解) 或者發現這個新解更好 (矛盾, 所以最佳解 裡面不可能沒有greedy

鉴于课程发展和教学方法的研究和实践一日千里,加上教育局课程发展处多 年来透过不同途径,搜集各界对历史课程及教学等方面的意见,课程发展议会于

p AChE 抑制剂可抑制脑内突触间隙内 ACh 的降解,增强 毒蕈碱受体和烟碱受体处 ACh 的浓度,从而提高认知功 能,其疗效最明确、应用最广泛 , 是当前 AD

对于电磁现象,尽管我们仍然还是从力学的角度来理解各种各样的物理对象以及物理过程,但最关键

⒊复习:有限信息最大或然法 (LIML,Limited Information Maximum Likelihood ). •

然而 ISDS 机制在实践中一些问题不断暴露出来,多数学者认为 ISDS

介面最佳化之資料探勘模組是利用 Apriori 演算法探勘出操作者操作介面之 關聯式法則,而後以法則的型態儲存於介面最佳化知識庫中。當有

Keywords: light guide plate, stamper, etching process, Taguchi orthogonal array, back-propagation neural networks, genetic algorithms, analysis of variance, particle