管理指南
文档版本 38
发布日期 2022-01-10
版权所有 © 华为技术有限公司 2022。 保留一切权利。
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传 播。
商标声明
和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标,由各自的所有人拥有。
注意
您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声 明或保证。
由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
目 录
1 GaussDB(DWS) 使用简介... 1
2 准备工作...3
3 配置集群...4
3.1 登录 GaussDB(DWS) 管理控制台... 4
3.2 创建集群...4
3.3 购买折扣套餐...17
4 连接集群...21
4.1 连接集群的方式... 21
4.2 获取集群连接地址... 22
4.3 使用 gsql 命令行客户端连接集群... 24
4.3.1 下载客户端... 24
4.3.2 准备 ECS 作为 gsql 客户端主机... 26
4.3.3 使用 gsql 客户端连接集群... 28
4.3.4 使用 SSL 进行安全的 TCP/IP 连接... 31
4.3.5 (可选)设置 SSL 连接... 34
4.3.6 (可选)下载 SSL 证书... 37
4.4 使用 Data Studio 图形界面客户端连接集群...38
4.5 使用 JDBC 和 ODBC 连接集群... 42
4.5.1 开发规范... 42
4.5.2 下载 JDBC 或 ODBC 驱动... 42
4.5.3 使用 JDBC 连接数据库...44
4.5.4 使用 ODBC 连接数据库...56
4.6 使用 IAM 认证方式连接集群... 62
4.6.1 概述... 62
4.6.2 授予 IAM 用户 DWS Database Access 权限... 62
4.6.3 创建 IAM 用户凭证... 63
4.6.4 配置 JDBC 连接使用 IAM 认证方式连接集群... 63
4.7 管理数据库连接... 65
5 管理集群...68
5.1 查看集群状态...68
5.2 查看集群基本信息... 71
5.3 管理集群访问域名... 74
5.4 修改数据库参数... 78
5.5 管理 MRS 数据源...79
5.5.1 从 MRS 导入数据概述...79
5.5.2 创建 MRS 数据源连接...80
5.5.3 更新 MRS 数据源配置...82
5.6 集群工作负载管理... 83
5.6.1 工作负载管理简介... 83
5.6.2 添加工作负载队列... 85
5.6.3 修改工作负载队列... 87
5.6.4 工作负载队列查询概览...90
5.6.5 删除工作负载队列... 90
5.6.6 工作负载计划... 90
5.6.7 工作负载计划阶段... 93
5.6.8 导入导出工作负载计划...96
5.6.9 模式空间管理... 96
5.7 逻辑集群管理...98
5.7.1 逻辑集群概述... 98
5.7.2 添加逻辑集群...100
5.7.3 编辑逻辑集群...101
5.7.4 删除逻辑集群...102
5.7.5 重启逻辑集群...103
5.7.6 扩容逻辑集群...103
5.8 集群绑定和解绑 ELB... 104
5.9 管理标签... 107
5.9.1 标签简介... 107
5.9.2 标签管理... 108
5.10 管理企业项目...111
5.11 删除集群... 113
5.12 管理参数模板...114
5.13 管理创建失败的集群...126
6 集群运维... 128
6.1 管理快照... 128
6.1.1 快照概述... 128
6.1.2 手动创建快照...129
6.1.3 设置自动快照策略... 130
6.1.4 查看快照信息...135
6.1.5 复制自动快照...136
6.1.6 恢复快照到新集群... 137
6.1.7 删除手动快照...139
6.2 节点管理... 140
6.3 扩容集群... 143
6.4 集群重分布... 147
6.4.1 重分布...148
6.4.2 查看重分布详情... 151
6.5 升级集群... 152
6.6 集群容灾... 153
6.6.1 容灾概述... 153
6.6.2 创建容灾... 155
6.6.3 查看容灾信息...156
6.6.4 容灾管理... 157
6.6.5 容灾互斥案例...159
6.7 解除只读... 159
6.8 管理 CN 节点...160
6.9 重置密码... 162
6.10 重启集群... 163
7 监控与告警... 165
7.1 总览... 165
7.2 监控集群... 166
7.3 数据库监控... 176
7.3.1 数据库监控简介... 176
7.3.2 监控项列表... 176
7.3.3 集群概览... 186
7.3.4 监控... 188
7.3.4.1 节点监控... 188
7.3.4.2 性能监控... 191
7.3.4.3 数据库监控...192
7.3.4.4 会话监控... 194
7.3.4.5 查询监控... 195
7.3.4.6 实例监控... 198
7.3.4.7 负载监控... 199
7.3.5 工具... 201
7.3.5.1 SQL 诊断...201
7.3.6 监控设置... 204
7.3.7 典型场景... 205
7.3.7.1 SQL 诊断场景... 205
7.3.7.2 Top 耗时 SQL 查看...205
7.4 事件通知... 206
7.4.1 事件通知概述...206
7.4.2 订阅事件通知...209
7.4.3 查看事件... 211
7.5 告警管理... 211
7.5.1 告警管理简介...211
7.5.2 告警规则... 216
7.5.3 订阅告警通知...219
8 审计日志... 222
8.1 审计日志说明... 222
8.2 查看管理控制台关键操作审计日志... 222
8.3 设置数据库审计日志... 225
8.4 转储数据库审计日志... 228
9 安全管理... 232
9.1 设置集群安全配置... 232
9.1.1 设置三权分立...232
9.2 数据库加密... 234
9.2.1 数据库加密简介... 235
9.2.2 轮转加密密钥...236
9.3 权限管理... 237
9.3.1 创建用户并授权使用 GaussDB(DWS)... 237
9.3.2 GaussDB(DWS) 自定义策略... 238
9.3.3 策略语法:细粒度策略... 248
9.3.4 策略语法:RBAC... 252
9.4 细粒度策略... 254
9.5 敏感操作保护... 265
A 修订记录... 269
1 GaussDB(DWS) 使用简介
数据仓库服务是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即 用、可扩展且完全托管的分析型数据库服务。GaussDB(DWS) 是基于华为融合数据仓 库GaussDB产品的云原生服务,兼容标准ANSI SQL 99和SQL 2003,同时兼容
PostgreSQL/Oracle数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方 案。
GaussDB(DWS) 提供了简单易用的Web管理控制台,帮助您快速创建数据仓库集群,
轻松执行数据仓库管理任务。
GaussDB(DWS) 使用流程介绍
图1-1 GaussDB(DWS) 使用流程
表1-1 GaussDB(DWS) 使用流程介绍
主流程 子任务 说明 操作指导
准备工作 - 在使用GaussDB(DWS) 服务之 前,请在您的防火墙中确定一 个开放端口作为
GaussDB(DWS) 集群的数据库 端口。
准备工作
创建集群 - 在使用GaussDB(DWS) 执行数 据分析任务前,您首先要创建 一个集群。一个
GaussDB(DWS) 集群由多个在 相同子网中的节点组成,共同 提供服务。创建集群时,系统 会创建一个默认数据库。
● 创建集群
● 购买折扣套餐(推荐
购买)
连接集群 - GaussDB(DWS) 集群创建完成 后,您就可以使用SQL客户端 工具或者JDBC/ODBC等第三方 驱动程序连接集群中的数据 库。进入GaussDB(DWS) 控制 台的“连接管理”页面,您可 以下载SQL客户端工具和JDBC/
ODBC驱动程序。
连接集群
访问数据库 - 连接集群后,您就可以创建和 管理数据库,管理用户及权 限,导入或导出数据,以及查 询和分析数据。
《数据仓库服务数据库 开发指南》
管理和监控 集群
管理集 群
您可以查看集群状态,修改集 群配置,添加集群标签,对集 群进行扩容、重启、删除等管 理操作。
管理集群
管理快 照
通过创建集群快照,可以对集 群进行备份,使用快照可以恢 复集群。
管理快照
运维与 监控
您可以通过监控集群、审计日 志、事件通知和资源负载管理 了解集群的运行状况和性能。
● 监控集群
● 事件通知
● 审计日志
● 资源负载管理
2 准备工作
在使用华为云GaussDB(DWS) 服务之前,请先完成以下准备工作:
● 注册并实名认证华为云帐户
● 确定集群端口
注册并实名认证华为云帐户
如果您还没有华为云帐户,则必须先注册一个。如果您已有实名认证的帐户,则可以 跳过此步骤,并使用您已有的帐户。
1. 打开华为云服务网址https://www.huaweicloud.com/,单击页面右上方的“注 册”,进入注册页面。
2. 按照页面要求填写用户信息完成注册。
3. 单击右上角用户名,进入基本信息页面,单击“实名认证”,进入实名认证页 面。
4. 按照页面提示完成实名认证 说明
开通云服务需要先进行实名认证。
确定集群端口
● 在创建GaussDB(DWS) 集群时需要指定一个端口供SQL客户端或应用程序通过该 端口访问集群。
● 如果您的客户端机器位于防火墙之后,则您需要有一个可用的开放端口,这样才 能从SQL客户端工具连接到集群并进行查询分析。
● 如果您不了解可用的开放端口,则请联系网络管理员,在您的防火墙中确定一个 开放端口。GaussDB(DWS) 支持的端口范围为8000~30000。
● 在集群创建之后无法更改集群的端口号,请务必确保在集群创建过程中指定的端 口为可用的开放端口。
3 配置集群
3.1 登录 GaussDB(DWS) 管理控制台
操作场景
用户需要先进入GaussDB(DWS) 管理控制台,然后开始使用GaussDB(DWS) 。
操作步骤
步骤1 登录华为云管理控制台。
步骤2 在控制台左上方,单击“服务列表”按钮 ,选择“大数据 > 数据仓库服务”,进 入GaussDB(DWS) 服务的控制台页面。
步骤3 在“大数据”列表中,单击“数据仓库服务”,进入数据仓库服务管理控制台页面。
----结束
3.2 创建集群
如果用户需要在华为云环境中使用GaussDB(DWS) ,首先要创建一个数据仓库集群。
创建数据仓库集群时默认采用按需付费方式,即节点按实际使用时长计费,计费周期 为一小时。这种购买方式比较灵活,可以即开即停,按实际使用时长计费。您可根据 业务需要,定制相应计算能力和存储空间的GaussDB(DWS) 集群。您也可以购买折扣 套餐,这种购买方式是按月/按年预付费,相比按需付费方式更优惠,具体操作请参见 购买折扣套餐。
本章节为您介绍如何在GaussDB(DWS) 管理控制台创建一个数据仓库集群。
说明
为保证集群负载均衡和高可用,避免CN单点故障问题,客户生产业务下,要求集群创建后进行 ELB绑定,参见集群绑定和解绑ELB。
创建集群前的准备
● 评估集群节点规格
您可以根据数据量、业务负载以及性能需求,选择能够支撑业务应用的节点数 量,数量越多,存储与计算能力越强。GaussDB(DWS) 集群中,每个节点上的 DataNode实例数根据集群规格不同而不同,一般为1~4个。DataNode实例负责 存储业务数据(支持行存、列存、混合存储)、执行数据查询任务以及返回执行 结果的模块。
刚开始使用GaussDB(DWS) 服务时,您也可以先创建一个规格较小的集群,今后 随着数据量和业务负载的变化,再自由调整集群规模和节点规格,自由扩展而不 中断业务。详情请参见扩容集群。
● 设计网络访问拓扑
根据业务应用需要,规划合适的可用区并准备网络配置,使数据仓库集群与用户 的其他公有云业务隔离。
● 请确定用户可使用的节点数满足如下条件,否则系统会提示无法创建集群。
– 用户可使用的节点数大于或者等于3,因为创建集群至少需要3个节点。用户 可使用的节点数可在“集群管理”页面查看。
– 计划创建的集群的节点数小于或等于用户可使用的节点数。
创建集群
步骤1 登录GaussDB(DWS) 管理控制台。
步骤2 单击左侧导航栏的“集群管理”。
步骤3 在“集群管理”页面,单击“创建数据仓库集群”。
步骤4 选择“区域”。
表3-1 区域参数说明
参数名 参数解释 样例值
区域 选择集群节点实际工作区域。
有关区域的详细信息,请参见地区和终端节 点。
华北-北京四
可用区 选择集群工作区域下关联的可用区。
关于区域和可用区的描述,请参见区域和可 用区。
通用可用区
步骤5 选择“产品类型”、“CPU架构”和“节点规格”。
说明
设置的节点数量不能大于用户可使用的节点配额或32个。如果可使用的节点配额不足,用户可 以单击“申请扩大配额”以提工单的形式申请更多节点配额。
如果有符合业务需求的折扣套餐节点,建议先使用折扣套餐的节点,节约费用。如果没有,单击
“购买折扣套餐”进行购买。
图3-1 选择节点规格
表3-2 主机规格参数说明
参数名 参数解释 样例值
产品类型 产品类型有:
● 云数仓:针对使用EVS盘的规格,支持用户在可 选范围内自定义集群使用的存储类型与存储容 量;话单计费上,第二代EVS盘规格采用存储资 源独立计费的方式。
● 标准数仓:OLAP,支持10PB级超大规模数据在 线查询、离线分析能力,可扩展至1024节点。
不支持用户自定义存储类型与存储容量。
● 实时数仓:提供时序计算和时序压缩服务。
说明
– 对于BMS、本地盘非EVS存储的规格,创建集群时 不支持用户自定义存储类型和存储容量,与当前版 本能力一致,只支持用户选择规格类型。
– 实时数仓当前处于公测阶段,欢迎试用。
云数仓
CPU架构 CPU架构有:
● X86
● 鲲鹏
说明X86和鲲鹏只是底层架构不一致,应用层不感知,sql语法 一致,如果创建集群时提示X86售罄,可以选择鲲鹏架 构。
X86
节点规格 请根据业务需求合理选择节点规格。在节点规格列 表中展示了每一种节点规格单个节点的vCPU、内存 和建议使用场景。
GaussDB(DWS) 支持的节点规格及其价格详情,请 参见GaussDB(DWS)价格详情。
dws2.m6.4xla rge.8
参数名 参数解释 样例值 存储类型
(云数仓参 数)
存储类型有:
● 超高I/O
超高I/O
每节点可用 存储(云数 仓参数)
每节点可用存储容量。
说明
您申请的存储空间会有必要的文件系统开销,这些开销包 括索引节点,以及数据库运行必须的空间。存储空间的数 值必须为100的整倍数。
-
节点数量 选择集群中的节点个数。
支持的节点数范围为3~32。
3
总容量(GB) 显示集群的总容量。
各个规格对应的存储容量均为数据库存储数据的实 际空间,所展示存储容量已扣除副本、RAID所消耗 的磁盘空间。
-
折扣套餐节 点数量
显示当前区域内所选节点规格的折扣套餐节点数 量。
● 如果当前未购买过折扣套餐,也可以单击“购买 折扣套餐”进行购买,请参考购买折扣套餐。
● 如果已购买折扣套餐,折扣套餐的节点数量范围 内的节点在订单有效期内将不再另外收费(因为 您前期购买折扣套餐时已经支付过费用),若所 选的集群节点数量超过折扣套餐的节点数量,超 过的部分按需计费。
例如:当前选择“节点数量”为3,若“折扣套 餐节点数量”为2,那么2个节点在套餐订单有效 期内不再另外收费,1个节点按需计费。
-
表3-3 规格说明
节点规格 vCPU核
数
内存大小(GB) 架构 规格类型
dws2.olap.4xlarge.m6 16 128 X86 ECS/存算分离EVS dws2.olap.8xlarge.m6 32 256 X86 ECS/存算分离EVS dws2.olap.
16xlarge.m6 64 512 X86 ECS/存算分离EVS dws2.olap.4xlarge.kc1 16 64 ARM ECS/存算分离EVS dws2.olap.
4xlarge.km1 16 128 ARM ECS/存算分离EVS dws2.olap.
6xlarge.km1 24 192 ARM ECS/存算分离EVS
节点规格 vCPU核 数
内存大小(GB) 架构 规格类型
dws2.olap.
8xlarge.km1 32 256 ARM ECS/存算分离EVS dws2.olap.
12xlarge.km1 48 384 ARM ECS/存算分离EVS dws2.m6.4xlarge.8 16 128 X86 ECS/EVS
dws2.m6.8xlarge.8 32 256 X86 ECS/EVS dws2.m6.16xlarge.8 64 512 X86 ECS/EVS dws2.km1.4xlarge.8 16 128 ARM ECS/EVS dws2.km1.6xlarge.8 24 192 ARM ECS/EVS dws2.km1.8xlarge.8 32 256 ARM ECS/EVS dws2.km1.12xlarge.8 48 384 ARM ECS/EVS dws2.km1.xlarge 4 32 ARM ECS/EVS dws2.kc1.4xlarge 16 64 ARM ECS/EVS dws2.olap.4xlarge.i3 16 128 X86 ECS/本地直通 dws2.olap.8xlarge.i3 32 256 X86 ECS/本地直通 dws2.olap.16xlarge.i3 64 512 X86 ECS/本地直通 dws2.olap.4xlarge.ki1 16 64 ARM ECS/本地直通 dws2.olap.8xlarge.ki1 32 128 ARM ECS/本地直通 dws2.olap.16xlarge.ki1 64 228 ARM ECS/本地直通 dws2.physical.ki1ne.
4xlarge 128 512 ARM BMS dws2.physical.ki1ne.
4xlarge.a 128 512 ARM BMS dws2.physical.c6sd.
6xlarge 104 768 X86 BMS dws2.physical.c6sd.
6xlarge.7 104 768 X86 BMS dws2.physical.c6sd.
6xlarge.7.cbg 104 768 X86 BMS dws2.physical.c6sd.
6xlarge.a.7 104 768 X86 BMS dws2.physical.io6.3xla
rge.4a 104 384 X86 BMS
节点规格 vCPU核 数
内存大小(GB) 架构 规格类型
dws2.physical.c6d.
6xlarge.3a.cbg 88 768 X86 BMS dws2.physical.c6sd.
6xlarge.a.7.cbg 104 768 X86 BMS dws2.physical.c6sd.
6xlarge.1.cbg 104 768 X86 BMS
表3-4 规格说明(仅在专属云 DEC 场景下支持)
节点规格 vCPU
核数
内存大小(GB) 架构 规格类型
dwsx2.2xlarge.dec 8 64 X86 ECS/存算分离EVS dwsx2.8xlarge.dec 32 256 X86 ECS/存算分离EVS dwsx2.16xlarge.dec 64 512 X86 ECS/存算分离EVS dwsk2.2xlarge.dec 8 64 ARM ECS/存算分离EVS dwsk2.8xlarge.dec 32 256 ARM ECS/存算分离EVS dwsk2.12xlarge.dec 48 384 ARM ECS/存算分离EVS dws2.olap.
4xlarge.i3.dec 16 128 X86 ECS/本地直通 dws2.olap.
8xlarge.i3.dec 32 256 X86 ECS/本地直通 dws2.olap.
16xlarge.i3.dec 64 512 X86 ECS/本地直通 dws2.olap.
4xlarge.ki1.dec 16 64 ARM ECS/本地直通 dws2.olap.
8xlarge.ki1.dec 32 128 ARM ECS/本地直通 dws2.olap.
16xlarge.ki1.dec 64 228 ARM ECS/本地直通
步骤6 填写“集群配置”参数。
图3-2 集群参数
表3-5 集群配置参数说明
参数名 参数解释 样例值
集群名称 设置数据仓库集群的名称。
集群名称长度为4到64个字符,必须以字母开头,可 以包含字母、数字、中划线或者下划线,不能包含 其他的特殊字符。字母不区分大小写。
dws-demo
集群版本 显示集群中安装的数据库实例版本。图片仅供参
考,请以实际显示版本号为准。 8.1.1.200 默认数据库 显示集群的默认数据库名称“gaussdb”。
说明“gaussdb”为默认数据库名称,暂不支持修改。
gaussdb
管理员用户 设置数据库的管理员用户名称。
用户命名要求如下:
● 只能由小写字母、数字或下划线组成。
● 必须以小写字母或下划线开头。
● 长度为6~64个字符。
● 用户名不能为GaussDB(DWS) 数据库的关键字。
GaussDB(DWS) 数据库的关键字,具体请参见
《SQL语法参考》中关键字章节。
dbadmin
参数名 参数解释 样例值 管理员密码 设置数据库管理员用户的密码。
密码复杂度要求如下:
● 密码长度为8~32个字符。
● 不能与用户名或倒序的用户名相同。
● 密码至少包含大写字母、小写字母、数字和特殊 字符四类中的三类,其中可输入的特殊字符为:
(~!`?,.:;-_'"(){}[]/<>@#%^&*+|\=)。
● 弱口令检查。
说明
请妥善保管并定期更新密码,避免安全风险。
-
确认密码 重复输入一次数据库管理员用户的密码。 - 数据库端口 设置客户端或应用程序连接集群数据库时使用的端
口。
支持的端口范围为8000~30000。
8000
步骤7 配置“网络”。
图3-3 网络参数
表3-6 网络参数说明
参数名 参数解释 样例值
虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务 的网络隔离。
首次创建数据仓库集群时,如果未配置过虚拟私有 云,可以单击“查看虚拟私有云”进入虚拟私有云 管理控制台,新创建一个满足需求的虚拟私有云。
如何创建虚拟私有云,具体请参见《虚拟私有云用 户指南》中的创建虚拟私有云和子网章节。
在下拉框中选择一个虚拟私有云后,单击“查看虚 拟私有云”可以进入虚拟私有云管理控制台查看虚 拟私有云的详细信息。
单击 可以刷新“虚拟私有云”下拉框中选项 值。
vpc-dws
子网 指定虚拟私有云的一个子网。
集群使用子网实现与其他网络的隔离,并独享所有 网络资源,以提高网络安全。
subnet-dws
参数名 参数解释 样例值 安全组 指定虚拟私有云的安全组。
安全组限制安全访问规则,加强集群与其它服务间 的安全访问。
● 自动创建安全组
系统默认选中“自动创建安全组”,设置为该 选项时,系统将会自动创建一个默认安全组。
默认安全组的规则如下:出方向允许所有访 问,入方向只开放用户设置的GaussDB(DWS) 集群的数据库端口。
默认安全组的名称,其格式如下:dws-<集群 名称>-<GaussDB(DWS) 集群的数据库端口>,
例如,dws-dws-demo-8000。
说明
如果安全组和安全组规则的配额不足,提交创建集群 申请后系统会报错,用户可以选择已有的安全组后重 试。
● 手动创建并配置安全组
用户也可以登录VPC管理控制台手动创建一个 安全组,然后回到GaussDB(DWS) 创建集群页 面,单击“安全组”下拉列表旁边的 按 钮,刷新后在“安全组”下拉列表中选择新建 的安全组。
为了使GaussDB(DWS) 客户端可以连接集群,
用户需要在新建的安全组中添加一条入规则,
开放GaussDB(DWS) 集群的数据库端口的访问 权限。入规则示例如下,详情请参见添加入方 向规则:
– 协议:TCP。
– 端口范围:8000。指定为创建
GaussDB(DWS) 集群时设置的数据库端 口,这个端口是GaussDB(DWS) 用于接收 客户端连接的端口。
– 源地址:选中“IP地址”,然后指定为客户 端主机的IP地址,例如
“192.168.0.10/32”。
自动创建安全 组
参数名 参数解释 样例值 公网访问 指定用户是否可以在互联网上使用客户端连接集群
数据库。支持如下方式:
● “暂不使用”:暂不使用弹性IP。如DWS使用 于生产环境,则需绑定ELB,则不选择使用弹性 IP,通过绑定ELB后,再从ELB页面进行弹性IP 绑定。
● “现在购买”:用户指定弹性IP的带宽,系统 将自动为集群分配独享带宽的弹性IP,通过弹 性IP可以从互联网对集群进行访问。自动分配 的弹性IP的带宽名称都是以集群名称开头的。
● “使用已有”:为集群绑定指定的弹性IP。如 果下拉框中没有可用的弹性IP,可以单击“创 建弹性IP”进入弹性公网IP页面创建一个满足 需要的弹性IP。带宽可根据用户需要设置。
说明
● 使用BMS发放的集群暂不支持使用指定弹性IP,仅 ECS发放的集群支持。
● 使用BMS发放的集群,不支持创建成功后再绑定弹性 IP,也不支持进行解绑定弹性IP操作,建议有公网访 问需求的用户在创建集群时选择“现在购买”。ECS 发放的集群不受此影响。
● 每个区域的每个项目首次使用弹性IP绑定功能时,系 统将提示创建名称为“DWSAccessVPC”委托以授权 GaussDB(DWS) 访问VPC。授权成功后,
GaussDB(DWS) 可以在绑定弹性IP的虚拟机故障时 切换至健康虚拟机。
● 默认情况下,只有华为云帐号或拥有Security Administrator权限的用户才具备创建委托的权限。
帐号中的IAM用户,默认没有创建委托的权限,需联 系有权限的用户在当前页面完成对GaussDB(DWS) 的委托授权。
● 公网访问选择“暂不使用”,即不启用公网访问集 群。在集群创建成功后,如果用户想通过公网访问集 群,可以先为集群绑定弹性IP再创建公网域名,详情 请参见创建公网域名。
● 如果是生产环境,集群创建完后需要绑定弹性负载均 衡(ELB),再通过ELB绑定弹性公网IP,此处选择
“暂不使用”。
现在购买
带宽 当“公网访问”选择“现在购买”时,需指定弹性
IP的带宽,设置范围:1~100Mbit/s。 50Mbit/s
步骤8 配置集群所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认 值为default。
企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,
以及项目内的资源管理、成员管理。
您可以选择默认的企业项目“default”或其他已有的企业项目。如果要创建新的企业 项目,请登录企业管理控制台进行创建,详细操作请参考《企业管理用户指南》。
步骤9 设置高级配置。选择“自定义”时,您可以设置以下高级配置参数,若选择“默认配 置”,以下参数将使用它们的默认值。
图3-4 自定义高级配置
● 自动快照
表示开启自动快照策略,默认为开启。开启后,系统会按照设定的时间和 周期自动创建快照。开启时请设置以下快照策略参数。如图3-4所示的值即为快照 参数的默认值。
表3-7 快照策略参数说明 参数名 参数解释
保留天数 设置自动创建的快照的保留天数,可设置范围为1~31天。
说明
用户不能手动删除自动创建的快照,自动快照保留天数超期后,系统会 自动删除。
快照执行周 期
设置创建自动快照的周期。可以设置每周哪几天创建自动快照,
以及创建自动快照的频率,支持每天创建一次或者每天间隔几个 小时创建一次自动快照。
● CN部署量
CN即协调节点(Coordinator),负责接收来自应用的访问请求,并向客户端返 回执行结果,此外,协调节点还负责分解任务,并调度任务分片在各DN上并行执 行。
取值范围为2~集群节点数,最大值为20,默认值为3。在大规模集群下,建议部 署多个CN。
● 参数模板
参数模板是一组适用于数据仓库的参数集合。在“参数模板”下拉列表中选择一 个参数模板与集群相关联。可以选择默认的参数模板或者自定义创建的参数模 板。默认情况下,集群关联系统默认的数据库参数模板。
有关参数模板的更多信息,请参见管理参数模板。
● 标签
标签(Tag)用于标识集群的键值对。“键”和“值”请参见表3-8。默认未给集 群添加标签。
有关标签的更多信息,请参见标签简介。
表3-8 标签配置参数
参数 参数说明 样例值
键 您可以选择:
– 在输入框的下拉列表中选择预定义标签键或集群已有的资 源标签键。
说明
如果添加预定义标签,用户需要预先在标签管理服务中创建好预 定义标签,然后在“键”的下拉框中进行选择。用户可以通过单 击“查看预定义标签”进入标签管理服务的“预定义标签”页 面,然后单击“创建标签”来创建新的预定义标签。更多信息请 参见《标签管理服务用户指南》中的创建预定义标签。
– 在输入框中输入标签键名称。输入标签键的最大长度为36 个字符,不能为空字符串。
只能包含数字、英文字母、下划线、中划线和中文。
说明
同一集群中的键名不能重复。
key01
值 您可以选择:
– 在输入框的下拉列表中选择预定义标签值或集群的资源标 签值。
– 在输入框中输入标签值。输入标签值的最大长度为43个字 符,不能为空字符串。
只能包含数字、英文字母、下划线、点、中划线和中文。
value01
● 加密数据库
表示不启用数据库加密功能,默认为不启用。
表示开启数据库加密功能。开启后,GaussDB(DWS) 将使用KMS(密钥 管理服务)为集群及其快照的数据启用加密功能。
每个区域的每个项目首次启用数据库加密时,系统会弹出一个“创建委托”的对 话框,单击“是”创建名为“DWSAccessKMS”的委托以授权GaussDB(DWS) 访 问KMS,若单击“否”将不会启用加密功能。然后在“密钥名称”的下拉列表中 选择已创建的KMS密钥。如果没有KMS密钥,可以登录KMS服务进行创建,详细 操作请参见《数据加密服务用户指南》。
默认情况下,只有华为云帐号或拥有Security Administrator权限的用户才具备创 建委托的权限。帐号中的IAM用户,默认没有创建委托的权限,需联系有权限的 用户在当前页面完成对GaussDB(DWS) 的委托授权。
图3-5 加密数据库
须知
– 数据库加密功能一旦开启就无法关闭。
– 开启数据库加密功能后,用于加密GaussDB(DWS) 数据库的KMS密钥在使用 过程中不能被禁用、删除或冻结,否则会导致GaussDB(DWS) 集群异常或数据 库不可用。
步骤10 单击“立即购买”,进入“规格详情”页面。
说明
如果申请的节点数(个)、vCPU(核)或内存(GB)超过了用户的剩余配额,系统会弹出警告 窗口提示用户配额不足并显示详细的剩余配额和当前申请配额信息。用户可以在警告窗口单击
“申请扩大配额”以提工单的形式申请扩大配额。
关于配额,请参见什么是用户配额?。
步骤11 单击“提交”。
提交成功后开始创建。单击“返回集群列表”返回集群管理页面,所创集群的初始状 态为“创建中”,集群创建需要时间,请等待一段时间。创建成功后状态更新为“可 用”,用户可以开始使用集群。
说明
● 集群创建完后,需要联系技术支持人员进行OS Core配置,以便出现Core dump问题的时候 能够完整收集内存转储文件,尽快定位问题根因。配置方法请联系技术支持人员获取
《GaussDB(DWS) Core配置标准方案》。
● 为保证集群负载均衡和高可用,避免CN单点故障问题,客户生产业务下,要求集群创建后进 行ELB绑定,参见集群绑定和解绑ELB。
----结束
3.3 购买折扣套餐
GaussDB(DWS) 同时提供折扣套餐的计费模式,根据服务购买时长,一次性支付费 用。最短时长为1个月,最长时长为3年。这种购买方式相对比较优惠,对于长期使用 者,推荐该方式。
须知
● 折扣套餐购买成功后系统不会自动创建集群。您需要前往GaussDB(DWS)管理控制 台自行创建集群,具体操作步骤请参见创建集群章节。
● 购买云数仓折扣套餐总容量为:节点数量*每节点可用存储*2(主+备)*24小时*购 买时长(天),其中一个月按30天计算。若用户创建的集群容量超过购买的折扣套 餐总容量时将自动转为按需计费模式。
● 折扣套餐包以月为单位进行重置的,例如用户在10月1日购买了100G的年套餐包,
那么在11月1日会进行重置,进入下一个周期即11月1日-12月1日,以此类推,直至 用完一年。
● 如果您已经先创建了集群,然后才购买与集群相同区域和节点规格的折扣套餐,折 扣套餐买完之后就会自动关联到已购买的集群。
● 折扣套餐所购买的时长到期后,将自动转为按需计费模式,集群不会被自动释放。
● 关于折扣套餐的详细说明,请参见GaussDB(DWS)价格详情。
本章节为您介绍如何以折扣套餐的方式购买GaussDB(DWS) 服务。
购买折扣套餐
步骤1 登录GaussDB(DWS) 管理控制台。
步骤2 单击“购买折扣套餐”。
步骤3 在“购买折扣套餐”页面,选择“区域”。
表3-9 区域参数说明
参数名 参数解释 样例值
区域 选择集群节点实际工作区域。
不同的区域之间折扣套餐不互通,每个区域 需分别购买,请根据您的实际需求慎重选 择。
有关区域的详细信息,请参见地区和终端节 点。
华北-北京四
步骤4 设置以下集群相关参数,然后在页面底部,将显示相应集群配置的“参考价格”。您 可以单击“了解计费详情”,查看具体的计费详情。
图3-6 选择集群规格
表3-10 规格参数说明
参数名 参数解释 样例值
产品类型 产品类型有:
● 云数仓:针对使用EVS盘的规格,支持用户在可 选范围内自定义集群使用的存储类型与存储容 量;话单计费上,第二代EVS盘规格采用存储资 源独立计费的方式。
● 标准数仓:OLAP,支持10PB级超大规模数据 在线查询、离线分析能力,可扩展至1024节 点。不支持用户自定义存储类型与存储容量。
● 实时数仓:提供时序计算和时序压缩服务。
说明
– 对于BMS、本地盘非EVS存储的规格,创建集群 时不支持用户自定义存储类型和存储容量,与当 前版本能力一致,只支持用户选择规格类型。
– 实时数仓当前处于公测阶段,欢迎试用。
云数仓
CPU架构 CPU架构有:
● X86
● 鲲鹏
X86
节点规格 请根据业务需求合理选择节点类型。在节点类型列 表中展示了每一种节点类型单个节点的vCPU、内 存、存储、I/O、并发队列数和建议使用场景。其 中,“并发队列数”是系统支持最大限度的并发作 业数,与规格强相关。
GaussDB(DWS) 支持的节点类型及其价格详情,
请参见GaussDB(DWS)价格详情。
dws.m6.4xlarg e.8
参数名 参数解释 样例值 每节点可用
存储(云数 仓参数)
每节点可用存储容量。
说明
您申请的存储空间会有必要的文件系统开销,这些开销 包括索引节点,以及数据库运行必须的空间。存储空间 的数值必须为100的整倍数。
-
购买数量 选择集群中的节点个数。
如果您是首次购买,建议您购买至少3个节点,因 为GaussDB(DWS) 集群最小规模为3个节点。
如果您非首次购买,则根据您的实际需要选择节点 数即可。
3
购买时长 拖动“购买时长”的滑块,确定购买时长。
在页面底部,将显示“参考价格”,您可以单击
“了解计费详情”,在弹出的“产品价格详情”页 面中,查看具体的计费详情。
-
企业项目 集群所属的企业项目。已开通企业项目管理服务的 用户才可以配置该参数。默认值为default。
企业项目是一种云资源管理方式,企业项目管理服 务提供统一的云资源按项目管理,以及项目内的资 源管理、成员管理。
您可以选择默认的企业项目“default”或其他已 有的企业项目。如果要创建新的企业项目,请登录 企业管理控制台进行创建,详细操作请参考《企业 管理用户指南》。
default
说明
折扣套餐节点和具体的区域、节点规格绑定,当您购买的折扣套餐和您运行的集群节点的区域和 规格完全一致时,才能在实际计费时享受优惠。
步骤5 单击“立即购买”,进入订单详情确认页面。
步骤6 订单详情确认无误后,单击“去支付”。
步骤7 选择支付方式,根据页面提示完成付款。
付款成功后,一般需要等待5分钟左右订单才能生效,订单生效后您才可以使用所购买 的套餐包。您可以选择控制台右上方的菜单“费用 > 我的订单”,进入“我的订单”
页面查看订单状态。
折扣套餐购买成功后系统不会自动创建集群。如果您尚未创建集群,需前往
GaussDB(DWS)管理控制台自行创建,具体操作步骤请参见创建集群章节。
订单生效后,您再创建GaussDB(DWS) 集群时,若所选集群规格与所购买的套餐包集 群规格相同,集群就会自动关联折扣套餐。折扣节点数量范围内的节点在折扣套餐订 单有效期内将不再另外收费(因为您前期购买折扣套餐时已经支付过费用),若所选 的集群节点数量超过折扣节点数量,超过的部分按需计费。
----结束
4 连接集群
4.1 连接集群的方式
如果您已经创建了GaussDB(DWS) 集群,就可以使用SQL客户端工具或者JDBC(Java database connectivity)/ODBC(Open Database Connectivity)等第三方驱动程序 连接集群,访问集群中的数据库。
连接集群的步骤如下:
1. 获取集群连接地址
2. 如果使用SSL加密连接方式,需要执行以下步骤:
a. (可选)设置SSL连接
b. (可选)下载SSL证书
说明
实时数仓暂不支持SSL连接。
实时数仓暂不支持MRS数据源连接。
3. 连接集群访问集群数据库。您可以选择以下任意一种方式连接集群。
– 使用SQL客户端工具连接集群
▪
使用gsql客户端连接集群▪
使用Data Studio图形界面客户端连接集群– 使用JDBC、ODBC程序连接集群
▪
使用JDBC连接数据库▪
使用ODBC连接数据库▪
配置JDBC连接使用IAM认证方式连接集群4.2 获取集群连接地址
操作场景
GaussDB(DWS) 支持不同方式连接集群,不同连接方式的连接地址也不同。支持查看 并获取华为云平台环境的内网连接地址、互联网环境的公网访问地址和JDBC连接字符 串。
获取集群连接地址有以下两种方式:
● 在连接管理页面获取集群连接地址
● 在“基本信息”页面获取集群连接地址
在“连接管理”页面获取集群连接地址
步骤1 登录GaussDB(DWS) 管理控制台。
步骤2 在左侧导航栏中,单击“连接管理”。
步骤3 在“数据仓库连接信息”区域,选择一个可用的集群名称。
只能选择状态为“可用”的集群。
图4-1 数据仓库连接信息
步骤4 查看并获取集群的连接信息。
● “内网访问地址”
● “公网访问地址”
● “弹性负载均衡地址”
● “JDBC连接字符串(内网)”
● “JDBC连接字符串(公网)”
● “ODBC连接字符串”
说明
● 如果创建集群时没有自动绑定弹性IP,“公网访问地址”显示为空。如果您想使用公网访问 地址(由弹性IP和数据库端口组成)从互联网访问集群,可以单击“绑定弹性IP”为集群绑 定弹性IP。
● 如果创建集群时绑定了弹性IP,如果您不想使用公网访问地址访问集群,可以单击“解绑弹 性IP”为集群解绑弹性IP。弹性IP解绑后,“公网访问地址”显示为空。
● 如果创建集群时没有绑定弹性负载均衡,“弹性负载均衡地址”显示为空,可以单击“绑定 弹性负载均衡”进行绑定,解决CN单点故障。
● 如果集群绑定了弹性负载均衡,为保证集群高可用,请优先使用弹性负载均衡地址连接集 群。
----结束
在“基本信息”页面获取集群连接地址
步骤1 登录GaussDB(DWS) 管理控制台。
步骤2 在左侧导航栏中,单击“集群管理”。
步骤3 在集群列表中,单击指定集群的名称,打开“基本信息”页面。
步骤4 在“数据库属性”区域,用户可以查看并获取集群的连接地址信息,包括内网地址、
公网地址等。
图4-2 连接地址
表4-1 数据库属性参数说明
参数名 参数解释
默认数据库 创建集群时默认自动创建的数据库。当用户第一次连接集群时,需 要连接到该默认数据库。
初始管理员用 户
创建集群时指定的管理员用户。当用户第一次连接集群时,需要使 用初始管理员用户及其密码连接到默认数据库。
端口 通过公网或者内网访问集群数据库的端口号。端口号在创建集群时 指定,它是集群监听客户端连接的端口。
JDBC连接字
符串(内网) 在内网环境中,当用户开发应用程序时,可通过JDBC连接字符串
(内网)连接集群。
参数名 参数解释 JDBC连接字
符串(公网) 在公网环境中,当用户开发应用程序时,可通过JDBC连接字符串
(公网)连接集群。
内网域名 通过内部网络访问集群数据库的域名地址。内网访问域名在创建集 群时自动生成。默认命名规则为:集群名
称.dws.myhuaweicloud.com。
说明
如果集群名称不符合域名规范,默认的访问域名前缀会相应做一些调整。
单击“修改”可以修改内网访问域名。访问域名由字母、数字、中 划线组成,以大小写字母开头,长度为4~63个字符。
更多信息请参见管理集群访问域名。
内网IP 通过内部网络访问集群数据库的IP地址。内网访问IP地址在创建集 群时自动生成。
公网域名 通过外部网络访问集群数据库的域名地址。
更多信息请参见管理集群访问域名。
公网IP 通过外部网络访问集群数据库的IP地址。
说明
● 如果创建集群时没有绑定弹性IP,“公网IP”显示为空,可以单击“绑定 弹性IP”为集群绑定弹性IP。
● 如果创建集群时绑定了弹性IP,可以单击“解绑弹性IP”为集群解绑弹性 IP。
ODBC连接字
符串 GaussDB(DWS) 支持使用ODBC应用程序连接数据库。应用程序可 以在华为云环境的弹性云服务器中,或者互联网环境连接数据库。
----结束
4.3 使用 gsql 命令行客户端连接集群
4.3.1 下载客户端
GaussDB(DWS) 提供了与集群版本配套的客户端工具包,用户可以在GaussDB(DWS) 管理控制台下载客户端工具包。
客户端工具包包含以下内容:
● 数据库连接工具gsql和测试样例数据的脚本
gsql是一款运行在Linux环境上的命令行客户端,用于连接GaussDB(DWS) 集群中 的数据库。
测试样例数据的脚本是执行入门示例时用的。
● GDS工具包
GDS工具包是数据服务工具。用户可以使用GDS工具将普通文件系统中的数据文 件导入到GaussDB(DWS) 数据库中,GDS工具包需要安装在数据源文件所在的服 务器上。数据源文件所在的服务器称为数据服务器,也称为GDS服务器。
下载客户端
步骤1 登录GaussDB(DWS) 管理控制台。
步骤2 在左侧导航栏中,单击“连接管理”。
步骤3 在“gsql命令行客户端”的下拉列表中,选择对应版本的GaussDB(DWS) 客户端。
请根据集群版本和安装客户端的操作系统,选择对应版本。
● “Redhat x86_64”客户端工具支持在以下系统中使用:
– RHEL 6.4~7.6。
– CentOS 6.4~7.4。
– EulerOS 2.3。
● “SUSE x86_64”客户端工具支持在以下系统中使用:
– SLES 11.1~11.4。
– SLES 12.0~12.3。
● “Euler Kunpeng_64”客户端工具支持在以下系统中使用:
– EulerOS 2.8。
● “Stream Euler X86_64”客户端工具支持在以下系统中使用:
– EulerOS 2.2。
● “Stream Euler Kunpeng_64”客户端工具支持在以下系统中使用:
– EulerOS 2.8。
图4-3 下载 gsql 客户端
说明
客户端CPU架构要和集群一致,如果集群是X86规格,则也应该选择X86客户端。
步骤4 单击“下载”可以下载与现有集群版本匹配的gsql。单击“历史版本”可根据集群版 本下载相应版本的gsql。
如果同时拥有不同版本的集群,单击“下载”时会下载与集群最低版本相对应的客户 端工具。如果当前没有集群,单击“下载”时将下载到低版本的客户端工具。
GaussDB(DWS) 集群可向下兼容低版本的客户端工具。
说明
● 在“集群管理”页面的集群列表中,单击指定集群的名称,再选择“基本信息”页签,可查 看集群版本。
表4-2列出了下载的工具包中的文件和文件夹。
表4-2 工具包目录及文件说明 文件或文件
夹
说明
bin 该文件夹中包含了gsql在Linux中的可执行文件。其中包含了gsql客户 端工具、GDS并行数据加载工具以及gs_dump、gs_dumpall和 gs_restore工具。详情请参见《数据仓库服务工具指南》中的服务端 工具章节。
gds 该文件夹中包括了GDS数据服务工具的相关文件,GDS工具用于并行 数据加载,可将存储在普通文件系统中的数据文件导入到
GaussDB(DWS) 数据库中。
lib 该文件夹中包括执行gsql所需依赖的lib库。
sample 该文件夹中包含了以下目录或文件:
● setup.sh:在使用gsql导入样例数据前所需执行的配置AK/SK访问 密钥的脚本文件。
● tpcds_load_data_from_obs.sql:使用gsql客户端导入TPC-DS样例 数据的脚本文件。
● query_sql目录:查询TPC-DS样例数据的脚本文件。
gsql_env.sh 在运行gsql前,配置环境变量的脚本文件。
----结束
4.3.2 准备 ECS 作为 gsql 客户端主机
GaussDB(DWS) 提供的gsql命令行客户端,它的运行环境是Linux操作系统,在使用 gsql客户端远程连接GaussDB(DWS) 集群之前,需要准备一个Linux主机用于安装和运 行gsql客户端。如果通过公网地址访问集群,也可以将gsql客户端安装在用户自己的 Linux主机上,但是该Linux主机必须具有公网地址。为方便起见,推荐您创建一台 Linux弹性云服务器(简称ECS)。本章节将为您介绍如何准备弹性云服务器。如果用 户已有符合条件的弹性云服务器,则可以跳过此章节。
准备弹性云服务器
购买弹性云服务器的操作步骤,请参见《弹性云服务器快速入门》中的购买并登录
Linux弹性云服务器章节。
购买的弹性云服务器需要满足如下要求:
● 弹性云服务器需要与GaussDB(DWS) 集群具有相同的区域、可用区。
● 如果使用GaussDB(DWS) 提供的gsql命令行客户端连接GaussDB(DWS) 集群,弹 性云服务器的镜像必须满足如下要求:
对镜像的规格没有特殊要求。镜像的操作系统必须是gsql客户端所支持的下列 Linux操作系统:
– “Redhat x86_64”客户端工具支持在以下系统中使用:
▪
RHEL 6.4~7.6。▪
CentOS 6.4~7.4。▪
EulerOS 2.3。– “SUSE x86_64”客户端工具支持在以下系统中使用:
▪
SLES 11.1~11.4。▪
SLES 12.0~12.3。– “Euler Kunpeng_64”客户端工具支持在以下系统中使用:
▪
EulerOS 2.8。– “Stream Euler X86_64”客户端工具支持在以下系统中使用:
EulerOS 2.2。
– “Stream Euler Kunpeng_64”客户端工具支持在以下系统中使用:
▪
EulerOS 2.8。● 如果客户端通过内网地址访问集群,请确保创建的弹性云服务器与 GaussDB(DWS) 集群在同一虚拟私有云里。
虚拟私有云相关操作请参见《虚拟私有云用户指南》中虚拟私有云和子网章节。
● 如果客户端通过公网地址访问集群,请确保创建的弹性云服务器和 GaussDB(DWS) 集群都要有弹性IP。
购买弹性云服务器时,参数“弹性公网IP”需选择“现在购买”或“使用已 有”。
● 弹性云服务器对应的安全组规则需要确保能与GaussDB(DWS) 集群提供服务的端 口网络互通。
安全组相关操作请参见《虚拟私有云用户指南》中安全组章节。
请确认弹性云服务器的安全组中存在符合如下要求的规则,如果不存在,请在弹 性云服务器的安全组中添加相应的规则:
– 方向:出方向
– 协议:必须包含TCP,例如TCP、全部。
– 端口:需要包含GaussDB(DWS) 集群提供服务的数据库端口,例如,设置为
“1-65535”或者具体的GaussDB(DWS) 数据库端口。
– 目的地址:设置的IP地址需要包含所要连接的GaussDB(DWS) 集群的地址,
例如,设置为“0.0.0.0/0”或者具体的GaussDB(DWS) 集群的连接地址。
图4-4 出方向的规则
● GaussDB(DWS) 集群的安全组规则需要确保GaussDB(DWS) 能接受来自客户端的 网络访问。
请确认GaussDB(DWS) 集群的安全组中存在符合如下要求的规则,如果不存在,
请在GaussDB(DWS) 集群的安全组中添加相应的规则。
– 方向:入方向
– 协议:必须包含TCP,例如TCP、全部。
– 端口:设置为GaussDB(DWS) 集群提供服务的数据库端口,例如“8000”。
– 源地址:设置的IP地址需要包含GaussDB(DWS) 客户端主机的IP地址,例如
“192.168.0.10/32”。
图4-5 入方向的规则
4.3.3 使用 gsql 客户端连接集群
用户在创建好数据仓库集群,开始使用集群数据库之前,需要使用数据库SQL客户端 连接到数据库。GaussDB(DWS) 提供了与集群版本配套的gsql命令行客户端工具,您 可以使用gsql客户端通过集群的公网地址或者内网地址访问集群。
使用 gsql 命令行客户端连接集群
步骤1 准备一个Linux弹性云服务器,用于安装和运行gsql客户端。
具体操作请参见准备ECS作为gsql客户端主机。
步骤2 请参见下载客户端下载gsql客户端,并使用SSH文件传输工具(例如WinSCP工具),
将客户端工具上传到一个待安装gsql的Linux主机上。
执行上传gsql操作的用户需要对客户端主机的目标存放目录有完全控制权限。
或者,您也可以先SSH远程登录到需要安装gsql的Linux主机,然后在Linux命令窗口,
执行以下命令下载gsql客户端:
wget https://obs.cn-north-1.myhuaweicloud.com/dws/download/dws_client_8.1.x_redhat_x64.zip --no-check- certificate
步骤3 使用SSH会话工具,远程登录客户端主机。
弹性云服务器的登录方法请参见《弹性云服务器用户指南》中的SSH密码方式登录章 节。
步骤4 (可选)如果要使用SSL方式连接集群,请参考使用SSL进行安全的TCP/IP连接章节,
在客户端主机配置SSL认证相关的参数。
说明
SSL连接方式的安全性高于非SSL方式,建议在客户端使用SSL连接方式。
步骤5 执行以下命令解压客户端工具。
cd <客户端存放路径>
unzip dws_client_8.1.x_redhat_x64.zip
其中:
● <客户端存放路径>:请替换为实际的客户端存放路径。
● dws_client_8.1.x_redhat_x64.zip:这是“RedHat x64”对应的客户端工具包名 称,请替换为实际下载的包名。
步骤6 执行以下命令配置客户端。
source gsql_env.sh
提示以下信息表示客户端已配置成功
All things done.
步骤7 执行以下命令,使用gsql客户端连接GaussDB(DWS) 集群中的数据库。
gsql -d <数据库名称> -h <集群地址> -U <数据库用户> -p <数据库端口> -r
参数说明如下:
● “数据库名称”:输入所要连接的数据库名称。首次使用客户端连接集群时,请 指定为集群的默认数据库“gaussdb”。
● “集群地址”:请参见获取集群连接地址进行获取。如果通过公网地址连接,请 指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请 指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连 接,请指定为“弹性负载均衡地址”。
● “数据库用户”:输入集群数据库的用户名。首次使用客户端连接集群时,请指 定为创建集群时设置的默认管理员用户,例如“dbadmin”。
● “数据库端口”:输入创建集群时设置的“数据库端口”。
例如,执行以下命令连接GaussDB(DWS) 集群的默认数据库gaussdb:
gsql -d gaussdb -h 10.168.0.74 -U dbadmin -p 8000 -r
根据界面提示输入密码后,显示如下信息表示gsql工具已经连接成功:
gaussdb=>
----结束
gsql 命令参考
有关gsql的命令参考和更多信息,请参见《数据仓库服务工具指南》。
(可选)使用 gsql 导入 TPC-DS 样例数据
GaussDB(DWS) 支持用户将数据从集群外导入到集群中。用户可以参考以下指导,快 速将样例数据从OBS导入集群,并对样例数据进行查询和分析。导入的样例数据是使 用TPC-DS测试基准生成的标准性能测试数据。
TPC-DS是数据库决策支持测试基准。通过使用TPC-DS的测试数据以及测试案例,用户 可以模拟真实场景下大数据集的统计、报表生成、联机查询、数据挖掘等复杂场景,
从而了解数据库应用的功能和性能。
说明
当前TPC-DS样例数据仅支持在“北京一”区域导入,其他区域暂不支持。
步骤1 使用SSH远程连接工具登录gsql客户端主机,并进入gsql目录,本例假设gsql客户端放 在/opt目录下。
cd /opt
步骤2 执行以下命令,切换到指定目录并设置用户导入样例数据的用户密钥和OBS访问地 址。
cd sample
/bin/bash setup.sh -ak <Access_Key_Id> -sk <Secret_Access_Key> -obs_location obs.cn- north-1.myhuaweicloud.com
系统显示以下信息表示设置成功:
setup successfully!
说明
<Access_Key_Id>和<Secret_Access_Key>:分别表示访问密钥ID和私有访问密钥。请参见创建访 问密钥(AK和SK)进行获取。然后将获取到的值替换到创建外表语句中。
步骤3 返回上一级目录,执行gsql环境变量。
cd ..
source gsql_env.sh cd bin
步骤4 执行以下命令,将样例数据导入数据仓库。
命令格式:
gsql -d <数据库名称> -h <集群公网访问地址> -U <管理员用户> -p <数据仓库端口> -f <样例数据脚本保存路径
> -r
命令示例:
gsql -d gaussdb -h 10.168.0.74 -U dbadmin -p 8000 -f /opt/sample/tpcds_load_data_from_obs.sql -r 说明
命令中样例数据脚本“tpcds_load_data_from_obs.sql”存放在GaussDB(DWS) 客户端的 sample目录下,如“/opt/sample/”。
根据界面提示输入管理员密码,成功连接集群数据库后,系统会自动创建样例数据对 应的外表用于关联集群外的数据,然后再创建存放样例数据的目标表,最后通过外表 将数据导入到目标表中。
由于数据集较大,导入时间取决于当前DWS集群规格,一般为10~20分钟左右,等待 系统显示如下执行时间信息表示导入成功,如下时间仅为示例。
Time:1845600.524 ms
步骤5 在Linux命令窗口,执行以下命令,切换到指定目录并查询样例数据。
cd /opt/sample/query_sql/
/bin/bash tpcds100x.sh
步骤6 根据命令提示,输入集群公网访问地址的IP地址、数据库端口、数据库名称、数据库 访问用户以及用户密码。
● 数据库名称默认为“gaussdb”。
● 数据库访问用户和密码使用创建集群时配置的管理员用户和密码。
查询完成后,在当前查询目录,如“sample/query_sql/”下面会生成一个存放查询结 果的目录,命名如“query_output_20170914_072341”。
----结束
4.3.4 使用 SSL 进行安全的 TCP/IP 连接
如果客户端或JDBC/ODBC应用程序要使用SSL连接方式,用户必须在客户端或应用程 序代码中配置相关的SSL连接参数。GaussDB(DWS) 管理控制台提供了客户端所需的 SSL证书,该SSL证书包含了客户端所需的默认证书、私钥、根证书以及私钥密码加密 文件。请将该SSL证书下载到客户端所在的主机上,然后在客户端中指定证书所在的路 径。
说明
使用默认的证书可能存在安全风险,为了提高系统安全性,强烈建议用户定期更换证书以避免被 破解的风险。如果需要更换证书,请联系客服。
了解SSL证书的更多信息,请参见(可选)下载SSL证书。本章节主要介绍以下内容:
● 在gsql客户端配置SSL认证相关的数字证书参数
●
SSL认证方式及客户端参数介绍
在 gsql 客户端配置 SSL 认证相关的数字证书参数
GaussDB(DWS) 在集群部署完成后,默认已开启SSL认证模式。服务器端证书,私钥 以及根证书已经默认配置完成。用户需要配置客户端的相关参数。
步骤1 登录GaussDB(DWS) 管理控制台,进入“连接管理”页面,下载SSL证书。
关于SSL证书的更多信息,请参见(可选)下载SSL证书。
图4-6 SSL 证书下载
步骤2 使用文件传输工具(例如WinSCP工具)将SSL证书上传到客户端主机。
例如,将下载的证书“dws_ssl_cert.zip”存放到“/home/dbadmin/dws_ssl/”目录 下。
步骤3 使用SSH远程连接工具(例如PuTTY)登录gsql客户端主机,然后执行以下命令进入 SSL证书的存放目录,并解压SSL证书:
cd /home/dbadmin/dws_ssl/
unzip dws_ssl_cert.zip
步骤4 在gsql客户端主机上,执行export命令,配置SSL认证相关的数字证书参数。
SSL认证有两种认证方式:双向认证和单向认证,认证方式不同用户所需配置的客户端 环境变量也不同,详细介绍请参见SSL认证方式及客户端参数介绍。
双向认证需配置如下参数:
export PGSSLCERT="/home/dbadmin/dws_ssl/sslcert/client.crt"
export PGSSLKEY="/home/dbadmin/dws_ssl/sslcert/client.key"
export PGSSLMODE="verify-ca"
export PGSSLROOTCERT="/home/dbadmin/dws_ssl/sslcert/cacert.pem"
单向认证需要配置如下参数:
export PGSSLMODE="verify-ca"
export PGSSLROOTCERT="/home/dbadmin/dws_ssl/sslcert/cacert.pem"
须知
● 从安全性考虑,建议使用双向认证方式。
● 配置客户端环境变量,必须包含文件的绝对路径。
步骤5 修改客户端密钥的权限。
客户端根证书,密钥,证书以及密钥密码加密文件的权限,需保证权限为600。如果权 限不满足要求,则客户端无法以SSL连接到集群。
chmod 600 client.key chmod 600 client.crt chmod 600 client.key.cipher chmod 600 client.key.rand chmod 600 cacert.pem
----结束
SSL 认证方式及客户端参数介绍
SSL认证有两种认证方式,如表4-3所示。从安全性考虑,建议使用双向认证方式。
表4-3 认证方式 认证方
式
含义 配置客户端环
境变量
维护建议
双向认 证(推 荐)
客户端验证服务器证书 的有效性,同时服务器 端也要验证客户端证书 的有效性,只有认证成 功,连接才能建立。
设置如下环境 变量:
● PGSSLCER T
● PGSSLKEY
● PGSSLRO OTCERT
● PGSSLMO DE
该方式应用于安全性要求较高的 场景。使用此方式时,建议设置 客户端的PGSSLMODE变量为 verify-ca。确保了网络数据的安 全性。
认证方 式
含义 配置客户端环
境变量
维护建议
单向认 证
客户端只验证服务器证 书的有效性,而服务器 端不验证客户端证书的 有效性。服务器加载证 书信息并发送给客户 端,客户端使用根证书 来验证服务器端证书的 有效性。
设置如下环境 变量:
● PGSSLRO OTCERT
● PGSSLMO DE
为防止基于TCP链接的欺骗,建 议使用SSL证书认证功能。除配 置客户端根证书外,建议客户端 使用PGSSLMODE变量为verify- ca方式连接。
在客户端配置SSL认证相关的环境变量,详细信息请参见表4-4。
说明
客户端环境变量的路径以“/home/dbadmin/dws_ssl/”为例,在实际操作中请使用实际路径进 行替换。
表4-4 客户端参数 环境变
量 描述 取值范围
PGSSLC
ERT 指定客户端证书文件,
包含客户端的公钥。客 户端证书用以表明客户 端身份的合法性,公钥 将发送给对端用来对数 据进行加密。
必须包含文件的绝对路径,如:
export PGSSLCERT='/home/dbadmin/dws_ssl/sslcert/
client.crt'
默认值:空
PGSSLK
EY 指定客户端私钥文件,
用以数字签名和对公钥 加密的数据进行解密。
必须包含文件的绝对路径,如:
export PGSSLKEY='/home/dbadmin/dws_ssl/sslcert/
client.key'
默认值:空
环境变 量
描述 取值范围
PGSSLM
ODE 设置是否和服务器进行 SSL连接协商,以及指 定SSL连接的优先级。
取值及含义:
● disable:只尝试非SSL连接。
● allow:首先尝试非SSL连接,如果连接失 败,再尝试SSL连接。
● prefer:首先尝试SSL连接,如果连接失 败,将尝试非SSL连接。
● require:只尝试SSL连接。如果存在CA文 件,则按设置成verify-ca的方式验证。
● verify-ca:只尝试SSL连接,并且验证服务 器是否具有由可信任的证书机构签发的证 书。
● verify-full:GaussDB(DWS) 不支持此模 式。
默认值:prefer PGSSLR
OOTCER T
指定为客户端颁发证书 的根证书文件,根证书 用于验证服务器证书的 有效性。
必须包含文件的绝对路径,如:
export PGSSLROOTCERT='/home/dbadmin/dws_ssl/sslcert/
certca.pem'
默认值:空 PGSSLC
RL 指定证书吊销列表文 件,用于验证服务器证 书是否在废弃证书列表 中,如果在,则服务器 证书将会被视为无效证 书。
必须包含文件的绝对路径,如:
export PGSSLCRL='/home/dbadmin/dws_ssl/sslcert/sslcrl- file.crl'
默认值:空
4.3.5 (可选)设置 SSL 连接
GaussDB(DWS) 支持SSL认证方式的连接,以加密GaussDB(DWS) 客户端与数据库之 间传输的数据。SSL连接方式的安全性高于普通模式,集群默认开启SSL功能允许来自 客户端的SSL连接或非SSL连接,从安全性考虑,建议用户在客户端使用SSL连接方式。
如果要强制使用SSL连接,需要为集群开启“服务器端是否强制使用SSL连接”。
在集群的“安全设置”页面可以设置是否开启“服务器端是否强制使用SSL连接”。
说明
● 修改安全配置参数并保存生效可能需要重启集群,将导致集群暂时不可用。
● 实时数仓暂不支持SSL连接。
● 实时数仓暂不支持MRS数据源连接。
● 修改集群安全配置必须同时满足以下两个条件:
● 集群状态为“可用”或“非均衡”。
● 任务信息不能处于“创建快照中”、“节点扩容”、“配置中”或“重启中”。
本章节为您介绍以下内容:
● 设置SSL连接
● 客户端和服务器端SSL连接参数组合情况
设置 SSL 连接
步骤1 登录GaussDB(DWS) 管理控制台。
步骤2 在左侧导航树中,单击“集群管理”。
步骤3 在集群列表中,单击指定集群的名称,然后单击“安全设置”。
默认显示“配置状态”为“已同步”,表示页面显示的是数据库当前最新结果。
步骤4 在“SSL连接”区域中,单击“服务器端是否强制使用SSL连接”的设置开关进行设 置,建议开启。
:开启,表示服务器端强制要求SSL连接。
:关闭,表示服务器端对是否通过SSL连接不作强制要求,默认为关闭。
图4-7 SSL 连接
说明
● 如果使用GaussDB(DWS) 提供的gsql客户端或ODBC驱动,GaussDB(DWS) 支持的SSL协议 为TLSv1.2。
● 如果使用GaussDB(DWS) 提供的JDBC驱动,支持的SSL协议有SSLv3、TLSv1、TLSv1.1、
TLSv1.2。客户端与数据库之间实际使用何种SSL协议,依赖客户端使用的JDK(Java Development Kit)版本,一般JDK支持多个SSL协议。
步骤5 单击“应用”。
系统将自动应用保存SSL连接设置,在“安全设置”页面,“配置状态”显示“应用 中”。当“配置状态”显示为“已同步”,表示配置已保存生效。
----结束
客户端和服务器端 SSL 连接参数组合情况
客户端最终是否使用SSL加密连接方式、是否验证服务器证书,取决于客户端参数 sslmode与服务器端(即GaussDB(DWS) 集群侧)参数ssl、require_ssl。参数说明如 下:
● ssl(服务器)
ssl参数表示是否开启SSL功能。on表示开启,off表示关闭。