计费说明_数据仓库服务 GaussDB(DWS)_产品介绍_华为云

(1)

数据仓库服务

产品介绍

文档版本 01

发布日期 2021-12-09

(2)

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。

商标声明

和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标，由各自的所有人拥有。

注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声明或保证。

由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

(3)

1 ^{什么是数据仓库服务}

数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB(DWS)是基于华为融合数据仓库GaussDB产品的云原生服务，兼容标准ANSI SQL 99和SQL 2003，

同时兼容PostgreSQL/Oracle数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。

GaussDB(DWS) 可广泛应用于金融、车联网、政企、电商、能源、电信等多个领域，

已连续两年入选Gartner发布的数据管理解决方案魔力象限，相比传统数据仓库，性价比提升数倍，具备大规模扩展能力和企业级可靠性。

产品架构

GaussDB(DWS) 基于Shared-nothing分布式架构，具备MPP (Massively Parallel Processing)大规模并行处理引擎，由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中，业务数据被分散存储在多个节点上，数据分析任务被推送到数据所在位置就近执行，并行地完成大规模的数据处理工作，实现对数据处理的快速响应。

图1-1 产品架构

● 应用层

数据加载工具、ETL（Extract-Transform-Load）工具、以及商业智能BI工具、数据挖掘和分析工具，均可以通过标准接口与GaussDB(DWS) 集成。

(5)

GaussDB(DWS)兼容PostgreSQL生态，且SQL语法进行了兼容MySQL、Oracle和 Teradata的处理。应用只需做少量改动即可向GaussDB(DWS)平滑迁移。

● 接口

支持应用程序通过标准JDBC 4.0和ODBC 3.5连接GaussDB(DWS) 。

● GaussDB(DWS)（MPP大规模并行处理集群）

一个GaussDB(DWS) 集群由多个在相同子网中的相同规格的节点组成，共同提供服务。集群的每个DN负责存储数据，其存储介质是磁盘。协调节点

（Coordinator）负责接收来自应用的访问请求，并向客户端返回执行结果，此外，协调节点还负责分解任务，并调度任务分片在各DN上并行执行。

● 自动数据备份

支持将集群快照自动备份到EB级对象存储服务OBS（Object Storage Service）

中，方便利用业务空闲期对集群做周期备份以保证集群异常后的数据恢复。

快照是GaussDB(DWS) 集群在某一时间点的完整备份，记录了这一时刻指定集群的所有配置数据和业务数据。

● 工具链

提供了数据并行加载工具GDS（General Data Service）、SQL语法迁移工具DSC

（Database Schema Convertor）、SQL开发工具Data Studio，并支持通过控制台对集群进行运维监控。

集群逻辑架构

GaussDB(DWS)集群逻辑架构如图1-2所示。实例的详细介绍请参见表1-1。

图1-2 集群逻辑架构图

产品介绍 1 什么是数据仓库服务

(6)

表1-1 集群架构说明

名称描述说明

GTM 全局事务管理器（Global Transaction Manager），

负责生成和维护全局事务 ID、事务快照、时间戳等全局唯一的信息。

整个集群只有一组GTM：主、备GTM各一个。

WLM 工作负载管理器（Workload Manager）。控制系统资源的分配，防止过量业务负载对系统的冲击而导致业务拥塞和系统崩溃。

不同于集群中的实例（GTM、CM、CN、

DN）模块，不需要在安装过程中指定主机名称。安装程序会自动在各主机上安装此模块。

CN 协调节点（Coordinator）。

负责接收来自应用的访问请求，并向客户端返回执行结果；负责分解任务，并调度任务分片在各DN上并行执行。

集群中，CN有多个并且CN的角色是对等的

（执行DML语句时连接到任何一个CN都可以得到一致的结果）。只需要在CN和应用程序之间增加一个负载均衡器，使得CN对应用是透明的。CN故障时，由负载均衡自动路由连接到另外一个CN。

当前分布式事务框架下无法避免CN之间的互连，为了减少GTM上线程过多导致负载过大，建议CN配置数目≤10个。

GaussDB(DWS)通过CCN（Central

Coordinator ）负责集群内的资源全局负载控制，以实现自适应的动态负载管理。CM 在第一次集群启动时，通过集群部署形式，

选择编号最小的CN作为CCN。若CCN故障之后，由CM选择新的CCN进行替换。

DN 数据节点（Datanode）。负责存储业务数据（支持行存、列存、混合存储）、执行数据查询任务以及向CN返回执行结果。

在集群中，DN有多个。每个DN存储了一部分数据。如果DN无高可用方案，则故障时会导致该实例上的数据无法访问。

Storag

e 服务器的本地存储资源，持久化存储数据。

-

集群的每个DN上负责存储数据，其存储介质也是磁盘。图1-3从逻辑上介绍了每个DN 上都有哪些对象，以及这些对象之间的关系，其中：

● Database，即数据库，用于管理各类数据对象，各数据库间相互隔离。

● Datafile Segment，即数据文件，通常每张表只对应一个数据文件。如果某张表的数据大于1GB，则会分为多个数据文件存储。

● Table，即表，每张表只能属于一个数据库。

● Block，即数据块，是数据库管理的基本单位，默认大小为8KB。

数据有三种分布方式，可以在建表的时候指定：REPLICATION、ROUNDROBIN 、 HASH。ROUNDROBIN只适用于外表。

(7)

图1-3 数据库逻辑结构图

产品介绍 1 什么是数据仓库服务

(8)

2 ^产品优势

GaussDB(DWS) 数据库内核使用华为自主研发的GaussDB数据库，兼容PostgreSQL 9.2.4的数据库内核引擎，从单机OLTP数据库改造为企业级MPP（大规模并行处理）架构的OLAP分布式数据库，其主要面向海量数据分析场景。

GaussDB(DWS) 与传统数据仓库相比，主要有以下特点与显著优势，可解决多行业超大规模数据处理与通用平台管理问题：

易使用

● 一站式可视化便捷管理

GaussDB(DWS) 让您能够轻松完成从项目概念到生产部署的整个过程。通过使用 GaussDB(DWS) 管理控制台，您不需要安装数据仓库软件，也不需要部署数据仓库服务器，就可以在几分钟之内获得高性能、高可靠的企业级数据仓库集群。

您只需点击几下鼠标，就可以轻松完成应用程序与数据仓库的连接、数据备份、

数据恢复、数据仓库资源和性能监控等运维管理工作。

● 与大数据无缝集成

您可以使用标准SQL查询HDFS、对象存储服务（Object Storage Service，OBS）

上的数据，数据无需搬迁。

● 提供一键式异构数据库迁移工具

GaussDB(DWS) 提供配套的迁移工具，可支持MySQL、Oracle和Teradata的SQL 脚本迁移到GaussDB(DWS) 。

高性能

● 云化分布式架构

GaussDB(DWS) 采用全并行的MPP架构数据库，业务数据被分散存储在多个节点上，数据分析任务被推送到数据所在位置就近执行，并行地完成大规模的数据处理工作，实现对数据处理的快速响应。

● 查询高性能，万亿数据秒级响应

GaussDB(DWS) 后台还通过算子多线程并行执行、向量化计算引擎实现指令在寄存器并行执行，以及LLVM动态编译减少查询时冗余的条件逻辑判断，助力数据查询性能提升。

GaussDB(DWS)支持行列混合存储，可以同时为用户提供更优的数据压缩比（列存）、更好的索引性能（列存）、更好的点更新和点查询（行存）性能。

● 数据加载快

(9)

GaussDB(DWS)提供了GDS极速并行大规模数据加载工具。

易扩展

● 按需扩展：Shared-Nothing开放架构，可随时根据业务情况增加节点，扩展系统的数据存储能力和查询分析性能。

● 扩容后性能线性提升：容量和性能随集群规模线性提升，线性比0.8。

● 扩容不中断业务：扩容过程中支持数据增、删、改、查，及DDL操作(Drop/

Truncate/Alter table)，表级别在线扩容技术，扩容期间业务不中断、无感知。

高可靠

● ACID

支持分布式事务ACID（Atomicity，Consistency，Isolation，Durability），数据强一致保证。

● 全方位HA设计

GaussDB(DWS) 所有的软件进程均有主备保证，集群的协调节点（CN）、数据节点（DN）等逻辑组件全部有主备保证，能够保证在任意单点物理故障的情况下系统依然能够保证数据可靠、一致，同时还能对外提供服务。

● 安全

GaussDB(DWS) 支持数据透明加密，同时可与数据库安全服务（DBSS）对接，

基于网络隔离及安全组规则，保护系统和用户隐私及数据安全。GaussDB(DWS) 还支持自动数据全量、增量备份，提升数据可靠性。

低成本

● 按需付费：GaussDB(DWS) 按实际使用量和使用时长计费。您需要支付的费率很低，只需为实际消耗的资源付费。

● 门槛低：您无需前期投入较多固定成本，可以从低规格的数据仓库实例起步，以后随时根据业务情况弹性伸缩所需资源，按需开支。

产品介绍 2 产品优势

(10)

3 ^应用场景

数据仓库迁移

数据仓库是企业的重要数据分析系统，随着业务量的增长，自建数仓性能逐渐不能满足实际要求，同时扩展性差、成本高，也使扩容极为困难。GaussDB(DWS) 作为云上企业级数据仓库，具备高性能、低成本、易扩展等特性，满足大数据时代企业数据仓库业务诉求。

图3-1 数据仓库迁移

优势

● 平滑迁移

GaussDB(DWS) 提供配套的迁移工具，可支持TeraData、Oracle、MySQL、SQL Server、PostgreSQL、Greenplum、Impala等常用数据分析系统的平滑迁移。

● 兼容传统数据仓库

GaussDB(DWS) 支持SQL 2003标准，兼容Oracle的部分语法和数据结构，支持存储过程，可与常用BI（business intelligence）工具无缝对接，业务迁移修改量极小。

(11)

● 安全可靠

GaussDB(DWS) 支持数据加密，同时可与数据库安全服务对接，保证云上数据安全。同时GaussDB(DWS)支持自动数据全量、增量备份，提升数据可靠性。

大数据融合分析

随着IT、信息技术的发展和进步，数据资源已经成为企业的核心资源。整合数据资源，构建大数据平台，发现数据价值，成为企业经营的新趋势和迫切诉求。而如何从海量数据中快速挖掘“价值”，成为助力客户实现预测性分析的关键要素。

图3-2 大数据融合分析

优势

● 统一分析入口

以GaussDB(DWS) 的SQL作为上层应用的统一入口，应用开发人员使用熟悉的 SQL语言即可访问所有数据。

● 实时交互分析

针对即时的分析需求，分析人员可实时从大数据平台中获取信息。

● 弹性伸缩

增加节点，即可扩展系统的数据存储能力和查询分析的性能，可支持PB级数据的存储和计算。

增强型 ETL 和实时 BI 分析

数据仓库在整个BI系统中起到了支柱的角色，更是海量数据收集、存储、分析的核心。为IoT（Internet of things）、金融、教育、移动互联网、O2O（Online to Offline）等行业提供强大的商业决策分析支持。

产品介绍 3 应用场景

(12)

优势

● 数据迁移

多数据源，高效批量、实时数据导入。

● 高性能

PB级数据低成本的存储与万亿级数据关联分析秒级响应。

● 实时

业务数据流实时整合，及时对经营决策进行优化与调整。

图3-3 增强型 ETL+实时 BI 分析

实时数据分析

移动互联网、IoT场景下会产生大量实时数据，为了快速获取数据价值，需要对数据进行实时分析，GaussDB(DWS) 的快速入库和查询能力可支持实时数据分析。

(13)

图3-4 实时数据分析

优势

● 流式数据实时入库

IoT、互联网等数据经过流计算及AI服务处理后，可实时写入GaussDB(DWS) 。

● 实时监控与预测

围绕数据进行分析和预测，对设备进行监控，对行为进行预测，实现控制和优化。

● AI融合分析

AI服务对图像、文本等数据的分析结果可在GaussDB(DWS) 中与其他业务数据进行关联分析，实现融合数据分析。

● 电商场景

华为云GaussDB(DWS) 是支撑华为商城Vmall进行数据分析的数据仓库引擎。电商的数据分析，主要用于支撑营销推荐、运营分析、全文检索、客户分析等业务。

优势如下：

– 分析维度广：可从商品、用户、运营、地区多个维度进行复杂的分析。

– 随业务增长扩容：可根据业务增长，随时进行集群规模扩展。

– 可靠性高：GaussDB(DWS) 的高可靠性支撑电商系统的长时稳定运行。

● IoT场景

物联网（IoT）所产生的数据，通过构建GaussDB(DWS) ，围绕海量的数据进行实时分析并进行反馈优化。应用在工业IoT、O2O业务系统、车联网等解决方案。

优势如下：

– 流式数据实时入库：IoT设备及网关汇集的流式数据经华为云DIS导入至 GaussDB(DWS) 。

– 设备监控与预测：围绕数据，进行分析和预测，对设备进行监视、控制和优化补给，以及自我诊断和修复。

产品介绍 3 应用场景

(14)

– 信息推荐：结合在围绕人周围的联网设备汇集的数据，为用户进行定向的信息推荐。

(15)

4 ^产品功能

GaussDB(DWS) 为用户提供GaussDB(DWS) 管理控制台、GaussDB(DWS) 客户端、

REST API等多样化的使用方式。本章节为您介绍GaussDB(DWS) 的主要功能。

集群管理

一个GaussDB(DWS) 集群由多个在相同子网中的相同规格的节点组成，共同提供服务。GaussDB(DWS) 为用户提供了简单易用的Web管理控制台，让用户可以快速申请集群，轻松执行数据仓库管理任务，专注于数据和业务。

集群管理的主要功能如下：

● 创建集群

用户可以根据业务需要选择节点规格和节点数量快速创建集群。您也可以先购买折扣套餐，然后再创建集群。

● 管理快照

快照是GaussDB(DWS) 集群在某一时间点的完整备份，记录了这一时刻指定集群的所有配置数据和业务数据，快照可用于还原某一时刻的集群。用户可以为集群手动创建快照，也可以开启定时创建自动快照。自动快照有保留天数限制，用户可以对自动快照进行复制，生成手工快照以便长期保留。

当您从快照恢复集群时，系统将为您创建一个与原始集群规格相同、节点数也相同的新集群，并导入快照数据。

对于不再需要的快照，可以选择删除快照，以释放存储空间。

● 扩容集群

随着业务的增长，现有集群规模可能无法满足业务需要，此时，用户可以扩容集群，为集群增加计算节点。扩容时业务不中断。

● 重启集群

重启集群将有可能会导致正在运行中的业务数据丢失，如果需要执行重启操作，

请确定不存在正在运行的业务，所有数据都已经保存。

● 删除集群

当用户不再需要集群时，可选择删除集群。此操作为高危操作，删除集群可能导致数据丢失，请谨慎操作。

GaussDB(DWS) 为用户提供了以下两种方式管理集群和快照：

● 管理控制台方式

产品介绍 4 产品功能

(16)

使用管理控制台方式访问GaussDB(DWS) 集群。用户在注册后，可直接登录管理控制台，选择“数据仓库服务”。

有关集群管理的更多内容，请参见管理集群。

● REST API方式

支持使用GaussDB(DWS) 提供的REST API接口以编程的方式管理集群。如果用户需要将GaussDB(DWS) 集成到第三方系统，用于二次开发，请使用API方式访问。

详细内容，请参见《数据仓库服务API参考》。

企业级数据仓库和标准 SQL 的支持

当创建好GaussDB(DWS) 集群后，用户就可以使用SQL客户端工具连接集群，然后执行创建数据库、管理数据库、导入/导出数据以及查询数据的操作。

GaussDB(DWS) 为用户提供了PB（petabyte）级高性能数据库，主要体现在：

● MPP大规模并行处理框架，支持行列混存、向量化执行，实现万亿数据关联分析秒级响应。

● 内存计算，基于Bloom Filter的Hash Join优化，性能提升2~10倍。

● 基于电信技术优化的大规模集群通信，提升计算节点间的传输效率。

● 基于代价的智能优化器，根据集群规模、数据量、生成最优计划，提高执行效率。

GaussDB(DWS) 具有完备的SQL能力：

● 支持SQL 92、SQL 2003标准，支持存储过程，支持GBK和UTF-8字符集，支持 SQL标准函数与OLAP分析函数。

● 兼容PostgreSQL生态，与主流第三方数据库ETL，BI（business intelligence）工具厂商对接认证。

详细的SQL语法和数据库操作指导，请参见《数据仓库服务数据库开发指南》。

多样化的数据导入方式

GaussDB(DWS) 支持多数据源高效入库，典型的入库方式如下所示。详细指导请参见

《数据仓库服务数据库开发指南》中的导入方式说明章节。

● 从OBS（对象存储服务）并行导入数据

● 使用GDS（General Data Service）从远端服务器导入数据

● 通过INSERT语句直接写入数据

● 使用COPY FROM STDIN导入数据

● 使用gsql元命令导入数据

● 从MRS（MapReduce服务）导入数据到集群

● 从DIS（数据接入服务）导入流式数据到GaussDB(DWS)

● 使用CDM（云数据迁移服务）迁移数据到GaussDB(DWS)

● 使用DSC工具迁移SQL脚本

此外，GaussDB(DWS) 还支持主流第三方ETL工具进行数据导入。

(17)

应用程序接口

支持调用JDBC（Java database connectivity）、ODBC（Open Database Connectivity）等标准接口开发应用程序访问GaussDB(DWS) 集群中的数据库。

详细内容请参见使用JDBC连接数集群、使用ODBC连接数集群。

高可靠性

● 通过实例冗余、数据冗余，实现整个系统无单点故障。

● 数据多副本，且所有数据可手工备份至OBS。

● 自动隔离有故障的节点，利用副本重新恢复数据，并在必要时替换节点。

● 自动快照结合OBS存储，实现跨AZ容灾。

安全管理

● 基于网络隔离、安全组规则以及一系列安全加固项，实现租户隔离和访问权限控制，保护系统和用户的隐私及数据安全。

● 支持SSL安全网络连接、用户权限管理、密码管理等功能，保证数据库在网络层、

管理层、应用层和系统层的安全性。

详细内容请参见设置SSL连接和设置三权分立。

监控与审计

● 监控集群

GaussDB(DWS) 与云监控服务集成，使您能够对集群中的计算节点和数据库进行实时监控。详情请参见监控集群。

● 事件通知

GaussDB(DWS) 与消息通知服务对接，使您能够订阅事件并查看触发的各类事件。详情请参见事件通知。

● 审计日志

– GaussDB(DWS) 与云审计服务集成，使您能够对所有的管理控制台操作及 API调用进行审计。详情请参见查看管理控制台关键操作审计日志。

– GaussDB(DWS) 数据库还会记录所有的SQL操作，包括连接尝试、查询和数据库的变动。详情请参见设置数据库审计日志。

支持多种数据库工具

GaussDB(DWS) 提供了以下几款自研工具，用户可以在GaussDB(DWS) 管理控制台下载相关的工具包。有关工具的详细指导请参见《数据仓库服务工具指南》。

● gsql工具

它是一款运行在Linux操作系统的命令行SQL客户端工具，用于连接 GaussDB(DWS) 集群中的数据库，并对数据库进行操作和维护。

● Data Studio工具

它是一款运行在Windows操作系统上的图形界面SQL客户端工具，用于连接 GaussDB(DWS) 集群中的数据库、管理数据库和数据库对象，编辑、运行、调试 SQL脚本，查看执行计划等。

● GDS工具

产品介绍 4 产品功能

(18)

它是GaussDB(DWS) 提供的数据服务工具，通过和外表机制的配合，实现数据的高速导入导出。

GDS工具包需要安装在数据源文件所在的服务器上，数据源文件所在的服务器称为数据服务器，也称为GDS服务器。

● DSC SQL语法迁移工具

DSC（Database Schema Convertor）是一款运行在Linux或Windows操作系统上的命令行工具，致力于向客户提供简单、快速、可靠的应用程序SQL脚本迁移服务，通过内置的语法迁移逻辑解析源数据库应用程序SQL脚本，并迁移为适用于 GaussDB(DWS) 数据库的应用程序SQL脚本。

DSC支持迁移Teradata、Oracle、Netezza、MySQL和DB2数据库的SQL脚本。

(19)

5 ^基本概念

5.1 GaussDB(DWS) 的管理概念

集群

表示由多个节点组成的服务器群组。GaussDB(DWS) 以集群为单位进行组织，一个 GaussDB(DWS) 集群由多个在相同子网中的相同规格的节点组成，共同提供服务。

节点

每个GaussDB(DWS) 集群至少包含3个节点。每个节点都支持存储与分析数据。

规格

用户创建GaussDB(DWS) 集群时需要指定集群节点的规格，不同规格节点使用的 CPU、内存和存储资源不同。

快照

快照是用户根据需要创建的GaussDB(DWS) 集群备份，用于还原创建快照时的集群数据。快照会一直保存，直到用户使用管理控制台将此快照删除（自动快照不支持手动删除）。快照会占用用户购买使用的OBS配额。

5.2 GaussDB(DWS) 的数据库概念

数据库

一个GaussDB(DWS) 集群实际上是一个支持联机分析处理方式的数据库平台，属于分析性的关系型数据库。

联机分析处理

联机分析处理（Online Analytical Processing，简称OLAP），是GaussDB(DWS) 集群的主要工作方式，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

产品介绍 5 基本概念

(20)

大规模并行处理

大规模并行处理（Massive Parallel Processing，简称MPP，也可称为无共享架构），

是指在GaussDB(DWS) 集群的每个节点中，都有独立的内存计算和磁盘存储系统，

GaussDB(DWS) 根据数据库模型和应用特点，将业务数据划分到不同节点上，通过节点间的网络彼此连接协同计算，使集群作为整体提供数据库服务以满足业务需要。

无共享架构

无共享架构（Shared Nothing Architecture）是一种分布式计算架构。这种架构中的每一个节点都是独立、自给的，使整个系统中不出现单点竞争的情况，以提高工作效率。

数据库版本

每个GaussDB(DWS) 集群对应一个数据库版本，用户在创建GaussDB(DWS) 集群时确认此集群的版本。

数据库连接

用户通过客户端连接GaussDB(DWS) 集群的方式，实现数据库的连接。支持在华为云平台以及互联网环境上使用客户端进行连接。

数据库用户

GaussDB(DWS) 集群支持不同人员连接并使用数据库，为了方便管理，数据库中支持添加新用户，并通过为用户分配不同权限达到权限控制的目的。默认的数据库用户为数据库管理员，在创建GaussDB(DWS) 集群时生成。

(21)

6 ^{与其他云服务的关系}

与统一身份认证服务的关系

数据仓库服务使用统一身份认证服务（Identity and Access Management，简称 IAM）实现认证和鉴权功能。

需要拥有DWS Administrator权限的用户才能完整使用数据仓库服务。如需开通该权限，请联系拥有Security Administrator权限的用户或者申请新的具有DWS

Administrator权限的用户。拥有DWS Database Access权限的用户，可以基于IAM用户生成临时数据库用户凭证以连接GaussDB(DWS) 集群数据库。

与弹性云服务器的关系

数据仓库服务使用弹性云服务器（Elastic Cloud Server，简称ECS）作为集群的节点，

每个弹性云服务器是集群中的一个节点。

与裸金属服务器的关系

数据仓库服务使用裸金属服务器（Bare Metal Server，简称BMS）作为集群的节点，

每个裸金属服务器是集群中的一个节点。

产品介绍 6 与其他云服务的关系

(22)

与虚拟私有云的关系

数据仓库服务使用虚拟私有云（Virtual Private Cloud，简称VPC）为集群提供网络拓扑，实现多个不同集群互相隔离并控制访问。

与对象存储服务的关系

数据仓库服务使用对象存储服务（Object Storage Service，简称OBS）作为集群数据与外部数据互相转化的一个方法，实现安全、高可靠和低成本的存储需求。

与 MapReduce 服务的关系

数据仓库服务使用MapReduce服务（MapReduce Service，简称MRS）将数据从MRS 迁移到GaussDB(DWS) 集群，实现海量数据通过Hadoop处理后使用GaussDB(DWS) 进行分析查询。

与云数据迁移的关系

您可使用云数据迁移（Cloud Data Migration，简称CDM）实现多种数据源数据到 GaussDB(DWS) 的迁移。

与数据接入服务的关系

您可使用数据接入服务（Data Ingestion Service，简称DIS）将流式数据实时接入 GaussDB(DWS) 。

与云监控的关系

数据仓库服务使用云监控（Cloud Eye）监控集群中的多项性能指标，从而集中高效地呈现状态信息。云监控支持发送自定义告警，用户可以即时获取异常通知。

与云审计服务的关系

数据仓库服务使用云审计服务（Cloud Trace Service，简称CTS）审计用户在管理控制台页面的非查询操作，可用于检视是否存在非法或越权操作，完善服务安全管理。

与消息通知服务的关系

数据仓库服务使用消息通知服务（Simple Message Notification，简称SMN）依据用户的事件订阅需求主动推送通知消息，使用户可以在事件发生（如集群关键操作）时能立即接收到通知。

与标签管理服务的关系

数据仓库服务使用标签管理服务（Tag Management Service，简称TMS）为用户提供跨区域、跨服务的集中标签管理和资源分类功能，让用户可以对资源进行自定义标记，实现资源的分类，然后可以对资源按标签进行搜索。

与云解析服务的关系

数据仓库服务使用云解析服务（Domain Name Service，DNS）可以提供域名映射到 GaussDB(DWS) 集群的IP地址。

(23)

7 GaussDB(DWS) 权限管理

如果您需要对华为云上的GaussDB(DWS) 资源，为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、

权限分配、访问控制等功能，可以帮助您安全的控制华为云资源的访问。

通过IAM，您可以在华为云帐号中给员工创建IAM用户，并授权控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有

GaussDB(DWS) 的使用权限，但是不希望他们拥有删除集群等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用GaussDB(DWS) ，但是不允许删除集群的权限，控制他们对GaussDB(DWS) 资源的使用范围。

如果华为云帐号已经能满足您的要求，不需要创建独立的IAM用户进行权限管理，您可以跳过本章节，不影响您使用GaussDB(DWS) 服务的其它功能。

IAM是华为云提供权限管理的基础服务，无需付费即可使用，您只需要为您帐号中的资源进行付费。关于IAM的详细介绍，请参见IAM产品介绍。

GaussDB(DWS) 权限

默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。

授权后，用户就可以基于被授予的权限对云服务进行操作。

GaussDB(DWS) 部署时通过物理区域划分，为项目级服务。授权时，“作用范围”需要选择“区域级项目”，然后在指定区域（如华北-北京四）对应的项目（cn-

north-4）中设置相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问GaussDB(DWS) 时，需要先切换至授权区域。

● 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。

● 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对GaussDB(DWS) 服务，管理员能够控制IAM用户仅能对某一类资源进行指定的管理操作。

产品介绍 7 GaussDB(DWS) 权限管理

(24)

多数细粒度策略以API接口为粒度进行权限拆分，GaussDB(DWS) 支持的API授权项请参见权限策略和授权项。

细粒度策略的创建方法，请参见GaussDB(DWS)自定义策略。

如表7-1所示，包括了GaussDB(DWS) 的所有系统权限。

表7-1 GaussDB(DWS) 系统权限 系统角色/策略

名称

描述类别依赖关系

DWSReadOnlyAcces s

数据仓库服务只读权限，拥有该权限的用户仅能查看数据仓库服务资源。

系统策略无

DWSFullAccess 数据仓库服务管理员权限，拥有数据仓库服务所有权限。

系统策略无

DWSAdministrator DWS管理员权限，拥有对数据仓库服务的所有执行权限。

● 拥有VPC Administrator权限的 GaussDB(DWS) 用户可以创建VPC或子网。

● 拥有云监控Administrator权限的 GaussDB(DWS) 用户，可以查看 GaussDB(DWS) 集群的监控指标信息。

系统角色依赖 Tenant Guest和 Server Administr ator策略，需要在同项目中勾选依赖的策略。

DWS Database

Access GaussDB(DWS)数据库访问权限，拥有该权限的用户，可以基于IAM用户生成临时数据库用户凭证以连接

GaussDB(DWS) 集群数据库。

系统角色依赖DWS Administr ator，需要在同项目中勾选依赖的策略。

表7-2列出了GaussDB(DWS) 常用操作与系统权限的授权关系，您可以参照该表选择合适的系统策略。

说明

● 每个区域的每个项目首次使用弹性IP绑定功能时，系统将提示创建名称为

“DWSAccessVPC”委托以授权GaussDB(DWS) 访问VPC。授权成功后，GaussDB(DWS) 可以在绑定弹性IP的虚拟机故障时切换至健康虚拟机。

● 默认情况下，只有公有云帐号或拥有Security Administrator权限的用户才具备创建委托的权限。帐号中的IAM用户，默认没有创建委托的权限，在使用弹性IP绑定功能时页面会提示

“权限不足”，此时需联系有“DWS FullAccess”权限的用户在当前页面完成对 GaussDB(DWS) 的委托授权。

(25)

表7-2 GaussDB(DWS) 常用操作与系统权限的关系

操作 DWS

FullAccess DWS ReadOnlyA ccess

DWSAdministrator DWS Database Access

创建/恢复集群 √ x √ x

获取集群列表 √ √ √ √

获取单个集群详情

√ √ √ √

设置自动快照 √ x √ x

设置安全参数/

参数组

√ x √ x

重启集群 √ x √ x

扩容集群 √ x √ x

重置密码 √ x √ x

应用参数模板 √ x √ x

删除集群 √ x √ x

设置可维护时间段

√ x √ x

绑定EIP √ x √ x

解绑EIP √ x √ x

创建DNS域名 √ x √ x

释放DNS域名 √ x √ x

修改DNS域名 √ x √ x

创建MRS连接 √ x √ x

更新MRS连接 √ x √ x

删除MRS连接 √ x √ x

添加/删除标签 √ x √ x

编辑标签 √ x √ x

创建快照 √ x √ x

获取快照列表 √ √ √ √

删除快照 √ x √ x

复制快照 √ x √ x

创建参数模板 √ x √ x

产品介绍 7 GaussDB(DWS) 权限管理

(26)

操作 DWS

FullAccess DWS ReadOnlyA ccess

DWSAdministrator DWS Database Access

删除参数模板 √ x √ x

修改参数模板 √ x √ x

8 如何访问 GaussDB(DWS)

数据仓库服务的基本使用流程如下图所示：

图8-1 数据仓库服务基本使用流程

访问集群

GaussDB(DWS) 提供了Web化的服务管理平台，即管理控制台，还提供了基于HTTPS 请求的API（Application programming interface）方式管理GaussDB(DWS) 集群。

访问集群数据库

GaussDB(DWS) 支持如下方式访问集群数据库：

产品介绍 8 如何访问 GaussDB(DWS)

(28)

● GaussDB(DWS) 客户端方式

用户使用GaussDB(DWS) 客户端访问集群数据库，请参见使用gsql命令行客户端连接集群和使用Data Studio图形界面客户端连接集群。

● 开源PostgreSQL客户端方式兼容的开源客户端有：

– PostgreSQL的psql 9.2.4或更高版本

有关使用psql的信息，请参见：https://www.postgresql.org/。

– pgadmin

有关使用pgadmin的信息，请参见：https://www.pgadmin.org/。

– dbeaver

有关使用dbeaver的信息，请参见：https://dbeaver.jkiss.org/download/。

● JDBC、ODBC等接口调用方式

支持调用JDBC（Java database connectivity）、ODBC（Open Database Connectivity）等标准接口开发应用程序访问GaussDB(DWS) 集群中的数据库。

详细内容请参见使用JDBC连接数集群、使用ODBC连接数集群。

端到端数据分析流程

数据仓库服务与华为云平台其他一系列服务已无缝集成，以便用户能够快速部署端到端的数据分析和解决方案。

端到端数据分析流程如下图所示，该流程展示了每个过程可以使用的云服务。

图8-2 端到端数据分析流程

(29)

9 ^计费说明

数据仓库服务（GaussDB(DWS) ）支持按需计费，同时您也可以选择更经济的折扣套餐计费模式。为了便于您便捷的下单购买，我们在控制台购买界面中已经为您计算好了整个GaussDB(DWS) 集群的价格，您可一键完成整个配置的购买。

计费项

华为云GaussDB(DWS) 根据您选择的数据仓库节点规格及使用的相关资源进行计费。

了解GaussDB(DWS) 价格详情，请参见GaussDB(DWS)价格详情。您可以通过 GaussDB(DWS) 提供的价格计算器，选择您需要的集群节点规格，来快速计算出购买 GaussDB(DWS) 集群的参考价格。

表9-1 GaussDB(DWS) 计费项说明

计费项计费说明

数据仓库节点对您选择的节点规格计费，计费详情请参见GaussDB(DWS)价格详情。针对节点规格提供了以下两种计费模式：

● 按需付费（小时）

● 折扣套餐

上述两种计费模式的详细说明请参见计费模式。

快照存储空间 GaussDB(DWS) 提供了部分免费存储空间，用于存放您的快照数据，免费空间内不计费。当快照数据存储空间超过免费空间大小时，超出部分按照对象存储服务（OBS）的计费规则进行计费，

参见OBS价格详情。

免费空间大小是您的集群的总存储空间大小，即单节点存储空间大小 x 节点数。

云数仓存储用户在可选范围内自定义集群使用的存储类型与存储容量，采用存储资源独立计费的方式。计费详情请参见GaussDB(DWS)价格详情。

公网IP及带宽

（可选） ● GaussDB(DWS) 集群支持绑定弹性公网IP，所需费用按照虚拟私有云（VPC）服务的弹性公网IP计费规则进行计费。计费详情请参见弹性公网IP价格详情。

● GaussDB(DWS) 集群在华为云内部网络产生的流量不计费。

产品介绍 9 计费说明

(30)

计费项计费说明数据库加密密钥

（可选）在创建GaussDB(DWS) 集群时，如果开启“加密数据库”的功能，需使用KMS(密钥管理服务)的密钥加解密数据库。密钥按照数据加密服务密钥的计费规则进行计费，详情请参见数据加密服务价格详情。

计费模式

GaussDB(DWS) 提供两种计费模式供您选择：按需计费和折扣套餐计费。两种方式供您灵活选择，使用越久越便宜。

● 按需付费（小时）：购买方式比较灵活，可以即开即停。使用时按实际使用时长计费（精确到分钟），每个自然小时出账单并从您的账户余额中扣减费用。该方式适合需要做前期运行试验和概念验证、短期使用的客户。

● 折扣套餐：用户通过承诺使用GaussDB(DWS) 更长时间并在购买时一次性支付费用，可获得相对于按需付费提供更大的折扣，节省35%至45%的费用。该方式适合在试验和概念验证结束后计划长期使用的客户。

折扣套餐是一种计费理念，可以理解为一种优惠券，购买折扣套餐和创建并使用集群是独立的过程。当您在使用集群时，计费系统会自动比较您已购买的有效期内的折扣套餐节点数量和您使用的相同区域、相同节点规格的集群节点数量，折扣套餐节点数量内的节点不再收费（因为您前期已经支付过费用），超过的部分按需计费。折扣套餐所购买的时长到期后，将自动转为按需付费方式。

为了进一步说明折扣套餐节点和集群不存在绑定关系，举例如下：

a. 购买折扣套餐后不会自动创建数据仓库集群。如您尚未运行集群，需要前往数据仓库服务界面自行创建对应区域、节点类型和节点数量的集群。

b. 如果您的集群目前是按需使用，在您购买对应区域、对应规格和数量的折扣套餐节点后，计费系统在出账单时会自动识别并完成优惠减免，您不用再做任何关联操作。

c. 如果您的集群需要扩容，且您在该区域下存在有效的折扣套餐节点，则计费系统在出账单时会自动识别并完成优惠减免，您不用再做任何关联操作。如果您不存在可用的折扣套餐节点，则新扩容的节点会按需计费。

d. 删除了老集群后重新创建了新集群，折扣套餐仍可以在相同区域、相同节点类型的新集群上使用。

(31)

须知

折扣套餐注意事项：

● 折扣套餐节点和具体的区域绑定，购买的折扣套餐节点只能在绑定的区域使用，不能在非绑定区域使用。

● 折扣套餐节点和具体的节点规格绑定，购买的折扣套餐节点只能使用在对应规格上，不同规格的节点有不同的折扣套餐价格。

● 折扣套餐到期或退订后，会自动以按照按需计费方式进行结算，请保证您账户上有足够余额，避免影响您的使用。例如您1月1日购买了3节点套餐，购买时长1年，则该套餐在该年12月31日会自动结束，即使您该年内未使用数据仓库集群，该节点也不会延期，且无法退还费用。为了节省您的费用，建议您购买折扣套餐节点后立即创建集群，或创建完集群后再购买折扣套餐。

● 折扣套餐是按月或按年预先支付数据仓库节点费用，相比按需计费提供大额折扣，适合计划长期使用的客户。

● 初次购买时，建议购买数量至少为3节点（当前集群最小规模为3节点），并确保您选择的节点类型和您期望使用的集群节点类型一致。

● 折扣套餐是一种计费理念，购买折扣套餐后不会自动创建集群。如您尚未创建集群，需要前往数据仓库服务界面创建集群。

● 折扣套餐企业项目必须和集群所选企业项目一致，“所有项目”适用于任何集群。

变更配置

在购买GaussDB(DWS) 集群时，有多种节点规格供您选择，您可根据业务需要选择合适的节点规格。当集群创建成功后，随着业务量的增长，您可以对集群进行扩容，从而增加集群节点，详情请参见扩容集群章节。

若扩容的变更配置方式不满足您的要求，您也可以重新创建集群，然后通过数据迁移的方式实现集群配置的变更。

续费

目前GaussDB(DWS) 提供按需和折扣购买模式，按需是每小时扣费，如果余额不足导致欠费，而折扣套餐是集群时长用完前需续费。如果您未能续费，华为云不会立即停止您的业务，订单转入保留期，此时集群将终止服务，数据仍然保留。

保留期的时长由客户等级而定。

如需续费，请进入续费管理页面进行续费操作。

到期

● 按需购买的集群，没有到期。

● 折扣套餐的集群时长到期后，将自动转为按需付费方式。

欠费

● 折扣集群，没有欠费的概念。

● 按需购买的集群是按每小时扣费，当余额不足，无法对上一个小时的费用进行扣费，就会导致集群欠费。您续费后解冻集群，可继续正常使用，请注意在保留期

产品介绍 9 计费说明

(32)

进行的续费，是以原到期时间作为生效时间，您应当支付从进入保留期开始到续费时的服务费用。

(33)

10 ^使用限制

● 数据仓库服务只支持用户管理集群，不支持直接访问集群节点。用户或应用程序使用数据库对应的集群访问IP地址和端口，访问数据仓库。

● 集群创建好以后不支持修改规格，如果需要使用更高规格的节点，请重新创建一个新的集群。

● 用户需要在与集群相同的虚拟私有云子网中使用客户端连接GaussDB(DWS) 集群。

● 从文档直接复制命令到执行环境中粘贴时可能自动换行，导致运行出错，请注意删除换行。

产品介绍 10 使用限制

(34)

11 ^配额说明

为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。

数据仓库服务的默认用户配额如表11-1所示。关于如何查看配额以及扩大配额的详细信息，请参见关于配额。

表11-1 用户配额

资源类型总配额

节点数 32

(35)

12 ^技术指标

GaussDB(DWS)不同版本的技术指标如下所示。

表12-1 GaussDB(DWS)技术指标

技术指标 8.0.x最大值 8.1.0最大值 8.1.1最大值

数据容量 10PB 10PB 20PB

集群节点数 256 256 2048

单表大小 1PB 1PB 1PB

单行数据大小 1GB 1GB 1GB

每条记录单个字段

的大小 1GB 1GB 1GB

单表记录数 2⁵⁵ 2⁵⁵ 2⁵⁵

单表列数 1600 1600 1600

单表中的索引个数无限制无限制无限制

单表索引包含列数 32 32 32

单表约束个数无限制无限制无限制

并发连接数分析型长事务60；

交易型短事务 5000。

分析型长事务60；

交易型短事务 5000。

分析型长事务80；

交易型短事务5000

分区表的分区个数 32768 32768 32768 分区表的单个分区

大小 1PB 1PB 1PB

分区表的单个分区

记录数 2⁵⁵ 2⁵⁵ 2⁵⁵

产品介绍 12 技术指标

(36)

13 ^版本说明

本章节为您介绍GaussDB(DWS) 集群版本的更新记录。

V8.1.1.200 版本

发布时间：2021年12月9日配套内核版本：8.1.1

1. 新增数据库监控（DMS）功能，支持数据库细粒度监控，包括节点、性能、数据库、会话、查询、实例和负载等指标。

2. 新增告警管理功能，支持在控制台查看DMS触发的告警信息。

3. 支持分段扩容功能，包括添加节点、集群扩容和数据库重分布三个阶段。

4. 新增部分GUC参数支持在控制台进行设置。

5. 集群支持绑定弹性负载均衡（ELB）。

V8.1.1.100 版本

1. 新增管理CN节点功能，支持CN最大个数由5调整为20，并支持在管理控制台进行增删CN操作。

2. 新增在线扩容功能，在集群扩容过程中，支持数据持续入库。

3. 支持敏感操作保护功能，当用户在控制台进行敏感操作时，则需要输入证明身份的凭证，身份验证通过后方可进行相关操作。

4. 新增双集群容灾功能，即在另一个可用区（跨AZ）部署一个同构的 GaussDB(DWS)灾备集群，保障业务连续性。

5. 数据库内核8.1.1上线：优化详情请参见最新动态。

V8.1.0.100 版本

发布时间：2021年5月15日配套内核版本： 8.1.0

1. 新增逻辑集群功能，数据库中的表可按逻辑集群来分配到不同的物理节点，而一个逻辑集群也可以包含多个数据库的表。

(37)

2. 创建集群中默认数据库名更改为gaussdb。

3. 数据库内核8.1.0上线：优化详情请参见最新动态。

V8.0.1.500 版本

发布时间：2021年2月8日配套内核版本：8.0.0.3

1. 新增EVS存储类型的存算分离规格，用户可进行节点可用存储容量的自定义选择。

2. 新增存算分离类型的折扣套餐。

3. 管理控制台“帮助面板”上线，为用户快速部署DWS提供帮助指导。

4. 数据库内核优化：优化详情请参见最新动态。

V8.0.1.100 版本

发布时间：2020年7月31日配套内核版本：8.0.0.1

1. 新增实时数仓集群类型，提供时序计算和时序压缩服务。

2. 新增工作负载管理功能，实现两种作业同时执行互不影响。

3. 新增gs_dump，gs_dumpall数据导出工具。

V1.7.2 版本

1. 支持细粒度资源权限控制。

2. 支持在页面解除集群只读。

V1.7.1 版本

发布时间：2020年3月20日

1. 新增鲲鹏kc,km系列规格支持。

2. 数据库内核新增内容：

– UPDATE支持别名以及表名引用。

– 支持创建索引时指定schema，指定的schema需与基表所在schema一致。

– 新增alter table modify null/not null语法。

– 支持alter sequence maxvalue操作。

– 对于临时表空间和算子落盘空间进行限额管控。

– TopSQL中去除对于子语句的记录。

– 支持对于CN轻量化语句的记录。

– 对于历史TopSQLinfo表中数据老化处理。

– CN Retry支持存储过程、函数语句。

产品介绍 13 版本说明

(38)

V1.5.200 版本

发布时间：2019年8月8日

● 优化功能

a. 提升自动快照的备份频率，默认每天三次自动快照，从00:00（UTC）时间开始。快照执行周期可以在创建集群时进行设置，也可以对集群已有自动快照策略进行修改。

b. 在集群列表的“更多”操作中，可以对该集群执行手动创建快照的操作。