进行数据访问权限控制_数据湖治理中心 DGC_用户指南_数据安全_使用教程_华为云

(1)

用户指南

文档版本 12

发布日期 2022-01-18

(2)

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。

商标声明

和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标，由各自的所有人拥有。

注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声明或保证。

由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

(3)

1 ^{DGC 使用简介}

数据湖治理中心DGC是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，实现数字化转型。

使用 DGC 的用户

根据人员的职能进行划分，使用DGC的用户主要可以分为以下四类。四类角色具有不同的DGC权限，详情请参见DGC权限列表章节。

● 管理员

面向熟悉业务并具有管理、决策、审核权限的管理人员。管理员具有除创建工作空间之外的其他所有DGC权限，包括开发者权限、审核人员权限、工作空间管理、数据资产管理、配置管理等权限。例如，在规范设计、数据服务模块中，审核人员可以对开发人员发布的数据模型、API等数据对象进行审核，把好质量关。

● 开发者

面向数据建模师、熟悉脚本开发的开发人员。DGC为开发者提供了从管理中心、

规范设计、数据集成、数据开发、数据质量、数据资产到数据服务的端到端开发和运营流程，帮助您快速、简单且高效地构建一个智能数据系统。

数据系统构建完成后，其他开发人员就可以通过SDK的方式调用DGC提供的数据服务API进行数据分析。

开发者具有除审核人员权限、工作空间及其成员管理等少数权限以外的大部分 DGC权限。

● 运维者

面向运维人员。运维者主要具有查看详细信息、运维调度、资源监控等权限。

DGC的数据资产360度全链路可视化，数据质量可检验，数据使用可控、可追溯，

帮助运维人员实现端到端的作业调度和监控，从数据采集到数据消费运维一条龙服务。

● 访客

访客仅具备只读权限，可以查看详细信息。

DGC 使用流程简介

(17)

图1-1 DGC 使用流程

使用DGC平台，通常包括以下步骤：

表1-1 DGC 全流程开发

主流程说明子任务操作指导

使用前的准

备如果您是第一次使用DGC，需要先完成注册华为云帐号、购买 DGC实例、创建工作空间、创建用户并授予DGC权限、添加工作空间成员和角色等一系列操作。

准备工作 DGC准备工作

获取数据源的连接地址等信息，

并确保数据源所在的主机和华为云网络互通。

准备数据源准备数据源

根据业务场景选择符合需求的云服务作为数据湖，用于存储原始数据和数据治理过程中的数据，

并进行数据开发、治理和运营。

准备数据湖准备数据湖

根据自身的业务特点和源数据类型，进行数据存储与分析系统的选型，选取合适的云服务用于存储源数据并进行数据查询和分析。然后，创建该云服务相应的数据连接。

创建数据连接

(18)

主流程说明子任务操作指导数据集成

（批量数据迁移）

通过DGC平台将源数据上传或者接入到云上。

批量数据迁移提供同构/异构数据源之间批量数据迁移的服务，支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。

批量数据迁移

支持的数据源管理集群管理连接管理作业

数据集成

（实时数据接入）

通过DGC平台将源数据上传或者接入到云上。

实时数据接入可以将云下的实时数据接入到云服务中。

实时数据接入

按需计费方式购买实时数据接入的增量包实时数据接入概述

数据资产采

集为了在DGC平台中对迁移到云上的原始数据层进行管理和监控，

先对其元数据进行采集并监控。

元数据采集元数据采集

规范设计规范设计以关系建模、维度建模理论支撑实现规范化、可视化、

标准化数据模型开发，定位于数据治理流程设计落地阶段，输出成果用于指导开发人员实践落地数据治理方法论。

根据业务需求设计关系模型、维度模型，在规范设计模块中，一步一步建立模型中的对象，例如维度、事实表、指标、汇总表等。

规范设计实施流程

数据规范使用流程

添加审核人添加审核人主题设计主题设计码表管理新建码表制定数据标

准

新建数据标准

关系建模关系建模维度建模维度建模数据开发可管理多种大数据服务，提供一

站式的大数据开发环境。

使用DGC数据开发，用户可进行数据管理、数据集成、脚本开发、作业开发、作业调度、运维监控等操作，轻松完成整个数据的处理分析流程。

数据管理数据管理脚本开发脚本开发作业开发作业开发运维调度运维调度

数据质量监控

对业务指标和数据指标进行监控。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。支持数据的清洗和标准化，能够根据数据标准自动生成清洗和标准化的质量规则。支持周期性的监控和清洗。

业务指标监控

新建指标新建规则新建业务场景数据质量监

控

新建规则模板新建质量作业新建对账作业

(19)

主流程说明子任务操作指导数据资产管

理在DGC数据资产模块中，您可以查看数据地图，还可以对数据资产进行数据权限管理。

- 数据地图

数据权限数据服务API

开发统一管理对内对外的API服务，提供快速将数据表生成数据API的能力，同时支持将现有的API快速注册到数据服务平台以统一管理和发布。

开发API 准备工作创建API 调试API 发布API 管理API 流量控制调用API 调用API

(20)

2 使用 DGC 前的准备

在使用DGC前，您应首先进行数据与业务调研，选择合适的数据治理模型。

然后参考本章节，预先做好以下准备工作：

● DGC准备工作

● 准备数据源

● 准备数据湖

DGC 准备工作

如果您是第一次使用DGC，请参考准备工作章节，完成购买DGC实例、创建工作空间等一系列操作。然后找到对应的工作空间，即可开始数据开发与运营。

准备数据源

在实际业务中，源端数据源大多为云下的MySQL、PostgreSQL、HBase、Hive等类型，您需要作如下准备：

● 确保数据源所在的主机可以访问公网。

● 获取数据源的公网连接地址、数据库端口、数据库管理员用户及密码等信息。

● 确保防火墙规则出方向已开放数据库端口，允许数据传输到云上。

准备好数据源之后，后续您可以通过数据集成将数据源迁移到数据湖底座中，然后再通过DGC进行数据开发、治理和运营等活动。

准备数据湖

在使用DGC前，您需要根据业务场景选择符合需求的云服务作为DGC的数据湖底座，

用于存储原始数据和数据开发过程中的数据，并进行后续的数据开发、治理和运营等活动。DGC平台当前支持的数据湖产品请参见DGC支持的数据源。

准备好数据湖之后，您可以通过创建数据连接将DGC与数据湖底座连接起来，然后进行1和2的操作。1和2的操作样例可参考步骤2：准备工作章节。

1. 创建数据库

在使用DGC数据集成将数据迁移上云之前，我们需要在目的端数据湖中创建目标数据库。根据数据湖治理落地流程，建议您在数据湖中为SDI层、DWI层、DWR

(21)

范设计中将涉及到的概念，此处可先简单了解，在规范设计时将深入了解与操作。

您可以参考以下任一一种方式在数据湖中创建数据库。

– 您可以在DGC数据开发模块中，可视化方式创建数据库，具体操作请参见新建数据库章节。

– 您可以通过在DGC数据开发模块或数据湖产品的SQL编辑器上，开发并执行用于创建数据库的SQL脚本，从而创建数据库。在DGC数据开发模块开发脚本的具体操作请参见开发SQL脚本章节；数据湖产品的SQL编辑器上的具体操作请参见对应数据湖产品的帮助文档。

2. 创建数据表

在使用DGC数据集成将数据迁移上云之前，我们需要在目的端数据湖的SDI层数据库中创建一个目标表，用于存储原始数据。批量数据迁移场景下，关系型数据库之间的迁移和关系型数据库到Hive的迁移支持自动创建目标表，这种情况下可以不预先预先在目的端数据库中创建目标表。

您可以参考以下任一一种方式在数据湖中创建原始数据表。如果表字段个数较多，建议使用编写SQL脚本的方式创建表。

– 您可以在DGC数据开发模块中，可视化方式创建数据表，具体操作请参见新建数据表章节。

– 您可以通过在DGC数据开发模块或数据湖产品的SQL编辑器上，开发并执行用于创建数据表的SQL脚本，从而创建数据表。在DGC数据开发模块开发脚本的具体操作请参见开发SQL脚本章节；数据湖产品的SQL编辑器上的具体操作请参见对应数据湖产品的帮助文档。

(22)

3 ^管理中心

DGC管理中心提供了统一的配置和管理入口，可以管理数据连接、资源迁移等，根据需要定制个性化的入口和展示。

3.1 DGC 支持的数据源

在使用DGC前，您需要根据业务场景选择符合需求的云服务或数据仓库作为数据湖，

用于存储原始数据和数据治理过程中的数据，并进行数据开发、服务和运营。DGC集成了丰富的数据引擎，支持对接如DLI、DWS、MRS Hive等云上数据湖与数据库云服务，也支持对接企业传统数据库，例如MySQL、PostgreSQL等。

DGC 支持的数据源

DGC支持的数据源可分为“数据集成组件支持的数据源”和“DGC其他组件支持的数据源”。

● 数据集成组件支持的数据源。数据集成组件需要集成源数据到数据湖中，因此支持的数据源范围更广。

批量数据迁移支持的数据源请参见批量数据迁移支持的数据源。注意，如需在批量数据迁移中使用这些数据源，请先在批量数据迁移中创建对应的数据连接，这些数据连接仅限于在批量数据迁移模块中使用。

实时数据接入支持的数据源，请参见实时数据接入支持的数据源。

● DGC其他组件支持的数据源，即为DGC所支持的数据湖底座。

其他组件支持的数据源如表3-1所示，数据源的介绍请参见数据源简介。注意，如需在其他组件中使用这些数据源，请先前往DGC管理中心控制台创建数据连接，

这些数据连接不能在批量数据迁移模块中使用。

表3-1 DGC 其他组件支持的数据源

数据源类型管理

中心

规范设计

数据开发

数据资产

[2]

数据质量

数据服务

数据安全

[3]

数据仓库服务 √ √ √ √ √ √ √

(23)

数据源类型管理中心

规范设计

数据开发

数据资产

[2]

数据质量

数据服务

数据安全

[3]

数据湖探索（DLI） √ √ √ √ √ √ √

MapReduce服务

（MRS HBase） √ × × √ × × ×

MapReduce服务

（MRS Hive） √ √ √ √ √ × √

MapReduce服务

（MRS Kafka） √ × √ × × × ×

MapReduce服务

（MRS Ranger） √ × × × × × √

MySQL √ × × × √ √ ×

Oracle √ × × √ √ × ×

MapReduce服务

（MRS Spark） √ × √ × × × ×

云数据库 RDS √ √^[1] √ √ √ √ ×

实时数据接入 DIS √ × √ √ × × ×

主机连接 √ × √ × × × ×

MapReduce服务

（MRS Presto） √ × √ × √ × ×

注释：

[1] 规范设计组件仅支持云数据库RDS中的PostgreSQL数据源。

[2] 数据资产组件除了上表中列出的数据源外，还支持采集以下数据源的元数据：

1. 关系型数据库如MySQL\PostgreSQL\达梦数据库DM等（可通过RDS连接器连接）

2. 云搜索服务CSS 3. 图引擎服务GES 4. 对象存储服务OBS

[3] 数据安全组件不支持对接MRS非安全集群或存算分离的场景。

(24)

数据源简介

表3-2 数据源简介

数据源类型简介

数据仓库服务（DWS）华为云DWS是基于Shared-nothing分布式架构，具备 MPP大规模并行处理引擎，兼容标准ANSI SQL 99和 SQL 2003，同时兼容PostgreSQL/Oracle数据库生态，

为各行业PB级海量大数据分析提供有竞争力的解决方案。

数据湖探索（DLI）华为云DLI是完全兼容Apache Spark和Apache Flink生态，实现批流一体的Serverless大数据计算分析服务。

DLI支持多模引擎，企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等，挖掘和探索数据价值。

MapReduce服务（MRS

HBase） HBase是一个开源的、面向列（Column-Oriented）、

适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。

使用MRS HBase可实现海量数据存储，并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新，并支持百万级时序数据查询分析。

Hive） Hive是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive定义了简单的类 SQL 查询语言，称为HiveQL，它允许熟悉SQL的用户查询数据。

使用MRS Hive可实现TB/PB级的数据分析，快速将线下 Hadoop大数据平台（CDH、HDP等）迁移上云，业务迁移 “0”中断，业务代码 “0”改动。

Kafka）华为云MapReduce服务可提供专属MRS Kafka集群。

Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。

Ranger） Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如 HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端 WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限。

MySQL MySQL是目前最受欢迎的开源数据库之一，其性能卓越，架构成熟稳定，支持流行应用程序，适用于多领域多行业，支持各种WEB应用，成本低，中小企业首选。

(25)

数据源类型简介

ORACLE ORACLE数据库系统是以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器(CLIENT/

SERVER)或B/S体系结构的数据库之一。

ORACLE数据库是目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库它实现了分布式处理功能。

Spark） Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速、统一的大数据应用，对数据进行协处理、流式处理、交互式分析等等。

Spark提供了一个快速的计算、写入以及交互式查询的框架。相比于Hadoop，Spark拥有明显的性能优势。

Spark提供类似SQL的Spark SQL语言操作结构化数据。

云数据库 RDS 华为云RDS是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。

注意，DGC平台目前仅支持RDS中的MySQL和 PostgreSQL数据库。

实时数据接入 DIS 使用实时数据接入通道，可实现跨空间作业调度。若使用数据通道连接，可以向其他帐号的DIS通道发送消息；若不使用，仅能给本帐号下所有region的通道发送消息。

主机连接通过主机连接，用户可以在DGC数据开发中连接到指定的主机，通过脚本开发和作业开发在主机上执行Shell 脚本。主机连接保存连接某个主机的连接信息，当主机的连接信息有变化时，只需在主机连接管理中编辑修改，而不需要到具体的脚本或作业中逐一修改。

Presto） Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。

其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。

Presto允许查询的数据源包括Hadoop分布式文件系统

（HDFS），Hive，HBase，Cassandra，关系数据库甚至专有数据存储。一个Presto查询可以组合不同数据源，执行跨数据源的数据分析。

3.2 创建数据连接

通过配置数据源信息，可以建立数据连接。DGC基于管理中心的数据连接对数据湖底座进行数据开发、治理、服务和运营。

约束限制

● RDS数据连接方式依赖于OBS。如果没有与DGC同区域的OBS，则不支持RDS数据连接。

(26)

● 当所连接的数据湖发生变化（如MRS集群扩容等情况）时，您需要重新编辑并保存该连接。

前提条件

● 在创建数据连接前，请确保您已创建所要连接的数据湖（如DGC所支持的数据库、云服务等）。

– 在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有 KMS密钥的查看权限。

– 在创建MRS HBase、MRS Hive、MRS Kafka、MRS Ranger、MRS Spark、

MRS Presto类型的数据连接前，需确保您已购买MRS集群，并且在创建数据链接时已购买选择所需要的组件。

– 在创建RDS类型的数据连接前，请确保您已创建RDS数据库实例。DGC平台目前仅支持RDS中的MySQL和PostgreSQL数据库引擎。

● 在创建数据连接前，请确保待连接的数据湖与DGC实例之间网络互通。

– 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络，确保数据源所在的主机可以访问公网，并且防火墙规则已开放连接端口。

– 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件：

▪

DGC实例（指DGC实例中的CDM集群）与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。

▪

DGC实例（指DGC实例中的CDM集群）与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则《虚拟私有云(VPC)使用指南》中的“安全组 > 添加安全组规则”章节。

▪

此外，您还必须确保该云服务的实例与DGC工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。

创建数据连接

1. 在DGC控制台首页，选择对应工作空间的“管理中心”模块，进入管理中心页面。

图3-1 选择管理中心

(27)

2. 在管理中心页面，单击“数据连接”，进入数据连接页面。

图3-2 创建数据连接

3. 单击“创建数据连接”，在弹出的对话框中，选择“数据连接类型”，并参见表 3-3配置相关参数。

图3-3 创建数据连接

表3-3 数据连接

数据连接类型参数说明

MRS Hive 请参见表3-4。

MRS HBase 请参见表3-5。

MRS Kafka 请参见表3-6。

MRS Ranger 请参见表3-13。

DWS 请参见表3-9。

DLI 请参见表3-10。

ORACLE 请参见表3-11 MRS Spark 请参见表3-7。

RDS 请参见表3-8。

RDS连接类型还支持创建与部分关系型数据库的连接，如MySQL\PostgreSQL\达梦数据库 DM等。

MRS Presto 请参见表3-14。

DIS 请参见表3-12。

MySQL(待下线) 不建议使用MySQL(待下线)连接器，推荐使用RDS连接MySQL数据源，请参见表3-8。

(28)

数据连接类型参数说明

主机连接关于主机连接的相关操作背景和使用方法请参见主机连接管理。

4. 单击“测试”，测试数据连接的连通性。如果无法连通，数据连接将无法创建。

5. 测试通过后，单击“确定”，创建数据连接。

数据连接参数说明

表3-4 MRS Hive 数据连接

参数是否

必选

说明

数据连接名称是数据连接的名称，只能包含英文字母、数字、下划线和中划线，且长度为1~50个字符。

标签否标识数据连接的属性。设置标签后，便于统一管理。可自行设置标签，也可在下拉框中选择已在标签管理中创建的标签。

说明

标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头。且长度不能超过100个字符。

集群名是选择Hive所属的MRS集群。如果在下拉列表中无法显示 MRS集群，请检查MRS集群与DGC实例是否网络互通。

需确保MRS集群和DGC实例之间网络互通，网络互通需满足如下条件：

● DGC实例（指DGC实例中的CDM集群）与MRS集群处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，

MRS集群可以访问公网且防火墙规则已开放连接端口。

● DGC实例（指DGC实例中的CDM集群）与MRS集群同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。

● 此外，还需确保该MRS集群与DGC工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。

(29)

参数是否必选

说明

连接方式是选择所需的连接方式，推荐使用“通过代理连接”。

● 通过代理连接：通过Agent（即CDM集群）进行代理，

以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。

● MRS API连接：以MRS API的方式访问MRS集群。MRS API连接仅支持2.X版本的MRS集群。

选择MRS API连接时，有这些约束：

1. 无法查看表和字段。

2. 在SQL编辑器运行SQL时，只能以日志形式显示执行结果。

3. 数据治理（如规范设计、数据质量、数据资产等组件）功能无法使用MRS API连接。

用户名否 MRS集群的用户名，通过代理连接的时候，是必选项。如果使用新建的MRS用户进行连接，您需要先登录Manager 页面，并更新初始密码。

如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以参考创建MRS 安全集群的kerberos认证用户创建一个新的MRS用户，然后在创建MRS数据连接时，“用户名”和“密码”填写为新建的MRS用户及其密码。

说明

● MRS 3.1.0及之后版本集群，所创建的用户至少需具备 Manager_viewer的角色权限才能在管理中心创建连接；如果需要对应组件的进行库、表、数据的操作，还需要添加对应组件的用户组权限。

● MRS 3.1.0版本之前的集群，所创建的用户需要具备

Manager_administrator或System_administrator权限，才能在管理中心创建连接。

● 仅具备Manager_tenant或Manager_auditor权限，无法创建连接。

密码否 MRS集群的访问密码，通过代理连接的时候，是必选项。

KMS密钥否 KMS密钥名称。通过代理连接的时候，是必选项。

绑定Agent 否通过代理连接的时候，是必选项。

MRS为非全托管服务，DGC无法直接与非全托管服务进行连接。CDM集群提供了DGC与非全托管服务通信的代理，

所以创建MRS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请先通过批量数据迁移增量包进行创建。

CDM集群作为网络代理，必须和MRS集群网络互通才可以成功创建MRS连接，为确保两者网络互通，CDM集群必须和MRS集群处于相同的区域、可用区、VPC和子网，安全组规则需允许两者网络互通。

(30)

表3-5 MRS HBase 数据连接

参数是否

必选

说明

集群名是选择HBase所属的MRS集群。如果在下拉列表中无法显示 MRS集群，请检查MRS集群与DGC实例是否网络互通。

用户名是 MRS集群的用户名。

说明

密码是 MRS集群的访问密码。

(31)

参数是否必选

说明

KMS密钥是 KMS密钥名称。

绑定Agent 是 MRS为非全托管服务，DGC无法直接与非全托管服务进行连接。CDM集群提供了DGC与非全托管服务通信的代理，

表3-6 MRS Kafka 数据连接

参数是否

必选

说明

集群名是选择Kafka所属的MRS集群。如果在下拉列表中无法显示 MRS集群，请检查MRS集群与DGC实例是否网络互通。

(32)

参数是否必选

说明

用户名是 MRS集群的用户名。

说明

密码是 MRS集群的访问密码。

绑定Agent 是 MRS为非全托管服务，DGC无法直接与非全托管服务进行连接。CDM集群提供了DGC与非全托管服务通信的代理，

表3-7 MRS Spark 数据连接

参数是否

必选

说明

(33)

参数是否必选

说明

集群名是选择Spark所属的MRS集群名称。如果在下拉列表中无法显示MRS集群，请检查MRS集群与DGC实例是否网络互通。

● 通过代理连接：通过Agent（即CDM集群）进行代理，以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。

● MRS API连接：以MRS API的方式访问MRS集群。MRS API连接仅支持2.X版本的MRS集群。

选择MRS API连接时，有这些约束：

1. 无法查看表和字段。

2. 在SQL编辑器运行SQL时，只能以日志形式显示执行结果。

3. 数据治理（如规范设计、数据质量、数据资产等组件）功能无法使用MRS API连接。

(34)

参数是否必选

说明

用户名否 MRS集群的用户名，通过代理连接的时候，是必选项。如果使用新建的MRS用户进行连接，您需要先登录Manager 页面，并更新初始密码。

说明

密码否 MRS集群的访问密码，通过代理连接的时候，是必选项。

KMS密钥否 KMS密钥名称。通过代理连接的时候，是必选项。

MRS为非全托管服务，DGC无法直接与非全托管服务进行连接。CDM集群提供了DGC与非全托管服务通信的代理，

CDM集群作为网络代理，必须和MRS集群网络互通才可以成功创建MRS连接，为确保两者网络互通，CDM集群必须和MRS集群处于相同的区域、可用区、VPC和子网，

安全组规则需允许两者网络互通。

表3-8 RDS 数据连接

参数是否

必选说明

(35)

参数是否必选

说明

IP 是 RDS的访问地址。

如果为RDS数据源，可以通过RDS管理控制台获取访问地址：

1. 根据注册的帐号登录管理控制台。

2. 单击“关系型数据库服务”，从左侧列表选择实例管理。

3. 单击某一个实例名称，进入实例基本信息页面。

在连接信息标签中可以获取到内网地址。

端口是 RDS的访问端口。

如果为RDS数据源，可以通过RDS管理控制台获取访问端口：

2. 单击“关系型数据库服务”，左侧列表选择实例管理。

3. 单击某一个实例名称，进入实例基本信息页面。

在连接信息标签中可以获取到数据库端口。

驱动程序名称是驱动程序名称：

● com.mysql.jdbc.Driver

● org.postgresql.Driver

驱动文件路径是驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。

● MySQL驱动：获取地址https://

downloads.mysql.com/archives/c-j/，建议5.1.48版本。

● PostgreSQL驱动：获取地址https://

jdbc.postgresql.org/download.html，建议42.1.4版本。

说明如果需要更新驱动文件，则需要先在数据集成页面重启CDM集群，然后通过编辑数据连接的方式重新选择新版本驱动，更新驱动才能生效。

用户名是数据库的用户名，创建集群的时候，输入的用户名。

密码是数据库的访问密码，创建集群的时候，输入的密码。

(36)

参数是否必选

说明

通过KMS管理控制台获取密钥名称：

2. 单击“密钥管理服务”，左侧列表选择密钥管理。

在密钥列表可以获取到密钥名称。

绑定Agent 是 RDS为非全托管服务，DGC无法直接与非全托管服务进行连接。CDM集群提供了DGC与非全托管服务通信的代理，所以创建RDS的数据连接时，请选择一个CDM集群。

如果没有可用的CDM集群，请先通过批量数据迁移增量包进行创建。

CDM集群作为网络代理，必须和RDS网络互通才可以成功创建MRS连接，为确保两者网络互通，CDM集群必须和 RDS处于相同的区域、可用区、VPC和子网，安全组规则需允许两者网络互通。

表3-9 DWS 数据连接

参数是否

必选

说明

手动是

通过单击或来关闭或开启手动开关：

● 当“手动”关闭时候，“IP”和“端口”不需要填写。

● 当“手动”打开时候，“IP”和“端口”需要填写。

IP 否 “手动”打开时需要填写该项，表示通过内部网络访问集群数据库的IP地址。内网访问IP地址在创建集群时自动生成。

端口否 “手动”打开时需要填写该项，表示创建DWS集群时指定的数据库端口号。请确保您已在安全组规则中开放此端口，以便DGC实例可以通过该端口连接DWS集群数据库。

(37)

参数是否必选

说明

SSL连接是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL 连接进行设置。开关打开，即只能通过SSL方式连接。开关关闭，即两种方式均可。默认关闭。

集群名是选择DWS集群。

用户名是数据库的用户名，创建DWS集群时指定的用户名。

密码是数据库的访问密码，创建DWS集群时指定的密码。

● 通过代理连接：通过Agent（即CDM集群）进行代理连接访问DWS集群。

● 直接连接：直接访问DWS集群。

DWS为非全托管服务，DGC无法直接与非全托管服务进行连接。CDM集群提供了DGC与非全托管服务通信的代理，所以创建DWS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请先通过批量数据迁移增量包进行创建。

CDM集群作为网络代理，必须和DWS集群网络互通才可以成功创建MRS连接，为确保两者网络互通，CDM集群必须和DWS集群处于相同的区域、可用区、VPC和子网，安全组规则需允许两者网络互通。

表3-10 DLI 数据连接

参数是否

必选

说明

(38)

表3-11 Oracle 数据连接

参数是否

必选

说明

IP 是待连接的数据库IP地址，公网IP和内网IP地址均支持。

端口是待连接的数据库端口。

用户名是待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。

密码是用户密码。

sid 是 Oracle数据库的唯一标识符。

1. 根据创建的帐号登录管理控制台。

绑定Agent 是 Oracle为非全托管服务，DGC无法直接与非全托管服务进行连接。CDM集群提供了DGC与非全托管服务通信的代理，所以创建Oracle的数据连接时，请选择一个CDM 集群。如果没有可用的CDM集群，请先通过批量数据迁移增量包进行创建。

CDM集群作为网络代理，必须和Oracle网络互通才可以成功创建MRS连接。

表3-12 DIS 连接

参数是否

必选说明

(39)

参数是否必选

说明

目标项目ID 是使用DIS Client节点发送消息至目标DIS通道时，目标通道所在的项目ID。

目标Region 是使用DIS Client节点发送消息至目标DIS通道时，目标通道所在的Region。

Access Key 是使用DIS Client节点发送消息至目标DIS通道时，创建目标通道的租户AK。

Secret Key 是使用DIS Client节点发送消息至目标DIS通道时，创建目标通道的租户SK。

1. 根据创建注册的帐号登录管理控制台。

描述否支持添加该连接的相关描述。

表3-13 MRS Ranger 连接

参数是否

必选

说明

进行数据访问权限控制_数据湖治理中心 DGC_用户指南_数据安全_使用教程_华为云

用户指南

目录

1 DGC 使用简介...1

2 使用 DGC 前的准备... 5

3 管理中心...7

4 数据集成（批量数据迁移）...46

5 数据集成（实时数据接入）... 275

6 规范设计... 376

7 数据开发... 551

8 数据质量... 835

9 数据资产... 878

10 数据安全... 914

11 数据服务... 1005

12 错误码...1052

1 ^{DGC 使用简介}

使用 DGC 的用户

DGC 使用流程简介

2 使用 DGC 前的准备

DGC 准备工作

准备数据源

准备数据湖

3 ^管理中心

3.1 DGC 支持的数据源

DGC 支持的数据源

数据源简介

3.2 创建数据连接

约束限制

前提条件

▪

▪

▪

创建数据连接

数据连接参数说明

进行数据访问权限控制_数据湖治理中心 DGC_用户指南_数据安全_使用教程_华为云

用户指南

目 录

1 DGC 使用简介...1

2 使用 DGC 前的准备... 5

3 管理中心...7

4 数据集成（批量数据迁移）...46

5 数据集成（实时数据接入）... 275

6 规范设计... 376

7 数据开发... 551

8 数据质量... 835

9 数据资产... 878

10 数据安全... 914

11 数据服务... 1005

12 错误码...1052

1 DGC 使用简介

使用 DGC 的用户

DGC 使用流程简介

2 使用 DGC 前的准备

DGC 准备工作

准备数据源

准备数据湖

3 管理中心

3.1 DGC 支持的数据源

DGC 支持的数据源

数据源简介

3.2 创建数据连接

约束限制

前提条件

▪

▪

▪

创建数据连接

数据连接参数说明

目录

1 ^{DGC 使用简介}

3 ^管理中心