• 沒有找到結果。

创建增强型跨源连接访问云数据库RDS。基本流程如下:

步骤1:登录华为云

步骤2:创建RDS MySQL实例 步骤3:创建RDS数据库表 步骤4:登录DLI管理控制台 步骤5:创建队列

步骤6:创建增强型跨源连接 步骤7:提交SQL作业

样例场景需要创建RDS MySQL实例,RDS数据库表,以及DLI增强型跨源连接,通过 Spark SQL作业访问RDS数据库表。

步骤 1:登录华为云

使用DLI服务,首先要登录华为云。

1. 打开华为云首页。

2. 在登录页面输入“帐号名”和“密码”,单击“登录”。

步骤 2:创建 RDS MySQL 实例

本样例中,假设作业名称为“JobSample”,采用RDS服务作为数据源,创建RDS MySQL实例,具体操作请参见《云数据库MySQL快速入门》中的“MySQL快速入 门”章节。

5. 在“服务选型”页面,选择计费模式,填写并选择实例相关信息后,单击“立即 需要在已有VPC上创建和使用新的子网,请参考为虚拟私有云创建新的子 网。

说明

● 创建的VPC与使用的RDS服务应在相同的区域。

● 创建VPC和子网时,如无特殊需求,配置参数使用默认配置即可。 – 企业项目:default

– 标签:不设置 – 购买数量:1

– 只读实例:暂不购买

6. 单击“立即购买”,进入“规格确认”页面。

7. 单击“提交”,完成购买RDS MySQL实例。

8. 实例创建成功后,用户可以在“实例管理”页面对其进行查看和管理。

创建实例过程中,状态显示为“创建中”,创建完成的实例状态显示为“正 常”。您可以通过“任务中心”查看详细进度和结果。

步骤 3:创建 RDS 数据库表

1. 登录RDS管理控制台。

2. 在管理控制台左上角选择区域和项目。

3. 在“实例管理页面”,找到您已经创建的RDS实例,获取其内网地址。

4-2 内网地址

4. 单击所创建RDS实例的“登录”,跳转至“数据管理服务-DAS”。输入相关账户 信息,单击“测试连接”。显示连接成功后,单击“登录”,进入“实例登录”

页面。

4-3 登录 RDS

4-4 实例登录

5. 登录RDS实例后,单击“新建数据库”,创建名称为“dli-demo”的数据库。

4-5 创建数据库

6. 单击“SQL操作”>“SQL查询”,执行如下SQL创建测试用MySQL表。

CREATE TABLE `dli_demo`.`tabletest` ( `id` VARCHAR(32) NOT NULL, `name` VARCHAR(32) NOT NULL, PRIMARY KEY (`id`)

) ENGINE = InnoDB

DEFAULT CHARACTER SET = utf8mb4;

步骤 4:登录 DLI 管理控制台

1. 在华为云官网首页的上方导航栏中,单击“产品”页签。

2. 在列表中,选择“大数据”>“大数据计算”中的“数据湖探索 DLI”。

3. 在DLI服务产品页,单击“进入控制台”,进入DLI管理控制台页面。第一次进入 数据湖探索管理控制台需要进行授权,以获取访问OBS的权限。

步骤 5:创建队列

运行DLI SQL跨源作业,不能使用系统已有的default队列,需要您创建SQL队列,例如 创建名为“test”的队列。创建队列详细介绍请参考创建队列。

1. 在DLI管理控制台总览页,单击右上角“购买队列”进入购买队列页面。

2. 配置参数。

– 计费模式:按需计费 – 当前区域:默认区域 – 队列名称:test

– 队列类型:SQL队列。勾选“专属资源模式”。

– AZ策略:单AZ – CPU架构:X86 – 队列规格:16CUs – 企业项目:default – 描述:不填

– 高级配置:自定义配置

– 网段:配置的网段不能与RDS的子网网段冲突 – 标签:不填

3. 单击“立即购买”,确认配置。

4. 配置确认无误,提交请求。

步骤 6:创建增强型跨源连接

创建增强型跨源连接具体操作请参考创建增强型跨源连接 说明

● 增强型跨源仅支持包年包月队列和按需专属队列。

● 绑定跨源的DLI队列网段和数据源网段不能重合。

● 系统default队列不支持创建跨源连接。

● 访问跨源表需要使用已经创建跨源连接的队列。

1. 在DLI管理控制台左侧导航栏中,单击“队列管理”,可以在队列列表中看到您所 创建的SQL队列test。

2. 单击“全局配置”>“服务授权”,选中“VPC Administrator”,单击“更新委 托权限”,赋予DLI操作用户VPC资源的权限,用于创建VPC的“对等连接”。

4-6 更新委托权限

3. 在DLI管理控制台左侧导航栏中,选择“跨源连接”。

4. 选择“增强型跨源”页签,单击左上角的“创建”按钮。配置参数:

– 连接名称:dlirds – 绑定队列:test

说明

如果创建增强型跨源连接时,不确定所绑定的队列,可先不绑定,等待跨源连接创建 成功后,在对应跨源连接的“操作”列中,通过“绑定队列”操作进行绑定,具体请 参考绑定队列。

– 虚拟私有云:选择MySQL 实例所在的VPC 说明

在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“虚拟私 有云”,即可获取对应信息。

– 子网:选择MySQL 实例所在的子网 说明

在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“子 网”,即可获取对应信息。

5. 单击“确定”,完成创建增强型跨源连接。

6. 在“增强型跨源”页签,单击创建的连接名称:dlirds,查看对等连接ID及连接状 态,连接状态为“已激活”表示连接成功。

7. 测试队列与RDS实例连通性。

a. 单击“队列管理”,选择您所绑定的队列,单击“操作”列中的“更 多”>“测试地址连通性”。

4-7 检测地址连通性

b. 输入RDS MySQL实例内网地址,进行网络连通性测试。

说明

在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地 址”,即可获取对应信息。

测试结果显示可达,则DLI队列与MySQL实例的网络已经联通。

4-8 测试结果

如果测试结果不可达,需要修改实例所在VPC的安全组规则。具体操作参考 如下:

DLI管理控制台,单击“队列管理”,选择绑定的队列,在操作列,单击

“详情”获取队列的网段信息。

在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信 息”>“数据库端口”,获取RDS数据库实例端口。

单击“连接信息”>“安全组”对应的安全组名称,跳转到RDS实例安全 组管理界面。单击“入方向规则 > 添加规则”,协议选择“TCP”,端 口选择RDS数据库实例端口,源地址填写DLI队列的网段。单击“确定”

完成配置。

4-9 安全组规则

完成配置后,重新进行网络连通性测试。

步骤 7:提交 SQL 作业

此示例中以SQL作业为例说明如何跨源访问RDS表。通过Spark批作业跨源访问RDS的 样例代码,请参考《数据湖探索开发指南》>使用Spark作业跨源访问数据源>访问

RDS。

提交SQL作业具体步骤请参考创建并提交Spark SQL作业。

1. 在DLI管理控制台的左侧导航栏中,单击“SQL编辑器”,进入SQL作业编辑器页 面。

2. 在“SQL编辑器”页面右侧的编辑窗口中,输入如下SQL语句创建数据库db1,单 击“执行”。

create database db1;

3. 在编辑窗口中,选择队列“test”和数据库“db1”。输入如下SQL语句创建表,

向RDS表插入数据,以及查询数据,单击“执行”。

CREATE TABLE IF NOT EXISTS rds_test USING JDBC OPTIONS ( 'url' = 'jdbc:mysql://{{ip}}:{{port}}', //RDS内网地址及端口 'driver' = 'com.mysql.jdbc.Driver',

'dbtable' = 'dli_demo.tabletest', //在RDS创建的库名及表名 'user' = 'root',

'password' = 'xxxx' //RDS设置的密码 )

insert into rds_test VALUES ('123','abc');

SELECT * from rds_test;

后续指引

完成增强型跨源连接访问RDS快速入门操作后,如果您想了解更多关于跨源连接的相 关操作,建议您参考以下指引阅读。

提供跨源访问CSS、DWS、HBase、OpenTSDB、RDS、

Redis、Mongo等样例代码和开发指导。

增强型跨源API

参考 提供增强型跨源相关API接口指导。

经典型跨源连

接API参考 提供经典型跨源相关API接口指导。

5 DLI 控制台总览

页面介绍

在数据湖探索产品页面,单击“进入控制台”进入“总览”页面。

按照从左到右,从上到下的顺序,说明如下。

5-1 区域说明

区域 描述

1 导航栏 数据湖探索管理控制台的导航栏,包括总览、SQL编辑器、

作业管理、队列管理、数据管理、作业模板、跨源管理和全 局配置。

2 购买队列 单击“购买队列”可创建队列。

3 购买套餐包 单击“购买套餐包”可根据需要选择对应的套餐包。

4 SQL作业简介 单击本区域右上角“创建作业”,可进入“SQL编辑器”页 面。详细介绍请参考SQL编辑器。

5 Flink作业简

介 单击本区域右上角“创建作业”,可进入Flink作业“作业管 理”页面。详细介绍请参考Flink作业管理。

6 Spark作业简

介 单击本区域右上角“创建作业”,可进入Spark作业“作业编 辑”页面。详细介绍请参考创建Spark作业。

8 所有队列使用 时长

可查看所有队列最近一天或一周或一个月的使用情况。

9 单队列使用时 长

可查看对应单个队列最近一周或一个月的使用情况。

序 号

区域 描述

10 常用链接 包括:

● 用户指南

● 常见问题

● API参考

● SDK下载

● 使用视频 11 创建作业操作

步骤 1. 购买队列 2. 准备数据 3. 编辑并提交作业 4. 查看作业状态

在使用DLI的过程中,如果您有进一步的疑问和建议,欢迎您移步到官方论坛"数据湖 探索"进行交流反馈。

6 SQL 编辑器

SQL作业编辑器支持使用SQL语句执行数据查询操作。支持SQL2003,兼容 SparkSQL,详细语法描述请参见《数据湖探索SQL语法参考》。

在总览页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作 业”,可进入“SQL编辑器”页面。

进入SQL编辑器,页面会提示系统将创建DLI临时数据桶。该桶用于存储使用DLI服务 产生的临时数据,例如:作业日志、作业结果等。如果不创建该桶,将无法查看作业 日志。可以通过配置生命周期规则,实现定时删除OBS桶中的对象或者定时转换对象 的存储类别。桶名称为系统默认。

如果不需要创建DLI临时数据桶,并且希望不再收到该提示,可以勾选“下次不再提 示”并单击“取消”。

“SQL编辑器”页面中的区域和按键功能介绍如下:

导航栏

页面左侧的导航栏包括“数据库”列表和“队列”列表,说明如下。

6-1 SQL 作业导航栏

6-1 导航栏按键说明

页签/按 键

页签/按 键名称

描述

1 数据库 显示已有的数据库及其下所有的表。

● 单击数据库名,将显示该数据库中的表。

● 单击表名,将在表名下显示该表中的元数据,最多可 显示20个元数据。

● 双击表名,将在作业编辑窗口自动输入SQL查询语 句。

2 队列 显示已有的队列。

3 模板 自定义模板和内置的SQL样例模板(目前包含22条标准 的TPC-H查询语句)。

4 创建 包括创建队列、数据库和表。具体操作请分别参考创建 队列和创建数据库和表。

4 创建 包括创建队列、数据库和表。具体操作请分别参考创建 队列和创建数据库和表。