创建增强型跨源连接访问云数据库RDS。基本流程如下:
步骤1:登录华为云
步骤2:创建RDS MySQL实例 步骤3:创建RDS数据库表 步骤4:登录DLI管理控制台 步骤5:创建队列
步骤6:创建增强型跨源连接 步骤7:提交SQL作业
样例场景需要创建RDS MySQL实例,RDS数据库表,以及DLI增强型跨源连接,通过 Spark SQL作业访问RDS数据库表。
步骤 1:登录华为云
使用DLI服务,首先要登录华为云。
1. 打开华为云首页。
2. 在登录页面输入“帐号名”和“密码”,单击“登录”。
步骤 2:创建 RDS MySQL 实例
本样例中,假设作业名称为“JobSample”,采用RDS服务作为数据源,创建RDS MySQL实例,具体操作请参见《云数据库MySQL快速入门》中的“MySQL快速入 门”章节。
5. 在“服务选型”页面,选择计费模式,填写并选择实例相关信息后,单击“立即 需要在已有VPC上创建和使用新的子网,请参考为虚拟私有云创建新的子 网。
说明
● 创建的VPC与使用的RDS服务应在相同的区域。
● 创建VPC和子网时,如无特殊需求,配置参数使用默认配置即可。 – 企业项目:default
– 标签:不设置 – 购买数量:1
– 只读实例:暂不购买
6. 单击“立即购买”,进入“规格确认”页面。
7. 单击“提交”,完成购买RDS MySQL实例。
8. 实例创建成功后,用户可以在“实例管理”页面对其进行查看和管理。
创建实例过程中,状态显示为“创建中”,创建完成的实例状态显示为“正 常”。您可以通过“任务中心”查看详细进度和结果。
步骤 3:创建 RDS 数据库表
1. 登录RDS管理控制台。
2. 在管理控制台左上角选择区域和项目。
3. 在“实例管理页面”,找到您已经创建的RDS实例,获取其内网地址。
图4-2 内网地址
4. 单击所创建RDS实例的“登录”,跳转至“数据管理服务-DAS”。输入相关账户 信息,单击“测试连接”。显示连接成功后,单击“登录”,进入“实例登录”
页面。
图4-3 登录 RDS
图4-4 实例登录
5. 登录RDS实例后,单击“新建数据库”,创建名称为“dli-demo”的数据库。
图4-5 创建数据库
6. 单击“SQL操作”>“SQL查询”,执行如下SQL创建测试用MySQL表。
CREATE TABLE `dli_demo`.`tabletest` ( `id` VARCHAR(32) NOT NULL, `name` VARCHAR(32) NOT NULL, PRIMARY KEY (`id`)
) ENGINE = InnoDB
DEFAULT CHARACTER SET = utf8mb4;
步骤 4:登录 DLI 管理控制台
1. 在华为云官网首页的上方导航栏中,单击“产品”页签。
2. 在列表中,选择“大数据”>“大数据计算”中的“数据湖探索 DLI”。
3. 在DLI服务产品页,单击“进入控制台”,进入DLI管理控制台页面。第一次进入 数据湖探索管理控制台需要进行授权,以获取访问OBS的权限。
步骤 5:创建队列
运行DLI SQL跨源作业,不能使用系统已有的default队列,需要您创建SQL队列,例如 创建名为“test”的队列。创建队列详细介绍请参考创建队列。
1. 在DLI管理控制台总览页,单击右上角“购买队列”进入购买队列页面。
2. 配置参数。
– 计费模式:按需计费 – 当前区域:默认区域 – 队列名称:test
– 队列类型:SQL队列。勾选“专属资源模式”。
– AZ策略:单AZ – CPU架构:X86 – 队列规格:16CUs – 企业项目:default – 描述:不填
– 高级配置:自定义配置
– 网段:配置的网段不能与RDS的子网网段冲突 – 标签:不填
3. 单击“立即购买”,确认配置。
4. 配置确认无误,提交请求。
步骤 6:创建增强型跨源连接
创建增强型跨源连接具体操作请参考创建增强型跨源连接 说明
● 增强型跨源仅支持包年包月队列和按需专属队列。
● 绑定跨源的DLI队列网段和数据源网段不能重合。
● 系统default队列不支持创建跨源连接。
● 访问跨源表需要使用已经创建跨源连接的队列。
1. 在DLI管理控制台左侧导航栏中,单击“队列管理”,可以在队列列表中看到您所 创建的SQL队列test。
2. 单击“全局配置”>“服务授权”,选中“VPC Administrator”,单击“更新委 托权限”,赋予DLI操作用户VPC资源的权限,用于创建VPC的“对等连接”。
图4-6 更新委托权限
3. 在DLI管理控制台左侧导航栏中,选择“跨源连接”。
4. 选择“增强型跨源”页签,单击左上角的“创建”按钮。配置参数:
– 连接名称:dlirds – 绑定队列:test
说明
如果创建增强型跨源连接时,不确定所绑定的队列,可先不绑定,等待跨源连接创建 成功后,在对应跨源连接的“操作”列中,通过“绑定队列”操作进行绑定,具体请 参考绑定队列。
– 虚拟私有云:选择MySQL 实例所在的VPC 说明
在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“虚拟私 有云”,即可获取对应信息。
– 子网:选择MySQL 实例所在的子网 说明
在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“子 网”,即可获取对应信息。
5. 单击“确定”,完成创建增强型跨源连接。
6. 在“增强型跨源”页签,单击创建的连接名称:dlirds,查看对等连接ID及连接状 态,连接状态为“已激活”表示连接成功。
7. 测试队列与RDS实例连通性。
a. 单击“队列管理”,选择您所绑定的队列,单击“操作”列中的“更 多”>“测试地址连通性”。
图4-7 检测地址连通性
b. 输入RDS MySQL实例内网地址,进行网络连通性测试。
说明
在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地 址”,即可获取对应信息。
测试结果显示可达,则DLI队列与MySQL实例的网络已经联通。
图4-8 测试结果
如果测试结果不可达,需要修改实例所在VPC的安全组规则。具体操作参考 如下:
▪
DLI管理控制台,单击“队列管理”,选择绑定的队列,在操作列,单击“详情”获取队列的网段信息。
▪
在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信 息”>“数据库端口”,获取RDS数据库实例端口。▪
单击“连接信息”>“安全组”对应的安全组名称,跳转到RDS实例安全 组管理界面。单击“入方向规则 > 添加规则”,协议选择“TCP”,端 口选择RDS数据库实例端口,源地址填写DLI队列的网段。单击“确定”完成配置。
图4-9 安全组规则
▪
完成配置后,重新进行网络连通性测试。步骤 7:提交 SQL 作业
此示例中以SQL作业为例说明如何跨源访问RDS表。通过Spark批作业跨源访问RDS的 样例代码,请参考《数据湖探索开发指南》>使用Spark作业跨源访问数据源>访问
RDS。
提交SQL作业具体步骤请参考创建并提交Spark SQL作业。
1. 在DLI管理控制台的左侧导航栏中,单击“SQL编辑器”,进入SQL作业编辑器页 面。
2. 在“SQL编辑器”页面右侧的编辑窗口中,输入如下SQL语句创建数据库db1,单 击“执行”。
create database db1;
3. 在编辑窗口中,选择队列“test”和数据库“db1”。输入如下SQL语句创建表,
向RDS表插入数据,以及查询数据,单击“执行”。
CREATE TABLE IF NOT EXISTS rds_test USING JDBC OPTIONS ( 'url' = 'jdbc:mysql://{{ip}}:{{port}}', //RDS内网地址及端口 'driver' = 'com.mysql.jdbc.Driver',
'dbtable' = 'dli_demo.tabletest', //在RDS创建的库名及表名 'user' = 'root',
'password' = 'xxxx' //RDS设置的密码 )
insert into rds_test VALUES ('123','abc');
SELECT * from rds_test;
后续指引
完成增强型跨源连接访问RDS快速入门操作后,如果您想了解更多关于跨源连接的相 关操作,建议您参考以下指引阅读。
提供跨源访问CSS、DWS、HBase、OpenTSDB、RDS、
Redis、Mongo等样例代码和开发指导。
增强型跨源API
参考 提供增强型跨源相关API接口指导。
经典型跨源连
接API参考 提供经典型跨源相关API接口指导。
5 DLI 控制台总览
页面介绍
在数据湖探索产品页面,单击“进入控制台”进入“总览”页面。
按照从左到右,从上到下的顺序,说明如下。
表5-1 区域说明 序
号
区域 描述
1 导航栏 数据湖探索管理控制台的导航栏,包括总览、SQL编辑器、
作业管理、队列管理、数据管理、作业模板、跨源管理和全 局配置。
2 购买队列 单击“购买队列”可创建队列。
3 购买套餐包 单击“购买套餐包”可根据需要选择对应的套餐包。
4 SQL作业简介 单击本区域右上角“创建作业”,可进入“SQL编辑器”页 面。详细介绍请参考SQL编辑器。
5 Flink作业简
介 单击本区域右上角“创建作业”,可进入Flink作业“作业管 理”页面。详细介绍请参考Flink作业管理。
6 Spark作业简
介 单击本区域右上角“创建作业”,可进入Spark作业“作业编 辑”页面。详细介绍请参考创建Spark作业。
8 所有队列使用 时长
可查看所有队列最近一天或一周或一个月的使用情况。
9 单队列使用时 长
可查看对应单个队列最近一周或一个月的使用情况。
序 号
区域 描述
10 常用链接 包括:
● 用户指南
● 常见问题
● API参考
● SDK下载
● 使用视频 11 创建作业操作
步骤 1. 购买队列 2. 准备数据 3. 编辑并提交作业 4. 查看作业状态
在使用DLI的过程中,如果您有进一步的疑问和建议,欢迎您移步到官方论坛"数据湖 探索"进行交流反馈。
6 SQL 编辑器
SQL作业编辑器支持使用SQL语句执行数据查询操作。支持SQL2003,兼容 SparkSQL,详细语法描述请参见《数据湖探索SQL语法参考》。
在总览页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作 业”,可进入“SQL编辑器”页面。
进入SQL编辑器,页面会提示系统将创建DLI临时数据桶。该桶用于存储使用DLI服务 产生的临时数据,例如:作业日志、作业结果等。如果不创建该桶,将无法查看作业 日志。可以通过配置生命周期规则,实现定时删除OBS桶中的对象或者定时转换对象 的存储类别。桶名称为系统默认。
如果不需要创建DLI临时数据桶,并且希望不再收到该提示,可以勾选“下次不再提 示”并单击“取消”。
“SQL编辑器”页面中的区域和按键功能介绍如下:
导航栏
页面左侧的导航栏包括“数据库”列表和“队列”列表,说明如下。
图6-1 SQL 作业导航栏
表6-1 导航栏按键说明 序
号
页签/按 键
页签/按 键名称
描述
1 数据库 显示已有的数据库及其下所有的表。
● 单击数据库名,将显示该数据库中的表。
● 单击表名,将在表名下显示该表中的元数据,最多可 显示20个元数据。
● 双击表名,将在作业编辑窗口自动输入SQL查询语 句。
2 队列 显示已有的队列。
3 模板 自定义模板和内置的SQL样例模板(目前包含22条标准 的TPC-H查询语句)。
4 创建 包括创建队列、数据库和表。具体操作请分别参考创建 队列和创建数据库和表。
4 创建 包括创建队列、数据库和表。具体操作请分别参考创建 队列和创建数据库和表。