Spark2x 多租户 - Spark2x HA 方案介绍 - 计费说明_MapReduce服务 MRS_产品介绍

5.26 Spark2x

5.26.2 Spark2x HA 方案介绍

5.26.2.2 Spark2x 多租户

JDBCServer多主实例方案中，JDBCServer实现使用YARN-Client模式，但YARN资源队列只有一个，为了解决这种资源局限的问题，引入了多租户模式。

多租户模式是将JDBCServer和租户绑定，每一个租户对应一个或多个JDBCServer，而一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的YARN队列，从而达到资源隔离，且JDBCServer根据需求动态启动，可避免浪费资源。

实现方案

多租户模式的HA方案原理如图5-114所示。

图5-114 Spark JDBCServer 多租户

1. ProxyServer在启动时，向ZooKeeper注册自身消息，在指定目录中写入节点信息，节点信息包含了该实例对应的IP，端口，版本号和序列号等信息（多节点信息之间以逗号隔开）。

说明

多租户模式下，MRS页面上的JDBCServer实例是指ProxyServer（JDBCServer代理）。

示例如下：

serverUri=192.168.169.84:22550

;version=8.1.0.1;sequence=0000001244,serverUri=192.168.195.232:22550

;version=8.1.0.1;sequence=0000001242,serverUri=192.168.81.37:22550

;version=8.1.0.1;sequence=0000001243,

2. 客户端连接ProxyServer时，需要指定Namespace，即访问ZooKeeper哪个目录下的ProxyServer实例。在连接的时候，会从Namespace下随机选择一个实例连接，

详细URL参见URL连接介绍。

3. 客户端成功连接ProxyServer服务，ProxyServer服务首先确认是否有该租户的 JDBCServer存在，如果有，直接将Beeline连上真正的JDBCServer；如果没有，则以YARN-Cluster模式启动一个新的JDBCServer。JDBCServer启动成功后，

ProxyServer会获取JDBCServer的地址，并将Beeline连上JDBCServer。

4. 客户端发送SQL语句给ProxyServer，ProxyServer将语句转交给真正连上的 JDBCServer处理。最后JDBCServer服务将结果返回给ProxyServer，ProxyServer 再将结果返回给客户端。

在HA方案中，每个ProxyServer服务（即实例）都是独立且等同的，当其中一个实例在升级或者业务中断时，其他的实例也能接受客户端的连接请求。

URL 连接介绍

多租户模式

多租户模式的客户端读取ZooKeeper节点中的内容，连接对应的ProxyServer服务。连接字符串为：

● 安全模式下：

– Kinit认证方式下的客户端URL如下所示：

jdbc:hive2://

<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;s erviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;

说明

● 其中“<zkNode_IP>:<zkNode_Port>”是ZooKeeper的URL，多个URL以逗号隔开。

例如：“192.168.81.37:2181,192.168.195.232:2181,192.168.169.84:2181”。

● 其中sparkthriftserver2x是ZooKeeper上的目录，表示客户端从该目录下随机选择 JDBCServer实例进行连接。

示例：安全模式下通过Beeline客户端连接时执行以下命令：

sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://

<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3 _IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNa

mespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域 名>;"

– Keytab认证方式下的URL如下所示：

jdbc:hive2://

>;user.principal=<principal_name>;user.keytab=<path_to_keytab>

其中<principal_name>表示用户使用的Kerberos用户的principal，如

“test@<系统域名>”。<path_to_keytab>表示<principal_name>对应的 keytab文件路径，如“/opt/auth/test/user.keytab”。

● 普通模式下：

jdbc:hive2://

<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;service DiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;

示例：普通模式下通过Beeline客户端连接时执行以下命令：

sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://

<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:

<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=

sparkthriftserver2x;"

非多租户模式

非多租户模式的客户端连接的是某个指定JDBCServer节点。该模式的连接字符串相比多主实例模式的去掉关于ZooKeeper的参数项“serviceDiscoveryMode”和

“zooKeeperNamespace”。

示例：安全模式下通过Beeline客户端连接非多租户模式时执行以下命令：

sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://

<server_IP>:<server_Port>/;user.principal=spark2x/hadoop.<系统域名>@<系统域 名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名

>@<系统域名>;"

说明

● 其中“<server_IP>:<server_Port>”是指定JDBCServer节点的URL。

● “CLIENT_HOME”是指客户端路径。

多租户模式与非多租户模式两种模式的JDBCServer接口相比，除连接方式不同外其他使用方法相同。由于Spark JDBCServer是Hive中的HiveServer2的另外一个实现，其使用方法，请参见Hive官网：https://cwiki.apache.org/confluence/display/Hive/

HiveServer2+Clients。

指定租户

一般情况下，某用户提交的客户端会连接到该用户默认所属租户的JDBCServer上，若需要连接客户端到指定租户的JDBCServer上，可以通过添加--hiveconf

mapreduce.job.queuename进行指定。

通过Beeline连接的命令示例如下（aaa为租户名称）：

beeline --hiveconf mapreduce.job.queuename=aaa -u

'jdbc:hive2://192.168.39.30:2181,192.168.40.210:2181,192.168.215.97:2181;servi ceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQ op=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域 名>;'

在文檔中计费说明_MapReduce服务 MRS_产品介绍_华为云 (頁 167-170)