步骤1 登录MRS控制台。
步骤2 单击集群名称进入集群详情页面。
步骤3 单击“数据连接”右侧的“单击管理”,进入数据连接配置界面。
步骤4 单击“配置数据连接”,并配置相关参数。
● 组件名称:Ranger
● 模块类型:Ranger元数据
● 连接类型:RDS服务MySQL数据库
● 连接实例:请选择已创建的到RDS服务MySQL数据库的实例,如需创建新的数据 连接,请参考创建数据连接。
步骤5 勾选“我已经阅读上述信息,并了解具体影响。”并单击“测试”。
步骤6 测试成功后,单击“确定”完成数据连接配置。
步骤7 登录FusionInsight Manager页面。
步骤8 选择“集群 > 服务 > Ranger”,进入Ranger服务概览页面。
步骤9 单击“更多 > 重启服务”或“更多 > 滚动重启服务”。
重启服务会造成业务中断,滚动重启可以尽量减少或者不影响业务运行。
重启Ranger组件会影响所有受Ranger控制组件的权限,可能影响业务的正常运行,请 在集群空闲或业务量较少时时执行重启。重启Ranger组件前,Ranger中的策略依然生 效。
图2-40 重启服务
步骤10 启用需要鉴权的组件的Ranger鉴权。此处以Hive组件为例。
当前MRS 3.1.x集群支持Ranger鉴权的组件为: HDFS、HBase、Hive、Spark、
Impala、Storm、Kafka组件。
1. 登录FusionInsight Manager页面,选择“集群 > 服务 > 服务名称”。
2. 在服务“概览”页面右上角单击“更多 > 启用Ranger鉴权”。
图2-41 启用 Ranger 鉴权
步骤11 登录Ranger WebUI界面,单击Hive组件对应行的导入按钮 。
步骤12 配置导入参数。
● Select file:选择步骤3.6中下载的鉴权策略文件。
● Merge If Exist Policy:勾选。
图2-42 导入鉴权策略
步骤13 重启启用Ranger鉴权的组件。
1. 登录FusionInsight Manager页面。
2. 选择“集群 > 服务 > Hive”,进入Hive服务概览页面。
3. 单击“更多 > 重启服务”或“更多 > 滚动重启服务”。
图2-43 重启服务
重启服务会造成业务中断,滚动重启可以尽量减少或者不影响业务运行。
----结束
2.10.3 配置 Hive 数据连接
本章节指导用户在购买后,将现有集群的Hive元数据切换为本地数据库或者RDS数据 库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集 群的删除而删除。也能够避免集群迁移时Hive元数据的迁移。
说明
● 不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同 步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据 切换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。
● 对于MRS 3.x之前版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使 用的数据库用户为root用户。如果为非root用户,请参考数据连接前置操作新建用户并为该 用户进行赋权。
● 对于MRS 3.x及之后版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,数据库 用户不允许为root用户,请参考数据连接前置操作新建用户并为该用户进行赋权。
配置 Hive 数据连接
该功能在MRS 3.0.5版本暂不支持。
步骤1 登录MRS控制台,在导航栏选择“集群列表 > 现有集群”。
步骤2 单击集群名称,进入集群详情页面。
步骤3 在集群详情页的“概览”页签,单击“数据连接”右侧的“单击管理”。
步骤4 在“数据连接”页面显示集群已关联的数据连接,单击“编辑”或“删除”可对数据 连接进行编辑或删除。
步骤5 若“数据连接”页面没有关联连接,单击“配置数据连接”进行增加。
说明
一种模块类型只能配置一个数据连接,如在Hive元数据上配置了数据连接后,不能再配置其他 的数据连接。当没有可用的模块类型时,“配置数据连接”按钮不可用。
表2-22 配置 Hive 数据连接
参数 说明
组件名称 Hive
模块类型 Hive元数据
连接类型 ● RDS服务PostgreSQL数据库(1.9.x版本支持)
● RDS服务MySQL数据库
● 本地数据库
连接实例 当“连接类型”参数选择“RDS服务PostgreSQL数据库”
或“RDS服务MySQL数据库”时有效。选择MRS集群与 RDS服务数据库连接名称,该连接必须先创建才能在此处 引用。可单击“创建数据连接”进行创建,具体请参考创 建数据连接。
图2-44 配置数据连接
步骤6 单击“测试”,测试此数据连接和集群的连通性。
步骤7 连接成功后单击“确定” 完成配置数据连接。
说明
● 配置了Hive元数据后,请重启Hive服务,Hive会在指定的数据库下创建Hive必须的数据库表
(如表已经存在则不会创建)。
● 重启Hive服务前,请确保已安装对应驱动包到所有MetaStore实例所在节点中。
– Postgres:使用开源驱动包替换集群已有的驱动包。将postgres驱动包
postgresql-42.2.5.jar上传至所有MetaStore实例节点${BIGDATA_HOME}/third_lib/
Hive目录下(开源驱动包下载地址:https://repo1.maven.org/maven2/org/
postgresql/postgresql/42.2.5/)。
– MySQL:进入MySQL官网(https://www.mysql.com/),选择“Downloads >
Community > MySQL Connectors > Connector/J”下载对应版本的驱动包,将MySQL 对应版本的驱动包上传至所有Metastore实例节点“/opt/Bigdata/FusionInsight_HD_*/
MRS会使用root用户执行您指定的脚本,脚本内部您可以通过su - XXX命令切换用 户。
引导操作目前仅支持linux shell脚本,脚本文件需以.sh结尾。