不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同,请参见表1获取相 应Hadoop集群配置文件和Keytab文件。
表4-10 集群配置文件和 Keytab 文件获取方式 Hadoop类型
连接
集群配置文件获取方式 Keytab文件获取方式
MRS集群
● MRS HDFS
● MRS HBase
● MRS Hive
针对MRS 3.x版本集群:
1. 登录FusionInsight Manager。
2. 选择“集群 > > 待操作的集 FusionInsight集群配置文 件。
具体可参见MapReduce服务文 档。
针对MRS 3.x版本集群:
1. 登录FusionInsight Manager。
2. 通过“系统 > > 权限 > 用 户”,选择所需用户所在行,
点击“更多 > >下载认证凭 据”下载认证凭据文件。
3. 获取下载的tar包,此即为 FusionInsight集群Keytab文 件。
针对MRS 2.x及之前版本集群:
1. 登录MRS服务的Manager,单 击“系统设置”。在“权限配 置”区域,单击“用户管 理”。
2. 在需导出keytab文件用户所在 的行,选择“更多 > 下载认证 凭据”下载认证文件,待文件 自动生成后指定保存位置,并 妥善保管该文件。
具体可参见MapReduce服务文 档。
Hadoop类型 连接
集群配置文件获取方式 Keytab文件获取方式
FusionInsight 集群
● FusionInsi ght HDFS
● FusionInsi ght HBase
● FusionInsi ght Hive
1. 登录FusionInsight Manager。
2. 选择“集群 > > 待操作的集 群名称 > 概览 > > 更多 > >
下载客户端”,界面显示
“下载集群客户端”对话 框。
3. 对话框中选择“仅配置文 件”,平台类型和服务端保 持一致,单击确认后进行本 地下载。
4. 获取下载的tar包,此即为 FusionInsight集群配置文 件。
具体可参见FusionInsight文 档。
1. 登录FusionInsight Manager。
2. 通过“系统 > > 权限 > 用 户”,选择所需用户所在行,
点击“更多 > >下载认证凭 据”下载认证凭据文件。
3. 获取下载的tar包,此即为 FusionInsight集群Keytab文 件。
具体可参见FusionInsight文档。
Hadoop类型 连接
集群配置文件获取方式 Keytab文件获取方式
Apache集群
● Apache HDFS
● Apache HBase
● Apache Hive
Apache集群场景下,此处仅说 明需要哪些配置文件与打包原 则,各配置文件的具体获取方 式请参见对应版本说明文档。
● HDFS需要将以下文件压缩 为无目录格式的zip包:
– hosts
– core-site.xml – hdfs-site.xml – yarm-site.xml – mapred-site.xml – krb5.conf(可选,安全
模式集群使用)
● HBase需要将以下文件压缩 为无目录格式的zip包:
– hosts
– core-site.xml – hdfs-site.xml – yarm-site.xml – mapred-site.xml – hbase-site.xml
– krb5.conf(可选,安全 模式集群使用)
● Hive需要将以下文件压缩为 无目录格式的zip包:
– hosts
– core-site.xml – hdfs-site.xml – yarm-site.xml – mapred-site.xml – hive-site.xml
– hivemetastore-site.xml – krb5.conf(可选,安全
模式集群使用)
Apache集群场景下,此处仅说明 认证凭据文件打包原则,认证凭 据文件具体获取方式请参见对应 版本说明文档。
1. 将用户的认证凭据文件重命名 为user.keytab。
2. 将user.keytab文件压缩为无目 录格式的zip包:
user.keytab.zip。
Hadoop类型 连接
集群配置文件获取方式 Keytab文件获取方式
Hadoop发行
版 Hadoop发行版场景下,此处 仅说明需要哪些配置文件与打 包原则,各配置文件的具体获 取方式请参见对应版本说明文 档。
Hadoop发行版需要将以下文 件压缩为无目录格式的zip包:
● hosts
● core-site.xml
● hdfs-site.xml
● yarm-site.xml
● mapred-site.xml
● hbase-site.xml
● hive-site.xml
● hivemetastore-site.xml
● krb5.conf(可选,安全模 式集群使用)
Hadoop发行版场景下,此处仅说 明认证凭据文件打包原则,认证 凭据文件具体获取方式请参见对 应版本说明文档。
1. 将用户的认证凭据文件重命名 为user.keytab。
2. 将user.keytab文件压缩为无目 录格式的zip包:
user.keytab.zip。
说明
● 集群配置文件包含集群的配置参数。如果修改了集群的配置参数,需重新获取获取配置文 件。
● Keytab文件为认证凭据文件。获取Keytab文件前,需要在集群上至少修改过一次此用户的密 码,否则下载获取的keytab文件可能无法使用。另外,修改用户密码后,之前导出的keytab 将失效,需要重新导出。
● Keytab文件在仅安全模式集群下使用,普通模式集群下无需准备Keytab文件。
操作步骤
1. 进入CDM主界面,进入集群管理界面。选择CDM集群后的“作业管理 > 连接管理
> 集群配置管理”。
2. 在集群配置管理界面,选择“新建集群配置”,配置参数填写如下:
图4-28 新建集群配置
– 集群配置名:根据连接的数据源类型,用户可自定义便于记忆、区分的集群 配置名。
– 上传集群配置:单击操作框内的“...”以选择本地的集群配置文件,然后通过 操作框右侧的“上传文件”进行上传。
– Principal:仅安全模式集群需要填写该参数。Principal即Kerberos安全模式 下的用户名,需要与Keytab文件保持一致。
– 上传Keytab文件:仅安全模式集群需要上传该文件。单击操作框内的“...”
以选择本地的Keytab文件,然后通过操作框右侧的“上传文件”进行上传。
– 描述:用户可添加对此集群配置的描述,用于标识和区分该集群配置。
3. 确认后集群配置新建成功。后续在新建Hadoop类型连接时,认证模式根据实际情 况选择,将“是否使用集群配置”选择为“是”,然后选择对应的“集群配置 名”, 即可快速完成Hadoop类型连接创建。
图4-29 使用集群配置
4.5.5 配置关系数据库连接
CDM目前支持迁移以下关系型数据库:
● 数据仓库服务(DWS)
说明
DWS连接器不支持物理机纳管模式。
● FusionInsight LibrA
● 云数据库 MySQL
● 云数据库 PostgreSQL
● 云数据库 SQL Server
● MySQL
● PostgreSQL
● Microsoft SQL Server
● Oracle
● IBM Db2
● SAP HANA
● MYCAT
● 达梦数据库 DM
● 分库
本章节将关系型数据库根据连接参数的差异,分为以下几部分进行连接参数的描述:
● 常见关系数据库连接参数
常见关系数据库包括数据仓库服务(DWS)、云数据库 MySQL、云数据库 PostgreSQL、云数据库 SQLServer、MySQL、PostgreSQL、Microsoft SQL
● Oracle数据库连接参数
● MYCAT数据库连接参数
● 分库连接参数
前提条件
已参考管理驱动上传对应的驱动。