-运行模式 “HIVE_3_X”版本支持该参数。支持以下模式:
● EMBEDDED:连接实例与CDM运行在一起,该 模式性能较好。
● STANDALONE:连接实例运行在独立进程。如 果CDM需要对接多个Hadoop数据源(MRS、
Hadoop或CloudTable),并且既有KERBEROS 认证模式又有SIMPLE认证模式,只能使用 STANDALONE模式或者配置不同的Agent。
说明:STANDALONE模式主要是用来解决版本 冲突问题的运行模式。当同一种数据连接的源端 或者目的端连接器的版本不一致时,存在jar包 冲突的情况,这时需要将源端或目的端放在 STANDALONE进程里,防止冲突导致迁移失 败。
EMBEDDED
是否使用集
群配置 您可以通过使用集群配置,简化Hadoop连接参数 配置。
否
集群配置名 仅当“是否使用集群配置”为“是”时,此参数有 效。此参数用于选择用户已经创建好的集群配置。
集群配置的创建方法请参见管理集群配置。
hive_01
单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加 的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按 钮进行删除。
4.9 配置 HBase 连接
目前CDM支持连接的HBase数据源有以下几种:
●
MRS HBase
●
FusionInsight HBase
●
Apache HBase
MRS HBase
连接MRS上的HBase数据源时,相关参数如表4-18所示。
说明
● 新建MRS连接前,需在MRS中添加一个kerberos认证用户并登录MRS管理页面更新其初始密 码,然后使用该新建用户创建MRS连接。
● 如需连接MRS 2.x版本的集群,请先创建2.x版本的CDM集群。CDM 1.8.x版本的集群无法连 接MRS 2.x版本的集群。
● 需确保MRS集群和DGC实例之间网络互通,网络互通需满足如下条件:
● DGC实例(指DGC实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过 公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以 访问公网且防火墙规则已开放连接端口。
● DGC实例(指DGC实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同 子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还 需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全 组规则请参见如何配置安全组规则章节。
● 此外,还需确保该MRS集群与DGC工作空间所属的企业项目相同,如果不同,您需要 修改工作空间的企业项目。
表4-18 MRS 上的 HBase 连接参数
参数名 说明 取值样例
名称 连接的名称,根据连接的数据源类型,用户可自 定义便于记忆、区分的连接名。
mrs_hbase_li nk
Manager IP MRS Manager的浮动IP地址,可以单击输入框后 的“选择”来选定已创建的MRS集群,CDM会自 动填充下面的鉴权参数。
127.0.0.1
用户名 选择KERBEROS鉴权时,需要配置MRS Manager 的用户名和密码。从HDFS导出目录时,如果需 要创建快照,这里配置的用户需要HDFS系统的 管理员权限。
如果要创建MRS安全集群的数据连接,不能使用 admin用户。因为admin用户是默认的管理页面 用户,这个用户无法作为安全集群的认证用户来 使用。您可以创建一个新的MRS用户,然后在创 建MRS数据连接时,“用户名”和“密码”填写 为新建的MRS用户及其密码。
说明
● 如果CDM集群为2.9.0版本及之后版本,且MRS集 群为3.1.0及之后版本,则所创建的用户至少需具备 Manager_viewer的角色权限才能在CDM创建连 接;如果需要对应组件的进行库、表、数据的操 作,还需要添加对应组件的用户组权限。
● 如果CDM集群为2.9.0之前的版本,或MRS集群为 3.1.0之前的版本,则所创建的用户需要具备 Manager_administrator或System_administrator 权限,才能在CDM创建连接。
● 仅具备Manager_tenant或Manager_auditor权 限,无法创建连接。
cdm
密码 访问MRS Manager的用户密码。
-参数名 说明 取值样例 认证类型 访问MRS的认证类型:
● SIMPLE:非安全模式选择Simple鉴权。
● KERBEROS:安全模式选择Kerberos鉴权。
SIMPLE
HBase版本 HBase版本。 HBASE_2_X
运行模式 “HBASE_2_X”版本支持该参数。选择HBase连 接的运行模式:
● EMBEDDED:连接实例与CDM运行在一起,
该模式性能较好。
● STANDALONE:连接实例运行在独立进程。
如果CDM需要对接多个Hadoop数据源
(MRS、Hadoop或CloudTable),并且既有 KERBEROS认证模式又有SIMPLE认证模式,
只能使用STANDALONE模式或者配置不同的 Agent。
说明:STANDALONE模式主要是用来解决版 本冲突问题的运行模式。当同一种数据连接的 源端或者目的端连接器的版本不一致时,存在 jar包冲突的情况,这时需要将源端或目的端 放在STANDALONE进程里,防止冲突导致迁 移失败。
STANDALON E
是否使用集群配
置 您可以通过使用集群配置,简化Hadoop连接参 数配置。
hbase_01
单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加 的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按 钮进行删除。
FusionInsight HBase
连接FusionInsight HD上的HBase数据源时,相关参数如表4-19所示。
表4-19 FusionInsight HBase 连接参数
参数名 说明 取值样例
名称 连接的名称,根据连接的数据源类型,用户可自
定义便于记忆、区分的连接名。 FI_hbase_lin k
Manager IP FusionInsight Manager平台的地址。 127.0.0.1
参数名 说明 取值样例 Manager端口 FusionInsight Manager平台的端口。 28443 CAS Server端口 与FusionInsight对接的CAS Server的端口。 20009 用户名 登录FusionInsight Manager平台的用户名。 cdm 密码 FusionInsight Manager平台的密码。 -认证类型 访问集群的认证类型:
● SIMPLE:非安全模式选择Simple鉴权。
● KERBEROS:安全模式选择Kerberos鉴权。
KERBEROS
HBase版本 HBase版本。 HBASE_2_X
运行模式 “HBASE_2_X”版本支持该参数。选择HBase连 接的运行模式:
● EMBEDDED:连接实例与CDM运行在一起,
该模式性能较好。
● STANDALONE:连接实例运行在独立进程。
如果CDM需要对接多个Hadoop数据源
(MRS、Hadoop或CloudTable),并且既有 KERBEROS认证模式又有SIMPLE认证模式,
只能使用STANDALONE模式或者配置不同的 Agent。
说明:STANDALONE模式主要是用来解决版 本冲突问题的运行模式。当同一种数据连接的 源端或者目的端连接器的版本不一致时,存在 jar包冲突的情况,这时需要将源端或目的端 放在STANDALONE进程里,防止冲突导致迁 移失败。
STANDALON E
是否使用集群配
置 您可以通过使用集群配置,简化Hadoop连接参
数配置。 否
集群配置名 仅当“是否使用集群配置”为“是”时,此参数 有效。此参数用于选择用户已经创建好的集群配 置。
集群配置的创建方法请参见管理集群配置。
hbase_01
单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加 的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按 钮进行删除。
Apache HBase
连接Apache Hadoop上的HBase数据源时,相关参数如表4-20所示。
表4-20 Apache HBase 连接参数
参数名 说明 取值样例
名称 连接的名称,根据连接的数据源类型,用户可
自定义便于记忆、区分的连接名。 hadoop_hbase_li nk
ZK链接地址 HBase的Zookeeper链接地址。
格式:<host1>:<port>,<host2>:<port>,<host3>:<por t>
zk1.example.co m:2181,zk2.examp le.com:
2181,zk3.examp le.com:2181 认证类型 访问集群的认证类型:
● SIMPLE:非安全模式选择Simple鉴权。
● KERBEROS:安全模式选择Kerberos鉴权。
KERBEROS
Principal 认证类型为“KERBEROS”时,需要填写 Principal。Principal即Kerberos安全模式下的 用户名,可以联系Hadoop管理员获取。此处 填写的Principal需要与Keytab文件保持一致。
-Keytab文件 认证类型为“KERBEROS”时,需要上传 Keytab文件。Keytab文件为认证凭据文件,可 以联系Hadoop管理员获取。获取Keytab文件 前,需要在集群上至少修改过一次此用户的密 码,否则下载获取的keytab文件可能无法使 用。另外,修改用户密码后,之前导出的 keytab将失效,需要重新导出。
-IP与主机名映
射 如果配置文件使用主机名,需要配置IP与主机 的映射。格式:IP与主机名之间使用空格分 隔,多对映射使用分号或回车换行分隔。
10.3.6.9 hostname01 10.4.7.9 hostname02
HBase版本 HBase版本。 HBASE_2_X
参数名 说明 取值样例 运行模式 “HBASE_2_X”版本支持该参数。选择HBase
连接的运行模式:
● EMBEDDED:连接实例与CDM运行在一 起,该模式性能较好。
● STANDALONE:连接实例运行在独立进 程。如果CDM需要对接多个Hadoop数据源
(MRS、Hadoop或CloudTable),并且既 有KERBEROS认证模式又有SIMPLE认证模 式,只能使用STANDALONE模式或者配置 不同的Agent。
说明:STANDALONE模式主要是用来解决 版本冲突问题的运行模式。当同一种数据连 接的源端或者目的端连接器的版本不一致 时,存在jar包冲突的情况,这时需要将源 端或目的端放在STANDALONE进程里,防 止冲突导致迁移失败。
STANDALONE
是否使用集群
配置 您可以通过使用集群配置,简化Hadoop连接 参数配置。
否
集群配置名 仅当“是否使用集群配置”为“是”时,此参 数有效。此参数用于选择用户已经创建好的集 群配置。
集群配置的创建方法请参见管理集群配置。
hbase_01
单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加 的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按 钮进行删除。