• 沒有找到結果。

-运行模式 “HIVE_3_X”版本支持该参数。支持以下模式:

● EMBEDDED:连接实例与CDM运行在一起,该 模式性能较好。

● STANDALONE:连接实例运行在独立进程。如 果CDM需要对接多个Hadoop数据源(MRS、

Hadoop或CloudTable),并且既有KERBEROS 认证模式又有SIMPLE认证模式,只能使用 STANDALONE模式或者配置不同的Agent。

说明:STANDALONE模式主要是用来解决版本 冲突问题的运行模式。当同一种数据连接的源端 或者目的端连接器的版本不一致时,存在jar包 冲突的情况,这时需要将源端或目的端放在 STANDALONE进程里,防止冲突导致迁移失 败。

EMBEDDED

是否使用集

群配置 您可以通过使用集群配置,简化Hadoop连接参数 配置。

集群配置名 仅当“是否使用集群配置”为“是”时,此参数有 效。此参数用于选择用户已经创建好的集群配置。

集群配置的创建方法请参见管理集群配置。

hive_01

单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加 的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按 钮进行删除。

4.9 配置 HBase 连接

目前CDM支持连接的HBase数据源有以下几种:

MRS HBase

FusionInsight HBase

Apache HBase

MRS HBase

连接MRS上的HBase数据源时,相关参数如表4-18所示。

说明

● 新建MRS连接前,需在MRS中添加一个kerberos认证用户并登录MRS管理页面更新其初始密 码,然后使用该新建用户创建MRS连接。

● 如需连接MRS 2.x版本的集群,请先创建2.x版本的CDM集群。CDM 1.8.x版本的集群无法连 接MRS 2.x版本的集群。

● 需确保MRS集群和DGC实例之间网络互通,网络互通需满足如下条件:

DGC实例(指DGC实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过 公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以 访问公网且防火墙规则已开放连接端口。

DGC实例(指DGC实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同 子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还 需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全 组规则请参见如何配置安全组规则章节。

此外,还需确保该MRS集群与DGC工作空间所属的企业项目相同,如果不同,您需要 修改工作空间的企业项目。

4-18 MRS 上的 HBase 连接参数

参数名 说明 取值样例

名称 连接的名称,根据连接的数据源类型,用户可自 定义便于记忆、区分的连接名。

mrs_hbase_li nk

Manager IP MRS Manager的浮动IP地址,可以单击输入框后 的“选择”来选定已创建的MRS集群,CDM会自 动填充下面的鉴权参数。

127.0.0.1

用户名 选择KERBEROS鉴权时,需要配置MRS Manager 的用户名和密码。从HDFS导出目录时,如果需 要创建快照,这里配置的用户需要HDFS系统的 管理员权限。

如果要创建MRS安全集群的数据连接,不能使用 admin用户。因为admin用户是默认的管理页面 用户,这个用户无法作为安全集群的认证用户来 使用。您可以创建一个新的MRS用户,然后在创 建MRS数据连接时,“用户名”和“密码”填写 为新建的MRS用户及其密码。

说明

● 如果CDM集群为2.9.0版本及之后版本,且MRS集 群为3.1.0及之后版本,则所创建的用户至少需具备 Manager_viewer的角色权限才能在CDM创建连 接;如果需要对应组件的进行库、表、数据的操 作,还需要添加对应组件的用户组权限。

● 如果CDM集群为2.9.0之前的版本,或MRS集群为 3.1.0之前的版本,则所创建的用户需要具备 Manager_administrator或System_administrator 权限,才能在CDM创建连接。

● 仅具备Manager_tenant或Manager_auditor权 限,无法创建连接。

cdm

密码 访问MRS Manager的用户密码。

-参数名 说明 取值样例 认证类型 访问MRS的认证类型:

● SIMPLE:非安全模式选择Simple鉴权。

● KERBEROS:安全模式选择Kerberos鉴权。

SIMPLE

HBase版本 HBase版本。 HBASE_2_X

运行模式 “HBASE_2_X”版本支持该参数。选择HBase连 接的运行模式:

● EMBEDDED:连接实例与CDM运行在一起,

该模式性能较好。

● STANDALONE:连接实例运行在独立进程。

如果CDM需要对接多个Hadoop数据源

(MRS、Hadoop或CloudTable),并且既有 KERBEROS认证模式又有SIMPLE认证模式,

只能使用STANDALONE模式或者配置不同的 Agent。

说明:STANDALONE模式主要是用来解决版 本冲突问题的运行模式。当同一种数据连接的 源端或者目的端连接器的版本不一致时,存在 jar包冲突的情况,这时需要将源端或目的端 放在STANDALONE进程里,防止冲突导致迁 移失败。

STANDALON E

是否使用集群配

置 您可以通过使用集群配置,简化Hadoop连接参 数配置。

hbase_01

单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加 的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按 钮进行删除。

FusionInsight HBase

连接FusionInsight HD上的HBase数据源时,相关参数如表4-19所示。

4-19 FusionInsight HBase 连接参数

参数名 说明 取值样例

名称 连接的名称,根据连接的数据源类型,用户可自

定义便于记忆、区分的连接名。 FI_hbase_lin k

Manager IP FusionInsight Manager平台的地址。 127.0.0.1

参数名 说明 取值样例 Manager端口 FusionInsight Manager平台的端口。 28443 CAS Server端口 与FusionInsight对接的CAS Server的端口。 20009 用户名 登录FusionInsight Manager平台的用户名。 cdm 密码 FusionInsight Manager平台的密码。 -认证类型 访问集群的认证类型:

● SIMPLE:非安全模式选择Simple鉴权。

● KERBEROS:安全模式选择Kerberos鉴权。

KERBEROS

HBase版本 HBase版本。 HBASE_2_X

运行模式 “HBASE_2_X”版本支持该参数。选择HBase连 接的运行模式:

● EMBEDDED:连接实例与CDM运行在一起,

该模式性能较好。

● STANDALONE:连接实例运行在独立进程。

如果CDM需要对接多个Hadoop数据源

(MRS、Hadoop或CloudTable),并且既有 KERBEROS认证模式又有SIMPLE认证模式,

只能使用STANDALONE模式或者配置不同的 Agent。

说明:STANDALONE模式主要是用来解决版 本冲突问题的运行模式。当同一种数据连接的 源端或者目的端连接器的版本不一致时,存在 jar包冲突的情况,这时需要将源端或目的端 放在STANDALONE进程里,防止冲突导致迁 移失败。

STANDALON E

是否使用集群配

置 您可以通过使用集群配置,简化Hadoop连接参

数配置。 否

集群配置名 仅当“是否使用集群配置”为“是”时,此参数 有效。此参数用于选择用户已经创建好的集群配 置。

集群配置的创建方法请参见管理集群配置。

hbase_01

单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加 的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按 钮进行删除。

Apache HBase

连接Apache Hadoop上的HBase数据源时,相关参数如表4-20所示。

4-20 Apache HBase 连接参数

参数名 说明 取值样例

名称 连接的名称,根据连接的数据源类型,用户可

自定义便于记忆、区分的连接名。 hadoop_hbase_li nk

ZK链接地址 HBase的Zookeeper链接地址。

格式:<host1>:<port>,<host2>:<port>,<host3>:<por t>

zk1.example.co m:2181,zk2.examp le.com:

2181,zk3.examp le.com:2181 认证类型 访问集群的认证类型:

● SIMPLE:非安全模式选择Simple鉴权。

● KERBEROS:安全模式选择Kerberos鉴权。

KERBEROS

Principal 认证类型为“KERBEROS”时,需要填写 Principal。Principal即Kerberos安全模式下的 用户名,可以联系Hadoop管理员获取。此处 填写的Principal需要与Keytab文件保持一致。

-Keytab文件 认证类型为“KERBEROS”时,需要上传 Keytab文件。Keytab文件为认证凭据文件,可 以联系Hadoop管理员获取。获取Keytab文件 前,需要在集群上至少修改过一次此用户的密 码,否则下载获取的keytab文件可能无法使 用。另外,修改用户密码后,之前导出的 keytab将失效,需要重新导出。

-IP与主机名映

射 如果配置文件使用主机名,需要配置IP与主机 的映射。格式:IP与主机名之间使用空格分 隔,多对映射使用分号或回车换行分隔。

10.3.6.9 hostname01 10.4.7.9 hostname02

HBase版本 HBase版本。 HBASE_2_X

参数名 说明 取值样例 运行模式 “HBASE_2_X”版本支持该参数。选择HBase

连接的运行模式:

● EMBEDDED:连接实例与CDM运行在一 起,该模式性能较好。

● STANDALONE:连接实例运行在独立进 程。如果CDM需要对接多个Hadoop数据源

(MRS、Hadoop或CloudTable),并且既 有KERBEROS认证模式又有SIMPLE认证模 式,只能使用STANDALONE模式或者配置 不同的Agent。

说明:STANDALONE模式主要是用来解决 版本冲突问题的运行模式。当同一种数据连 接的源端或者目的端连接器的版本不一致 时,存在jar包冲突的情况,这时需要将源 端或目的端放在STANDALONE进程里,防 止冲突导致迁移失败。

STANDALONE

是否使用集群

配置 您可以通过使用集群配置,简化Hadoop连接 参数配置。

集群配置名 仅当“是否使用集群配置”为“是”时,此参 数有效。此参数用于选择用户已经创建好的集 群配置。

集群配置的创建方法请参见管理集群配置。

hbase_01

单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加 的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按 钮进行删除。