• 沒有找到結果。

在添加规则时,可以参考表2-17配置相应的指标。

2-17 弹性伸缩指标列表

集群类型 指标名称 数值类型 说明 流式集群 StormSlotAvailabl

e 整型 Storm组件的可用slot数。

取值范围为[0~2147483646]。

集群类型 指标名称 数值类型 说明 StormSlotAvailabl

ePercentage 百分比 Storm组件可用slot百分比。是可用 slot数与总slot数的比值。

取值范围为[0~100]。

StormSlotUsed 整型 Storm组件的已用slot数。

取值范围为[0~2147483646]。

StormSlotUsedPe

rcentage 百分比 Storm组件已用slot百分比。是已用 slot数与总slot数的比值。

取值范围为[0~100]。

StormSupervisor MemAverageUsa ge

整形 Storm组件Supervisor的内存平均使 用量。

取值范围为[0~2147483646]。

StormSupervisor MemAverageUsa gePercentage

百分比 Storm组件Supervisor进程使用的内 存占系统总内存的平均百分比。

取值范围[0 ~ 100]。

StormSupervisorC PUAverageUsage Percentage

百分比 Storm组件Supervisor进程使用的 CPU占系统总CPU的平均百分比。

取值范围[0 ~ 6000]。

分析集群 YARNAppPending 整型 YARN组件挂起的任务数。

取值范围为[0~2147483646]。

YARNAppPending

Ratio 比率 YARN组件挂起的任务数比例。是 YARN挂起的任务数与YARN运行中 的任务数比值。

取值范围为[0~2147483646]。

YARNAppRunning 整型 YARN组件运行中的任务数。

取值范围为[0~2147483646]。

YARNContainerAll

ocated 整型 YARN组件中已分配的container个 数。

取值范围为[0~2147483646]。

YARNContainerPe

nding 整型 YARN组件挂起的container个数。

取值范围为[0~2147483646]。

YARNContainerPe

ndingRatio 比率 YARN组件挂起的container比率。是 挂起的container数与运行中的

集群类型 指标名称 数值类型 说明 YARNCPUAvailabl

e 整型 YARN组件可用的虚拟CPU核心数。

取值范围为[0~2147483646]。

YARNCPUAvailabl

ePercentage 百分比 YARN组件可用虚拟CPU核心数百分 比。是可用虚拟CPU核心数与总虚 拟CPU核心数比值。

取值范围为[0~100]。

YARNCPUPending 整型 YARN组件挂起的虚拟CPU核心数。

取值范围为[0~2147483646]。

YARNMemoryAllo

cated 整型 YARN组件已分配内存大小。单位为 MB。

取值范围为[0~2147483646]。

YARNMemoryAva

ilable 整型 YARN组件可用内存大小。单位为 MB。

取值范围为[0~2147483646]。

YARNMemoryAva

ilablePercentage 百分比 YARN组件可用内存百分比。是 YARN组件可用内存大小与YARN组

说明

● 当启用资源计划时,弹性伸缩配置中的“默认节点数量范围”将在资源计划外的时间段内强 制生效。例如“默认节点数量范围”配置为1-2,配置资源计划:08:00-10:00之间节点数量 范围为4-5,则在一天中的非资源计划时间段(0:00-8:00以及10:00-23:59)内,Task节点会 被强制限制在1个到2个中间,若节点数量大于2则触发自动缩容,若节点数量小于1则触发自 动扩容。

● 当不启用资源计划时,节点数量范围的“默认范围”会在全部时间范围生效,如果节点数量 不在“节点数量范围”的默认范围,主动增减Task节点数量到默认范围内。

● 资源计划间时间段不可交叉,时间段交叉意为某个时间点存在两个生效的资源计划,例如配 置资源计划1在08:00-10:00生效,资源计划2在09:00-11:00生效,则两个资源计划存在时间 段交叉,交叉时间段09:00-10:00。

● 资源计划不能跨天配置,例如如果要配置23:00至次日01:00的资源计划,请配置时间段为 23:00-00:00和00:00-01:00的两个资源计划。

在添加自动化脚本时,可以参考表2-19配置相应参数。

2-19 自动化脚本配置说明

配置项 说明

名称 自动化脚本的名称。

只能由数字、英文字符、空格、中划线和下划线组成,且不能以 空格开头。

可输入的字符串长度为1~64个字符。

说明

同一集群内,不允许配置相同的名称。不同集群之间,可以配置相同的 名称。

脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路 径。

● OBS文件系统的路径,必须以s3a://开头,以.sh结尾。例如:

s3a://mrs-samples/xxx.sh

● 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以.sh 结尾。例如,安装Zepelin的示例脚本路径如下:/opt/

bootstrap/zepelin/zepelin_install.sh 执行节点类型 选择自动化脚本所执行的节点类型。

说明

● 如果选择Master节点,您可以通过开关选择是否只在Active Master 节点执行此脚本。

● 如果选择开启此功能,表示只在Active Master节点上执行。如果选择 关闭,表示在所有Master节点执行。默认关闭。

配置项 说明

参数 自动化脚本参数,支持通过传入以下预定义变量获得弹性伸缩相 关信息:

● ${mrs_scale_node_num} :弹性伸缩节点数量,总是正数

● ${mrs_scale_type} :弹性伸缩类型,扩容为“scale_out”,

缩容为“scale_in”

● ${mrs_scale_node_hostnames} :弹性伸缩节点的主机名,

多个主机名之间以“,”隔开

● ${mrs_scale_node_ips} :弹性伸缩节点的IP,多个IP之间以

“,”隔开

● ${mrs_scale_rule_name}:触发弹性伸缩的规则名,如果是 资源计划则为“resource_plan”

执行时机 选择自动化脚本执行的时间。支持“扩容前”、“扩容后”、

“缩容前”、“缩容后”四种类型。

说明假设执行节点类型中包含Task节点:

● 执行时机为扩容前的脚本不会在将要扩容出的Task节点上执行。

● 执行时机为扩容后的脚本会在扩容出的Task节点上执行。

● 执行时机为缩容前的脚本会在即将被删除的Task节点上执行。

● 执行时机为缩容后的脚本不会在已经被删除的Task节点上执行。

失败操作 该脚本执行失败后,是否继续执行后续脚本和扩缩容操作。

说明

● 建议您在调试阶段设置为“继续”,无论此脚本是否执行成功,则集 群都能继续扩缩容操作。

● 若脚本执行失败,请到集群虚拟机机的“/var/log/Bootstrap”路径 下查看失败日志。

● 由于缩容成功不可回滚,缩容后执行的脚本失败操作只能选择“继 续”。

说明

自动化脚本只在弹性伸缩时触发,手动调整集群节点时不会运行。

2.10 管理数据连接

2.10.1 配置数据连接

MRS的数据连接是用来管理集群中组件使用的外部源连接,如Hive的元数据使用外部 的关系型数据库,可以通过数据连接来关联Hive组件实现。

● 本地元数据:元数据存储于集群内的本地GaussDB中,当集群删除时元数据同时 被删除,如需保存元数据,需提前前往数据库手动保存元数据。

● 数据连接:可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的

PostgresDB或MySQL数据库,元数据将存储于关联的数据库中,不会随当前集群 的删除而删除,多个MRS集群可共享同一份元数据。

说明

不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同 步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切 换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。