在添加规则时,可以参考表2-17配置相应的指标。
表2-17 弹性伸缩指标列表
集群类型 指标名称 数值类型 说明 流式集群 StormSlotAvailabl
e 整型 Storm组件的可用slot数。
取值范围为[0~2147483646]。
集群类型 指标名称 数值类型 说明 StormSlotAvailabl
ePercentage 百分比 Storm组件可用slot百分比。是可用 slot数与总slot数的比值。
取值范围为[0~100]。
StormSlotUsed 整型 Storm组件的已用slot数。
取值范围为[0~2147483646]。
StormSlotUsedPe
rcentage 百分比 Storm组件已用slot百分比。是已用 slot数与总slot数的比值。
取值范围为[0~100]。
StormSupervisor MemAverageUsa ge
整形 Storm组件Supervisor的内存平均使 用量。
取值范围为[0~2147483646]。
StormSupervisor MemAverageUsa gePercentage
百分比 Storm组件Supervisor进程使用的内 存占系统总内存的平均百分比。
取值范围[0 ~ 100]。
StormSupervisorC PUAverageUsage Percentage
百分比 Storm组件Supervisor进程使用的 CPU占系统总CPU的平均百分比。
取值范围[0 ~ 6000]。
分析集群 YARNAppPending 整型 YARN组件挂起的任务数。
取值范围为[0~2147483646]。
YARNAppPending
Ratio 比率 YARN组件挂起的任务数比例。是 YARN挂起的任务数与YARN运行中 的任务数比值。
取值范围为[0~2147483646]。
YARNAppRunning 整型 YARN组件运行中的任务数。
取值范围为[0~2147483646]。
YARNContainerAll
ocated 整型 YARN组件中已分配的container个 数。
取值范围为[0~2147483646]。
YARNContainerPe
nding 整型 YARN组件挂起的container个数。
取值范围为[0~2147483646]。
YARNContainerPe
ndingRatio 比率 YARN组件挂起的container比率。是 挂起的container数与运行中的
集群类型 指标名称 数值类型 说明 YARNCPUAvailabl
e 整型 YARN组件可用的虚拟CPU核心数。
取值范围为[0~2147483646]。
YARNCPUAvailabl
ePercentage 百分比 YARN组件可用虚拟CPU核心数百分 比。是可用虚拟CPU核心数与总虚 拟CPU核心数比值。
取值范围为[0~100]。
YARNCPUPending 整型 YARN组件挂起的虚拟CPU核心数。
取值范围为[0~2147483646]。
YARNMemoryAllo
cated 整型 YARN组件已分配内存大小。单位为 MB。
取值范围为[0~2147483646]。
YARNMemoryAva
ilable 整型 YARN组件可用内存大小。单位为 MB。
取值范围为[0~2147483646]。
YARNMemoryAva
ilablePercentage 百分比 YARN组件可用内存百分比。是 YARN组件可用内存大小与YARN组
说明
● 当启用资源计划时,弹性伸缩配置中的“默认节点数量范围”将在资源计划外的时间段内强 制生效。例如“默认节点数量范围”配置为1-2,配置资源计划:08:00-10:00之间节点数量 范围为4-5,则在一天中的非资源计划时间段(0:00-8:00以及10:00-23:59)内,Task节点会 被强制限制在1个到2个中间,若节点数量大于2则触发自动缩容,若节点数量小于1则触发自 动扩容。
● 当不启用资源计划时,节点数量范围的“默认范围”会在全部时间范围生效,如果节点数量 不在“节点数量范围”的默认范围,主动增减Task节点数量到默认范围内。
● 资源计划间时间段不可交叉,时间段交叉意为某个时间点存在两个生效的资源计划,例如配 置资源计划1在08:00-10:00生效,资源计划2在09:00-11:00生效,则两个资源计划存在时间 段交叉,交叉时间段09:00-10:00。
● 资源计划不能跨天配置,例如如果要配置23:00至次日01:00的资源计划,请配置时间段为 23:00-00:00和00:00-01:00的两个资源计划。
在添加自动化脚本时,可以参考表2-19配置相应参数。
表2-19 自动化脚本配置说明
配置项 说明
名称 自动化脚本的名称。
只能由数字、英文字符、空格、中划线和下划线组成,且不能以 空格开头。
可输入的字符串长度为1~64个字符。
说明
同一集群内,不允许配置相同的名称。不同集群之间,可以配置相同的 名称。
脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路 径。
● OBS文件系统的路径,必须以s3a://开头,以.sh结尾。例如:
s3a://mrs-samples/xxx.sh
● 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以.sh 结尾。例如,安装Zepelin的示例脚本路径如下:/opt/
bootstrap/zepelin/zepelin_install.sh 执行节点类型 选择自动化脚本所执行的节点类型。
说明
● 如果选择Master节点,您可以通过开关选择是否只在Active Master 节点执行此脚本。
● 如果选择开启此功能,表示只在Active Master节点上执行。如果选择 关闭,表示在所有Master节点执行。默认关闭。
配置项 说明
参数 自动化脚本参数,支持通过传入以下预定义变量获得弹性伸缩相 关信息:
● ${mrs_scale_node_num} :弹性伸缩节点数量,总是正数
● ${mrs_scale_type} :弹性伸缩类型,扩容为“scale_out”,
缩容为“scale_in”
● ${mrs_scale_node_hostnames} :弹性伸缩节点的主机名,
多个主机名之间以“,”隔开
● ${mrs_scale_node_ips} :弹性伸缩节点的IP,多个IP之间以
“,”隔开
● ${mrs_scale_rule_name}:触发弹性伸缩的规则名,如果是 资源计划则为“resource_plan”
执行时机 选择自动化脚本执行的时间。支持“扩容前”、“扩容后”、
“缩容前”、“缩容后”四种类型。
说明假设执行节点类型中包含Task节点:
● 执行时机为扩容前的脚本不会在将要扩容出的Task节点上执行。
● 执行时机为扩容后的脚本会在扩容出的Task节点上执行。
● 执行时机为缩容前的脚本会在即将被删除的Task节点上执行。
● 执行时机为缩容后的脚本不会在已经被删除的Task节点上执行。
失败操作 该脚本执行失败后,是否继续执行后续脚本和扩缩容操作。
说明
● 建议您在调试阶段设置为“继续”,无论此脚本是否执行成功,则集 群都能继续扩缩容操作。
● 若脚本执行失败,请到集群虚拟机机的“/var/log/Bootstrap”路径 下查看失败日志。
● 由于缩容成功不可回滚,缩容后执行的脚本失败操作只能选择“继 续”。
说明
自动化脚本只在弹性伸缩时触发,手动调整集群节点时不会运行。
2.10 管理数据连接
2.10.1 配置数据连接
MRS的数据连接是用来管理集群中组件使用的外部源连接,如Hive的元数据使用外部 的关系型数据库,可以通过数据连接来关联Hive组件实现。
● 本地元数据:元数据存储于集群内的本地GaussDB中,当集群删除时元数据同时 被删除,如需保存元数据,需提前前往数据库手动保存元数据。
● 数据连接:可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的
PostgresDB或MySQL数据库,元数据将存储于关联的数据库中,不会随当前集群 的删除而删除,多个MRS集群可共享同一份元数据。
说明
不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同 步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切 换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。