说明
升级过程中集群会自动关闭升级的虚拟机，升级完成后自动开启该虚拟机 。 ----结束
集群 Master 节点规格升级（分步升级）
Master节点规格升级前准备 步骤1 登录MRS管理控制台。
步骤2 选择 “集群列表 > 现有集群” ，选中需要升级Master节点规格的集群并单击集群 名，进入集群信息页面。
步骤3 查看集群状态，确保集群状态为“运行中”。
步骤4 在“节点管理”页签查看各节点状态，确保集群所有节点的状态为“运行中”。
步骤5 登录Manager，进入集群管理页面，具体请参见访问MRS Manager（MRS 2.x及之前 版本）。
步骤6 选择“集群 > 服务 > ZooKeeper > 概览”，确保ZooKeeper服务的“运行状态”为
“良好”。
图3-29 ZooKeeper 服务状态
步骤7 用户根据自己的需要更新服务参数配置，具体请参考配置服务参数。
说明
该步骤仅在升级备Master节点前操作一次即可。
步骤8 选择“集群 > 服务 > HDFS > 实例”。
步骤9 记录“NameNode(备)”的业务IP，当升级主Master节点规格时请记录
“NameNode(主)”的业务IP，如图3-30所示。
图3-30 NameNode 业务 IP
说明
仅当集群类型为分析集群时执行步骤8-步骤9分别记录主备节点的IP。
步骤10 在Manager页面右上方查看 图形的右侧数字，确保该数字显示为“0”表示集群 的运行任务数为0。
步骤11 单击“主机 ”，若集群类型为分析集群，则勾选步骤9记录的“NameNode”的业务 IP所对应的主机前的复选框。若集群类型为流式集群，则不区分主备节点，分别选择 主机升级即可。
步骤12 选择“更多> 停止所有实例”，并等待所有实例停止完成。
说明
● 当升级Manager所在的节点时，可能出现Manager无法登录问题，是Manager所在的节点在 进行主备倒换的正常现象，请稍后重新登录即可。若长时间无法登录，请联系运维人员处 理。
● 停止所有角色后，可能出现如下告警，Master节点规格升级完成并启动所有角色后，告警将 自动恢复。
– ALM-12006 节点故障
– ALM-12010 Manager主备节点间心跳中断 – ALM-12039 OMS数据库主备不同步 – ALM-14000 HDFS服务不可用 – ALM-14010 NameService服务异常 – ALM-14012 Journalnode数据不同步 – ALM-16004 Hive服务不可用
– ALM-18000 Yarn服务不可用 – ALM-19000 HBase服务不可用 – ALM-20002 Hue服务不可用 – ALM-27001 DBService服务不可用
– ALM-27003 DBService主备节点间心跳中断 – ALM-27004 DBService主备数据不同步 – ALM-43001 Spark2x服务不可用 ----结束
Master节点规格升级操作 步骤1 登录MRS管理控制台。
步骤2 选择 “集群列表 > 现有集群” ，选中需要升级Master节点规格的集群并单击集群 名，进入集群信息页面。
步骤3 在“节点管理”页签Master节点组的“操作”列选择“升级规格”。
步骤4 选择升级后的规格，单击“下一步”。
步骤5 在弹出的“确认”页面确认升级后的节点规格及费用，确认无误后单击“确认”。
步骤6 确保已停止备Master节点的所有服务（详细操作请参考Master节点规格升级前准备的 步骤1-步骤12），在“升级Master规格”页面勾选“我已确认关闭备master节点上的 所有服务”和“若升级前未成功停止所有服务，可能导致数据保存失败或损坏”两项 提示内容，并单击“提交订单”。
步骤7 在弹出的“警告”页面，再次确认已确认关闭备master节点上的所有服务，然后单击
“确定”开始升级备Master节点的规格。
节点规格升级需要时间，请耐心等待。升级成功后集群状态更新为“Master备节点升 级完成”，否则请联系运维人员处理。
步骤8 备Master节点升级成功后，参考Master节点规格升级后操作的步骤1-步骤11完成备 Master节点所有服务的启动及参数配置。
步骤9 备Master节点服务启动正常后，进行NameNode主备倒换。仅当集群类型为分析集群 时执行该步骤，流式集群跳过该步骤。
1. 分别访问主备节点的NameNode WebUI界面，NameNode WebUI访问方法请参 考步骤11。
2. 分别在NameNode WebUI页面的标题栏选择“Overview”，查看并记录主备节 点的Namenode ID。记录后不要关闭该页面。
图3-31 主节点的 Namenode ID
3. 任意登录一个Master节点的弹性云服务器，执行如下命令配置环境变量。
source /opt/Bigdata/client/bigdata_env
4. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群 未启用Kerberos认证，则无需执行此命令。
kinit MRS集群用户
例如, kinit admin.
5. 执行如下命令进行NameNode主备倒换。
hdfs haadmin -failover <主节点Namenode ID> <备节点Namenode ID>
6. 进入步骤9.2中未关闭的NameNode WebUI页面，然后刷新该页面，可以看到该 NameNode已经主备倒换完成。
图3-32 NameNode
步骤10 参考Master节点规格升级前准备的步骤1-步骤12，停止主Master节点的所有服务。
步骤11 在“升级Master规格”页面勾选“我已确认启动备master节点上的所有服务”和“我 已确认关闭主master节点的所有服务”，并单击“提交主节点升级订单”。
步骤12 在弹出的“确认”页面再次确认已停止主Master节点的所有服务，然后单击“确定”
开始升级主Master节点的规格。
节点规格升级过程需要时间，请您耐心等待。升级成功后集群状态更新为“Master升 级规格成功”，否则请联系运维人员处理。
步骤13 参考Master节点规格升级后操作的步骤1-步骤11完成主Master节点所有服务的启动及 参数配置。
步骤14 在“升级Master规格”页面勾选“我已确认启动主master节点上的所有服务”，并单 击“确定”完成Master规格升级。
----结束
Master节点规格升级后操作
步骤1 登录Manager，进入集群管理页面，具体请参见访问MRS Manager（MRS 2.x及之前 版本）。
步骤2 单击“主机 ”，查看Master节点规格升级前准备中步骤9记录的“NameNode”的业 务IP所对应的主机是否满足“运行状态”是为“良好”，“磁盘”、“内存”、“CPU 使用率”显示正常（有数值），若满足执行步骤9。若不满足执行下一步。
步骤3 远程登录备Master节点，详情请参见登录集群节点。
步骤4 执行以下命令切换为omm用户。
su - omm
步骤5 执行以下命令启动Agent。
sh /opt/Bigdata/nodeagent/bin/start-agent.sh 步骤6 执行以下命令确认Agent启动成功。
jps | grep NodeAgent
步骤7 登录Manager，进入集群管理页面，具体请参考访问MRS Manager（MRS 2.x及之前 版本）。
步骤8 单击“主机 ”，查看Master节点规格升级前准备中步骤9记录的“NameNode”的业 务IP所对应的主机，确保其“运行状态”是为“良好”，“磁盘”、“内存”、“CPU 使用率”显示正常（有数值）。
说明
Agent成功启动到主机状态显示正常，最长可能需要3分钟时间生效，请耐心等待。若长时间显 示异常，请联系运维人员处理。
步骤9 在Manager单击“主机 ”，勾选Master节点规格升级前准备中步骤9记录的
“NameNode”的业务IP所对应的主机前的复选框。
步骤10 选择“更多> 启动所有实例”，并等待所有实例启动完成。
步骤11 访问NameNode WebUI界面，查看NameNode启动状态。
1. 在Manager页面选择“集群 > 服务 > HDFS > 概览”。
2. 在“HDFS 概述”栏目，单击“NameNode WebUI”右侧升级完成的备节点或主 节点的“NameNode”。
3. 进入NameNode WebUI界面，在标题栏选择“Startup Progress”，确保Percent Complete显示100%后再执行下一步，如图3-33所示。
图3-33 NameNode 的启动状态
说明
仅当集群类型为分析集群时执行步骤11，流式集群跳过该步骤。
----结束
3.5 作业管理
3.5.1 MRS 作业简介
MRS作业是MRS为用户提供的程序执行平台，用于处理和分析用户数据。作业创建完 成后，所有的作业列表信息展示在“作业管理”页面中，您可以查看所有的作业列 表，也可以创建和管理作业。若集群详情页面不支持“作业管理”页签，请通过后台 方式提交作业。
MRS集群处理的数据源来源于OBS或HDFS，HDFS是Hadoop分布式文件系统
（Hadoop Distributed File System），OBS即对象存储服务，是一个基于对象的海量 存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接 处理OBS中的数据，客户可以基于管理控制台Web界面和OBS客户端对数据进行浏 览、管理和使用，同时可以通过REST API接口方式单独或集成到业务程序进行管理和 访问数据。
用户创建作业前需要将本地数据上传至OBS系统，MRS使用OBS中的数据进行计算分 析。当然MRS也支持将OBS中的数据导入至HDFS中，使用HDFS中的数据进行计算分 析。数据完成处理和分析后，您可以将数据存储在HDFS中，也可以将集群中的数据导 出至OBS系统。需要注意，HDFS和OBS也支持存储压缩格式的数据，目前支持存储 bz2、gz压缩格式的数据。