• 沒有找到結果。

使用存算分离集群_MapReduce服务 MRS_用户指南_配置存算分离_华为云

N/A
N/A
Protected

Academic year: 2022

Share "使用存算分离集群_MapReduce服务 MRS_用户指南_配置存算分离_华为云"

Copied!
1737
0
0

加載中.... (立即查看全文)

全文

(1)

用户指南

文档版本 02

发布日期 2022-02-25

(2)

非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传 播。

商标声明

和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标,由各自的所有人拥有。

注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声 明或保证。

由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

(3)

目 录

1 准备用户...1

1.1 配置云服务授权...1

1.2 创建 MRS 操作用户... 2

1.3 创建 MRS 自定义策略... 6

1.4 IAM 用户同步 MRS 说明... 11

2 配置集群...16

2.1 购买方式简介...16

2.2 快速购买集群...17

2.2.1 快速购买 Hadoop 分析集群...17

2.2.2 快速购买 HBase 查询集群... 19

2.2.3 快速购买 Kafka 流式集群... 21

2.2.4 快速购买 ClickHouse 集群... 23

2.2.5 快速购买实时分析集群...25

2.3 购买自定义集群... 27

2.4 购买自定义拓扑集群... 43

2.5 购买最小规格集群... 51

2.6 创建专属云 MRS 集群... 52

2.7 添加集群标签...64

2.8 授权安全通信...66

2.9 配置弹性伸缩规则... 71

2.10 管理数据连接... 84

2.10.1 配置数据连接...84

2.10.2 配置 Ranger 数据连接... 90

2.10.3 配置 Hive 数据连接...96

2.11 通过引导操作安装第三方软件...98

2.11.1 引导操作简介...98

2.11.2 准备引导操作脚本... 98

2.11.3 查看执行记录...99

2.11.4 添加引导操作... 100

2.11.5 脚本样例... 103

2.12 查看失败的集群操作任务... 108

2.13 查看历史集群信息... 108

3 管理集群... 111

(4)

3.1 登录集群... 111

3.1.1 MRS 集群节点简介...111

3.1.2 登录集群节点...112

3.1.3 如何确认 Manager 的主备管理节点... 117

3.2 集群概览... 118

3.2.1 集群列表简介...118

3.2.2 查看集群状态...119

3.2.3 查看集群基本信息... 122

3.2.4 查看集群补丁信息... 126

3.2.5 查看和定制集群监控指标... 126

3.2.6 管理组件和主机监控...128

3.3 集群运维... 133

3.3.1 导入导出数据...133

3.3.2 切换集群子网...138

3.3.3 配置消息通知...141

3.3.4 健康检查... 144

3.3.4.1 使用前须知...144

3.3.4.2 执行健康检查... 144

3.3.4.3 查看并导出检查报告... 145

3.3.5 远程运维... 146

3.3.5.1 运维授权... 146

3.3.5.2 日志共享... 147

3.3.6 查看 MRS 服务操作日志... 147

3.3.7 按需集群转包周期集群... 149

3.3.8 退订集群... 149

3.3.9 退订包周期集群指定节点... 150

3.3.10 删除集群... 152

3.4 节点管理... 152

3.4.1 扩容集群... 152

3.4.2 缩容集群... 156

3.4.3 管理主机(节点)操作... 160

3.4.4 隔离主机... 161

3.4.5 取消隔离主机...162

3.4.6 升级 Master 节点规格...164

3.5 作业管理... 170

3.5.1 MRS 作业简介... 170

3.5.2 运行 MapReduce 作业... 175

3.5.3 运行 SparkSubmit 或 Spark 作业... 178

3.5.4 运行 HiveSql 作业... 181

3.5.5 运行 SparkSql 作业... 184

3.5.6 运行 Flink 作业...188

3.5.7 运行 Kafka 作业... 193

(5)

3.5.8 查看作业配置信息和日志... 195

3.5.9 停止作业... 195

3.5.10 删除作业... 196

3.5.11 使用 OBS 加密数据运行作业... 196

3.5.12 配置作业消息通知...203

3.6 组件管理... 203

3.6.1 对象管理简介...203

3.6.2 查看配置... 204

3.6.3 配置服务参数...206

3.6.4 配置服务自定义参数...208

3.6.5 同步服务配置...211

3.6.6 管理角色实例操作... 213

3.6.7 配置角色实例参数... 214

3.6.8 同步角色实例配置... 216

3.6.9 退服和入服角色实例...217

3.6.10 启动及停止集群... 219

3.6.11 同步集群配置... 220

3.6.12 导出集群的配置数据... 221

3.6.13 支持滚动重启... 222

3.7 告警管理... 230

3.7.1 查看告警列表...230

3.7.2 查看事件列表...232

3.7.3 查看与手动清除告警...235

3.8 补丁管理... 236

3.8.1 MRS 1.9.2 补丁操作指导... 236

3.8.2 滚动补丁... 237

3.8.3 修复隔离主机补丁... 240

3.8.4 MRS 补丁说明... 241

3.8.4.1 omm 用户提权漏洞修复... 241

3.8.4.2 MRS 1.5.1.4 补丁说明...242

3.8.4.3 MRS 1.7.1.3 补丁说明...244

3.8.4.4 MRS 1.7.1.5 补丁说明...246

3.8.4.5 MRS 1.7.1.6 补丁说明...247

3.8.4.6 MRS 1.8.7.1 补丁说明...250

3.8.4.7 MRS 1.8.10.1 补丁说明... 250

3.8.4.8 MRS 1.8.10.6 补丁说明... 251

3.8.4.9 MRS 1.9.0.5 补丁说明...252

3.8.4.10 MRS 1.9.0.6 补丁说明... 254

3.8.4.11 MRS 1.9.0.7 补丁说明... 257

3.8.4.12 MRS 1.9.0.8 补丁说明... 259

3.8.4.13 MRS 1.9.2.2 补丁说明... 263

3.8.4.14 MRS 1.9.3.1 补丁说明... 264

(6)

3.8.4.15 MRS 1.9.3.3 补丁说明... 265

3.8.4.16 MRS 2.0.1.1 补丁说明... 266

3.8.4.17 MRS 2.0.1.2 补丁说明... 266

3.8.4.18 MRS 2.0.1.3 补丁说明... 267

3.8.4.19 MRS 2.0.6.1 补丁说明... 268

3.8.4.20 MRS 2.1.0.1 补丁说明... 268

3.8.4.21 MRS 2.1.0.2 补丁说明... 269

3.8.4.22 MRS 2.1.0.3 补丁说明... 271

3.8.4.23 MRS 2.1.0.5 补丁说明... 272

3.8.4.24 MRS 2.1.0.6 补丁说明... 274

3.8.4.25 MRS 2.1.0.7 补丁说明... 276

3.8.4.26 MRS 2.1.0.8 补丁说明... 279

3.8.4.27 MRS 2.1.0.9 补丁说明... 282

3.8.4.28 MRS 2.1.0.10 补丁说明... 285

3.8.4.29 MRS 2.1.0.11 补丁说明... 288

3.8.4.30 MRS 3.0.5.1 补丁说明... 292

3.9 租户管理... 294

3.9.1 使用前须知... 294

3.9.2 租户简介... 294

3.9.3 添加租户... 295

3.9.4 添加子租户... 298

3.9.5 删除租户... 300

3.9.6 管理租户目录...302

3.9.7 恢复租户数据...305

3.9.8 添加资源池... 306

3.9.9 修改资源池... 307

3.9.10 删除资源池...308

3.9.11 配置队列... 310

3.9.12 配置资源池的队列容量策略... 312

3.9.13 清除队列配置... 314

4 使用 MRS 客户端... 316

4.1 安装客户端... 316

4.1.1 安装客户端(3.x 及之后版本)... 316

4.1.2 安装客户端(3.x 之前版本)... 320

4.2 更新客户端... 325

4.2.1 更新客户端(3.x 及之后版本)... 325

4.2.2 更新客户端(3.x 之前版本)... 327

4.3 各组件客户端使用实践...331

4.3.1 使用 ClickHouse 客户端... 331

4.3.2 使用 Flink 客户端... 333

4.3.3 使用 Flume 客户端...341

4.3.4 使用 HBase 客户端... 347

(7)

4.3.5 使用 HDFS 客户端... 349

4.3.6 使用 Hive 客户端... 351

4.3.7 使用 Impala 客户端... 354

4.3.8 使用 Kafka 客户端...357

4.3.9 使用 Kudu 客户端...359

4.3.10 使用 Oozie 客户端... 360

4.3.11 使用 Storm 客户端... 361

4.3.12 使用 Yarn 客户端...362

5 配置存算分离...364

5.1 存算分离简介... 364

5.2 配置存算分离集群(委托方式)... 364

5.3 配置存算分离集群(AKSK 方式)... 373

5.4 使用存算分离集群... 377

5.4.1 Flink 对接 OBS 文件系统...377

5.4.2 Flume 对接 OBS 文件系统... 377

5.4.3 HDFS 客户端对接 OBS 文件系统... 379

5.4.4 Hive 对接 OBS 文件系统... 379

5.4.5 MapReduce 对接 OBS 文件系统... 382

5.4.6 Spark2x 对接 OBS 文件系统... 383

5.4.7 Sqoop 对接外部存储系统...385

5.5 配置 HDFS 映射方式对接 OBS 文件系统... 388

6 访问 MRS 集群上托管的开源组件 Web 页面...397

6.1 开源组件 Web 站点... 397

6.2 开源组件端口列表... 400

6.3 通过专线访问... 411

6.4 通过弹性公网 IP 访问...413

6.5 通过 Windows 弹性云服务器访问... 416

6.6 创建连接 MRS 集群的 SSH 隧道并配置浏览器...418

7 访问集群 Manager...421

7.1 访问 FusionInsight Manager(MRS 3.x 及之后版本)...421

7.2 访问 MRS Manager(MRS 2.x 及之前版本)... 425

8 FusionInsight Manager 操作指导(适用于 3.x)... 433

8.1 从这里开始... 433

8.1.1 FusionInsight Manager 入门指导... 433

8.1.2 查询 FusionInsight Manager 版本号...434

8.1.3 登录管理系统...435

8.1.4 登录管理节点...436

8.2 主页... 438

8.2.1 主页概述... 438

8.2.2 管理监控指标数据报表... 440

8.3 集群... 442

(8)

8.3.1 管理集群... 442

8.3.1.1 集群管理概述... 442

8.3.1.2 滚动重启集群... 444

8.3.1.3 管理配置过期... 446

8.3.1.4 下载客户端...447

8.3.1.5 修改集群属性... 448

8.3.1.6 管理集群配置... 449

8.3.1.7 静态服务池...450

8.3.1.7.1 静态服务资源... 450

8.3.1.7.2 配置集群静态资源... 451

8.3.1.7.3 查看集群静态资源... 454

8.3.1.8 客户端管理...454

8.3.1.8.1 管理客户端... 455

8.3.1.8.2 批量升级客户端... 456

8.3.1.8.3 批量刷新 hosts 文件... 457

8.3.2 管理服务... 458

8.3.2.1 服务管理概述... 458

8.3.2.2 其他服务管理操作...462

8.3.2.2.1 服务详情概述... 462

8.3.2.2.2 执行角色实例主备倒换... 463

8.3.2.2.3 资源监控... 464

8.3.2.2.4 采集堆栈信息... 467

8.3.2.2.5 切换 Ranger 鉴权... 470

8.3.2.3 服务配置... 470

8.3.2.3.1 修改服务配置参数... 471

8.3.2.3.2 修改服务自定义配置参数... 472

8.3.3 管理实例... 473

8.3.3.1 实例管理概述... 473

8.3.3.2 入服与退服实例... 475

8.3.3.3 管理实例配置... 476

8.3.3.4 查看实例配置文件...478

8.3.3.5 实例组... 478

8.3.3.5.1 管理实例组... 479

8.3.3.5.2 查看实例组信息... 480

8.3.3.5.3 配置实例组参数... 481

8.4 主机... 481

8.4.1 主机管理页面...481

8.4.1.1 查看主机列表... 481

8.4.1.2 查看主机概览... 482

8.4.1.3 查看主机进程及资源... 483

8.4.2 主机维护操作...483

8.4.2.1 启动、停止主机上的所有实例... 483

(9)

8.4.2.2 执行主机健康检查...484

8.4.2.3 分配机架... 484

8.4.2.4 隔离主机... 487

8.4.2.5 导出主机信息... 488

8.4.3 资源概况... 488

8.4.3.1 分布...488

8.4.3.2 趋势...490

8.4.3.3 集群...491

8.4.3.4 主机...492

8.5 运维... 492

8.5.1 告警... 492

8.5.1.1 告警与事件概述... 492

8.5.1.2 配置阈值... 495

8.5.1.3 配置告警屏蔽状态...506

8.5.2 日志... 507

8.5.2.1 在线检索日志... 508

8.5.2.2 下载日志... 510

8.5.3 健康检查... 510

8.5.3.1 查看健康检查任务...511

8.5.3.2 管理健康检查报告...512

8.5.3.3 修改健康检查配置...512

8.5.4 备份恢复设置...512

8.5.4.1 创建备份任务... 512

8.5.4.2 创建恢复任务... 514

8.5.4.3 其他任务管理说明...514

8.6 审计... 515

8.6.1 审计管理页面概述... 515

8.6.2 配置审计日志转储... 516

8.7 租户资源... 518

8.7.1 多租户介绍... 518

8.7.1.1 简介...518

8.7.1.2 技术原理... 519

8.7.1.2.1 多租户管理页面概述... 519

8.7.1.2.2 相关模型... 522

8.7.1.2.3 资源概述... 524

8.7.1.2.4 动态资源... 525

8.7.1.2.5 存储资源... 527

8.7.1.3 多租户使用...527

8.7.1.3.1 使用说明... 527

8.7.1.3.2 流程概述... 528

8.7.2 使用 Superior 调度器的租户业务...529

8.7.2.1 创建租户... 530

(10)

8.7.2.1.1 添加租户... 530

8.7.2.1.2 添加子租户... 532

8.7.2.1.3 添加用户并绑定租户的角色...535

8.7.2.2 管理租户... 537

8.7.2.2.1 管理租户目录... 538

8.7.2.2.2 恢复租户数据... 539

8.7.2.2.3 删除租户... 540

8.7.2.3 管理资源... 541

8.7.2.3.1 添加资源池... 541

8.7.2.3.2 修改资源池... 542

8.7.2.3.3 删除资源池... 542

8.7.2.3.4 配置队列... 543

8.7.2.3.5 配置资源池的队列容量策略...544

8.7.2.3.6 清除队列容量配置... 547

8.7.2.4 管理全局用户策略...547

8.7.3 使用 Capacity 调度器的租户业务... 548

8.7.3.1 创建租户... 548

8.7.3.1.1 添加租户... 549

8.7.3.1.2 添加子租户... 551

8.7.3.1.3 添加用户并绑定租户的角色...554

8.7.3.2 管理租户... 555

8.7.3.2.1 管理租户目录... 555

8.7.3.2.2 恢复租户数据... 557

8.7.3.2.3 删除租户... 558

8.7.3.2.4 Capacity Scheduler 模式下清除租户非关联队列... 559

8.7.3.3 管理资源... 560

8.7.3.3.1 添加资源池... 560

8.7.3.3.2 修改资源池... 561

8.7.3.3.3 删除资源池... 561

8.7.3.3.4 配置队列... 562

8.7.3.3.5 配置资源池的队列容量策略...563

8.7.3.3.6 清除队列容量配置... 564

8.7.4 切换调度器... 564

8.8 系统设置... 567

8.8.1 权限设置... 567

8.8.1.1 用户管理... 567

8.8.1.1.1 创建用户... 567

8.8.1.1.2 修改用户信息... 569

8.8.1.1.3 导出用户信息... 569

8.8.1.1.4 锁定用户... 569

8.8.1.1.5 解锁用户... 570

8.8.1.1.6 删除用户... 570

(11)

8.8.1.1.7 修改用户密码... 571

8.8.1.1.8 初始化用户密码... 572

8.8.1.1.9 导出认证凭据文件... 573

8.8.1.2 用户组管理...574

8.8.1.3 角色管理... 575

8.8.1.4 安全策略... 578

8.8.1.4.1 配置密码策略... 578

8.8.1.4.2 配置私有属性... 580

8.8.2 对接设置... 581

8.8.2.1 配置 SNMP 北向参数... 581

8.8.2.2 配置 Syslog 北向参数...583

8.8.2.3 配置监控指标数据转储... 587

8.8.3 导入证书... 589

8.8.4 OMS 管理... 590

8.8.4.1 OMS 维护页面概述... 590

8.8.4.2 修改 OMS 服务配置参数...591

8.8.5 部件管理... 593

8.8.5.1 查看部件包...593

8.9 集群管理... 593

8.9.1 配置客户端... 594

8.9.1.1 安装客户端...594

8.9.1.2 使用客户端...598

8.9.1.3 更新已安装客户端的配置...599

8.9.2 集群互信管理...601

8.9.2.1 集群互信概述... 601

8.9.2.2 修改 Manager 系统域名... 601

8.9.2.3 配置跨 Manager 集群互信... 604

8.9.2.4 配置跨集群互信后的用户权限... 607

8.9.3 配置定时备份告警与审计信息... 607

8.9.4 修改 FusionInsight Manager 添加的路由表...608

8.9.5 切换维护模式...610

8.9.6 例行维护... 613

8.10 日志管理... 614

8.10.1 关于日志... 614

8.10.2 Manager 日志清单... 629

8.10.3 配置日志级别与文件大小...637

8.10.4 配置审计日志本地备份数...639

8.10.5 查看角色实例日志...640

8.11 备份恢复管理...641

8.11.1 备份恢复简介... 641

8.11.2 备份数据... 645

8.11.2.1 备份 OMS 数据...646

(12)

8.11.2.2 备份 DBService 数据... 649

8.11.2.3 备份 HBase 元数据...652

8.11.2.4 备份 HBase 业务数据... 656

8.11.2.5 备份 NameNode 数据... 660

8.11.2.6 备份 HDFS 业务数据...663

8.11.2.7 备份 Hive 业务数据... 667

8.11.2.8 备份 Kafka 元数据...671

8.11.3 恢复数据... 673

8.11.3.1 恢复 OMS 数据...674

8.11.3.2 恢复 DBService 数据... 678

8.11.3.3 恢复 HBase 元数据...680

8.11.3.4 恢复 HBase 业务数据... 683

8.11.3.5 恢复 NameNode 数据... 687

8.11.3.6 恢复 HDFS 业务数据...690

8.11.3.7 恢复 Hive 业务数据... 694

8.11.3.8 恢复 Kafka 元数据...697

8.11.4 启用集群间拷贝功能... 700

8.11.5 管理本地快速恢复任务... 701

8.11.6 修改备份任务... 702

8.11.7 查看备份恢复任务...702

8.12 安全管理... 703

8.12.1 安全概述... 703

8.12.1.1 权限模型... 703

8.12.1.2 权限机制... 705

8.12.1.3 认证策略... 706

8.12.1.4 鉴权策略... 707

8.12.1.5 用户帐号一览表... 709

8.12.1.6 默认权限信息一览... 732

8.12.1.7 FusionInsight Manager 安全功能... 735

8.12.2 帐户管理... 735

8.12.2.1 帐户安全设置... 735

8.12.2.1.1 解锁 LDAP 用户和管理帐户...735

8.12.2.1.2 解锁系统内部用户...736

8.12.2.1.3 修改集群组件鉴权配置开关... 737

8.12.2.1.4 使用普通模式集群用户在非集群节点登录... 740

8.12.2.2 修改系统用户密码... 741

8.12.2.2.1 修改 admin 密码... 741

8.12.2.2.2 修改操作系统用户密码... 742

8.12.2.3 修改系统内部用户密码... 742

8.12.2.3.1 修改 Kerberos 管理员密码...742

8.12.2.3.2 修改 OMS Kerberos 管理员密码...743

8.12.2.3.3 修改 LDAP 管理员和 LDAP 用户密码(含 OMS LDAP)...744

(13)

8.12.2.3.4 修改 LDAP 管理帐户密码... 745

8.12.2.3.5 修改组件运行用户密码... 746

8.12.2.4 修改默认数据库用户密码... 747

8.12.2.4.1 修改 OMS 数据库管理员密码... 748

8.12.2.4.2 修改 OMS 数据库访问用户密码...748

8.12.2.4.3 修改组件数据库用户密码...749

8.12.2.4.4 修改 DBService 数据库 omm 用户密码... 750

8.12.2.5 修改或重置 Manager 的 admin 用户密码... 750

8.12.3 证书管理... 751

8.12.3.1 更换 CA 证书... 751

8.12.3.2 更换 HA 证书... 754

8.12.4 安全加固... 756

8.12.4.1 加固策略... 756

8.12.4.2 配置受信任 IP 访问 LDAP... 757

8.12.4.3 加密 HFile 和 WAL 内容... 760

8.12.4.4 安全配置... 764

8.12.4.5 配置 HBase 允许修改操作的 IP 地址白名单...766

8.12.4.6 更新集群密钥... 767

8.12.4.7 加固 LDAP... 768

8.12.4.8 配置 Kafka 数据传输加密...769

8.12.4.9 配置 HDFS 数据传输加密... 770

8.12.4.10 配置 Controller 与 Agent 间通信加密... 771

8.12.4.11 更新 omm 用户 ssh 密钥... 772

8.12.5 安全维护... 773

8.12.5.1 帐户维护建议... 774

8.12.5.2 密码维护建议... 774

8.12.5.3 日志维护建议... 774

8.12.6 安全声明... 774

8.13 告警参考(适用于 MRS 3.x 版本)... 775

8.13.1 ALM-12001 审计日志转储失败... 775

8.13.2 ALM-12004 OLdap 资源异常...777

8.13.3 ALM-12005 OKerberos 资源异常... 779

8.13.4 ALM-12006 节点故障...780

8.13.5 ALM-12007 进程故障...783

8.13.6 ALM-12010 Manager 主备节点间心跳中断... 785

8.13.7 ALM-12011 Manager 主备节点同步数据异常...787

8.13.8 ALM-12014 设备分区丢失... 789

8.13.9 ALM-12015 设备分区文件系统只读...791

8.13.10 ALM-12016 CPU 使用率超过阈值... 792

8.13.11 ALM-12017 磁盘容量不足...795

8.13.12 ALM-12018 内存使用率超过阈值...798

8.13.13 ALM-12027 主机 PID 使用率超过阈值... 800

(14)

8.13.14 ALM-12028 主机 D 状态进程数超过阈值...801

8.13.15 ALM-12033 慢盘故障... 803

8.13.16 ALM-12034 周期备份任务失败... 808

8.13.17 ALM-12035 恢复任务失败后数据状态未知... 810

8.13.18 ALM-12038 监控指标转储失败... 812

8.13.19 ALM-12039 OMS 数据库主备不同步... 814

8.13.20 ALM-12040 系统熵值不足...816

8.13.21 ALM-12041 关键文件权限异常... 818

8.13.22 ALM-12042 关键文件配置异常... 820

8.13.23 ALM-12045 网络读包丢包率超过阈值...822

8.13.24 ALM-12046 网络写包丢包率超过阈值...827

8.13.25 ALM-12047 网络读包错误率超过阈值...829

8.13.26 ALM-12048 网络写包错误率超过阈值...832

8.13.27 ALM-12049 网络读吞吐率超过阈值... 834

8.13.28 ALM-12050 网络写吞吐率超过阈值... 837

8.13.29 ALM-12051 磁盘 Inode 使用率超过阈值... 839

8.13.30 ALM-12052 TCP 临时端口使用率超过阈值... 841

8.13.31 ALM-12053 主机文件句柄使用率超过阈值... 844

8.13.32 ALM-12054 证书文件失效...846

8.13.33 ALM-12055 证书文件即将过期... 848

8.13.34 ALM-12057 元数据未配置周期备份到第三方服务器的任务...851

8.13.35 ALM-12061 进程使用率超过阈值...852

8.13.36 ALM-12062 OMS 参数配置同集群规模不匹配...856

8.13.37 ALM-12063 磁盘不可用... 858

8.13.38 ALM-12064 主机随机端口范围配置与集群使用端口冲突... 859

8.13.39 ALM-12066 节点间互信失效... 861

8.13.40 ALM-12067 tomcat 资源异常... 863

8.13.41 ALM-12068 acs 资源异常... 864

8.13.42 ALM-12069 aos 资源异常... 866

8.13.43 ALM-12070 controller 资源异常... 868

8.13.44 ALM-12071 httpd 资源异常... 869

8.13.45 ALM-12072 floatip 资源异常... 871

8.13.46 ALM-12073 cep 资源异常... 873

8.13.47 ALM-12074 fms 资源异常... 874

8.13.48 ALM-12075 pms 资源异常... 876

8.13.49 ALM-12076 gaussDB 资源异常... 878

8.13.50 ALM-12077 omm 用户过期...880

8.13.51 ALM-12078 omm 密码过期...881

8.13.52 ALM-12079 omm 用户即将过期... 883

8.13.53 ALM-12080 omm 密码即将过期... 884

8.13.54 ALM-12081 ommdba 用户过期... 886

8.13.55 ALM-12082 ommdba 用户即将过期...887

(15)

8.13.56 ALM-12083 ommdba 密码即将过期...889

8.13.57 ALM-12084 ommdba 密码过期... 890

8.13.58 ALM-12085 服务审计日志转储失败... 892

8.13.59 ALM-12087 系统处于升级观察期...894

8.13.60 ALM-12089 节点间网络互通异常...896

8.13.61 ALM-12101 AZ 不健康... 897

8.13.62 ALM-12102 AZ 高可用组件未按容灾需求部署...899

8.13.63 ALM-13000 ZooKeeper 服务不可用...900

8.13.64 ALM-13001 ZooKeeper 可用连接数不足... 903

8.13.65 ALM-13002 ZooKeeper 直接内存使用率超过阈值...906

8.13.66 ALM-13003 ZooKeeper 进程垃圾回收(GC)时间超过阈值...908

8.13.67 ALM-13004 ZooKeeper 堆内存使用率超过阈值... 910

8.13.68 ALM-13005 ZooKeeper 中组件顶层目录的配额设置失败...912

8.13.69 ALM-13006 Znode 数量或容量超过阈值... 914

8.13.70 ALM-13007 ZooKeeper 客户端可用连接数不足... 917

8.13.71 ALM-13008 ZooKeeper Znode 数量使用率超出阈值...918

8.13.72 ALM-13009 ZooKeeper Znode 容量使用率超出阈值...920

8.13.73 ALM-13010 配置 quota 的目录 Znode 使用率超出阈值... 922

8.13.74 ALM-14000 HDFS 服务不可用...923

8.13.75 ALM-14001 HDFS 磁盘空间使用率超过阈值...925

8.13.76 ALM-14002 DataNode 磁盘空间使用率超过阈值...928

8.13.77 ALM-14003 丢失的 HDFS 块数量超过阈值... 930

8.13.78 ALM-14006 HDFS 文件数超过阈值... 933

8.13.79 ALM-14007 NameNode 堆内存使用率超过阈值...935

8.13.80 ALM-14008 DataNode 堆内存使用率超过阈值... 938

8.13.81 ALM-14009 Dead DataNode 数量超过阈值...940

8.13.82 ALM-14010 NameService 服务异常... 943

8.13.83 ALM-14011 DataNode 数据目录配置不合理... 947

8.13.84 ALM-14012 Journalnode 数据不同步...950

8.13.85 ALM-14013 NameNode FsImage 文件更新失败... 952

8.13.86 ALM-14014 NameNode 进程垃圾回收(GC)时间超过阈值... 956

8.13.87 ALM-14015 DataNode 进程垃圾回收(GC)时间超过阈值...959

8.13.88 ALM-14016 DataNode 直接内存使用率超过阈值...962

8.13.89 ALM-14017 NameNode 直接内存使用率超过阈值... 964

8.13.90 ALM-14018 NameNode 非堆内存使用率超过阈值... 965

8.13.91 ALM-14019 DataNode 非堆内存使用率超过阈值...968

8.13.92 ALM-14020 HDFS 目录条目数量超过阈值... 970

8.13.93 ALM-14021 NameNode RPC 处理平均时间超过阈值... 972

8.13.94 ALM-14022 NameNode RPC 队列平均时间超过阈值... 976

8.13.95 ALM-14023 总副本预留磁盘空间所占比率超过阈值...981

8.13.96 ALM-14024 租户空间使用率超过阈值...983

8.13.97 ALM-14025 租户文件对象使用率超过阈值... 985

(16)

8.13.98 ALM-14026 DataNode 块数超过阈值... 987

8.13.99 ALM-14027 DataNode 磁盘故障... 990

8.13.100 ALM-14028 待补齐的块数超过阈值...992

8.13.101 ALM-14029 单副本的块数超过阈值...994

8.13.102 ALM-16000 连接到 HiveServer 的 session 数占最大允许数的百分比超过阈值... 996

8.13.103 ALM-16001 Hive 数据仓库空间使用率超过阈值...998

8.13.104 ALM-16002 Hive SQL 执行成功率低于阈值... 1000

8.13.105 ALM-16003 Background 线程使用率超过阈值... 1002

8.13.106 ALM-16004 Hive 服务不可用... 1005

8.13.107 ALM-16005 Hive 服务进程堆内存使用超出阈值... 1008

8.13.108 ALM-16006 Hive 服务进程直接内存使用超出阈值... 1012

8.13.109 ALM-16007 Hive GC 时间超出阈值... 1015

8.13.110 ALM-16008 Hive 服务进程非堆内存使用超出阈值... 1019

8.13.111 ALM-16009 Map 数超过阈值... 1023

8.13.112 ALM-16045 Hive 数据仓库被删除... 1024

8.13.113 ALM-16046 Hive 数据仓库权限被修改...1026

8.13.114 ALM-16047 HiveServer 已从 Zookeeper 注销... 1027

8.13.115 ALM-16048 Tez 或者 Spark 库路径不存在... 1028

8.13.116 ALM-17003 Oozie 服务不可用...1030

8.13.117 ALM-17004 Oozie 堆内存使用率超过阈值... 1033

8.13.118 ALM-17005 Oozie 非堆内存使用率超过阈值...1036

8.13.119 ALM-17006 Oozie 直接内存使用率超过阈值...1038

8.13.120 ALM-17007 Oozie 进程垃圾回收(GC)时间超过阈值...1040

8.13.121 ALM-18000 Yarn 服务不可用... 1043

8.13.122 ALM-18002 NodeManager 心跳丢失... 1045

8.13.123 ALM-18003 NodeManager 不健康... 1047

8.13.124 ALM-18008 ResourceManager 堆内存使用率超过阈值...1050

8.13.125 ALM-18009 JobHistoryServer 堆内存使用率超过阈值... 1053

8.13.126 ALM-18010 ResourceManager 进程垃圾回收(GC)时间超过阈值...1054

8.13.127 ALM-18011 NodeManager 进程垃圾回收(GC)时间超过阈值...1057

8.13.128 ALM-18012 JobHistoryServer 进程垃圾回收(GC)时间超过阈值... 1060

8.13.129 ALM-18013 ResourceManager 直接内存使用率超过阈值...1062

8.13.130 ALM-18014 NodeManager 直接内存使用率超过阈值...1064

8.13.131 ALM-18015 JobHistoryServer 直接内存使用率超过阈值... 1066

8.13.132 ALM-18016 ResourceManager 非堆内存使用率超过阈值...1068

8.13.133 ALM-18017 NodeManager 非堆内存使用率超过阈值...1071

8.13.134 ALM-18018 NodeManager 堆内存使用率超过阈值...1074

8.13.135 ALM-18019 JobHistoryServer 非堆内存使用率超过阈值... 1076

8.13.136 ALM-18020 Yarn 任务执行超时... 1078

8.13.137 ALM-18021 Mapreduce 服务不可用... 1081

8.13.138 ALM-18022 Yarn 队列资源不足... 1083

8.13.139 ALM-18023 Yarn 任务挂起数超过阈值...1086

(17)

8.13.140 ALM-18024 Yarn 任务挂起内存量超阈值... 1087

8.13.141 ALM-18025 Yarn 被终止的任务数超过阈值... 1089

8.13.142 ALM-18026 Yarn 上运行失败的任务数超过阈值... 1091

8.13.143 ALM-19000 HBase 服务不可用...1093

8.13.144 ALM-19006 HBase 容灾同步失败... 1097

8.13.145 ALM-19007 HBase GC 时间超出阈值... 1100

8.13.146 ALM-19008 HBase 服务进程堆内存使用率超出阈值... 1104

8.13.147 ALM-19009 HBase 服务进程直接内存使用率超出阈值... 1108

8.13.148 ALM-19011 RegionServer 的 Region 数量超出阈值...1111

8.13.149 ALM-19012 HBase 系统表目录或文件丢失...1115

8.13.150 ALM-19013 region 处在 RIT 状态的时长超过阈值... 1116

8.13.151 ALM-19014 在 ZooKeeper 上的容量配额使用率严重超过阈值... 1119

8.13.152 ALM-19015 在 ZooKeeper 上的数量配额使用率超过阈值...1122

8.13.153 ALM-19016 在 ZooKeeper 上的数量配额使用率严重超过阈值... 1124

8.13.154 ALM-19017 在 ZooKeeper 上的容量配额使用率超过阈值...1126

8.13.155 ALM-19018 HBase 合并队列超出阈值...1128

8.13.156 ALM-19019 HBase 容灾等待同步的 HFile 文件数量超过阈值...1130

8.13.157 ALM-19020 HBase 容灾等待同步的 wal 文件数量超过阈值... 1133

8.13.158 ALM-20002 Hue 服务不可用... 1136

8.13.159 ALM-24000 Flume 服务不可用...1138

8.13.160 ALM-24001 Flume Agent 异常...1139

8.13.161 ALM-24003 Flume Client 连接中断... 1143

8.13.162 ALM-24004 Flume 读取数据异常... 1145

8.13.163 ALM-24005 Flume 传输数据异常... 1147

8.13.164 ALM-24006 Flume Server 堆内存使用率超过阈值... 1149

8.13.165 ALM-24007 Flume Server 直接内存使用率超过阈值... 1152

8.13.166 ALM-24008 Flume Server 非堆内存使用率超过阈值... 1154

8.13.167 ALM-24009 Flume Server 垃圾回收(GC)时间超过阈值... 1156

8.13.168 ALM-25000 LdapServer 服务不可用... 1158

8.13.169 ALM-25004 LdapServer 数据同步异常...1160

8.13.170 ALM-25005 Nscd 服务异常...1163

8.13.171 ALM-25006 Sssd 服务异常...1166

8.13.172 ALM-25500 KrbServer 服务不可用... 1169

8.13.173 ALM-27001 DBService 服务不可用... 1171

8.13.174 ALM-27003 DBService 主备节点间心跳中断... 1173

8.13.175 ALM-27004 DBService 主备数据不同步...1175

8.13.176 ALM-27005 数据库连接数使用率超过阈值... 1178

8.13.177 ALM-27006 数据目录磁盘空间使用率超过阈值...1181

8.13.178 ALM-27007 数据库进入只读模式...1184

8.13.179 ALM-29000 Impala 服务不可用... 1186

8.13.180 ALM-29004 Impalad 进程内存占用率超过阈值...1188

8.13.181 ALM-29005 Impalad JDBC 连接数超过阈值... 1190

(18)

8.13.182 ALM-29006 Impalad ODBC 连接数超过阈值... 1191

8.13.183 ALM-29100 Kudu 服务不可用...1193

8.13.184 ALM-29104 Tserver 进程内存占用率超过阈值... 1195

8.13.185 ALM-29106 Tserver 进程 CPU 占用率过高...1196

8.13.186 ALM-29107 Tserver 进程内存使用百分比超过阈值... 1198

8.13.187 ALM-38000 Kafka 服务不可用...1199

8.13.188 ALM-38001 Kafka 磁盘容量不足... 1201

8.13.189 ALM-38002 Kafka 堆内存使用率超过阈值... 1206

8.13.190 ALM-38004 Kafka 直接内存使用率超过阈值...1208

8.13.191 ALM-38005 Broker 进程垃圾回收(GC)时间超过阈值... 1211

8.13.192 ALM-38006 Kafka 未完全同步的 Partition 百分比超过阈值...1213

8.13.193 ALM-38007 Kafka 默认用户状态异常...1215

8.13.194 ALM-38008 Kafka 数据目录状态异常...1217

8.13.195 ALM-38009 Broker 磁盘 IO 繁忙...1218

8.13.196 ALM-38010 存在单副本的 Topic... 1221

8.13.197 ALM-43001 Spark2x 服务不可用... 1222

8.13.198 ALM-43006 JobHistory2x 进程堆内存使用超出阈值...1224

8.13.199 ALM-43007 JobHistory2x 进程非堆内存使用超出阈值... 1228

8.13.200 ALM-43008 JobHistory2x 进程直接内存使用超出阈值... 1231

8.13.201 ALM-43009 JobHistory2x 进程 GC 时间超出阈值... 1234

8.13.202 ALM-43010 JDBCServer2x 进程堆内存使用超出阈值... 1236

8.13.203 ALM-43011 JDBCServer2x 进程非堆内存使用超出阈值...1239

8.13.204 ALM-43012 JDBCServer2x 进程直接内存使用超出阈值...1242

8.13.205 ALM-43013 JDBCServer2x 进程 GC 时间超出阈值... 1245

8.13.206 ALM-43017 JDBCServer2x 进程 Full GC 次数超出阈值...1247

8.13.207 ALM-43018 JobHistory2x 进程 Full GC 次数超出阈值... 1249

8.13.208 ALM-43019 IndexServer2x 进程堆内存使用超出阈值... 1252

8.13.209 ALM-43020 IndexServer2x 进程非堆内存使用超出阈值... 1255

8.13.210 ALM-43021 IndexServer2x 进程直接内存使用超出阈值... 1258

8.13.211 ALM-43022 IndexServer2x 进程 GC 时间超出阈值...1261

8.13.212 ALM-43023 IndexServer2x 进程 Full GC 次数超出阈值... 1263

8.13.213 ALM-44004 Presto Coordinator 资源组排队任务超过阈值...1265

8.13.214 ALM-44005 Presto Coordinator 进程垃圾收集时间超出阈值...1266

8.13.215 ALM-44006 Presto Worker 进程垃圾收集时间超出阈值...1268

8.13.216 ALM-45175 OBS 元数据接口调用平均时间超过阈值... 1269

8.13.217 ALM-45176 OBS 元数据接口调用成功率低于阈值...1272

8.13.218 ALM-45177 OBS 数据读操作接口调用成功率低于阈值...1274

8.13.219 ALM-45178 OBS 数据写操作接口调用成功率低于阈值...1276

8.13.220 ALM-45275 Ranger 服务不可用... 1278

8.13.221 ALM-45276 RangerAdmin 状态异常... 1280

8.13.222 ALM-45277 RangerAdmin 堆内存使用率超过阈值... 1281

8.13.223 ALM-45278 RangerAdmin 直接内存使用率超过阈值... 1283

(19)

8.13.224 ALM-45279 RangerAdmin 非堆内存使用率超过阈值... 1286

8.13.225 ALM-45280 RangerAdmin 垃圾回收(GC)时间超过阈值... 1288

8.13.226 ALM-45281 UserSync 堆内存使用率超过阈值... 1290

8.13.227 ALM-45282 UserSync 直接内存使用率超过阈值... 1292

8.13.228 ALM-45283 UserSync 非堆内存使用率超过阈值... 1294

8.13.229 ALM-45284 UserSync 垃圾回收(GC)时间超过阈值... 1297

8.13.230 ALM-45285 TagSync 堆内存使用率超过阈值... 1299

8.13.231 ALM-45286 TagSync 直接内存使用率超过阈值... 1301

8.13.232 ALM-45287 TagSync 非堆内存使用率超过阈值... 1303

8.13.233 ALM-45288 TagSync 垃圾回收(GC)时间超过阈值...1305

8.13.234 ALM-45425 ClickHouse 服务不可用... 1308

8.13.235 ALM-45426 ClickHouse 服务在 ZooKeeper 的数量配额使用率超过阈值...1310

8.13.236 ALM-45427 ClickHouse 服务在 ZooKeeper 的容量配额使用率超过阈值...1312

8.13.237 ALM-45736 Guardian 服务不可用...1314

9 MRS Manager 操作指导(适用于 2.x 及之前)...1316

9.1 MRS Manager 简介... 1316

9.2 查看集群运行任务... 1319

9.3 监控管理... 1319

9.3.1 系统概览... 1319

9.3.2 管理服务和主机监控... 1321

9.3.3 管理资源分布... 1325

9.3.4 配置监控指标转储...1326

9.4 告警管理... 1327

9.4.1 查看与手动清除告警... 1327

9.4.2 配置监控与告警阈值... 1328

9.4.3 配置 Syslog 北向参数...1329

9.4.4 配置 SNMP 北向参数... 1332

9.5 告警参考(适用于 MRS 3.x 之前版本)... 1333

9.5.1 ALM-12001 审计日志转储失败... 1333

9.5.2 ALM-12002 HA 资源异常... 1335

9.5.3 ALM-12004 OLdap 资源异常...1337

9.5.4 ALM-12005 OKerberos 资源异常... 1338

9.5.5 ALM-12006 节点故障...1339

9.5.6 ALM-12007 进程故障...1341

9.5.7 ALM-12010 Manager 主备节点间心跳中断... 1343

9.5.8 ALM-12011 Manager 主备节点同步数据异常...1344

9.5.9 ALM-12012 NTP 服务异常... 1345

9.5.10 ALM-12016 CPU 使用率超过阈值...1348

9.5.11 ALM-12017 磁盘容量不足...1349

9.5.12 ALM-12018 内存使用率超过阈值...1351

9.5.13 ALM-12027 主机 PID 使用率超过阈值... 1352

9.5.14 ALM-12028 主机 D 状态进程数超过阈值...1354

(20)

9.5.15 ALM-12031 omm 用户或密码即将过期... 1355

9.5.16 ALM-12032 ommdba 用户或密码即将过期...1357

9.5.17 ALM-12033 慢盘故障... 1358

9.5.18 ALM-12034 周期备份任务失败... 1359

9.5.19 ALM-12035 恢复失败后数据状态未知...1360

9.5.20 ALM-12037 NTP 服务器异常...1361

9.5.21 ALM-12038 监控指标转储失败... 1363

9.5.22 ALM-12039 GaussDB 主备数据不同步...1365

9.5.23 ALM-12040 系统熵值不足...1367

9.5.24 ALM-13000 ZooKeeper 服务不可用...1368

9.5.25 ALM-13001 ZooKeeper 可用连接数不足... 1371

9.5.26 ALM-13002 ZooKeeper 内存使用量超过阈值... 1373

9.5.27 ALM-14000 HDFS 服务不可用...1374

9.5.28 ALM-14001 HDFS 磁盘空间使用率超过阈值...1376

9.5.29 ALM-14002 DataNode 磁盘空间使用率超过阈值...1377

9.5.30 ALM-14003 丢失的 HDFS 块数量超过阈值... 1379

9.5.31 ALM-14004 损坏的 HDFS 块数量超过阈值... 1380

9.5.32 ALM-14006 HDFS 文件数超过阈值... 1381

9.5.33 ALM-14007 HDFS NameNode 内存使用率超过阈值...1383

9.5.34 ALM-14008 HDFS DataNode 内存使用率超过阈值... 1384

9.5.35 ALM-14009 故障 DataNode 数量超过阈值...1385

9.5.36 ALM-14010 NameService 服务异常... 1387

9.5.37 ALM-14011 HDFS DataNode 数据目录配置不合理... 1390

9.5.38 ALM-14012 HDFS Journalnode 数据不同步... 1392

9.5.39 ALM-16000 连接到 HiveServer 的 session 数占最大允许数的百分比超过阈值...1394

9.5.40 ALM-16001 Hive 数据仓库空间使用率超过阈值... 1395

9.5.41 ALM-16002 Hive SQL 执行成功率低于阈值... 1397

9.5.42 ALM-16004 Hive 服务不可用... 1399

9.5.43 ALM-18000 Yarn 服务不可用... 1402

9.5.44 ALM-18002 NodeManager 心跳丢失...1404

9.5.45 ALM-18003 NodeManager 不健康... 1405

9.5.46 ALM-18004 NodeManager 磁盘可用率低于阈值... 1406

9.5.47 ALM-18006 执行 MapReduce 任务超时... 1407

9.5.48 ALM-19000 HBase 服务不可用... 1409

9.5.49 ALM-19006 HBase 容灾同步失败... 1410

9.5.50 ALM-25000 LdapServer 服务不可用... 1413

9.5.51 ALM-25004 LdapServer 数据同步异常...1414

9.5.52 ALM-25500 KrbServer 服务不可用...1416

9.5.53 ALM-27001 DBService 服务不可用... 1418

9.5.54 ALM-27003 DBService 主备节点间心跳中断... 1420

9.5.55 ALM-27004 DBService 主备数据不同步...1422

9.5.56 ALM-28001 Spark 服务不可用...1424

(21)

9.5.57 ALM-26051 Storm 服务不可用... 1425

9.5.58 ALM-26052 Storm 服务可用 Supervisor 数量小于阈值... 1427

9.5.59 ALM-26053 Storm Slot 使用率超过阈值... 1428

9.5.60 ALM-26054 Storm Nimbus 堆内存使用率超过阈值...1430

9.5.61 ALM-38000 Kafka 服务不可用...1432

9.5.62 ALM-38001 Kafka 磁盘容量不足... 1433

9.5.63 ALM-38002 Kafka 堆内存使用率超过阈值...1436

9.5.64 ALM-24000 Flume 服务不可用...1437

9.5.65 ALM-24001 Flume Agent 异常... 1439

9.5.66 ALM-24003 Flume Client 连接中断... 1440

9.5.67 ALM-24004 Flume 读取数据异常... 1442

9.5.68 ALM-24005 Flume 传输数据异常... 1444

9.5.69 ALM-12041 关键文件权限异常... 1446

9.5.70 ALM-12042 关键文件配置异常... 1447

9.5.71 ALM-23001 Loader 服务不可用... 1449

9.5.72 ALM-12357 审计日志导出到 OBS 失败... 1452

9.5.73 ALM-12014 设备分区丢失...1453

9.5.74 ALM-12015 设备分区文件系统只读... 1455

9.5.75 ALM-12043 DNS 解析时长超过阈值... 1456

9.5.76 ALM-12045 网络读包丢包率超过阈值...1458

9.5.77 ALM-12046 网络写包丢包率超过阈值...1462

9.5.78 ALM-12047 网络读包错误率超过阈值...1464

9.5.79 ALM-12048 网络写包错误率超过阈值...1465

9.5.80 ALM-12049 网络读吞吐率超过阈值... 1467

9.5.81 ALM-12050 网络写吞吐率超过阈值... 1469

9.5.82 ALM-12051 磁盘 Inode 使用率超过阈值... 1470

9.5.83 ALM-12052 TCP 临时端口使用率超过阈值... 1472

9.5.84 ALM-12053 文件句柄使用率超过阈值...1474

9.5.85 ALM-12054 证书文件失效...1476

9.5.86 ALM-12055 证书文件即将过期... 1478

9.5.87 ALM-18008 Yarn ResourceManager 堆内存使用率超过阈值...1480

9.5.88 ALM-18009 MapReduce JobHistoryServer 堆内存使用率超过阈值...1481

9.5.89 ALM-20002 Hue 服务不可用...1483

9.5.90 ALM-43001 Spark 服务不可用...1485

9.5.91 ALM-43006 JobHistory 进程堆内存使用超出阈值... 1486

9.5.92 ALM-43007 JobHistory 进程非堆内存使用超出阈值...1488

9.5.93 ALM-43008 JobHistory 进程直接内存使用超出阈值...1489

9.5.94 ALM-43009 JobHistory GC 时间超出阈值...1490

9.5.95 ALM-43010 JDBCServer 进程堆内存使用超出阈值...1492

9.5.96 ALM-43011 JDBCServer 进程非堆内存使用超出阈值... 1493

9.5.97 ALM-43012 JDBCServer 进程直接内存使用超出阈值... 1494

9.5.98 ALM-43013 JDBCServer GC 时间超出阈值... 1496

(22)

9.5.99 ALM-44004 Presto Coordinator 资源组排队任务超过阈值...1497 9.5.100 ALM-44005 Presto Coordinator 进程垃圾收集时间超出阈值... 1498 9.5.101 ALM-44006 Presto Worker 进程垃圾收集时间超出阈值... 1499 9.5.102 ALM-18010 Yarn 任务挂起数超过阈值... 1501 9.5.103 ALM-18011 Yarn 任务挂起内存超过阈值... 1502 9.5.104 ALM-18012 上个周期被终止的 Yarn 任务数超过阈值... 1504 9.5.105 ALM-18013 上个周期运行失败的 Yarn 任务数超过阈值...1504 9.5.106 ALM-16005 上个周期 Hive SQL 执行失败超过阈值...1505 9.6 对象管理... 1506 9.6.1 对象管理简介... 1506 9.6.2 查看配置... 1507 9.6.3 管理服务操作... 1507 9.6.4 配置服务参数... 1508 9.6.5 配置服务自定义参数... 1509 9.6.6 同步服务配置... 1512 9.6.7 管理角色实例操作...1513 9.6.8 配置角色实例参数...1513 9.6.9 同步角色实例配置...1514 9.6.10 退服和入服务角色实例... 1515 9.6.11 管理主机操作... 1516 9.6.12 隔离主机... 1516 9.6.13 取消隔离主机... 1517 9.6.14 启动及停止集群... 1518 9.6.15 同步集群配置... 1518 9.6.16 导出集群的配置数据... 1518 9.7 日志管理... 1519 9.7.1 关于日志... 1519 9.7.2 Manager 日志清单... 1530 9.7.3 查看及导出审计日志... 1537 9.7.4 导出服务日志... 1539 9.7.5 配置审计日志导出参数... 1539 9.8 健康检查管理...1541 9.8.1 执行健康检查... 1541 9.8.2 查看并导出检查报告... 1542 9.8.3 配置健康检查报告保存数...1543 9.8.4 管理健康检查报告...1543 9.8.5 DBService 健康检查指标项说明...1544 9.8.6 Flume 健康检查指标项说明...1544 9.8.7 HBase 健康检查指标项说明...1544 9.8.8 Host 健康检查指标项说明... 1545 9.8.9 HDFS 健康检查指标项说明... 1551 9.8.10 Hive 健康检查指标项说明... 1551

(23)

9.8.11 Kafka 健康检查指标项说明... 1552 9.8.12 KrbServer 健康检查指标项说明...1553 9.8.13 LdapServer 健康检查指标项说明...1553 9.8.14 Loader 健康检查指标项说明... 1554 9.8.15 MapReduce 健康检查指标项说明...1555 9.8.16 OMS 健康检查指标项说明... 1556 9.8.17 Spark 健康检查指标项说明...1559 9.8.18 Storm 健康检查指标项说明...1559 9.8.19 Yarn 健康检查指标项说明... 1560 9.8.20 ZooKeeper 健康检查指标项说明...1560 9.9 静态服务池管理... 1561 9.9.1 查看静态服务池状态... 1561 9.9.2 配置静态服务池... 1563 9.10 租户管理... 1565 9.10.1 租户简介... 1565 9.10.2 添加租户... 1566 9.10.3 添加子租户... 1568 9.10.4 删除租户... 1570 9.10.5 管理租户目录... 1571 9.10.6 恢复租户数据... 1572 9.10.7 添加资源池... 1573 9.10.8 修改资源池... 1574 9.10.9 删除资源池... 1574 9.10.10 配置队列... 1575 9.10.11 配置资源池的队列容量策略... 1576 9.10.12 清除队列配置... 1576 9.11 备份与恢复...1577 9.11.1 备份与恢复简介... 1577 9.11.2 备份元数据... 1579 9.11.3 恢复元数据... 1580 9.11.4 修改备份任务... 1582 9.11.5 查看备份恢复任务... 1583 9.12 安全管理... 1584 9.12.1 未开启 Kerberos 认证集群中的默认用户清单... 1584 9.12.2 开启 Kerberos 认证集群中的默认用户清单...1587 9.12.3 修改操作系统用户密码... 1592 9.12.4 修改 admin 密码... 1592 9.12.5 修改 Kerberos 管理员密码... 1595 9.12.6 修改 LDAP 管理员和 LDAP 用户密码... 1596 9.12.7 修改组件运行用户密码... 1596 9.12.8 修改 OMS 数据库管理员密码...1597 9.12.9 修改 OMS 数据库数据访问用户密码...1598

(24)

9.12.10 修改组件数据库用户密码...1599 9.12.11 更换 HA 证书... 1600 9.12.12 更新集群密钥... 1601 9.13 权限管理... 1602 9.13.1 创建角色... 1602 9.13.2 创建用户组... 1607 9.13.3 创建用户... 1608 9.13.4 修改用户信息... 1610 9.13.5 锁定用户... 1610 9.13.6 解锁用户... 1611 9.13.7 删除用户... 1612 9.13.8 修改操作用户密码... 1613 9.13.9 初始化系统用户密码... 1614 9.13.10 下载用户认证文件...1615 9.13.11 修改密码策略... 1616 9.14 MRS 多用户权限管理... 1617 9.14.1 MRS 集群中的用户与权限...1617 9.14.2 开启 Kerberos 认证集群中的默认用户清单...1621 9.14.3 创建角色... 1626 9.14.4 创建用户组... 1632 9.14.5 创建用户... 1633 9.14.6 修改用户信息... 1635 9.14.7 锁定用户... 1636 9.14.8 解锁用户... 1637 9.14.9 删除用户... 1638 9.14.10 修改操作用户密码...1640 9.14.11 初始化系统用户密码... 1641 9.14.12 下载用户认证文件...1642 9.14.13 修改密码策略... 1643 9.14.14 配置跨集群互信... 1644 9.14.15 配置并使用互信集群的用户... 1648 9.14.16 配置 MRS 多用户访问 OBS 细粒度权限...1649 9.15 补丁操作指导... 1655 9.15.1 MRS 3.x 之前版本补丁操作指导... 1655 9.15.2 支持滚动补丁... 1656 9.16 修复隔离主机补丁...1659 9.17 支持滚动重启... 1660

10 安全性说明... 1669

10.1 集群(未启用 Kerberos 认证)安全配置建议...1669 10.2 安全认证原理和认证机制...1669 10.3 安全公告... 1673 10.3.1 Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)公告... 1673

(25)

10.3.2 Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)修复指导...1673

11 高危操作一览表... 1679 12 附录...1701

12.1 MRS 所使用的弹性云服务器规格... 1701 12.2 MRS 所使用的裸金属服务器规格... 1707 12.3 数据迁移方案介绍...1708 12.3.1 准备工作... 1708 12.3.2 元数据导出... 1709 12.3.3 数据拷贝... 1710 12.3.4 数据恢复... 1711 12.4 MRS 3.x 版本操作注意事项...1711

(26)

1 准备用户

1.1 配置云服务授权

MapReduce服务支持管理控制台与MRS集群进行交互,为您提供相关功能和集群状态 监控。首次使用MapReduce服务需要进行服务授权。

进行服务授权后,MRS将在统一身份认证服务(IAM)为您创建名为

mrs_admin_agency的委托,委托创建成功后请勿修改和删除,删除委托或者删除委托 中的Tenant Administrator角色将会自动取消授权,取消授权后将影响集群创建、集群 扩容、集群缩容、升级Master节点规格、弹性伸缩、修改集群名称、IAM用户同步等 功能,集群的运行状态也将无法监控。

服务授权操作

步骤1 登录管理控制台。

步骤2 在服务列表中选择“大数据 > MapReduce服务”,进入“服务授权”页面。

(27)

1-1 服务授权

步骤3 单击“同意授权”,完成服务授权。

同意授权后,MRS将在统一身份认证服务为您创建名为mrs_admin_agency的委托,委 托创建成功后请勿修改和删除,授权成功后,您就可以使用MRS服务。

说明

若创建委托失败,则需要您登录到“统一身份认证服务”管理控制台,对委托进行删除或联系管 理员增加限额。

----结束

1.2 创建 MRS 操作用户

如果您需要对您所拥有的MapReduce服务(MapReduce Service)进行精细的权限管 理,您可以使用统一身份认证服务(Identity and Access Management,简称 IAM),通过IAM,您可以:

● 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建 IAM用户,让员工拥有唯一安全凭证,并使用MRS资源。

● 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。

● 将MRS资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云 服务可以根据权限进行代运维。

如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章 节,不影响您使用MRS服务的其它功能。

本章节为您介绍对用户授权的方法,操作流程如图1-2所示。

(28)

前提条件

给用户组授权之前,请您了解用户组可以添加的MRS权限,并结合实际需求进行选 择,MRS支持的系统权限,请参见权限管理。若您需要对除MRS之外的其它服务授 权,IAM支持服务的所有策略请参见权限策略。

示例流程

1-2 给用户授权 MRS 权限流程

1. 创建用户组并授权

在IAM控制台创建用户组,并授予MRS服务对应权限。

2. 创建用户并加入用户组

在IAM控制台创建用户,并将其加入1.创建用户组并授权中创建的用户组。

3. 用户登录并验证权限

新创建的用户登录控制台,切换至授权区域,验证权限:

– 在“服务列表”中选择MRS服务,进入MRS主界面,单击右上角“购买集 群”,尝试购买MRS集群,如果无法购买MRS集群(假设当前权限仅包含 MRS ReadOnlyAccess),表示“MRS ReadOnlyAccess”已生效。

– 在“服务列表”中选择除MRS服务外(假设当前策略仅包含MRS ReadOnlyAccess)的任一服务,若提示权限不足,表示“MRS ReadOnlyAccess”已生效。

MRS 权限说明

默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户 组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。

授权后,用户就可以基于被授予的权限对云服务进行操作。

MRS部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区 域级项目”,然后在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相

(29)

关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在 所有区域项目中都生效。访问MRS时,需要先切换至授权区域。

权限根据授权精细程度分为角色和策略。

● 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该 机制以服务为粒度,提供有限的服务相关角色用于授权。由于各服务之间存在业 务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能 正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对 权限最小化的安全管控要求。

● 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资 源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业 对权限最小化的安全管控要求。例如:针对MRS服务,管理员能够控制IAM用户 仅能对集群进行指定的管理操作。如不允许某用户组删除集群,仅允许操作MRS 集群基本操作,如创建集群、查询集群列表等。多数细粒度策略以API接口为粒度 进行权限拆分,MRS支持的API授权项请参见权限策略和授权项。

如表1-1所示,包括了MRS的所有系统策略。

1-1 MRS 系统策略

策略名称 描述 策略类别

MRS FullAccess MRS管理员权限,拥有该权限的用户可

以拥有MRS所有权限。 细粒度策略

MRSCommonOperations MRS服务普通用户权限,拥有该权限的 用户可以拥有MRS服务使用权限,无新 增、删除资源权限。

细粒度策略

MRSReadOnlyAccess MRS服务只读权限,拥有该权限的用户

仅能查看MRS的资源。 细粒度策略

MRS Administrator 操作权限:

● 对MRS服务的所有执行权限。

● 拥有该权限的用户必须同时拥有 Tenant Guest、Server

Administrator和BSS Administrator 权限。

RBAC策略

表1-2列出了MRS常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权 限。

1-2 常用操作与系统策略的授权关系 操作 MRS

FullAccess MRS

CommonOperati ons

MRSReadOnlyAcce ss

MRSAdministrat or

创建集群 √ x x √

调整集群 √ x x √

(30)

操作 MRS

FullAccess MRS

CommonOperati ons

MRSReadOnlyAcce ss

MRSAdministrat or

升级节点规 格

√ x x √

删除集群 √ x x √

查询集群详 情

√ √ √ √

查询集群列 表

√ √ √ √

设置弹性伸 缩策略

√ x x √

查询主机列 表

√ √ √ √

查询操作日 志

√ √ √ √

创建并执行 作业

√ √ x √

停止作业 √ √ x √

删除单个作 业

√ √ x √

批量删除作 业

√ √ x √

查询作业详 情

√ √ √ √

查询作业列

表 √ √ √ √

新建文件夹 √ √ x √

删除文件 √ √ x √

查询文件列

表 √ √ √ √

批量操作集 群标签

√ √ x √

创建单个集 群标签

√ √ x √

删除单个集 群标签

√ √ x √

(31)

操作 MRS

FullAccess MRS

CommonOperati ons

MRSReadOnlyAcce ss

MRSAdministrat or

按照标签查 询资源列表

√ √ √ √

查询集群标 签

√ √ √ √

访问Manager页 面

√ √ x √

查询补丁列 表

√ √ √ √

安装补丁 √ √ x √

卸载补丁 √ √ x √

运维通道授 权

√ √ x √

运维通道日 志共享

√ √ x √

查询告警列 表

√ √ √ √

订阅告警消 息提醒

√ √ x √

提交SQL语 句

√ √ x √

查询SQL结

果 √ √ x √

取消SQL执 行任务

√ √ x √

1.3 创建 MRS 自定义策略

如果系统预置的MRS权限,不满足您的授权要求,可以创建自定义策略。自定义策略 中可以添加的授权项(Action)请参考策略及授权项说明。

目前支持以下两种方式创建自定义策略:

● 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服 务、操作、资源、条件等策略内容,可自动生成策略。

● JSON视图创建自定义策略:可以在选择策略模板后,根据具体需求编辑策略内 容;也可以直接在编辑框内编写JSON格式的策略内容。

具体创建步骤请参见:创建自定义策略。本章为您介绍常用的MRS自定义策略样例。

(32)

MRS 自定义策略样例

● 示例1:授权用户仅有创建MRS集群的权限

{ "Version": "1.1", "Statement": [ {

"Effect": "Allow", "Action": [

"mrs:cluster:create", "ecs:*:*",

"bms:*:*", "evs:*:*", "vpc:*:*"

] } ] }

● 示例2:授权用户调整MRS集群

{ "Version": "1.1", "Statement": [ {

"Effect": "Allow", "Action": [

"mrs:cluster:resize"

] } ] }

● 示例3:授权用户创建集群、创建并执行作业、删除单个作业,但不允许用户删除 集群的权限

{ "Version": "1.1", "Statement": [ {

"Effect": "Allow", "Action": [

"mrs:cluster:create", "mrs:job:submit", "mrs:job:delete"

] }, {

"Effect": "Deny", "Action": [

"mrs:cluster:delete"

] } ] }

● 示例4:授权用户最小权限,创建ECS规格的集群 说明

● 创建集群时如果使用秘钥对,增加权限:ecs:serverKeypairs:get和 ecs:serverKeypairs:list

● 创建包周期集群时,增加权限:bss:order:update

● 创集群时使用数据盘加密,增加权限:kms:cmk:list

● 创建集群时开启告警功能,增加权限:mrs:alarm:subscribe

● 创建集群时使用外置数据源,增加权限:rds:instance:list { "Version": "1.1",

"Statement": [

(33)

{

"Effect": "Allow", "Action": [

"mrs:cluster:create"

] }, {

"Effect": "Allow", "Action": [

"ecs:cloudServers:updateMetadata", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get", "ecs:servers:list",

"ecs:servers:get", "ecs:cloudServers:delete", "ecs:cloudServers:list", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:get", "ecs:cloudServers:create"

] }, {

"Effect": "Allow", "Action": [

"vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create",

"vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create",

"vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list"

] }, {

"Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get"

] }, {

"Effect": "Allow", "Action": [

"bms:serverFlavors:get"

] } ] }

● 示例5:授权用户最小权限,创建BMS规格的集群

(34)

说明

● 创建集群时如果使用秘钥对,增加权限:ecs:serverKeypairs:get和 ecs:serverKeypairs:list

● 创建包周期集群时,增加权限:bss:order:update

● 创集群时使用数据盘加密,增加权限:kms:cmk:list

● 创建集群时开启告警功能,增加权限:mrs:alarm:subscribe

● 创建集群时使用外置数据源,增加权限:rds:instance:list { "Version": "1.1",

"Statement": [ {

"Effect": "Allow", "Action": [

"mrs:cluster:create"

] }, {

"Effect": "Allow", "Action": [ "ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:create", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get"

] }, {

"Effect": "Allow", "Action": [

"vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create",

"vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create",

"vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list"

] }, {

"Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get"

] }, {

"Effect": "Allow", "Action": [

(35)

"bms:servers:get", "bms:servers:list", "bms:serverQuotas:get", "bms:servers:updateMetadata", "bms:serverFlavors:get"

] } ] }

● 示例6:授权用户最小权限,创建ECS和BMS混合集群 说明

● 创建集群时如果使用秘钥对,增加权限:ecs:serverKeypairs:get和 ecs:serverKeypairs:list

● 创建包周期集群时,增加权限:bss:order:update

● 创集群时使用数据盘加密,增加权限:kms:cmk:list

● 创建集群时开启告警功能,增加权限:mrs:alarm:subscribe

● 创建集群时使用外置数据源,增加权限:rds:instance:list { "Version": "1.1",

"Statement": [ {

"Effect": "Allow", "Action": [

"mrs:cluster:create"

] }, {

"Effect": "Allow", "Action": [

"ecs:cloudServers:updateMetadata", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get", "ecs:servers:list",

"ecs:servers:get", "ecs:cloudServers:delete", "ecs:cloudServers:list", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:get", "ecs:cloudServers:create"

] }, {

"Effect": "Allow", "Action": [

"vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create",

"vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create",

"vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get",

(36)

"vpc:ports:update", "vpc:vpcs:list"

] }, {

"Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get"

] }, {

"Effect": "Allow", "Action": [

"bms:servers:get", "bms:servers:list", "bms:serverQuotas:get", "bms:servers:updateMetadata", "bms:serverFlavors:get"

] } ] }

1.4 IAM 用户同步 MRS 说明

IAM用户同步是指将绑定MRS相关策略的IAM用户同步至MRS系统中,创建同用户 名、不同密码的账号,用于集群管理。同步之后,用户可以使用IAM用户名(密码需 要Manager的管理员admin重置后方可使用)登录Manager管理集群。也可以在开启 Kerberos认证的集群中,通过界面方式提交作业。

IAM用户权限策略及同步MRS后权限对比请参考表1-3,Manager对应默认权限说明请 参考MRS集群中的用户与权限。

1-3 IAM 权限策略与 MRS 权限同步映射 策略类别 IAM策略 同步后用户在

MRS对应默认 权限

是否有权限执 行同步操作

是否有权限提 交作业

细粒度 MRS

ReadOnlyAcce ss

Manager_vie

wer 否 否

MRSCommonOper ations

● Manager_v iewer

● default

● launcher- job

否 是

(37)

策略类别 IAM策略 同步后用户在 MRS对应默认 权限

是否有权限执 行同步操作

是否有权限提 交作业

MRSFullAccess ● Manager_a dministrat or

● Manager_a uditor

● Manager_o perator

● Manager_t enant

● Manager_v iewer

● System_ad ministrator

● default

● launcher- job

是 是

RBAC MRS

Administrator ● Manager_a dministrat or

● Manager_a uditor

● Manager_o perator

● Manager_t enant

● Manager_v iewer

● System_ad ministrator

● default

● launcher- job

否 是

(38)

策略类别 IAM策略 同步后用户在 MRS对应默认 权限

是否有权限执 行同步操作

是否有权限提 交作业

Server

Administrator

、Tenant Guest和MRS Administrator

● Manager_a dministrat or

● Manager_a uditor

● Manager_o perator

● Manager_t enant

● Manager_v iewer

● System_ad ministrator

● default

● launcher- job

是 是

Tenant

Administrator ● Manager_a dministrat or

● Manager_a uditor

● Manager_o perator

● Manager_t enant

● Manager_v iewer

● System_ad ministrator

● default

● launcher- job

是 是

(39)

策略类别 IAM策略 同步后用户在 MRS对应默认 权限

是否有权限执 行同步操作

是否有权限提 交作业

自定义 Custom policy

(自定义策 略)

● Manager_v iewer

● default

● launcher- job

● 自定义策略 以RBAC策 略为模板则 参考RBAC 策略。

● 自定义策略 以细粒度策 略为模板则 参考细粒度 策略,建议 使用细粒度 策略。

说明

为了更方便进行用户权限管理,请尽可能使用细粒度策略,减少RBAC策略的使用,细粒度策略 判断action时以deny优先原则。

● 只有具有Tenant Administrator或同时具有Server Administrator、Tenant Guest、MRS Administrator角色才在MRS集群中拥有同步IAM用户的权限。

● 只要拥有action:mrs:cluster:syncUser策略就在MRS集群中拥有同步IAM用户的权限。

操作步骤

步骤1 创建用户并授权使用MRS服务,具体请参考创建MRS操作用户。

步骤2 登录MRS控制台并创建集群,具体请参考购买自定义集群。

步骤3 在左侧导航栏中选择“集群列表 > 现有集群”,单击集群名称进入集群详情页面。

步骤4 在“概览”页签的基本信息区域,单击“IAM用户同步”右侧的“单击同步”进行IAM 用户同步。

步骤5 同步请求下发后,返回MRS控制台在左侧导航栏中选择“操作日志”页面查看同步是 否成功,日志相关说明请参考查看MRS服务操作日志。

步骤6 同步成功后,即可使用IAM同步用户进行后续操作。

说明

● 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS CommonOperations、MRS FullAccess、MRS Administrator变化时,由于集群节点的SSSD(System Security Services Daemon)缓存刷新需要时间,因此同步完成后,请等待5分钟,等待新修改策略生效之后,

再进行提交作业。否则,会出现提交作业失败的情况。

● 当IAM用户的用户组的所属策略从MRS CommonOperations、MRS FullAccess、MRS Administrator向MRS ReadOnlyAccess变化时,由于集群节点的SSSD缓存刷新需要时间,因 此同步完成后,请等待5分钟,新修改策略才能生效。

● 单击“IAM用户同步”右侧的“同步”后,集群详情页面会出现短时间空白,这是由于正在 进行用户数据同步中,请耐心等待,数据同步完成后,页面将会正常显示。

數據

表 2-3 MRS 集群硬件配置 参数 参数说明 可用区 选择集群工作区域下关联的可用区。 可用区是使用独立电源和网络资源的物理区域。通过内部 网络互联,再以物理方式进行隔离,提高了应用程序的可 用性。建议您在不同的可用区下创建集群。 虚拟私有云 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供 安全、隔离的网络环境。 选择需要创建集群的VPC,单击“查看虚拟私有云”进入 VPC服务查看已创建的VPC名称和ID。如果没有VPC,需 要创建一个新的VPC。 子网 通过子网提供与其他网络隔离的、可以独享的网
表 2-4 集群节点信息 参数 参数说明 CPU架构 MRS提供的CPU架构类型。MRS 3.x版本无该参数。 ● x86计算:x86 CPU架构采用复杂指令集(CISC), CISC指令集的每个小指令可以执行一些较低阶的硬件操 作,指令数目多而且复杂,每条指令的长度并不相同。 由于指令执行较为复杂所以每条指令花费的时间较长。 ● 鲲鹏计算:鲲鹏CPU架构采用精简指令集(RISC), RISC是一种执行较少类型计算机指令的微处理器,它能 够以更快的速度执行操作,使计算机的结构更加简单合 理地提高运行速度,相
表 2-14 登录方式 参数 参数说明 登录方式 ● 密码 使用密码方式登录ECS节点。 密码设置约束如下: 1. 字符串类型,可输入的字符串长度 为8~26。 2. 至少包含三种字符组合,如大写字 母,小写字母,数字,特殊字符 (`~!@#$%^&*()-_=+\| [{}];:'",<.>/?)和空格。 3
表 2-24 引导操作脚本配置参数 脚本1 名称:install dualroles 脚本路径:根据region选择presto-install.sh脚本路径 执行节点:Active Master 参数:dualroles 执行时机:组件启动后 失败操作:继续 脚本2 名称:install worker 脚本路径:根据region选择presto-install.sh脚本路径 执行节点:Core(根据集群类型选择对应类型的Core节点) 参数:worker 执行时机:组件启动后 失败操作:继续 引导操作执行
+3

參考文獻

相關文件

集體備課 (教材 教法 評量) 公開授業/觀課 (分享 錄影) 共同議課 (反思 紀錄)..

董事長未依規定召 集,經現任董事三分之 一以上以書面提出會議 目的及召集理由請求召 集董事會議時,董事長 應自受請求之日起十日

經藏結集,依此顯出第三結集的經藏相同於第二結集,是集出《長阿 含》 、 《中阿含》 、 《雜阿含》 、 《增一阿含》

„ 傳統上市場上所採取集群分析方法,多 為「硬分類(Crisp partition)」,本研 究採用模糊集群鋰論來解決傳統的分群

首先,在套裝程式軟體 Matlab 中執行 k-means 分群法,將前置樣本中的 學測成績分成三群或四群。特別注意的是,在執行 k-means

(11)※群組化物件(使用 Flash 工具列所繪製之物件):Ctrl-G 或功能

本研究採用的方法是將階層式與非階層式集群法結合。第一步先運用

在集群分析方法中,Stuart Lloyd 於 1957 年提出了 K-Means 分析法。它是利用劃分方 式的ㄧ種聚類算法。此種方式以隨機選取