分布式消息服务 Kafka 版
产品介绍
文档版本 01
发布日期 2021-12-27
版权所有 © 华为技术有限公司 2021。 保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传 播。
商标声明
和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标，由各自的所有人拥有。
注意
您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声 明或保证。
由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
目 录
1 什么是分布式消息服务 Kafka 版... 1
2 产品优势...2
3 典型应用场景... 4
4 产品规格...6
5 与 RabbitMQ 专享版的差异... 10
6 与开源 Kafka 的差异... 13
7 约束与限制...15
8 与其他云服务的关系... 17
9 Kafka 相关概念... 18
10 权限管理... 20
11 计费说明... 23
产品介绍 目 录
1
什么是分布式消息服务 Kafka 版
Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分 布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传 输、在线/离线系统分析、实时监控等领域有广泛的应用。
华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向 用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用华为云分布式消息服务 Kafka版，资源按需申请，按需配置Topic的分区与副本数量，即买即用，您将有更多 精力专注于业务快速开发，不用考虑部署和运维。
关于 Kafka 的帮助手册阅读指引
受限于篇幅，我们提供的Kafka帮助手册重点描述产品相关的内容，以及与开源社区版 Kafka的差异部分，例如华为云Kafka的产品规格、控制台操作、API调用、客户端对接 等。
如果您需要了解Kafka入门知识或消息生产、消费等方面的技术细节，请查阅Kafka官 网资料。
产品介绍 1 什么是分布式消息服务 Kafka 版
2
产品优势
华为云分布式消息服务Kafka版完全兼容开源社区版本，旨在为用户提供便捷高效的消 息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。
● 一键式部署，免去集群搭建烦恼
专享实例只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署 完成一整套Kafka实例。
● 兼容开源，业务零改动迁移上云
兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。
业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用华为 云分布式消息服务Kafka版，做到无缝迁移。
说明
Kafka专享实例兼容开源社区Kafka 1.1.0和2.3.0版本。在客户端使用上，推荐使用和服务 端版本一致的版本。
● 安全保证
独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。
在网络通信方面，除了提供SASL（Simple Authentication and Security Layer）
认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。
● 数据高可靠
Kafka专享实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，
数据同步或异步落盘多种方式供您自由选择。
● 集群架构与跨AZ部署，服务高可用
Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。
Kafka专享实例支持跨AZ部署，代理部署在不同的AZ，进一步保障服务高可用。
● 无忧运维
华为云提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免7*24 小时人工值守。Kafka专享实例自动上报相关监控指标，如分区数、主题数、堆积 消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等 获得业务消息队列的运行使用和负载状态。
● 海量消息堆积与弹性扩容
内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达100个，存 储空间弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现 百亿级消息的堆积和访问能力。
产品介绍 2 产品优势
● 多规格灵活选择
Kafka专享实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本 数。
产品介绍 2 产品优势
3
典型应用场景
Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于 不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社 交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。
异步通信
将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，
这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。
如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两 个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响 应速度。
图3-1 串行发送注册邮件与短信流程
图3-2 借助消息队列异步发送注册邮件与短信流程
错峰流控与流量削峰
在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系 统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性 的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服 务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系 统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费 系统可以错峰进行消息处理。
另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可 在前后端系统间使用Kafka消息队列传递请求。
产品介绍 3 典型应用场景
图3-3 消息队列应对秒杀大流量场景
日志同步
在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监 控，通常需要将各系统应用的日志集中分析处理。
Kafka设计初衷就是为了应对大量日志传输场景，应用通过可靠异步方式将日志消息同 步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收 集进行应用监控。
日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理 应用。
1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志
“批量”“异步”发送Kafka客户端。
Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。
2. Kafka将日志存储在消息文件中，提供持久化。
3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服 务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与 分析。
图3-4 日志同步示意图
说明
上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系 统。
产品介绍 3 典型应用场景
4
产品规格
Kafka 专享实例规格
Kafka专享版兼容开源Kafka 1.1.0和2.3.0，实例规格当前存在2种，一种为华东-上海 一、华东-上海二、华北-北京四和华南-广州区域显示的规格，以实例提供的ECS规格 和代理个数分类，包括c6.2u4g.cluster、c6.4u8g.cluster、c6.8u16g.cluster、
c6.12u24g.cluster和c6.16u32g.cluster共5种类型。另一种为除华东-上海一、华东-上 海二、华北-北京四和华南-广州以外区域显示的规格，以实例提供的基准带宽分类，包 括100MB/s、300MB/s、600MB/s和1200MB/s共4种类型。
说明
● 不同规格的节点数和底层资源相关，由于不同Region，底层资源不一样，所以节点数也会不 一样，下表以华北-北京四为例。
● 以下表中TPS性能，是指以1K大小的消息为例的每秒处理消息条数。
表4-1 Kafka 实例规格（除华东-上海一、华东-上海二、华北-北京四和华南-广州以外 的区域）
实例带 宽类型
节点 数
对应的底层资 源类型
I/O类型 TPS（高吞吐 场景）
TPS（同 步复制场 景）
分区数 上限
100MB/s 3 c6_2vCPUs |
4GB 高I/O 10万 6万 300
c6_2vCPUs |
4GB 超高I/O 10万 8万 300
300MB/s 3 c6_4vCPUs |
8GB 高I/O 30万 15万 900
c6_4vCPUs |
8GB 超高I/O 30万 20万 900 600MB/s 4 c6_8vCPUs |
16GB 超高I/O 60万 30万 1800 1200MB/s 8 c6_8vCPUs |
16GB 超高I/O 120万 40万 1800
产品介绍 4 产品规格
表4-2 Kafka 实例规格（华东-上海一、华东-上海二、华北-北京四和华南-广州区域）
实例规格 代理 个数 范围
单个代理TPS 单个代 理分区 上限
单个代理Consume r Group 上限
单个代理 客户端总 连接数上 限
存储空间范围
c6.2u4g.cl
uster 3~30 30000 250 20 1000 600GB~30000 0GB
c6.4u8g.cl
uster 3~30 100000 500 100 2000 1200GB~6000 00GB
c6.8u16g.
cluster 3~30 150000 1000 150 3000 2400GB~9000 00GB
c6.12u24
g.cluster 3~30 200000 1500 200 4000 3600GB~9000 00GB
c6.16u32
g.cluster 3~30 250000 2000 200 5000 4800GB~9000 00GB
Kafka 专享实例带宽参考
Kafka实例的网络带宽指单向（读或写）最大带宽。一般建议选择带宽时建议预留 30%，确保您的应用运行更稳定。
● 100MB/s
Kafka客户端连接数在3000以内，消费组个数在60个以内，业务流量为70M以内 时推荐选用。
● 300MB/s
Kafka客户端连接数在10000以内，消费组个数在300个以内，业务流量为210M以 内时推荐选用。
● 600MB/s
Kafka客户端连接数在20000以内，消费组个数在600个以内，业务流量为420M以 内时推荐选用。
● 1200MB/s
Kafka客户端连接数在20000以内，消费组个数在600个以内，业务流量为840M以 内时推荐选用。
Kafka 专享实例规格参考
● c6.2u4g.cluster，三个代理
Kafka客户端连接数在3000以内，消费组个数在60个以内，业务TPS为100000以 内时推荐选用。
● c6.4u8g.cluster，三个代理
Kafka客户端连接数在10000以内，消费组个数在300个以内，业务TPS为300000 以内时推荐选用。
产品介绍 4 产品规格
● c6.8u16g.cluster，三个代理
Kafka客户端连接数在20000以内，消费组个数在600个以内，业务TPS为600000 以内时推荐选用。
● c6.12u24g.cluster，三个代理
Kafka客户端连接数在20000以内，消费组个数在600个以内，业务TPS为900000 以内时推荐选用。
● c6.16u32g.cluster，三个代理
Kafka客户端连接数在20000以内，消费组个数在600个以内，业务TPS为1200000 以内时推荐选用。
Kafka 专享实例的存储空间估算参考
Kafka专享版支持多副本存储，副本数量为1~3。存储空间包含所有副本存储空间总 和，因此，您在创建Kafka实例，选择初始存储空间时，建议根据业务消息体积预估以 及副本数量选择合适的存储空间。
例如：业务消息体积预估100GB，则磁盘容量最少应为100GB*副本数 + 预留磁盘大小 100GB。
Kafka实例支持对存储进行扩容，根据业务增长，随时扩容，节约成本。
Kafka 专享实例 Topic 数量计算
Kafka实例本身对Topic数量没有做限制，但是Topic的分区数之和有上限，当达到上限 之后，用户无法继续创建Topic。
所以，Topic数量和实例分区数上限、每个Topic的分区数有关，其中，每个Topic分区 数可在创建Topic时设置，如图4-1，实例分区数上限参考表4-1和表4-2。
产品介绍 4 产品规格
图4-1 Topic 的分区数
100MB/s实例类型的分区数上限为300。
● 如果该实例下每个Topic的分区个数都为3，则Topic个数为300/3=100个。
● 如果该实例下每个Topic的分区个数都为1，则Topic个数为300/1=300个。
c6.2u4g.cluster * 3 broker实例的分区数上限为750。
● 如果该实例下每个Topic的分区个数都为3，则Topic个数为750/3=250个。
● 如果该实例下每个Topic的分区个数都为1，则Topic个数为750/1=750个。
产品介绍 4 产品规格
5
与 RabbitMQ 专享版的差异
Kafka采用拉取（Pull）方式消费消息，吞吐量相对更高，适用于海量数据收集与传递 场景，例如日志采集和集中分析。RabbitMQ在吞吐量方面略有逊色，但支持更多的消 息队列功能。
以下从性能、数据可靠性、服务可用性、功能等方面给出具体的对比分析，供用户选 型参考。
性能
消息中间件的性能主要衡量吞吐量，Kafka的吞吐量比RabbitMQ要高出1~2个数量 级，RabbitMQ的单机QPS在万级别，Kafka的单机QPS能够达到百万级别。
Kafka如果开启幂等、事务等功能，性能也会有所降低。
数据可靠性
Kafka与RabbitMQ都具备多副本机制，数据可靠性较高。
服务可用性
Kafka采用集群部署，分区与多副本的设计，使得单代理宕机对服务无影响，且支持消 息容量的线性提升。
RabbitMQ支持集群部署，集群代理数量有多种规格。
功能
Kafka与RabbitMQ都是比较主流的两款消息中间件，具备消息传递的基本功能，但在 一些特殊的功能方面存在差异，以下给出Kafka与RabbitMQ两个开源社区版本的比 较。
表5-1 Kafka 与 RabbitMQ 的功能差异比较
功能项 Kafka（1.1.0/2.3.0版本） RabbitMQ（3.7.17版本）
优先级队 列
不支持 支持。建议优先级大小设置在0-10之
间。
产品介绍 5 与 RabbitMQ 专享版的差异
功能项 Kafka（1.1.0/2.3.0版本） RabbitMQ（3.7.17版本）
延迟队列 不支持 支持
死信队列 不支持 支持
重试队列 不支持 不支持。
消费模式 客户端主动拉取。 支持客户端主动拉取以及服务端推送 两种模式。
广播消费 支持。 支持。
消息回溯 支持。Kafka支持按照offset 和timestamp两种维度进行消 息回溯。
不支持。RabbitMQ中消息一旦被确认 消费就会被标记删除。
消息堆积 支持。考虑吞吐因素，Kafka 的堆积效率比RabbitMQ总体 上要高。
支持。
持久化 支持 支持
消息追踪 不支持 支持。RabbitMQ中可以采用Firehose 或者rabbitmq_tracing插件实现，但 开启rabbitmq_tracing插件会影响性 能，建议只在定位问题过程中开启。
消息过滤 支持 不支持，但可以自行封装。
多租户 不支持 支持
多协议支
持 只支持Kafka自定义协议。 RabbitMQ基于AMQP协议实现，同时 支持MQTT、STOMP等协议。
跨语言支 持
采用Scala和Java编写，支持 多种语言的客户端。
采用Erlang编写，支持多种语言的客 户端。
流量控制 支持client和user级别，通过 主动设置可将流控作用于生产 者或消费者。
RabbitMQ的流控基于Credit-Based算 法，是内部被动触发的保护机制，作 用于生产者层面。
消息顺序 性
支持单分区（partition）级别 的顺序性。
不支持。需要单线程发送、单线程消 费并且不采用延迟队列、优先级队列 等一些高级功能整体配合，才能实现 消息有序。
安全机制 支持SSL、SASL身份认证和读
写权限控制。 与Kafka相似 幂等性 支持单个生产者单分区单会话
的幂等性。
不支持
事务性消 息
支持 支持
产品介绍 5 与 RabbitMQ 专享版的差异
说明
以上对比内容仅代表开源版本间的比较。
分布式消息服务提供的Kafka与RabbitMQ，在兼容开源协议的基础上，对版本特性做了部分支 持或者增强。
产品介绍 5 与 RabbitMQ 专享版的差异
6
与开源 Kafka 的差异
分布式消息服务Kafka版在兼容开源Kafka基础上，对版本特性做了一定程度的定制和 增强，所以，除了拥有开源Kafka的优点，分布式消息服务Kafka版提供了更多可靠、
实用的特性。
表6-1 分布式消息服务 Kafka 版与开源 Kafka 的差异说明 对比类 对比项 分布式消息服务Kafka版 开源Kafka 简单易
用
立等可 用
即开即用，可视化操作，按 需自助创建，自动化部署，
分钟级创建实例，立即使 用，实时查看和管理消息实 例。
● 自行准备服务器资源，安装配 置必要的软件并进行配置，等 待时间长。
● 易出错。
简单API 提供简单的实例管理 RESTFul API，使用门槛 低。
无
成本低 廉
按需使 用
提供多种规格，按需使用，
支持一键式在线进行实例基 准带宽和磁盘存储空间扩 容，不中断业务。
搭建消息服务本身需要费用，而 且即使没有使用，所占用资源本 身依旧要收费。
完全托 管
租户不需要单独采购硬件资 源，直接使用就绪的服务，
无需额外成本。
需要购买硬件资源，自行搭建整 个消息服务，使用和维护成本 高。
实践验 证
成熟度 高
经受华为官方电商网站 VMALL双11等大规模访问 考验，并且已经在华为许多 产品中使用，广泛部署运行 在分布于世界各地的电信级 客户云业务系统里。满足严 苛的电信级故障模式库标 准。紧随社区主流版本，修 复开源bug，持续上线新功 能，进行版本升级。
使用开源软件成熟度低，无法保 证关键业务，商业案例少；自研 周期长，并需要长时间进行验 证。
产品介绍 6 与开源 Kafka 的差异
对比类 对比项 分布式消息服务Kafka版 开源Kafka 能力强
大 100%兼容开源，支持一键 扩容，深度优化开源代码提 升性能和可靠性，支持消息 查询、消息转储等高级特 性。
功能不完善，需额外投入进行开 发。
稳定可 靠
稳定高
可用 支持跨AZ部署，提升可靠 性。故障自动发现并上报告 警，保证用户关键业务的可 靠运行。
需要自己开发或基于开源实现，
开发成本高昂，无法保证业务可 靠运行。
无忧运 维
后台运维对租户完全透明，
整个服务运行具有完备的监 控和告警功能。有异常可以 及时通知相关人员。避免 7*24小时人工值守。
需要自行开发完善运维功能，尤 其是告警及通知功能，否则只能 人工值守。
安全保
证 VPC隔离，支持SSL通道加 密。
需要自行进行安全加固。
产品介绍 6 与开源 Kafka 的差异
7
约束与限制
分布式消息服务Kafka版在某些功能做了约束和限制，如表7-1所示。
表7-1 Kafka 使用约束和限制
限制项 约束和限制 描述
Kafka Zookeeper 不对外暴露 Kafka实例的Zookeeper目 前仅处于自用，不对外提 供服务，为Kafka内部使 用。
版本 当前服务端版本为1.1.0和
2.3.0 兼容0.10以上的客户端版 本，推荐使用和服务端一 致的版本。
消息大小 生产消息的最大长度为
10M 消息长度不要超过10M，
否则生产失败。
登录Kafka节点所在机器 不能登录 无
限制Kafka Topic总分区数 限制 Kafka以分区为粒度管理 消息，分区多导致生产、
存储、消费都碎片化，影 响性能稳定性。在使用过 程中，当Topic的总分区数 达到上限后，用户就无法 继续创建Topic。
是否支持自动创建Topic 支持 在创建实例时候，您可以 选择是否开启。
当您选择开启，表示生产 或消费一个未创建的Topic 时，会自动创建一个包含3 个分区和3个副本的 Topic。
产品介绍 7 约束与限制
限制项 约束和限制 描述 是否需要创建消费组、消
费者、生产者
不需要 不需要单独创建消费组、
生产者和消费者，在使用 时自动生成，实例创建 后，直接使用即可
减少分区数 不支持 按照开源Kafka现有逻
辑，不支持减少分区数。
产品介绍 7 约束与限制
8
与其他云服务的关系
● 云审计（Cloud Trace Service）
云审计为您提供云服务资源的操作记录，记录内容包括您从公有云管理控制台或 者开放API发起的云服务资源操作请求以及每次请求的结果，供您查询、审计和回 溯使用。
当前CTS记录的操作，请参考云审计日志。
● 虚拟私有云
Kafka专享版实例运行于虚拟私有云，需要使用虚拟私有云创建的IP和带宽。通过 虚拟私有云安全组的功能可以增强访问Kafka专享版实例的安全性。
● 云监控（Cloud Eye）
云监控是一个开放性的监控平台，提供资源的实时监控、告警、通知等服务。
说明
Kafka专享实例向Cloud Eye上报监控数据的更新周期为1分钟。
● 弹性公网IP
弹性公网IP（Elastic IP，简称EIP）提供独立的公网IP资源，包括公网IP地址与公 网出口带宽服务。
产品介绍 8 与其他云服务的关系
9
Kafka 相关概念
华为云使用Kafka作为消息引擎，以下概念基于Kafka进行描述。
Topic
消息主题。消息的生产与消费，围绕消息主题进行生产、消费以及其他消息管理操 作。
Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息，多个消 费者订阅该消息主题的消息，生产者与消费者彼此并无直接关系。
生产者（Producer）
向Topic（消息主题）发布消息的一方。发布消息的最终目的在于将消息内容传递给其 他系统/模块，使对方按照约定处理该消息。
消费者（Consumer）
从Topic（消息主题）订阅消息的一方。订阅消息最终目的在于处理消息内容，如日志 集成场景中，监控告警平台（消费者）从主题订阅日志消息，识别出告警日志并发送 告警消息/邮件。
代理（Broker）
即Kafka集群架构设计中的单个Kafka进程，一个Kafka进程对应一台服务器，因此手册 中描述的代理，还包括对应的存储、带宽等服务器资源。
分区（Partition）
为了实现水平扩展与高可用，Kafka将Topic划分为多个分区，消息被分布式存储在分 区中。
副本（Replica）
消息的备份存储。为了确保消息可靠，Kafka创建Topic时，每个分区会分别从代理中 选择1个或多个，对消息进行冗余存储。
Topic的所有消息分布式存储在各个分区上，分区在每个副本存储一份全量数据，副本 之间的消息数据保持同步，任何一个副本不可用，数据都不会丢失。
产品介绍 9 Kafka 相关概念
每个分区都随机挑选一个副本作为Leader，该分区所有消息的生产与消费都在Leader 副本上完成，消息从Leader副本复制到其他副本（Follower）。
Kafka的主题和分区属于逻辑概念，副本与代理属于物理概念。下图通过消息的生产与 消费流向，解释了Kafka的分区、代理与主题间的关系。
图9-1 Kafka 消息流
老化时间
消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删 除的消息，无法被消费。
产品介绍 9 Kafka 相关概念
10
权限管理
如果您需要对华为云上购买的DMS for Kafka资源，给企业中的员工设置不同的访问权 限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、
权限分配、访问控制等功能，可以帮助您安全的控制华为云资源的访问。
通过IAM，您可以在华为云帐号中给员工创建IAM用户，并使用策略来控制他们对华为 云资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有DMS for Kafka的使用权限，但是不希望他们拥有删除Kafka实例等高危操作的权限，那么您可 以使用IAM为开发人员创建用户，通过授予仅能使用DMS for Kafka，但是不允许删除 Kafka实例的权限策略，控制他们对DMS for Kafka资源的使用范围。
如果华为云帐号已经能满足您的要求，不需要创建独立的IAM用户进行权限管理，您 可以跳过本章节，不影响您使用DMS for Kafka的其它功能。
IAM是华为云提供权限管理的基础服务，无需付费即可使用，您只需要为您帐号中的 资源进行付费。关于IAM的详细介绍，请参见《IAM产品介绍》。
说明
DMS for Kafka的权限与策略基于分布式消息服务DMS，因此在IAM服务中为Kafka分配用户与 权限时，请选择并使用“DMS”的权限与策略。
DMS for Kafka 权限
默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户 组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。
授权后，用户就可以基于被授予的权限对云服务进行操作。
DMS for Kafka部署时通过物理区域划分，为项目级服务。授权时，“作用范围”需要 选择“区域级项目”，然后在指定区域（如华北-北京1）对应的项目（cn-north-1）
中设置相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则 该权限在所有区域项目中都生效。访问DMS for Kafka时，需要先切换至授权区域。
权限根据授权精细程度分为角色和策略。
● 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该 机制以服务为粒度，提供有限的服务相关角色用于授权。由于华为云各服务之间 存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角 色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达 到企业对权限最小化的安全管控要求。
产品介绍 10 权限管理
● 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资 源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业 对权限最小化的安全管控要求。例如：针对DMS for Kafka服务，管理员能够控制 IAM用户仅能对实例进行指定的管理操作。多数细粒度策略以API接口为粒度进行 权限拆分，DMS for Kafka支持的API授权项请参见细粒度策略支持的授权项。
如表10-1所示，包括了DMS for Kafka的所有系统权限。
表10-1 DMS for Kafka 系统权限 系统角色/策略
名称 描述 类别 依赖关系
DMS FullAccess 分布式消息服务管理员权限，
拥有该权限的用户可以操作所 有分布式消息服务的功能。
系统策略 无
DMSUserAccess 分布式消息服务普通用户权限
（没有实例创建、修改、删 除、扩容、转储）。
系统策略 无
DMSReadOnlyAcces s
分布式消息服务的只读权限，
拥有该权限的用户仅能查看分 布式消息服务数据。
系统策略 无
DMSAdministrator 分布式消息服务逻辑多租管理 员权限，拥有该权限的用户可 以操作队列管理的所有功能。
系统角色 无
说明
● 分布式消息服务DMS目前只使用DMS Administrator这个系统角色。
● DMS FullAccess、DMS UserAccess和DMS ReadOnlyAccess三种系统策略主要用于DMS for Kafka、DMS for RabbitMQ两个服务的操作权限控制。
● DMS FullAccess、DMS UserAccess和DMS ReadOnlyAccess三种系统策略有包含OBS授权 项，由于缓存的存在，对用户、用户组以及企业项目授予OBS相关的系统策略后，大概需要 等待5分钟系统策略才能生效。
表2列出了DMS for Kafka常用操作与系统策略的授权关系，您可以参照该表选择合适 的系统策略。
表10-2 常用操作与系统策略的关系
操作 DMS FullAccess DMS UserAccess DMS
ReadOnlyAccess
创建实例 √ × ×
按需转包周期 √ × ×
修改实例 √ × ×
删除实例 √ × ×
产品介绍 10 权限管理
操作 DMS FullAccess DMS UserAccess DMS
ReadOnlyAccess
变更实例规格 √ × ×
开启转储 √ × ×
创建转储任务 √ √ ×
重启实例 √ √ ×
查询实例信息 √ √ √
相关链接
● IAM产品介绍
● 创建用户组、用户并授予DMS for Kafka权限
● 细粒度策略支持的授权项
产品介绍 10 权限管理
11
计费说明
华为云分布式消息服务Kafka版支持按需和包周期两种付费模式。具体收费介绍，请参 考价格详情。
计费项
华为云分布式消息服务Kafka版对您选择的Kafka实例和Kafka的磁盘存储空间收费。
Kafka实例规格当前存在2种，一种为华东-上海一、华东-上海二、华北-北京四和华南- 广州区域显示的规格，另一种为除华东-上海一、华东-上海二、华北-北京四和华南-广 州以外区域显示的规格。
产品介绍 11 计费说明
表11-1 Kafka 消息队列计费项
计费项 计费说明
实例费用 ● 在除华东-上海一、华东-上海二、华北-北京四和华南-广州 以外区域，对您选择的实例计费，按支持的基准带宽提供不 同性能的实例规格。访问Kafka队列的流量分读、写双通 道，购买时选择两者中的较大值进行评估，为了保证业务稳 定运行，按大于实际流量30%评估，再根据其它参数，选择 适合的基准带宽实例规格，见表11-2。
如：写流量峰值70MB/s，读流量峰值200MB/s，应按 200MB/s（>70MB/s）评估，再考虑保留30%余量，
200*(1+30%)=260MB/s，应选择购买基准带宽大于 260MB/s的实例规格。
● 在华东-上海一、华东-上海二、华北-北京四和华南-广州区 域，对您选择的实例计费，按选择的ECS规格和代理个数，
提供不同性能的实例规格。购买实例之前请先对业务规模进 行评估，再根据其它参数，选择适合的ECS规格和代理个 数，单个代理性能规格如表11-3所示。
● 队列实例提供包年包月和按需（小时）计费方式。
● 当您选择开启转储时，实例需要另外收取代理费用。
例如：
– 基准带宽100MB/s的实例代理个数为3个，会另外创建2个 同规格的代理，用于转储使用，则需要收取相应代理费 用。
– 规格为c6.4u8g.cluster的实例，会另外创建2个规格为 c6.4u8g的代理，用于转储使用，则需要收取相应代理费 用。
存储空间费用 ● 对您选择的队列存储空间计费（在华东-上海一区域，磁盘类 型为高IO和超高IO两种。在除华东-上海一以外的区域，磁 盘类型为普通IO、高IO和超高IO三种。您可以根据实际情况 选择磁盘类型以满足您的业务需求）。
队列存储可选择不同副本，如：实际队列容量为500GB，3 副本，则应购买500GB*3=1500GB存储容量。
● 存储空间范围见表11-3，步长100G。
● 队列存储提供包年包月和按需（小时）计费方式。
表11-2 Kafka 实例规格（除华东-上海一、华东-上海二、华北-北京四和华南-广州以 外的区域）
实例规格（基 准带宽）
分区上限 Consumer
Group上限 客户端总连接 数上限
存储空间范围
100MB/s 300 60 3000 600GB~90000 GB
300MB/s 900 300 10000 1200GB~9000 0GB
产品介绍 11 计费说明
实例规格（基 准带宽）
分区上限 Consumer
Group上限 客户端总连接 数上限
存储空间范围
600MB/s 1800 600 20000 2400GB~9000 0GB
1200MB/s 1800 600 20000 4800GB~9000 0GB
表11-3 Kafka 实例规格（华东-上海一、华东-上海二、华北-北京四和华南-广州区 域）
实例规格 代理 个数 范围
单个代理TPS 单个代 理分区 上限
单个代理Consumer Group上 限
单个代理 客户端总 连接数上 限
存储空间范围
c6.2u4g.cl
uster 3~30 30000 250 20 1000 600GB~3000 00GB
c6.4u8g.cl
uster 3~30 100000 500 100 2000 1200GB~600 000GB c6.8u16g.
cluster 3~30 150000 1000 150 3000 2400GB~900 000GB c6.12u24
g.cluster 3~30 200000 1500 200 4000 3600GB~900 000GB c6.16u32
g.cluster 3~30 250000 2000 200 5000 4800GB~900 000GB
新老规格对应关系
2种Kafka实例规格的对应关系如表11-4所示。
表11-4 Kafka 实例新老规格对应关系
老规格 分区数上
限（老规 格）
TPS
（老规 格）
对应的新规格 分区数上 限（新规 格）
TPS（新 规格）
100MB/s
（c6.large.2 * 3）
300 10万 c6.2u4g.cluster *
3 750 10万
300MB/s
（c6.xlarge.2 * 3）
900 30万 c6.4u8g.cluster *
3 1500 30万
产品介绍 11 计费说明
老规格 分区数上 限（老规 格）
TPS
（老规 格）
对应的新规格 分区数上 限（新规 格）
TPS（新 规格）
600MB/s
（c6.2xlarge.2 * 4）
1800 60万 c6.8u16g.cluster *
4 4000 60万
1200MB/s
（c6.2xlarge.2 * 8）
1800 120万 c6.8u16g.cluster *
8 8000 120万
例如：客户原先有4个节点（规格为8U16G），3个副本，总分区数为10000-15000，
每个节点的写流量为720Mb，读流量为7.2Gb，复制流量为90MB*2，如果使用华为云 Kafka实例，预计需要什么样的规格？费用多少？
总的写流量：720Mb*3*4=1080MB/s，总的读流量：7.2Gb*4=3686MB/s，总的复制 流量：90MB*2*4=720MB/s，总的读写流量：1080+3686+720=5486MB/s。考虑到流 量预留的影响，建议读写流量按照总流量的80%估算，即总流量需要
5486/80%=6857.5MB。
Kafka实例单代理（超高I/O磁盘）最大支持350MB的流量，需要的代理个数
=6857.5/350=20个。Kafka实例规格为c6.8u16g.cluster*20。c6.8u16g.cluster单代理 最大支持1000分区，客户需要10000-15000的总分区数，通过流量算出的
c6.8u16g.cluster*20规格满足要求。
c6.8u16g.cluster单代理最小存储空间为800GB，总的存储空间为800*20=16000GB。
使用Kafka实例的费用：48600元（实例费用）+16000元（存储空间费用）=64600元/
月。
计费模式
提供按小时、按月、按年的计费方式供您灵活选择，使用越久越便宜。
● 预付费（包年包月）：这种购买方式相对于按需付费提供更大的折扣，对于长期 使用者，推荐该方式。
● 按需付费（小时）：这种购买方式比较灵活，可以即开即停，按实际使用时长计 费。以自然小时为单位整点计费，不足一小时按一小时计费。
变更配置
● Kafka实例的基准带宽支持变更配置：您可以根据业务需求增加您的实例规格，规 格变更后即刻按照新的实例规格收费。
● Kafka实例的代理个数支持变更配置：您可以根据业务需求增加代理个数，扩容后 即刻按照新的实例规格收费。
● Kafka队列存储支持变更配置：您可以根据业务需求增加您的存储空间，扩容后即 刻按照新的存储空间计费。您需要注意的是存储空间只允许扩容，不能缩容。您 每次扩容的最小容量为100GB。
产品介绍 11 计费说明
续费
为防止资源到期或者浪费，已经购买包年/包月缓存实例的用户，可执行续费操作，延 长资源包的有效期，也可以设置到期自动续费。续费的相关操作，请参考续费管理。
产品介绍 11 计费说明
