队列
DLI服务中的队列即为计算资源,计算资源是使用DLI服务的基础,用户执行的一切作 业都需要使用计算资源。
当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中,SQL队列用于运 行SQL作业,通用队列兼容老版本的Spark队列,用于运行Spark作业和Flink作业。
说明
● SQL队列每隔12小时会自动重启一次。
● 不支持不同类型队列直接转换,如需更换队列,请重新购买新的队列。
● default队列是系统预置的默认队列,不计费,不需要单独删除。
计算资源和存储资源的区别
表8-1 计算资源和存储资源的区别
资源名称 获取方式 计费方式 主要作用
计算资源 在DLI管理控制台创建
队列。 按扫描数据量或按CU
时计费。
执行查询。
存储资源 DLI服务自带5G配额。 按存储数据量计费。 存储数据库和DLI 表。
说明
● 存储资源是DLI服务内部的存储资源,用于存储数据库和DLI表,体现用户存储在DLI中的数 据量。
● 存储资源无需创建,DLI默认提供5G配额,若需要更大配额可提交工单申请。
● DLI服务预置了名为“default”的队列,资源的大小是按需分配的。用户在不确定所需队列 容量或没有可创建队列空间的情况下,可以使用该队列执行作业。
● “default”队列只用于用户体验,所有人共用,用户间可能会出现抢占资源的情况,不能保 证每次都可以得到资源执行相关操作。建议使用自建队列执行作业。
可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独 立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个 Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。
更多内容请参考《区域和可用区》。
DLI跨AZ队列能够为用户提供跨区域容灾的能力,提高计算的可靠性,用户可以在单 AZ不可用的情况下,持续使用DLI服务。适用于用户对队列可靠性要求较高的场景。
DLI跨AZ队列是指在两个不同AZ下建立相同的计算资源,例如,用户1需要1400CUs的 计算资源,那么用户1可以在创建队列的时候选择1400CUs的计算资源并且勾选跨AZ选 项,DLI将为用户1创建两个不同AZ下的专属1400CUs计算资源,在一个AZ不可用的情 况下,另外一个AZ可以正常的处理用户1的计算任务。
说明
● 目前仅支持包年包月队列和按需专属队列进行跨AZ双活,不支持普通按需队列和default队 列。
● 在购买队列时勾选跨AZ选项后,计费将为单AZ模式下的2倍。
AI 增强型队列
AI增强型队列用于运行AI相关的SQL作业。DLI通过AI镜像,在原有的Spark镜像基础 上,集成了一系列通用的AI相关算法包,将Spark与AI能力相结合,方便用户运行机器 学习相关的作业。AI镜像所依赖的安装包请参考AI镜像安装依赖包。
包年包月队列规格变更
DLI提供了包年包月队列规格变更的功能。用户在创建包年包月队列后,可根据需要进 行规格变更。目前只支持64CUs以上规格队列进行规格变更。
根据业务情况,手动更改队列规格。具体操作请参考规格变更。当前只支持包年包月 队列的规格扩容/缩容,扩容/缩容后会进行收费或者退费,具体费用请参考页面提示。
说明
新创建的队列需要运行作业后才可进行扩缩容。
按需队列弹性扩缩容
DLI提供了按需队列弹性扩缩容的功能。用户在创建指定规格按需队列后,可根据需要 进行弹性扩缩容。
DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后,可根据需要进行弹性 扩缩容定时任务。
根据业务情况,设置队列自动扩缩容的时间,由系统定时触发队列扩缩容。具体操作 请参考弹性扩缩容定时任务。
● 按需队列扩容/缩容后仍然按需计费,即根据CU时计费。目前只支持64CU以上队 列进行定时弹性扩缩容任务,即队列最小值为64CU。
● 包年包月队列只支持弹性扩容定时任务,扩容根据“预付费 + 按需CU时”计费,
即包年包月规格之外的资源按需计费。目前只支持64CUs以上包年包月队列进行 定时弹性扩容任务。
说明
新创建的队列需要运行作业后才可进行扩缩容。
队列自动扩缩容
Flink作业使用按需队列,DLI可根据作业大小自动触发扩缩容,用户无需进行操作。
说明
说明
DLI作业执行失败需要通过SMN发送通知消息,因此需要获得访问和使用SMN(消息通知服务)
的SMN Administrator权限。
队列管理页面显示用户创建所有的队列和服务预置的default队列,您可以查看队列容 量、计费方式等信息。队列列表默认按创建时间排列,创建时间最近的队列显示在最
CUs是队列的计价单位。 1CUs=1Core 4GMem 。不同规格的队列 对应的计算能力不一样,规格越高计算能力越好。
– 按需/CU时:按照CU时收取计算费用。建议选择CU时套餐 包。
– 按需/SQL计算量:按照用户每个作业的数据扫描量收取计算 费用。建议选择扫描量套餐包。
说明只有default队列按照数据扫描量收取计算费用,用户自定义队列均 按照CU时收取计算费用。
参数 参数说明
企业项目 显示所建队列所属的企业项目。如果不属于企业项目,则显示
“--”。
企业项目是一种云资源管理方式,企业项目管理服务提供统一的云 资源按项目管理,以及项目内的资源管理、成员管理。关于如何设 置企业项目请参考《企业管理用户指南》。
说明
只有开通了企业管理服务的用户才显示该参数。
描述 创建队列时,对队列的描述。如果无描述,则显示“--”。
参数 参数说明 值大小必须为16CU的整数倍。
说明只有“按需/CU时”和“按需/专属资源模式”计费队列可以进行弹性 扩缩容。
– 规格变更:可以根据需要选择“扩容”或“缩容”,目标值 大小必须为16CU的整数倍。
说明
只有“包年包月”计费队列可以进行规格变更。
– 弹性扩缩容定时任务:可以根据业务周期或使用情况,在不 同的时间或周期内设置不同的队列大小,系统将定时自动进 行“扩容”或“缩容”。目标值大小必须为16CU的整数倍。
– 续费/退订:根据需要选择续费或者退订。
说明只有包年包月计费有“续费/退订”操作。
– 修改网段:使用DLI增强型跨源时,DLI队列网段与数据源网 段不能重合,可根据需要进行修改。
建议使用网段:
10.0.0.0~10.255.0.0/8~24 172.16.0.0~172.31.0.0/12~24 192.168.0.0~192.168.0.0/16~24 说明
只有包年包月队列可以修改网段。
– 测试地址连通性:测试队列到指定地址是否可达,支持域名 和ip,可指定端口。
– 标签:添加、编辑或删除标签。