Flink 作业管理概述

在Flink作业管理页面可提交Flink作业。目前有以下作业类型：

● Flink SQL作业：使用SQL语句定义作业，可以提交到通用队列上。

● Flink Jar作业：基于Flink API的自定义Jar包作业，可以运行在独享队列上。

● Flink OpenSource SQL作业：兼容社区Flink 1.10版本SQL语法，仅支持运行在 CCE类型队列上。

● Flink Edge SQL作业：通过SQL对边缘设备数据进行分析，可部署到边缘节点上。

Flink作业管理主要包括如下功能：

●

Flink作业权限管理

● 创建Flink SQL作业

● 创建Flink Jar作业

● 创建Flink OpenSource SQL作业

● 创建Flink SQL边缘作业

● 边缘鉴权码管理

● 调试作业

DLI执行Flink作业需要进行委托授权，可在第一次登录管理控制台时进行设置，也可在

“全局配置”>“服务授权”中进行修改。

具体权限如下：

● Tenant Administrator(全局服务)：DLI Flink作业访问和使用OBS或者DWS数据 源、日志转储（包括桶授权）、开启checkpoint、作业导入导出等，需要获得访 问和使用OBS（对象存储服务）的Tenant Administrator权限。

说明

由于云服务缓存需要时间，该权限60分钟左右才能生效。

● DIS Administrator：DLI Flink作业访问和使用DIS数据源，需要获得访问和使用 DIS（数据接入服务）的DIS Administrator权限。

说明

由于云服务缓存需要时间，该权限30分钟左右才能生效。

● CloudTable Administrator：DLI Flink作业访问和使用CloudTable数据源，需要获 得访问和使用CloudTable（表格存储服务）的CloudTable Administrator权限。

说明

由于云服务缓存需要时间，该权限3分钟左右才能生效。

● Tenant Administrator(项目级)：DLI 边缘Flink作业执行需要使用IEF（智能边缘 平台）服务，IEF服务必须具有Tenant Administrator权限才能运行。使用其他必 须具有Tenant Administrator权限才能运行的服务也需要获得该权限。

说明

由于云服务缓存需要时间，该权限3分钟左右才能生效。

作业管理页面

在总览页面单击“Flink作业”简介，或在左侧导航栏单击“作业管理”>“Flink作 业”，可进入Flink作业管理页面。Flink作业管理页面显示所有的Flink作业，作业数量 较多时，系统分页显示，您可以查看任何状态下的作业。

表7-3 作业管理参数

参数 参数说明

ID 所提交Flink作业的ID，由系统默认生成。

名称 所提交Flink作业的名称。

类型 所提交Flink作业的类型。包括：

● Flink SQL：Flink SQL作业

● Flink Jar：Flink Jar作业

● Flink OpenSource SQL：Flink OpenSource SQL作业

● Flink Edge SQL：Flink SQL边缘作业 状态 作业的状态信息，包括：

● 草稿

● 提交中

● 提交失败

● 运行中（开始计费，提交作业后，返回正常结果）

● 运行异常（停止计费。作业发生运行时异常，停止运行作业）

● 下载中

● 空闲

● 停止中

● 已停止

● 停止失败

● 保存点创建中

● 因欠费被停止（结束计费。用户账户欠费，作业停止）

● 欠费作业恢复中（用户账户欠费，账户充值，作业恢复中）

● 已完成

描述 所提交Flink作业的描述。

用户名 提交作业的用户名称。

创建时间 每个作业的创建时间。

开始时间 Flink作业开始运行的时间。

运行时长 作业运行所消耗的时间。

参数 参数说明

– FlinkUI：单击后，将跳转至Flink任务运行情况界面。

说明如果是新建队列，在该队列提交作业后，如果立即单击FlinkUI，因为后 台大约需要10分钟创建集群，会导致缓存空的projectID，从而导致无法 查看FlinkUI。

建议作业选择使用专属队列，后台集群不会被释放，避免上述问题产 生。或者等待作业运行中时再查看FlinkUI，确保集群已经拉好了，不要 立即单击FlinkUI。

– 停止：停止Flink作业。如果该功能置灰，表示当前状态的作业 权。具体请参考Flink作业权限管理。

– 运行时配置：支持作业在运行时配置作业异常告警和异常自动

● 给新用户设置作业权限时，该用户所在用户组的所属区域需具有Tenant Guest权 限。关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一 身份认证服务用户指南》中的创建用户组。

Flink 作业权限相关操作步骤

1. 在DLI管理控制台的左侧，选择“作业管理”>“Flink作业”。