7.2 Flink 作业管理
7.2.10 操作 Flink 作业
对于Flink OpenSource SQL作业,编辑页面详情请参见创建Flink OpenSource SQL 作业中的步骤5~步骤7。
对于Flink SQL边缘类型作业,编辑页面详情请参见创建Flink SQL边缘作业中的步骤 5~步骤7。
----结束
启动作业
用户可以启动已创建保存的作业或已经停止的作业。
步骤1 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业 管理页面。
步骤2 启动作业,有以下两种方式:
● 启动单个作业
选择一个作业,在对应的“操作”列中,单击“启动”。
也可以在作业列表中,勾选一个作业,单击作业列表左上方的“启动”。
● 批量启动作业
勾选多个作业,单击作业列表左上方的“启动”,可以启动多个作业。
单击“启动”后,跳转至“作业配置清单”页面。
步骤3 在“作业配置清单”页面,确认作业信息及价格,若无误,单击“立即启动”。
作业启动后,可在对应作业的“状态”列中查看运行成功或失败。
----结束
停止作业
当用户不需要运行某个作业时,用户可以将状态为“运行中”和“提交中”的作业停 止。
步骤1 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业 管理页面。
步骤2 停止作业,有以下两种方式:
● 停止单个作业
选择需要停止的作业,在对应的“操作”列中,单击“更多 > 停止”。
也可以在作业列表中,勾选一个作业,单击作业列表左上方的“停止”。
● 批量停止作业
勾选多个需要停止作业,单击作业列表左上方的“停止”。可以停止多个作业。
步骤3 在弹出的“停止作业”窗口中,单击“确认”,停止作业。
图7-19 停止作业
说明
● 在停止作业之前,用户可以触发保存点,保存作业的状态信息。当该作业再次启动时用户可 以选择是否从保存点恢复。
● 勾选“触发保存点”表示创建保存点。不勾选“触发保存点”表示不创建保存点。默认不创 建保存点。
● 保存点的生命周期从触发保存点并停止作业开始,重启作业后结束。保存点在重启作业后自 动删除,不会一直保存。
停止作业过程中,在作业列表的“状态”列中将显示作业状态,说明如下:
● 如果在“状态”中显示“停止中”,表示正在停止作业。
● 如果在“状态”中显示“已停止”,表示停止作业成功。
● 如果在“状态”中显示“停止失败”,表示停止作业失败。
----结束
删除作业
当用户不再需要使用某个作业时,可以参考如下操作删除该作业。作业删除后,将不 可恢复,请谨慎操作。
步骤1 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业 管理页面。
步骤2 删除作业,有以下两种方式:
● 删除单个作业
在需要删除作业对应的“操作”列中,单击“更多 > 删除”,弹出“删除作业”
页面。
也可以在作业列表中,勾选一个作业,单击作业列表左上方的“删除”,弹出
“删除作业”页面。
● 批量删除作业
勾选多个需要删除作业,单击作业列表左上方的“删除”,弹出“删除作业”页 面,可以删除多个作业。
步骤3 单击“确定”,完成作业的删除。
----结束
导出作业
用户可以将所创建的Flink作业导出至OBS桶中。
适用于当用户切换区域、项目或用户时,需要创建相同的作业,而作业比较多的情 况。此时,不需要重新创建作业,只需要将原有的作业导出,再在新的区域、项目或 者使用新的用户登录后,导入作业即可。
说明
切换项目或用户时,需要对新项目或用户授权,具体请参考Flink作业权限管理。
步骤1 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业 管理页面。
步骤2 单击右上角“导出作业”,打开“导出作业”对话框。
步骤3 选择保存作业的OBS桶。单击“下一步”。
步骤4 选择待导出的作业。
默认导出所有作业,也可以勾选“自定义导出”选择需要导出的作业。
步骤5 单击“确认导出”,完成导出作业。
----结束
导入作业
用户可以将保存在OBS桶中的Flink作业配置文件导入至DLI的Flink作业管理中。
适用于当用户切换区域、项目或用户时,需要创建相同的作业,而作业比较多的情 况。此时,不需要重新创建作业,只需要将原有的作业导出,再在新的区域、项目或 者使用新的用户登录后,导入作业即可。
如果需要导入自建的作业,建议使用创建作业的功能。具体请参考创建Flink SQL作 业,创建Flink Jar作业,创建Flink OpenSource SQL作业和创建Flink SQL边缘作 业。
说明
● 切换项目或用户时,需要对新项目或用户授权,具体请参考Flink作业权限管理。
● 仅支持导入与从DLI导出的Flink作业相同数据格式的作业。
步骤1 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业 管理页面。
步骤2 单击右上角“导入作业”,打开“导入作业”对话框。
步骤3 选择需导入的作业配置文件的完整OBS路径。单击“下一步”。
步骤4 配置同名作业策略。单击“下一步”。
● 勾选“配置同名替换”,若待导入的作业名已存在,则覆盖已存在的作业配置,
并且作业状态重置为草稿。
● 不勾选“配置同名替换”,若待导入的作业名已存在,则不导入同名作业的配 置。
步骤5 确认“配置文件”和“同名作业策略”配置无误。单击“确认导入”,完成导入作 业。
----结束
名称和描述修改
用户可以根据需要修改作业名称和描述。
步骤1 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业 管理页面。
步骤2 在需要修改名称和描述的作业对应的“操作”列中,单击“更多 > 名称和描述修 改”,弹出“属性修改”页面。修改作业名称和描述。
图7-20 名称和描述修改
步骤3 单击“确定”完成修改。
----结束
触发保存点
状态为“运行中”的作业可以“触发保存点”,保存作业的状态信息。
导入保存点
导入保存点用于恢复作业状态。关于保存点,可参见flink官方文档Checkpointing说 明。
具体操作为:选择保存点的OBS路径,选择完成后,单击“确认”完成导入。
运行时配置
用户可通过选择“运行时配置”配置作业异常告警和重启选项。
说明
支持Flink SQL作业,Flink jar作业和Flink OpenSource SQL作业。
1. 在对应Flink作业“操作”列>“更多”中单击“运行时配置”。
2. 在“运行时配置”页面配置以下参数。
图7-21 运行时配置
表7-15 作业运行参数说明
参数 参数说明
作业异常告警 设置是否将作业异常告警信息,如作业出现运行异常或者欠 费情况,以SMN的方式通知用户。
勾选后需配置下列参数:
“SMN主题”:
选择一个自定义的SMN主题。如何自定义SMN主题,请参见
《消息通知服务用户指南》中“创建主题”章节。
参数 参数说明
异常自动重启 设置是否启动异常自动重启功能,当作业异常时将自动重启 并恢复作业。
勾选后需配置下列参数:
● “异常重试最大次数”:配置异常重试最大次数。单位为
“次/小时”。
– 无限:无限次重试。
– 有限:自定义重试次数。
● “从Checkpoint恢复”:从已保存的checkpoint恢复作 业。
说明Flink SQL作业和Flink OpenSource SQL作业需要在编辑页面勾选
“开启Checkpoint”才可配置该参数。
勾选该参数后,Flink jar作业还需要选择“Checkpoint路 径”。
“Checkpoint路径”:选择checkpoint保存路径。必须和 应用程序中配置的Checkpoint地址相对应。且不同作业的 路径不可一致,否则无法获取准确的Checkpoint。