创建 Spark 作业

7.3 Spark 作业管理

7.3.2 创建 Spark 作业

Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。

在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。

进入Spark作业编辑页面，页面会提示系统将创建DLI临时数据桶。该桶用于存储使用 DLI服务产生的临时数据，例如：作业日志、作业结果等。如果不创建该桶，将无法查看作业日志。可以通过配置生命周期规则，实现定时删除OBS桶中的对象或者定时转换对象的存储类别。桶名称为系统默认。

如果不需要创建DLI临时数据桶，并且希望不再收到该提示，可以勾选“下次不再提示”并单击“取消”。

前提条件

● 请先将所要依赖的程序包通过“数据管理>程序包管理”页面上传至对应的OBS桶中。具体操作请参考创建程序包。

● 创建Spark作业，访问其他外部数据源时，如访问OpenTSDB、HBase、Kafka、

DWS、RDS、CSS、CloudTable、DCS Redis、DDS Mongo等，需要先创建跨源连接，打通作业运行队列到外部数据源之间的网络。

在创建Spark作业页面，左侧导航栏包括“队列”页签和“程序包”页签。

图7-30 Spark 作业编辑页面导航栏 1

图7-31 Spark 作业编辑页面导航栏 2

表7-21 左侧导航栏说明 序

号

页签/按键

页签/按键名称

描述

1 队列显示已有的队列。

2 程序包显示已有的程序包。

3 模板模板 Spark作业模板。

4 创建创建队列/程序包。

5 刷新包括刷新已有的队列和程序包列表。

6 搜索在程序包页签，可以输入程序包名称进行搜

索。

● 作业编辑窗口

在作业编辑窗口，可以选择使用“表单模式”或者“API模式”进行参数设置。

以下以“表单模式”页面进行说明，“API模式”即采用API接口模式设置参数及参数值，具体请参考《数据湖探索API参考》。

– 选择运行队列：具体参数请参考表7-22。

图7-32 创建 Spark 作业-选择运行队列

表7-22 运行队列参数说明 参数名称参数描述

队列下拉选择要使用的队列。

– 作业配置：具体参数请参考表7-23。

图7-33 创建 Spark 作业-作业配置

表7-23 作业配置参数说明

用户自定义参数，多个参数请以Enter键分隔。

应用程序参数支持全局变量替换。例如，在“全局配置”>“全局变量”中新增全局变量key为batch_num，可以使用{{batch_num}}，在提交作业之后进行变量替换。

Spark参数以“key=value”的形式设置提交Spark作业的属性，多个参数以Enter键分隔。具体参数请参考Spark Configuration。

Spark参数value支持全局变量替换。例如，在“全局配置”>“全局变量”中新增全局变量key为custom_class，可以使用"spark.sql.catalog"={{custom_class}}，在提交作业之后进行变量替换。

说明Spark作业不支持自定义设置jvm垃圾回收算法。

依赖jar包运行spark作业依赖的jars。可以输入jar包名称，也可以输入对应jar包文件的的OBS路径，格式为：obs://桶名/文件夹路径名/包名。

依赖python文件

运行spark作业依赖的py-files。可以输入Python文件名称，

也可以输入Python文件对应的OBS路径，格式为：obs://桶名/文件夹路径名/文件名。

其他依赖

文件运行spark作业依赖的其他files。可以输入依赖文件名称，也可以输入对应的OBS路径，格式为：obs://桶名/文件夹路径名/文件名。

是否通过Spark作业访问元数据。具体请参考《数据湖探索开发指南》。

是否重试作业失败后是否进行重试。

选择“是”需要配置以下参数：

“最大重试次数”：设置作业失败重试次数，最大值为

“100”。

高级配置 ● 暂不配置

● 现在配置：包括以下两项参数

– 选择依赖资源：具体参数请参考表7-24。

– 计算资源规格：具体参数请参考表7-25。

图7-34 创建 Spark 作业-高级配置

表7-24 选择依赖资源参数说明 参数名称参数描述

Module名称

DLI系统提供的用于执行跨源作业的依赖模块访问各个不同的服务，选择不同的模块：

● CloudTable/MRS HBase: sys.datasource.hbase

● DDS：sys.datasource.mongo

● CloudTable/MRS OpenTSDB: sys.datasource.opentsdb

● DWS: sys.datasource.dws

● RDS MySQL: sys.datasource.rds

● RDS PostGre: sys.datasource.rds

● DCS: sys.datasource.redis

● CSS: sys.datasource.css DLI内部相关模块：

● sys.res.dli-v2

● sys.res.dli

● sys.datasource.dli-inner-table 资源包运行spark作业依赖的jar包。

表7-25 计算资源规格参数说明

参数名称参数描述

资源规格下拉选择所需的资源规格。系统提供3种资源规格供您选择。资源规格中如下配置项支持修改：

● Executor内存

● Executor CPU核数

● Executor个数

● driver CPU核数

● driver内存

最终配置结果以修改后数据为准。

Executor内存在所选资源规格基础上自定义Executor内存规格。

Executor CPU核

数在所选资源规格基础上自定义Executor CPU核数。

Executor个数在所选资源规格基础上自定义Executor个数。

driver CPU核数在所选资源规格基础上自定义Driver CPU核数。

driver内存在所选资源规格基础上自定义Driver内存规格。

说明

Spark作业参数计算：

● CU数=driver CPU核数+Executor个数*Executor CPU核数

注意：因为本身DLI集群管理面和driver都会占用一部分CU资源，“Executor个数*Executor CPU核数”实际要小于队列的计算资源CU数。

● 内存数=driver内存+(Executor个数*Executor内存）