• 沒有找到結果。

SQL作业包括在SQL作业编辑器窗口执行SQL语句,导入数据和导出数据等操作。

SQL作业管理主要包括如下功能:

● 查找作业:筛选符合对应条件的作业。

● 查看作业详情:显示作业的详细信息。

● 终止作业:终止“提交中”或“运行中”的作业。

● 导出查询结果:当前控制台界面查询结果最多显示1000条数据,如果需要查看更

多或者全量数据,则可以通过该功能将数据导出到OBS获取。

以及查看“使用指南”等操作。

作业管理页面

在总览页面单击“SQL作业”简介,或在左侧导航栏单击“作业管理”>“SQL作 业”,可进入SQL作业管理页面。SQL作业管理页面显示所有SQL作业,作业数量较多 时,系统分页显示,可根据需要跳转至指定页面。您可以查看任何状态下的作业。作 业列表默认按创建时间降序排列,创建时间最近的作业显示在最前端。

7-1 作业管理参数

参数 参数说明

队列 作业所属队列的名称。

执行引擎 SQL作业支持spark和openLookeng(基于Apache Presto)两种 引擎。

● spark:显示执行引擎为“spark”的作业。

● openLookeng:显示执行引擎为“openLooKeng”的作业。

用户名 执行该作业的用户名。

参数 参数说明

类型 作业的类型,包括如下。

● IMPORT:导入数据到DLI的作业。

● EXPORT:从DLI导出数据的作业。

● DCL:包括传统DCL,以及队列权限相关的操作。

● DDL:与传统DDL操作一致,即创建和删除数据库,创建和删 除表的作业。

● QUERY:执行SQL查询数据的作业。

● INSERT:执行SQL插入数据的作业。

● UPDATE:更新数据。

● DELETE:删除SQL作业。

● DATA_MIGRATION:数据迁移。

● RESTART_QUEUE:重启队列。

● SCALE_QUEUE: 队列规格变更(扩容/缩容)。

状态 作业的状态信息,包括如下。

● 提交中

● 运行中

● 已成功

● 已取消

● 已失败

● 规格变更中

执行语句 作业的具体SQL语句以及导出、建表的操作,此处展示操作的描 述。

单击 可复制对应的语句。

运行时长 作业的运行时长。

创建时间 每个作业的创建时间,可按创建时间顺序或倒序显示作业列表。

参数 参数说明

● SparkUI:单击后,将跳转至Spark任务运行情况界面。

说明

● 新建队列,运行作业时会重新拉集群,大概需要10分钟左右才能拉 好集群,在集群创建好之前单击SparkUI会导致缓存空的

projectID,从而导致无法查看SparkUI。建议使用专属队列,集群 不会被释放,就不会有该问题,或者提交作业后等一段时间再查看 SparkUI,确保集群已经拉好了,不要立即单击SparkUI。

● 目前DLI配置SparkUI只展示最新的100条作业信息。

● QUERY作业和异步DDL作业除上述操作外,还包括:

– 下载到本地:异步DDL和QUERY语句支持将结果下载到本 地。具体操作请见下载到本地。

– 查看结果:查看作业运行结果。

– 导出结果:将作业运行结果导出至用户创建的OBS桶中。具 体操作请见导出查询结果。

● EXPORT作业除上述操作外,还包括:

– 立即下载

● 归档日志:将作业日志保存到系统创建的DLI临时OBS数据桶 中。

● 导出日志:将日志导出至用户创建的OBS桶中进行查看。当作 业状态在“运行中”时,不能导出日志。

说明导出日志需要用户需要具有创建OBS桶的权限。

default队列下运行的作业或者该作业为同步作业时不支持归档日志和导出 日志操作。

查找作业

在“SQL作业”页面,可以通过以下方式对作业进行过滤筛选,在页面中显示符合对 应条件的作业。

● 选择队列名称

● 选择执行引擎

● 设置日期范围

● 输入用户名/执行语句/作业ID/标签

● 选择创建时间顺序/倒序排列

● 选择作业类型

● 选择作业状态

● 选择运行时长顺序/倒序排列

查看作业详情

在“SQL作业”页面,选中一条作业,单击该作业对应的 ,可查看该条作业的详细 信息。

不同类型的作业,显示的作业详情不同。以导入数据作业,建表作业和查询作业为例 说明。作业详情根据作业类型、状态和配置选项不同显示可能存在差异,具体以实际 界面显示为准。

● 导入数据(load data)作业(作业类型:IMPORT),包括以下信息:队列,作 业ID,用户名,类型,状态,执行语句,运行时长,创建时间,结束时间,参数 设置,标签,结果条数,已扫描数据,扫描数据条数,错误记录条数,存储路 径,数据格式,数据库,表,表头,分隔符,引用字符,转义字符,日期格式,

时间戳格式。

● 建表(create table)作业(作业类型:DDL),包括以下信息:队列,作业ID,

用户名,类型,状态,执行语句,运行时长,创建时间,结束时间,参数设置,

标签,结果条数,已扫描数据,数据库。

● 查询(select)作业(作业类型:QUERY),包括以下信息:队列,作业ID,用 户名,类型,状态,执行语句,运行时长,创建时间,结束时间,参数设置,标 签,结果条数(运行成功,可导出结果),已扫描数据,执行用户,结果状态

(运行成功,可查看结果;运行失败,显示失败原因),数据库。

终止作业

在“SQL作业”页面,可单击“操作”列的“终止”,终止“提交中”或“运行中”

的作业。

下载到本地

异步DDL和QUERY语句支持将结果下载到本地。操作如下:

1. 单击执行成功的异步DDL或QUERY语句“操作”列中的“下载到本地”,在提示 窗口单击“确认”。此时,“操作”列中的“下载到本地”将变为“立即下 载”。

2. 单击“立即下载”将对应结果下载到本地。

导出查询结果

当前控制台界面查询结果最多显示1000条数据,如果需要查看更多或者全量数据,则 可以通过该功能将数据导出到OBS获取。具体操作步骤如下:

导出查询结果的操作入口有两个,分别在“SQL作业”和“SQL编辑器”页面。

● 在“作业管理”>“SQL作业”页面,可单击对应作业“操作”列“更多”中的

“导出结果”,可导出执行查询后的结果。

● 在“SQL编辑器”页面,查询语句执行成功后,在“查看结果”页签右侧,单击

“导出结果”,可导出执行查询后的结果。

说明

若查询结果中无数值列,则无法导出查询结果。

7-1 导出结果

7-2 参数说明 参数名称 描述 数据源格

导出查询结果数据的文件格式。当前只支持json格式。

队列 选择运行的队列。SQL作业只能在队列类型为“SQL队列”下执行。具 体队列创建可以参考创建队列。

参数名称 描述

压缩格式 导出查询结果数据的压缩方式,选择如下压缩方式。

● none

● bzip2

● deflate

● gzip

存储路径 输入或选择OBS的路径。

说明

● 选择OBS桶后,请在文本框中定义文件夹名称,若该文件夹不存在,则会在 OBS中创建。

● 文件夹名称不能包含下列特殊字符:\ / : * ? " < > |,并且不能以“.”开头和 结尾。

导出方式 导出查询结果数据的保存方式。

● 随导出创建指定路径:指定的导出目录必须不存在,如果指定目录已 经存在,系统将返回错误信息,无法执行导出操作。

● 覆盖指定路径:在指定目录下新建文件,会删除已有文件。

结果条数 导出查询结果数据的数量。不填写数值或数值为“0”时,导出全部结 果。

表头 设置导出查询结果数据是否含表头。