数据湖探索
产品介绍
文档版本 01
发布日期 2021-06-21
版权所有 © 华为技术有限公司 2022。 保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传 播。
商标声明
和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标，由各自的所有人拥有。
注意
您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声 明或保证。
由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
目 录
1 图解数据湖探索... 1
2 什么是 DLI...3
3 Serverless DLI 与自建 Hadoop 对比优势...5
4 什么是 openLooKeng... 7
5 应用场景...9
6 使用须知...14
7 基本概念...16
8 约束与限制...18
9 权限管理...19
10 与其他云服务的关系... 35
11 配额说明... 38
12 计费说明... 39
产品介绍 目 录
1 图解数据湖探索
产品介绍 1 图解数据湖探索
2 什么是 DLI
数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Apache Presto）生态，提供一站式的流处理、批处理、
交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。
支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据 无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、
DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
功能介绍
DLI用户可以通过可视化界面、Restful API、JDBC、ODBC、Beeline等多种接入方式对 云上CloudTable、RDS和DWS等异构数据源进行查询分析，数据格式兼容CSV、
JSON、Parquet、Carbon和ORC五种主流数据格式。
● 三大基本功能
– SQL作业支持SQL查询功能：可为用户提供标准的SQL语句。具体内容请参考
《数据湖探索SQL语法参考》。
– Flink作业支持Flink SQL在线分析功能：支持Window、Join等聚合函数、地 理函数、CEP函数等，用SQL表达业务逻辑，简便快捷实现业务。具体内容请 参考《数据湖探索SQL语法参考》。
– Spark作业提供全托管式Spark计算特性：用户可通过交互式会话(session)和 批处理(batch)方式提交计算任务，在全托管Spark队列上进行数据分析。具 体内容请参考《数据湖探索API参考》。
● 多数据源分析：
– Spark跨源连接：可通过DLI访问CloudTable，DWS，RDS和CSS等数据源。
具体内容请参考《数据湖探索用户指南》。
– Flink跨源支持与多种云服务连通，形成丰富的流生态圈。数据湖探索的流生 态分为云服务生态和开源生态：
▪
云服务生态：数据湖探索在Flink SQL中支持与其他服务的连通。用户可 以直接使用SQL从这些服务中读写数据，如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。
▪
开源生态：通过增强型跨源连接建立与其他VPC的网络连接后，用户可 以在数据湖探索的租户独享队列中访问所有Flink和Spark支持的数据源 与输出源，如Kafka、Hbase、ElasticSearch等。具体内容请参见《数据湖探索开发指南》。
● BI工具
– 对接永洪BI：与永洪BI对接实现数据分析。具体内容请参考《数据湖探索开 发指南》。
● 支持地理空间查询。具体内容请参考《数据湖探索开发指南》。
如何访问 DLI
华为云提供了Web化的服务管理平台，既可以通过管理控制台和基于HTTPS请求的API
（Application programming interface）管理方式来访问DLI，又可以通过JDBC或 ODBC等客户端连接DLI服务端。
● 管理控制台方式
提交SQL作业、Spark作业或Flink作业，均可以使用管理控制台方式访问DLI服 务。用户注册华为云后，可直接登录管理控制台，从主页选择“EI企业智 能”>“EI大数据”>“数据湖探索”即可。
● API方式
如果用户需要将华为云平台上的DLI服务集成到第三方系统，用于二次开发，可以 使用API方式访问DLI服务，具体操作请参见《数据湖探索API参考》。
● JDBC或ODBC
DLI支持使用JDBC或ODBC连接服务端进行数据查询操作。具体内容请参考《数据 湖探索开发指南》。
● Beeline
DLI支持通过Beeline提交作业。具体内容请参考《数据湖探索开发指南》。
● Spark-submit
DLI支持通过Spark-submit提交作业。具体内容请参考《数据湖探索开发指南》。
● 数据湖治理中心DGC
数据湖治理中心DGC是具有数据全生命周期管理、智能数据管理能力的一站式治 理运营平台，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引 擎等数据底座，帮助企业快速构建从数据接入到数据分析的端到端智能数据系 统，消除数据孤岛，统一数据标准，加快数据变现，实现数字化转型。
在DGC管理中心控制台创建数据连接即可访问DLI，进行数据分析。关于DGC的操 作指导请参考《数据湖治理中心快速入门》。
产品介绍 2 什么是 DLI
3 Serverless DLI 与自建 Hadoop 对比优势
DLI完全兼容Apache Spark、Apache Flink生态和接口，是集实时分析、离线分析、
交互式分析为一体的Serverless大数据计算分析服务。线下应用可无缝平滑迁移上云，
减少迁移工作量。采用批流融合高扩展性框架，为TB~EB级数据提供了更实时高效的 多样性算力，可支撑更丰富的大数据处理需求。产品内核及架构深度优化，综合性能 是传统MapReduce模型的百倍以上，SLA保障99.95%可用性。存算分离架构，存储资 源和计算资源按需灵活配置，提高了资源利用率，降低了成本。
图3-1 DLI Serverless 架构
与传统自建Hadoop集群相比，Serverless架构的DLI还具有以下优势：
表3-1 Serverless DLI 与传统自建 Hadoop 集群对比的优势
优势 维度 数据湖探索 DLI 自建Hadoop系统 低成
本
资金成本 按照实际扫描数据量或者CU时 收费，可变成本，成本可节约 50%。
长期占用资源，资源浪费严 重，成本高。
弹性扩缩
容能力 基于容器化Kubernetes，具有极 致的弹性伸缩能力。
无。
免运 维
运维成本 即开即用，Serverless架构。 需要较强的技术能力进行搭 建、配置、运维。
高可用 具有跨AZ容灾能力。 无
优势 维度 数据湖探索 DLI 自建Hadoop系统 高易
用
学习成本 学习成本低，包含10年、上千个 项目经验固化的调优参数。同时 提供可视化智能调优界面。
学习成本高，需要了解上百 个调优参数。
支持数据
源 ● 云上：OBS、RDS、DWS、
CSS、MongoDB、Redis。
● 云下：自建数据库、
MongoDB、Redis。
● 云上：OBS。
● 云下：HDFS。
生态兼容 DLV、永洪BI、帆软。 大数据生态工具。
自定义镜 像
支持，满足业务多样性。 无。
工作流调
度 DGC-DLF调度。 自建大数据生态的调度工 具，如Airflow。
企业级多 租户
基于表的权限管理，可以精细化 到列权限。
基于文件的权限管理。
高性 能
性能 基于软硬件一体化的深度垂直优 化。
大数据开源版本性能。
产品介绍 3 Serverless DLI 与自建 Hadoop 对比优势
4 什么是 openLooKeng
华为开源openLooKeng引擎使用了业界著名的开源SQL引擎Presto来提供交互式查询 分析基础能力，并继续在融合场景查询、跨数据中心/云、数据源扩展、性能、可靠 性、安全性等方面发展，让数据治理、使用更简单。
图4-1 DLI 基本架构
关键特性
表4-1 openLooKeng 特性
主要特性 功能 说明
毫秒级查询性
能 索引 openLooKeng提供基于Bitmap Index、Bloom Filter以 及Min-max Index等索引。通过在现有数据上创建索 引，并且把索引结果存储在数据源外部，在查询计划编 排时便利用索引信息过滤掉不匹配的文件，减少需要读 取的数据规模，从而加速查询过程。
Cache openLooKeng提供丰富多样的Cache，包括元数据 cache、执行计划cache、ORC行数据cache等。通过这 些多样的cache，可加速用户多次对同一SQL或者同一 类型SQL的查询时延响应。
主要特性 功能 说明
动态过滤 动态过滤是指是在运行时（run time）将join一侧表的 过滤信息的结果应用到另一侧表的过滤器的优化方法，
openLooKeng不仅提供了多种数据源的动态过滤优化特 性，还将这一优化特性应用到了DataCenter
Connector，从而加速不同场景关联查询的性能。
算子下推 openLooKeng通过Connector框架连接到RDBMS等数据 源时，由于RDBMS具有较强的计算能力，一般情况下 将算子下推到数据源进行计算可以获取到更好的性能。
openLooKeng目前支持多种数据源的算子下推，包括 Oracle、HANA等，特别地，针对DC Connector也实现 了算子下推，从而实现了更快的查询时延响应。
高可用 HA AA双 活
openLooKeng引入了高可用的AA特性，支持
coordinator AA双活机制，能够保持多个coordinator之 间的负载均衡，同时也保证了openLooKeng在高并发下 的可用性。
Auto-
scaling openLooKeng的弹性伸缩特性支持将正在执行任务的服 务节点平稳退服，同时也能将处于不活跃状态的节点拉 起并接受新的任务。openLooKeng通过提供“已隔离”
与“隔离中”等状态接口供外部资源管理者（如Yarn、
Kubernetes等）调用，从而实现对coordinator和 worker节点的弹性扩缩容。
融合场景 - 实时分析、离线分析、交互式分析这三种场景中在很多 实际业务中都是同时存在的，DLI引入openLooKeng引 擎之初就考虑了如何跟已有的Spark引擎进行元数据层 面的互通，从而实现离线分析结果，免数据搬迁直接就 可以用openLooKeng引擎进行交互式分析。Spark和 openLooKeng都支持Hive的建表方式，通过这种方式，
实现了元数据层面的互通。
统一目录，跨
域跨DC查询 并行数据
访问 worker可以并发访问数据源以提高访问效率， 客户端 也可以并发从服务端获取数据以加快数据获取速度。
数据压缩 在数据传输期间进行序列化之前，先使用GZIP压缩算法 对数据进行压缩，以减少通过网络传输的数据量。
跨DC动 态过滤
过滤数据以减少从远端提取的数据量，从而确保网络稳 定性并提高查询效率。
产品介绍 4 什么是 openLooKeng
5 应用场景
DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。
海量日志分析
● 游戏运营数据分析
游戏公司不同部门日常通过游戏数据分析平台，分析每日新增日志获取所需指 标，通过数据来辅助决策。例如：运营部门通过平台获取新增玩家、活跃玩家、
留存率、流失率、付费率等，了解游戏当前状态及后续响应活动措施；投放部门 通过平台获取新增玩家、活跃玩家的渠道来源，来决定下一周期重点投放哪些平 台。
● 优势
– 高效的Spark编程模型：使用Spark Streaming直接从DIS中获取数据，进行数 据清理等预处理操作。只需编写处理逻辑，无需关心多线程模型。
– 简单易用：直接使用标准SQL编写指标分析逻辑，无需关注背后复杂的分布 式计算平台。
– 按需计费：日志分析按实效性要求按周期进行调度，每次调度之间存在大量 空闲期。DLI按需计费只在使用期间收费，成本较独占队列降低50%以上。
● 建议搭配以下服务使用 OBS，DIS，DWS，RDS
图5-1 游戏运营数据分析
异构数据源联邦分析
● 车企数字化服务转型
面临市场新的竞争压力及出行服务不断变革，车企通过构建车联云平台和车机 OS，将互联网应用与用车场景打通，完成车企数字化服务转型，从而为车主提供 更好的智联出行体验，增加车企竞争力，促进销量增长。例如：通过对车辆日常 指标数据（电池、发动机，轮胎胎压、安全气囊等健康状态）的采集和分析，及 时将维保建议回馈给车主。
● 优势
– 多源数据分析免搬迁：关系型数据库RDS中存放车辆和车主基本信息，表格 存储CloudTable中存放实时的车辆位置和健康状态信息，数据仓库DWS中存 放周期性统计的指标。通过DLI无需数据搬迁，对多数据源进行联邦分析。
产品介绍 5 应用场景
– 数据分级存储：车企需要保留全量历史数据支撑审计类等业务，低频进行访 问。温冷数据存放在低成本的对象存储服务OBS上，高频访问的热数据存放 在数据引擎（CloudTable和DWS）中，降低整体存储成本。
– 告警快速敏捷触发服务器弹性伸缩：对CPU、内存、硬盘空间和带宽无特殊 要求。
● 建议搭配以下服务使用
DIS、CDM、OBS、DWS、RDS、CloudTable 图5-2 车企数字化服务转型
大数据 ETL 处理
● 运营商大数据分析
运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构 化的消息通信数据，同时对数据的时效性有很高的要求，DLI服务提供批处理、流 处理等多模引擎，打破数据孤岛进行统一的数据分析。
● 优势
– 大数据ETL：具备TB~EB级运营商数据治理能力，能快速将海量运营商数据做 ETL处理，为分布式批处理计算提供分布式数据集。
– 高吞吐低时延：采用Apache Flink的Dataflow模型，高性能计算资源，从用 户自建的Kafka、MRS-Kafka、DMS-Kafka消费数据，单CU每秒吞吐1千~2 万条消息。
– 细粒度权限管理：P公司内部有N个子部门，子部门之间需要对数据进行共享 和隔离。DLI支持计算资源按租户隔离，保障作业SLA；支持数据权限控制到 表/列，帮助企业实现部门间数据共享和权限管理。
● 建议搭配以下服务使用 OBS、DIS、DGC
图5-3 运营商大数据分析
地理大数据分析
● 地理大数据分析
地理大数据具有大数据的相关特征，数据体量巨大，例如，全球卫星遥感影像数 据量达到PB级。数据种类多，有结构化的遥感影像栅格数据、矢量数据，非结构 化的空间位置数据、三维建模数据；在大体量的地理大数据中，通过高效的挖掘 工具或者挖掘方法实现价值提炼，是用户非常关注的话题。
● 优势
产品介绍 5 应用场景
– 提供地理专业算子：支持全栈Spark能力，具备丰富的Spark空间数据分析算 法算子，全面支持结构化的遥感影像数据、非结构化的三维建模、激光点云 等巨量数据的离线批处理，支持带有位置属性的动态流数据实时计算处理。
– CEP SQL：提供地理位置分析函数对地理空间数据进行实时分析，用户仅需 编写SQL便可实现例如偏航检测，电子围栏等地理分析场景。
– 大数据治理能力：能快速将海量遥感影像数据接入上云，快速完成影像数据 切片处理，为分布式批处理计算提供弹性分布式数据集。
● 建议搭配以下服务使用
DIS、CDM、DES、OBS、RDS、CloudTable 图5-4 地理大数据分析
6 使用须知
以下根据您的角色推荐了不同的文档，从而帮助您更快速、更轻松地使用数据湖探索 DLI服务。
如果您是初学者
如果您是大数据初学者，建议您先熟悉以下模块，了解DLI的基本功能和常用操作。
模块 说明
产品介绍 DLI服务的介绍文档，从服务的常用概念、产品优势、应用场景、计费 说明、权限管理等多个方面进行介绍，让您初步了解数据湖探索DLI。
准备工作 DLI服务的快速使用指导，通过一些示例指导您快速完成如何准备帐 号、准备环境、创建数据库及表、导入数据、运行SQL等操作。
快速入门
SQL编辑器 您需要在提交作业分析数据前掌握SQL编辑器的使用。
如果您是数据分析师
如果您是数据分析师，建议您先熟悉以下模块，掌握DLI支持的Spark、Flink等常用 SQL语法，帮助你查询分析业务数据。
组件 模块 说明
Spark相关
数据库相关 在Spark场景下的创建数据库、删除数据库以及查看数 据库等数据库操作语法。
表相关 在Spark场景下的创建表、修改表，删除表等语法。
跨源连接相
关 跨源连接访问HBase、OpenTSDB、DWS、RDS、CSS、
DCS及DDS场景的下的语法。
自定义函数 Spark支持通过创建自定义函数来满足更多的计算需 求。
产品介绍 6 使用须知
组件 模块 说明
内置函数 支持数学函数、日期函数、字符串函数、聚合函数、分 析窗口函数等内置函数进行数据分析。
Flink OpenSour ce SQL相 关
数据定义语
句DDL ● 创建Kafka、DIS、JDBC、DWS、Redis、HBase、
userDefined等source流获取数据，作为作业的输入 数据。
● 创建ClickHouse、Kafka、DIS、DWS、Redis、
SMN、HBase、Elasticsearch及userDefined结果 表，用于将Flink作业输出数据写入到该表中。
● 创建JDBC、DWS、HBase的维表用于与Flink的输入 流进行连接。
数据操作语
句DML 支持查询、集合操作、窗口函数、JOIN等相关语法操作 进行数据分析。
自定义函数 DLI支持的UDF自定义函数、UDTF自定义表值函数、
UDAF自定义聚合函数的语法介绍和操作说明。
内置函数 DLI支持的数学运算函数、字符串函数、时间函数、条件 函数、类型转换函数、集合函数、值构建函数、属性访 问函数、Hash函数、聚合函数、表值函数语法介绍和使 用示例。
Flink SQL 相关
创建输入流 创建source流从CloudTable、DIS、DMS、EdgeHub、
Kafka、OBS中获取数据，作为作业的输入数据。
创建输出流 DLI提供将作业的输出数据写入到CloudTable、
OpenTSDB、Elasticsearch、DCS、DDS、DIS、DMS、
DWS、HBase、RDS、Kafka中的语法操作。
创建中间流 中间流用来简化SQL逻辑，若SQL逻辑比较复杂，可以 写多个SQL语句，用中间流进行串接。
创建维表 创建Redis、RDS的维表和Flink的输入流进行连接。
如果您是开发工程师
如果您拥有一定的开发经验，想要基于DLI现有能力进行更复杂的数据分析和开发，建 议您学习和掌握以下功能模块。
模块 说明
开发指南 提供样例代码参考，您可以基于Flink、Spark的API进行二次开发，构 建自己的应用Jar包，提交到DLI队列运行。
SDK参考 SDK是对DLI提供的REST API进行封装，便于您可以直接调用DLI SDK 提供的接口函数实现使用DLI业务能力的目的。
API参考 您可以调用DLI提供的API接口完成数据分析等业务操作。
7 基本概念
租户
DLI支持多个组织、部门或应用共享使用资源。通过提供一个逻辑实体来统一使用不同 资源和服务，这个逻辑实体就是租户。多个不同的租户统称多租户。租户对应公司。
一个租户可以创建多个子用户，并可以对不同用户授予不同权限。
项目
各个服务中的一些可以访问的资源集合称为项目。一个账号可以在一个区域下创建多 个项目，并基于项目进行授权。不同项目下的资源相互隔离。项目可以是一个部门或 者一个项目组。
数据库
DLI中数据库的概念、基本用法与Oracle数据库基本相同，它还是DLI管理权限的基础 单元，赋权以数据库为单位。
在DLI中，表和数据库是定义底层数据的元数据容器。表中的元数据让DLI知道数据所 在的位置，并指定了数据的结构，例如列名称、数据类型和表名称。数据库是表的逻 辑分组。
元数据
元数据（Metadata）是用来定义数据类型的数据。主要是描述数据自身信息，包含 源、大小、格式或其它数据特征。数据库字段中，元数据用于诠释数据仓库的内容。
计算资源
DLI服务中的队列即为计算资源，计算资源是使用DLI服务的基础，用户执行的SQL作 业和Spark作业都需要使用计算资源。
存储资源
存储资源是DLI服务内部存储的资源，用于存储数据库和DLI表，是向DLI导入数据的必 备条件，体现用户数据存储在DLI中的数据量。
产品介绍 7 基本概念
SQL 作业
在SQL作业编辑器执行的SQL语句、导入数据和导出数据等操作，在系统中对应的执行 实体，称之为SQL作业。
Spark 作业
Spark作业是指用户通过可视化界面和RESTful API提交的作业，支持提交Spark Core/
DataSet/Streaming/MLlib/GraphX等Spark全栈作业。
CU
CU是队列的计价单位。 1CU= 1Core 4GMem。不同规格的队列对应的计算能力不一 样，规格越高计算能力越好。
OBS 表、DLI 表、CloudTable 表
不同表类型表示不同的数据存储位置。
● OBS表表示数据存储在OBS服务的桶中。
● DLI表表示数据存储在本服务内部的表中。
● CloudTable表表示数据储存在CloudTable服务的表中。
可通过DLI创建表，与其他服务的数据进行关联，以此来实现不同数据源的联合查询分 析。
常量与变量
环境变量中，常量与变量的区别如下：
● 常量在程序运行过程中，所表示的值是无法被改变的。
● 变量是“可读、可写”，而常量是“只读”的。变量是在程序运行过程中，内部 存储的值，随时可以被改变的一段内存地址。比如：int a ＝ 123，这里的a就是 一个整型变量。
8 约束与限制
在使用DLI时，需注意以下使用限制。
● 建议使用支持的浏览器登录DLI服务 – Google Chrome : 43.0及更高版本 – Mozilla FireFox : 38.0及更高版本 – Internet Explorer : 9.0及更高版本
● SQL语法限制
– 不支持在创建DLI表时指定存储路径。
● SQL语句大小限制
– 须小于500000字符。
– 须小于1MB。
产品介绍 8 约束与限制
9 权限管理
在华为云上购买DLI资源后，如果您需要给企业中的员工设置不同的访问权限，以达到 不同员工之间的权限隔离，可以使用统一身份认证服务（Identity and Access
Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分 配、访问控制等功能，可以帮助您安全地控制华为云资源的访问。
通过IAM，您可以在华为云账号中给员工创建IAM用户，并使用策略来控制他们对华为 云资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有DLI的使 用权限，但是不希望他们拥有删除DLI等高危操作的权限，那么您可以使用IAM为开发 人员创建用户，通过授予仅能使用DLI，但是不允许删除DLI的权限策略，控制他们对 DLI资源的使用范围。
如果华为云账号已经能满足您的需求，不需要创建独立的IAM用户进行权限管理，您 可以跳过本章节，不影响您使用DLI服务的其他功能。
IAM是华为云提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的 资源进行付费。关于IAM的详细介绍，请参见《IAM产品介绍》。
DLI 权限
默认情况下，管理员创建的IAM用户没有任何权限，您需要将其加入用户组，并给用 户组授予策略或角色，才能使得该用户组中的用户获得对应的权限，这一过程称为授 权。授权后，用户就可以基于被授予的权限对云服务进行操作。
DLI部署时通过物理区域划分，为项目级服务。授权时，“作用范围”需要选择“区域 级项目”，然后在指定区域（如华北-北京1）对应的项目（cn-north-1）中设置相关 权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所 有区域项目中都生效。访问DLI时，需要先切换至授权区域。
权限类别：根据授权精程度分为角色和策略。
● 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该 机制以服务为粒度，提供有限的服务相关角色用于授权。由于华为云各服务之间 存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角 色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达 到企业对权限最小化的安全管控要求。
● 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资 源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业 对权限最小化的安全管控要求。例如：针对DLI服务，管理员能够控制IAM用户仅 能对某一类云服务器资源进行指定的管理操作。DLI支持的API授权项请参见《权 限策略和授权项》。
表9-1 DLI 系统权限 系统角色/策略 名称
描述 类别
DLI FullAccess 数据湖探索所有权限。 系统策 略 DLIReadOnlyAcces
s
数据湖探索只读权限。 系统策
略
Tenant
Administrator 租户管理员。
● 操作权限：具有数据湖探索服务资源的所有执行权 限。创建后，可通过ACL赋权给其他子用户使用。
● 作用范围：项目级服务。
系统角 色
DLI Service
Admin 数据湖探索管理员。
● 操作权限：具有数据湖探索服务资源的所有执行权 限。创建后，可通过ACL赋权给其他子用户使用。
● 作用范围：项目级服务。
系统角 色
表9-2列出了DLI SQL常用操作与系统权限的授权关系，您可以参照该表选择合适的系 统策略。更多SQL语法赋权请参考《数据湖探索SQL语法参考》> 《数据控制》>《权 限列表》章节。
表9-2 DLI 常用操作与系统权限的关系 资
源 操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
队 列DR
OP_Q UEUE
删 除 队 列
√ × √ √
产品介绍 9 权限管理
资 源
操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
SUB MIT_J OB
提 交 作 业
√ × √ √
CANC EL_J OB
终 止 作 业
√ × √ √
REST ART
重 启 队 列
√ × √ √
GRAN T_PRI VILEG E
队 列 的 赋 权
√ × √ √
REVO KE_P RIVIL EGE
队 列 权 限 的 回 收
√ × √ √
资 源
操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
SHO W_PRI VILEG ES
查 看 其 他 用 户 具 备 的 队 列 权 限
√ × √ √
数 据 库
DROP _DAT ABAS E
删 除 数 据 库
√ × √ √
CREA TE_T ABLE
创 建 表
√ × √ √
CREA TE_VI EW
创 建 视 图
√ × √ √
产品介绍 9 权限管理
资 源
操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
EXPL AIN
将SQ L语 句 解 释 为 执 行 计 划
√ × √ √
CREA TE_R OLE
创 建 角 色
√ × √ √
DROP _ROL E
删 除 角 色
√ × √ √
SHO W_RO LES
显 示 角 色
√ × √ √
资 源
操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
GRAN T_RO LE
绑 定 角 色
√ × √ √
REVO KE_R OLE
解 除 角 色 绑 定
√ × √ √
SHO W_US ERS
显 示 所 有 角 色 和 用 户 的 绑 定 关 系
√ × √ √
GRAN T_PRI VILEG E
数 据 库 的 赋 权
√ × √ √
产品介绍 9 权限管理
资 源
操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
REVO KE_P RIVIL EGE
数 据 库 权 限 的 回 收
√ × √ √
SHO W_PRI VILEG ES
查 看 其 他 用 户 具 备 的 数 据 库 权 限
√ × √ √
DISP LAY_
ALL_
TABL ES
显 示 数 据 库 中 的 表 信 息
√ × √ √
资 源
操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
DISP LAY_
DATA BASE
显 示 数 据 库 信 息
√ × √ √
CREA TE_F UNC TIO N
创 建 函 数
√ × √ √
DROP _FU NCTI ON
删 除 函 数
√ × √ √
产品介绍 9 权限管理
资 源
操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
SHO W_FU NCTI ONS
显 示 所 有 函 数
√ × √ √
DESC RIBE _FU NCTI ON
显 示 函 数 详 情
√ × √ √
表DROP _TAB LE
删 除 表
√ × √ √
SELE CT
查 询 表
√ × √ √
资 源
操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
INSE RT_I NTO_
TABL E
插 入
√ × √ √
ALTE R_TA BLE_
ADD_
COLU MNS
添 加 列
√ × √ √
INSE RT_O VER WRIT E_TA BLE
重 写
√ × √ √
产品介绍 9 权限管理
资 源
操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
ALTE R_TA BLE_
RENA ME
重 命 名 表
√ × √ √
ALTE R_TA BLE_
ADD_
PARTI TIO N
在 分 区 表 中 添 加 分 区
√ × √ √
资 源
操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
ALTE R_TA BLE_
RENA ME_P ARTIT ION
重 命 名 表 分 区
√ × √ √
ALTE R_TA BLE_
DROP _PAR TITIO N
删 除 分 区 表 的 分 区
√ × √ √
产品介绍 9 权限管理
资 源
操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
SHO W_PA RTITI ONS
显 示 所 有 分 区
√ × √ √
ALTE R_TA BLE_
RECO VER_
PARTI TIO N
恢 复 表 分 区
√ × √ √
资 源
操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
ALTE R_TA BLE_
SET_
LOCA TIO N
设 置 分 区 路 径
√ × √ √
GRAN T_PRI VILEG E
表 的 赋 权
√ × √ √
REVO KE_P RIVIL EGE
表 权 限 的 回 收
√ × √ √
产品介绍 9 权限管理
资 源
操 作
说 明 D
LIF ull Acc ess
DL IR ea dO nl yA cc es s
Tenant Administrator DLI Service Admin
SHO W_PRI VILEG ES
查 看 其 他 用 户 具 备 的 表 权 限
√ × √ √
DISP LAY_
TABL E
显 示 表
√ √ √ √
DESC RIBE _TAB LE
显 示 表 信 息
√ × √ √
相关链接
● 《IAM产品介绍》
● 《创建用户组、用户并授予DLI权限》
● 《策略语法》
● 《如何修改用户策略》
● 《队列赋权》（API赋权）
● 《数据赋权》（API赋权）
● 《设置队列权限》（Console赋权）
● 《数据库权限管理》（Console赋权）
● 《表权限管理》（Console赋权）
产品介绍 9 权限管理
10 与其他云服务的关系
与对象存储服务（OBS）的关系
对象存储服务（Object Storage Service）作为DLI的数据来源及数据存储，与DLI配合 一起使用，关系有如下四种。
● 数据来源：DLI服务提供API，支持将OBS对应路径的数据导入到DLI。具体API请 参考《导入数据》。
● 存储数据：DLI中支持创建OBS表，该类型表在DLI服务中只有元数据，实际数据 在该表对应的OBS路径中。创建OBS表的SQL语法请参考《使用DataSource语法 创建OBS表》和《使用Hive语法创建OBS表》。
● 备份数据：DLI提供导出API，支持将DLI的数据导出到OBS中备份。具体API请参 考《导出数据》。
● 存储查询结果：DLI提供API供用户将日常作业的查询结果数据保存到OBS。具体 API请参考《导出查询结果》。
与统一身份认证服务（IAM）的关系
统一身份认证服务（Identity and Access Management）为DLI提供了华为云统一入口 鉴权功能。
相关操作请参考《创建用户并授权使用DLI》《DLI自定义策略》。
与云审计服务（CTS）的关系
云审计服务（Cloud Trace Service）为DLI提供对应用户的操作审计。
云审计服务支持的DLI操作请参考《云审计服务支持的DLI操作列表说明》。
与云监控服务的关系
云监控（Cloud Eye）为DLI提供监控数据，监控作业中的多项指标，从而集中高效地 呈现状态信息。
具体指标请参考《数据湖探索监控指标说明》。
与消息通知服务（SMN）的关系
消息通知服务（Simple Message Notification）可以在DLI发生作业运行异常时给用户 发送通知。如果使用已创建的SMN主题时，提示SMN主题不存在，请参考《DLI使用 SMN主题，提示SMN主题不存在，怎么处理？》。
与云数据迁移服务（CDM）的关系
云数据迁移服务（Cloud Data Migration）可以将OBS的数据迁移到DLI中。具体请参 考《通过CDM导入数据》。
与数据接入服务（DIS）的关系
数据接入服务（Data Ingestion Service）通过通道将数据导入到DLI。具体请参考《通 过DIS导入数据》。
与表格存储服务的关系
表格存储服务（CloudTable Service）作为DLI的数据来源及数据存储，与DLI配合一起 使用，关系有如下两种。
● 数据来源：DLI服务提供DataFrame和SQL方式从CloudTable中导入数据到DLI。
● 存储查询结果：DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到 CloudTable表中。
通过DLI跨源连接访问CloudTable数据请参考《跨源分析开发方式参考》。
与关系型数据库服务（RDS）的关系
关系型数据库（Relational Database Service）作为DLI的数据来源及数据存储，与DLI 配合一起使用，关系有如下两种。
● 数据来源：DLI服务提供DataFrame和SQL方式从RDS中导入数据到DLI。
● 存储查询结果：DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到 RDS表中。
通过DLI跨源连接访问RDS数据请参考《跨源分析开发方式参考》。
与数据仓库服务（DWS）的关系
数据仓库服务（Data Warehouse Service）作为DLI的数据来源及数据存储，与DLI配 合一起使用，关系有如下两种。
● 数据来源：DLI服务提供DataFrame和SQL方式从DWS中导入数据到DLI。
● 存储查询结果：DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到 DWS表中。
通过DLI跨源连接访问DWS数据请参考《跨源分析开发方式参考》。
与云搜索服务（CSS）的关系
云搜索服务（Cloud Search Service）作为DLI的数据来源及数据存储，与DLI配合一起 使用，关系有如下两种。
产品介绍 10 与其他云服务的关系
● 数据来源：DLI服务提供DataFrame和SQL方式从CSS中导入数据到DLI。
● 存储查询结果：DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到 CSS表中。
通过DLI跨源连接访问CSS数据请参考《跨源分析开发方式参考》。
与分布式缓存服务（DCS）的关系
分布式缓存服务（Distributed Cache Service）作为DLI的数据来源及数据存储，与DLI 配合一起使用，关系有如下两种。
● 数据来源：DLI服务提供DataFrame和SQL方式从DCS中导入数据到DLI。
● 存储查询结果：DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到 DCS表中。
通过DLI跨源连接访问DCS数据请参考《跨源分析开发方式参考》。
与文档数据库服务（DDS）的关系
文档数据库服务（Document Database Service）作为DLI的数据来源及数据存储，与 DLI配合一起使用，关系有如下两种。
● 数据来源：DLI服务提供DataFrame和SQL方式从DDS中导入数据到DLI。
● 存储查询结果：DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到 DDS表中。
通过DLI跨源连接访问DDS数据请参考《跨源分析开发方式参考》。
与 MapReduce 服务（MRS）的关系
MapReduce服务（MapReduce Service）作为DLI的数据来源及数据存储，与DLI配合 一起使用，关系有如下两种。
● 数据来源：DLI服务提供DataFrame和SQL方式从MRS中导入数据到DLI。
● 存储查询结果：DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到 MRS表中。
通过DLI跨源连接访问MRS数据请参考《跨源分析开发方式参考》。
与数据湖治理中心（DGC）的关系
在数据湖治理中心DGC(Data Lake Governance Center )中，数据开发是一个一站式的 大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极 大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。
● 通过DGC数据开发中的DLI SQL节点传递SQL语句到DLI中执行，请参考《DLI SQL》。
● 通过DGC数据开发中的DLI Flink Job节点执行一个预先定义的DLI作业，请参考
《DLI Flink Job》。
● 通过DGC数据开发中的DLI Spark节点执行一个预先定义的Spark作业，请参考
《DLI Spark》。
11 配额说明
为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限 制。
如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。
关于如何查看配额，如何申请扩大配额，请参考《关于配额》。
产品介绍 11 配额说明
12 计费说明
计费项
数据湖探索的计费包括存储计费、计算计费和边缘鉴权码计费。数据湖探索的计费详 情及样例，请参见产品价格详情。您可以通过DLI提供的价格计算器，选择您需要的队 列规格，快速计算出购买DLI队列的参考价格。
表12-1 DLI 计费项 计费
种类
计费项 说明
存储
计费 DLI表的数
据存储量 ● 按照存储在DLI服务中的数据存储量（单位为“GB”）收 取存储费用。
● 在估算存储费用时，请特别注意，DLI采用压缩存储，通 常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大 小计费。
● 如果数据存储在OBS服务中，则DLI服务不收取存储费 用，对应的费用由OBS服务收取。
计算 计费
CU时 ● 按照“CU时”收取计算费用。
● CU是队列的计价单位。 1CU= 1Core 4GMem。不同规格 的队列对应的计算能力不一样，规格越高计算能力越好。
● 以小时为单位进行结算。不足一小时按一小时计费。小时 数按整点计算。
● 在用户自建的按需队列中提交作业按CU时计费。
数据扫描量 ● 按照用户每个作业的数据扫描量（单位为“GB”）收取 计算费用。
● 在default队列中提交作业按扫描数据量计费。
边缘 鉴权 码计 费
边缘鉴权码 ● 按照节点收取费用。
● 目前只支持按1年购买，计费周期从购买成功的时间点开 始计算。支持续费和退订。
● 同一时间段只支持绑定一个边缘节点，边缘节点只有绑定 鉴权码之后才可以正常启动/停止作业。
说明
● 按CU时计费和按数据扫描量计费，这两种计费模式是互斥的，可根据需要选择其中一种。建 议优先选择按CU时计费，成本核算清晰。
● 按CU时计费支持创建专属队列，独享计算资源，可创建增强型跨源。
● default队列中提交作业按扫描数据量计费。
计费模式
DLI服务目前支持三种作业：SQL作业，Spark作业和Flink作业。
图12-1 计费模式
● SQL作业的计费包括存储计费和计算计费。计费详情及样例，请参见产品价格详 情。
产品介绍 12 计费说明
表12-2 SQL 作业计费策略 计费种
类
计费模式
存储计
费 ● 如果数据存储在DLI服务中，即DLI表的数据按照数据存储量收取存 储费用。
● 如果数据存储在OBS服务中，则DLI服务不收取存储费用，对应的 费用由OBS服务收取。
● 根据用户是否购买存储量套餐包，计费方式略有不同。
计算计 费
包年/包月计费。包括包年和包月，时间越长，折扣越大。
按CU时计费。1CU= 1Core 4GMem。
● 以小时为单位进行结算。不足一小时按一小时计费。小时数按整点 计算。
● 在用户自建的队列中提交作业按CU时计费。
● 根据用户是否购买CU时套餐包，计费方式略有不同。
按数据扫描量计费。
● 在default队列中提交作业按扫描数据量计费。
● 根据用户是否购买扫描数据量套餐包，计费方式略有不同。
● Spark作业的数据存储在OBS服务上，对于DLI服务来说，只有计算计费。计费详 情及样例，请参见产品价格详情。
表12-3 Spark 作业计费策略 计费种
类
计费模式
计算计 费
包年/包月计费。包括包年和包月，时间越长，折扣越大。
按CU时计费。1CU= 1Core 4GMem。
● 以小时为单位进行结算。不足一小时按一小时计费。小时数按整 点计算。
● 根据用户是否购买CU时套餐包，计费方式略有不同。
● Flink作业的数据存储在OBS服务上，对于DLI服务来说，只有计算计费。计费详情 及样例，请参见产品价格详情。
表12-4 Flink 作业计费策略 计费种
类
计费模式
计算计
费 包年/包月计费。包括包年和包月，时间越长，折扣越大。
计费种 类
计费模式
按CU时计费。1CU= 1Core 4GMem。
● 以小时为单位进行结算。不足一小时按一小时计费。小时数按整 点计算。
● 根据用户是否购买CU时套餐包，计费方式略有不同。
边缘鉴 权码计 费
按照节点收取费用。
目前只支持按1年购买，计费周期从购买成功的时间点开始计算。支 持续费和退订。
同一时间段只支持绑定一个边缘节点，边缘节点只有绑定鉴权码之后 才可以正常启动/停止作业。
数据湖探索的计费详情及样例，请参见产品价格详情。您可以通过DLI提供的价格计算 器，选择您需要的队列规格，快速计算出购买DLI队列的参考价格。
通常情况下，建议您针对不同的业务创建项目：
● 开发项目：在此项目下，大多是工程师开发调试时使用，作业随机性大，数据量 小。针对这种情况，建议您使用按CU时计费模式，能够帮您有效控制成本，将资 源消耗控制在一定范围内。如果您有短时的专属资源需求，也可以在购买按需队 列时勾选专属资源模式，享受资源专属。
● 生产项目：在此项目下，您的作业相对稳定（经过开发调试再上线），建议您使 用包年包月计费模式，可以更优惠。同时，按需计费的队列，在空闲1小时后，系 统会自动释放计算资源，再次使用时，需要重新分配计算资源，可能会耗费 5~10min时间。使用包年包月计费模式则可避免这种情况，节省等待时间。
说明
队列空闲是指该队列上没有正在运行的作业。
购买说明
在创建SQL作业、Spark作业或Flink作业之前，均需购买队列。
说明
不支持不同类型队列直接转换，如需更换队列，请重新购买新的队列。
进入“购买队列”页面有三种方式：
● 在“总览”页面右上角单击 。
● 在“SQL编辑器”页面左侧导航栏中，选择 页签，单击右侧 。
● 在“队列管理”页面右上角单击 。
购买队列步骤如下：
1. 资源选型：填写或选择相关参数，具体参数介绍请参考《数据湖探索用户指南》
中的“创建队列”。
产品介绍 12 计费说明
2. 配置确认：确认资源选型是否正确。
3. 支付：单击“立即购买”进行支付，完成购买队列。
购买套餐包
● 若需购买套餐包，可在“购买队列”页面选择“按需计费”，单击“套餐包”链 接。或在“队列管理”页面右上角，单击“购买套餐包”。其中包括：
– 扫描数据量套餐包 – CU时套餐包 – 存储量套餐包
● 购买套餐包后，可在管理控制台页面上方“消费中心”>“我的套餐”中查看对应 的套餐。
● 套餐包不可以跨区域使用。
购买边缘鉴权码
1. 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入
“Flink作业”页面。
2. 在“Flink作业”页面，单击右上角“边缘鉴权码管理”，进入边缘鉴权码管理页 面。
3. 在“边缘鉴权码管理”页面，单击右上角“购买边缘鉴权码”， 进入购买页面。
4. 输入“名称”。名称只能包含数字、英文字母和下划线。但不能是纯数字，且不 能以下划线开头。
选择输入“描述”。
“计费模式”默认为“包年”。
“购买时长”默认为“1年”。
可选择是否勾选“自动续费”。按年购买，自动续费周期为1年。
5. 单击右下方的“立即购买 ”，确认信息。
6. 单击“去支付”,进入支付页面。
7. 单击“确认支付”，提示“订单支付成功”，可以单击“查看订单详情”查看订 单，也可以单击“返回数据湖探索控制台”返回至边缘鉴权码管理页面。
服务到期
● DLI服务存储采用按需计费的方式，没有期限的限制。
● DLI服务计算采用按需计费的方式时，没有期限的限制。采用包年包月计费的方式 时，以包年或者包月的期限为准。
欠费和续费
● 如果购买队列时选择“包年/包月”计费模式，可在“购买队列”页面勾选“自动 续费”。若未勾选自动续费，到期后会导致欠费，系统将自动提醒用户续费。
说明
按月购买，自动续费周期为1个月。按年购买，自动续费周期为1年。
● 如果购买队列时选择“按需计费”计费模式，将按小时扣费，余额不足时，无法 对上一个小时的费用进行扣费，会导致欠费，系统将自动提醒用户续费。
● 如果购买队列时选择套餐包， 计费时优先使用套餐中的资源，套餐中资源使用完 后，超出部分按需付费。暂时不提供自动续费。
欠费后用户不能在DLI服务中提交作业，包括SQL作业，Spark作业和Flink作业。
DLI服务会为用户保留其相关资源一段时间。具体请参考《费用中心》。保留期内用户 续费可继续正常使用。如果在保留期内用户没有续费，DLI将在保留期结束后终止服 务，释放资源。
说明
在保留期中进行的续费，将先扣除所欠费用。
续费步骤如下：
1. 在管理控制台页面顶端菜单栏中，在“费用”菜单中选择“续费管理”。
图12-2 续费管理
2. 在“续费管理”页面，勾选需要续费的订单，单击“操作”栏中的“续费”进行 续费。
费用查询
在管理控制台页面顶端右侧菜单栏中，单击“费用”进入“费用中心”>“账
单”>“消费汇总”。或在“费用”下拉菜单中单击“消费汇总”，用户可以对自己的 消费情况进行查询。
退订
客户购买包年/包月资源后，在资源开通的五天内可享有五天无理由全额退订（每账号 每年10次）。资源开通超过5天或退订次数当年超过10次后，退订需收取手续费。具体 操作请参考《费用中心》。
产品介绍 12 计费说明
