Spark 与 HDFS 和 YARN 的关系

Spark 和 HDFS 的关系

通常，Spark中计算的数据可以来自多个数据源，如Local File、HDFS等。最常用的是 HDFS，用户可以一次读取大规模的数据进行并行计算。在计算完成后，也可以将数据 存储到HDFS。

分解来看，Spark分成控制端(Driver)和执行端（Executor）。控制端负责任务调度，

执行端负责任务执行。

读取文件的过程如图 读取文件过程所示。

图5-97 读取文件过程

读取文件步骤的详细描述如下所示：

1. Driver与HDFS交互获取File A的文件信息。

2. HDFS返回该文件具体的Block信息。

3. Driver根据具体的Block数据量，决定一个并行度，创建多个Task去读取这些文件 Block。

4. 在Executor端执行Task并读取具体的Block，作为RDD(弹性分布数据集)的一部 分。

写入文件的过程如图 写入文件过程所示。

图5-98 写入文件过程

HDFS文件写入的详细步骤如下所示：

1. Driver创建要写入文件的目录。

2. 根据RDD分区分块情况，计算出写数据的Task数，并下发这些任务到Executor。

3. Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。

Spark 和 YARN 的关系

Spark的计算调度方式，可以通过YARN的模式实现。Spark共享YARN集群提供丰富的 计算资源，将任务分布式的运行起来。Spark on YARN分两种模式：YARN Cluster和 YARN Client。

● YARN Cluster模式

运行框架如图 Spark on yarn-cluster运行框架所示。

图5-99 Spark on yarn-cluster 运行框架

Spark on yarn-cluster实现流程：

a. 首先由客户端生成Application信息，提交给ResourceManager。

b. ResourceManager为Spark Application分配第一个

Container(ApplicationMaster)，并在该Container上启动Driver。

c. ApplicationMaster向ResourceManager申请资源以运行Container。

ResourceManager分配Container给ApplicationMaster，ApplicationMaster 和相关的NodeManager通讯，在获得的Container上启动Executor，

Executor启动后，开始向Driver注册并申请Task。

d. Driver分配Task给Executor执行。

e. Executor执行Task并向Driver汇报运行状况。

● YARN Client模式

运行框架如图 Spark on yarn-client运行框架所示。

图5-100 Spark on yarn-client 运行框架

Spark on yarn-client实现流程：

说明

在yarn-client模式下，Driver部署在Client端，在Client端启动。yarn-client模式下，不兼 容老版本的客户端。推荐使用yarn-cluster模式。

a. 客户端向ResourceManager发送Spark应用提交请求，ResourceManager为 其返回应答，该应答中包含多种信息(如ApplicationId、可用资源使用上限和 下限等)。Client端将启动ApplicationMaster所需的所有信息打包，提交给 ResourceManager上。

b. ResourceManager收到请求后，会为ApplicationMaster寻找合适的节点，并 在该节点上启动它。ApplicationMaster是Yarn中的角色，在Spark中进程名 字是ExecutorLauncher。

c. 根据每个任务的资源需求，ApplicationMaster可向ResourceManager申请一 系列用于运行任务的Container。

d. 当ApplicationMaster（从ResourceManager端）收到新分配的Container列 表后，会向对应的NodeManager发送信息以启动Container。

ResourceManager分配Container给ApplicationMaster，ApplicationMaster 和相关的NodeManager通讯，在获得的Container上启动Executor，

Executor启动后，开始向Driver注册并申请Task。

说明

正在运行的container不会被挂起释放资源。

e. Driver分配Task给Executor执行。Executor执行Task并向Driver汇报运行状 况。