Spark定义
Apache Spark是用于大规模数据（Large-scala data）处理的统一（unified）分析引擎。
Spark最早源于一篇论文Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing, 该论文是由加州大学伯克利分校的Matei Zaharia 等人发表的。论文中提出了一种弹性分布式数据集（即：RDD）的概念。
A distributed memory abstraction that lets programmers perform in-memory computations on large clusters in a fault-tolerant manner.
RDD是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错。而这也是整个Spark的核心数据结构，Spark整个平台围绕着RDD进行。
Spark VS Hadoop(MapReduce)
| Haddop | Spark | |
|---|---|---|
| 类型 | 基础平台，包含计算（MapReduce）、存储（HDFS）、调度(YARN) | 纯计算工具（分布式） |
| 场景 | 海量数据批处理(离线计算，磁盘迭代计算) | 海量数据的批处理（内存计算、交互式计算）、海量数据流计算 |
| 价格 | 对机器要求低，便宜 | 堆内存有要求，相对较贵 |
| 编程范式 | Map+Reduce, API较为底层，算法适应性差 | RDD组成DAG有向环图，API较为顶层，方便使用 |
| 数据存储结构 | MapReduce中间计算结果在HDFS磁盘上，延迟大 | RDD中间运算结果在内存中，延迟小 |
| 运行方式 | Task以进程方式维护，任务启动慢 | Task以线程方式维护，任务启动快，可批量创建提高并行能力 |
Spark四大特点
- 速度快 比Hadoop快一百倍
- Spark处理数据时，可以将中间内存处理结果存储到内存中
- Spark提供了非常丰富的算子(API),可以做到复杂任务在一个Spark程序中完成
- 易于使用 概念多，编程容易
1
2
3df = spark.read.json("logs.json") # 读取数据
df.where("age > 20") # 过滤
. select("name.first").show() # 选取字段，进行展示 - 通用性强
- 在Spark的基础上，提供了Spark SQL、Spark Streaming、 MLib及 Graph在内的多个工具库
- 运行方式 可以在Hadoop和Mesos上，也支持Standalone的独立运行模式，也支持云上Kubernetes（2.3以上版本）。
- 数据源支持HDFS，Hbase,Cassandra和Kafak等多种途径
Spark框架模块
Spark Core: Spark的核心，Spark核心功能均由Spark Core模块提供，是Spark运行的基础。Spark Core以RDD为数据抽象，提供Python, JAVA,Scala，R语言的API,可以编程进行海量离线数据处理
SparkSQL: 基于Spark Core之上，提供结构化数据的处理模块。SparkSQL支持以SQL语言对数据进行处理，SparkSQL本身针对离线计算场景。同时基于SparkSQL,Spark提供了StructuredStreaming模块，可以以SparkSQL为基础，进行数据的流式计算。
SparkStreaming: 以SparkCore为基础，提供数据的流式计算【有一定缺陷】
MLib: 以SparkCore为基础，进行机器学习计算，内置了大量的机器学习库和API算法。方便用户以分布式计算的模式进行机器学习计算
GraphX: 以SparkCore为基础，进行图计算，提供了大量的图计算API，方便用于以分布式计算模式进行图计算
Spark运行模式
本地模式（单机, Local）【开发测试环境】
- 以一个独立的进程，通过其内部的多个线程来模拟整个Spark运行时环境
Standalone模式（集群）
- Spark中的各个角色以独立进程的形式存在，并组成Spark集群环境
Hadoop YARN模式（集群）
- Spark的各个角色运行在YARN的容器内部，并组成Spark集群环境
Kubernetes模式（容器集群）
- Spark中的各个角色运行在Kubernetes的容器内部，并组成Spark集群环境
云服务模式（运行在云平台上）
Spark的架构角色
YARN 主要有四类角色，从2个层面去看：
资源管理层面
- 集群资源管理者(Master):ResourceManager
- 单机资源管理者(Worker):NodeManager
任务计算层面
- 单任务管理者(Master):ApplicationMaster
- 单任务执行者(worker):Task(容器内计算框架的工作角色)
Spar 主要有四类角色，从2个层面去看：
资源管理层面
- 集群资源管理者(Master)
- 单机资源管理者(Worker)
任务计算层面
- 单任务管理者(Driver)
- 单任务执行者(Executor)
