Spark基础知识梳理

原创

已于 2022-08-13 16:37:44 修改 · 1.9k 阅读

于 2022-08-13 16:34:30 首次发布

本文介绍了Spark的基础知识，包括其发展历史、四大特点（速度快、易使用、通用性强、运行方式多样）、主要框架模块（Spark Core、SQL、Streaming、GraphX、MLib）以及运行模式。Spark以其内存计算和丰富的API支持，成为了大数据处理领域的热门工具，适用于批处理、流处理、机器学习和图计算等多种场景。

一、基础简介

Spark是一种通用的大数据计算框架，使用了内存内运算技术。今天加米谷大数据就来简单介绍一下Spark的简史。
Spark的简史
1、2009年，Spark诞生于伯克利大学AMPLab，属于伯克利大学的研究性项目；
2、2010 年，通过BSD 许可协议正式对外开源发布；
3、2012年，Spark第一篇论文发布，第一个正式版（Spark 0.6.0）发布；
4、2013年，成为了Aparch基金项目；发布Spark Streaming、Spark Mllib（机器学习）、Shark（Spark on Hadoop）；
5、2014 年，Spark 成为 Apache 的顶级项目； 5 月底 Spark1.0.0 发布；发布 Spark Graphx（图计算）、Spark SQL代替Shark；
6、2015年，推出DataFrame（大数据分析）；2015年至今，Spark在国内IT行业变得愈发火爆，大量的公司开始重点部署或者使用Spark来替代MapReduce、Hive、Storm等传统的大数据计算框架；
7、2016年，推出dataset（更强的数据分析手段）；
8、2017年，structured streaming 发布；
9、2018年，Spark2.4.0发布，成为全球最大的开源项目。

基本组件
Spark Core；Spark 核心 API，提供 DAG 分布式内存计算框架
Spark SQL：提供交互式查询 API
Spark Streaming：实时流处理
SparkML：机器学习 API
Spark Graphx：图形计算