• 1. Spark简介—by 球哥
  • 2. 大数据学习网介绍我们的网址是:bigdatastudy.cn 我们提供专业的大数据学习视频,包括Hadoop,Spark,Storm,Mahout,机器学习等。 我们定价合理,让每个人都学得起大数据。
  • 3. 友情提示本系列课程主要由Learning.Spark这本书整理而来。 本系列课程主要目的,帮助想要学习Spark的同学入门。 本系列课程中的ppt可自由传播,无需任何授权,但不要用于商业用途哦。 本系列课程中的视频不要自由传播哦,如果同学们觉得课程价格不合理,欢迎在下面的群中反馈,我们会考虑调整价格的。 Spark学习交流群:368770186,371896553
  • 4. Spark系列课程大纲Spark简介:Spark介绍,搭建Spark开发环境,开发简单的Spark程序 Spark核心概念RDDs:RDDs介绍,RDDs的操作,KeyValue对RDDs的操作,数据分片 Spark高级编程:累加器和广播变量 Spark管理与调优:集群管理,调优等
  • 5. Spark简介Spark是什么 Spark的特点 Spark的组件 Spark的历史
  • 6. Spark是什么Spark是一个快速且通用的集群计算平台。 集群计算 把一台电脑无法解决的问题,放到多台电脑组成的集群上进行解决,这就是集群计算。
  • 7. Spark的特点Spark是快速的 很多任务能够秒级完成,对于一些特定的工作,Spark比Mapreduce快10-20倍。 Spark扩充了流行的Mapreduce计算模型,使Spark更高效地支持更多类型的计算,包括交互式查询,和流处理。 速度快的另一个主要原因就是,能够在内存中计算。
  • 8. Spark的特点Spark是通用的 Spark的设计,容纳了之前很多独立的,分布式系统所拥有的功能。独立的分布式系统包括:批处理,迭代式计算,交互查询和流处理等。 并且,由之前需要维护不同的集群,到现在只需要维护一个Spark集群。
  • 9. Spark的特点Spark是高度开放的 Spark提供了Python,Java,Scala,SQL的API和丰富的内置库。 同时,Spark和其它的大数据工具整合的很好。尤其,Spark能够运行在Hadoop集群上面,能够访问Hadoop数据。
  • 10. Spark的组件 Spark包括多个紧密集成的组件。
  • 11. Spark的组件紧密集成的优点: 如果Spark底层优化了,那么基于Spark底层的组件,也得到了相应的优化。例如,Spark底层增加了一个优化算法,那么Spark的SQL和机器学习包也会自动的优化。 紧密集成,节省了各个组件组合使用时的部署,测试等时间。 当向Spark增加新的组件时,其它的组件,可以立刻享用新组件的功能。 无缝连接不同的处理模型。
  • 12. Spark的组件Spark Core: 包含Spark的基本功能,包含任务调度,内存管理,容错机制等。 Spark Core内部定义了RDDs(resilient distributed datasets,弹性分布式数据集)。RDDs代表横跨很多工作节点的数据集合,RDDs可以被并行的处理。 Spark Core提供了很多APIs来创建和操作这些集合(RDDs)。
  • 13. Spark的组件Spark SQL: 是Spark处理结构化数据的库。它支持通过SQL查询数据,就像HQL(Hive SQL)一样,并且支持很多数据源,像Hive表,JSON等。Spark SQL是在Spark 1.0版本中新加的。 Shark是一种较老的基于Spark的SQL项目,它是基于Hive修改的,它现在已经被Spark SQL替代了。
  • 14. Spark的组件Spark Streaming: 是实时数据流处理组件,类似Storm。 Spark Streaming提供了API来操作实时流数据。
  • 15. Spark的组件MLlib: Spark有一个包含通用机器学习功能的包,就是MLlib(machine learning lib)。 MLlib包含了分类,聚类,回归,协同过滤算法,还包括模型评估,和数据导入。 它还提供了一些低级的机器学习原语,包括通用梯度下降优化算法。 MLlib提供的上面这些方法,都支持集群上的横向扩展。
  • 16. Spark的组件Graphx: 是处理图的库(例如,社交网络图),并进行图的并行计算。就像Spark Streaming和Spark SQL一样,Graphx也继承了Spark RDD API,同时允许创建有向图。 Graphx提供了各种图的操作,例如subgraph和mapVertices,也包含了常用的图算法,例如PangeRank等。
  • 17. Spark的组件Cluster Managers: Cluster Managers就是集群管理。Spark能够运行在很多cluster managers上面,包括Hadoop YARN,Apache Mesos和Spark自带的单独调度器。 如果你把Spark安装在了裸机上面,单独调度器能够提供简单的方式,让你开始Spark之旅。 如果你已经有了Hadoop Yarn或者Mesos集群,那么,Spark对这些集群管理工具的支持,使你的Spark应用程序能够在这些集群上面运行。
  • 18. Spark的历史Spark诞生于2009年,那时候它是,加州大学伯克利分校RAD实验室的一个研究项目,后来到了AMP实验室。 Spark最初是基于Hadoop Mapreduce的,后来发现Mapreduce在迭代式计算和交互式上是低效的。因此Spark进行了改进,引入了内存存储和高容错机制。 关于Spark的研究论文在学术会议上发表,并且在它被创建的2009年不久之后,对于一些特定的工作,Spark比Mapreduce快10-20倍。 2010年3月份Spark开源。 2011年,AMP实验室开始在Spark上面开发高级组件,像Shark(Hive on Spark),Spark Streaming。 2013年转移到了Apache下,现在已经是顶级项目了。 2014年5月份Spark1.0发布。
  • 19. 小结Spark是什么 Spark的特点 Spark的组件