Spark 1.6今天发布

jopen 7年前

今天,我们很开心的宣布发布Apache Spark 1.6!这也是开源社区开发的一个里程碑,2015年贡献spark的代码是1000行,是2014一整年的两倍,见下图。

Spark 1.6今天发布

接下来揭开Spark 1.6新发布的功能。

Spark 1.6包含了超过1000个patches,在这里我们主要展示三个方面的主题:新的Dataset API,性能提升(读取Parquet 50%的性能提升,自动内存管理,streaming state management十倍的性能提升),以及大量新的机器学习和统计分析算法。

性能提升

根据2015年Spark官方调研发现,91%的用户觉得性能提升是Spark最重要的方面。因此,性能优化是Spark开发一直的关注点。

读取Parquet性能提升:Parquet是在Spark使用中最常用的数据格式。Parquet读取性能对海里数据应用有着极其重大的影响。在过去,Spark中读取Parquet依赖于Parquet的(parquert-mr)MR来读取并解析Parquet文件。当我们优化Spark程序时,你会发现太多的时间消耗在从Parquet列解析成记录集的过程中。而在Spark 1.6中我们采用一种新型的Parquet reader读取器,它可以避开”parquert-mr”式的记录集解析,并使用更加优化的字节码路径来解析Parquet的schemas。在我们的基准测试中可以发现,新型的Parquet reader读取器读取Parquet文件有 50%的性能提升(从2.9 million/秒提升到4.5million/秒)。

自动内存管理:Spark 1.6另外一个性能提升是在内存管理方面。在Spark 1.6之前,Spark静态地把内存划分成两部分:execution memory 和 cache memory。Execution memory主要用来做sort,hash和shuff。Cache memory是用来缓存热点数据的。Spark 1.6引进新的内存管理机制能自动调节这两种内存的区域,运行时自动增长,回收时根据执行的应用适时进行。

这意味着在无需用户干预的情况下使用join和aggregation操作时内存的自适应有大幅的提升。

对于读取Parquet和自动内存管理两种性能提升也不需要开发者更改老版本的代码。

streaming state management十倍的性能提升:State management是Spark Streaming应用开发里重要的功能,经常用来保存聚合信息或session信息。通过社区开发者的反馈,我们重新设计了state management API,并引入 mapWithState API (可随updates的数目线性扩展)。这意味着能更有效的跟踪增量变化,而不是每次update都要对数据进行一次全scan。我们已经创建了一个 notebook 来展示怎么使用这个new feature,后面会发blog进一步对这个功能进行详细讲解。

Dataset API

在今年早些时候我们引入DataFrame,它可以提供high-level functions让Spark更好的处理数据结构和计算。这让 Catalyst optimizerTungsten execution engine 自动加速大数据分析。

发布DataFrame之后我们收到了很多反馈,其中一个主要的是大家反映缺乏编译时类型安全。为了解决这个问题,我们采用新的Dataset API (DataFrame API的类型扩展)。

Dataset API扩展DataFrame API支持静态类型和运行已经存在的Scala或Java语言的用户自定义函数。对比传统的RDD API,Dataset API提供更好的内存管理,特别是在长任务中有更好的性能提升,请参见 blog

新的数据科学功能

机器学习管道持久化:现在许多机器学习的应用采用Spark的ML pipeline功能来构建机器学习pipelines。老版本中,如果想在外部存储pipeline,需要用户自己完成持久化代码部分。在Spark 1.6中已经提供了对应的function来存储和重新加载pipelines,并把先前的models应用到新的数据中。

大量新的机器学习和统计分析算法:

这次发布增加了以下算法:

· 无偏估计统计

· 生成分析

· 最小二乘法的归一化

· 二分k均值聚类算法

· 在线假设检验

· LDA算法

· 支持R语言的广义线性模型的统计

· 公式的交互

· 支持R语言的广义线性模型的权重

· LIBSVM数据源

· 支持非标准的JSON数据

这篇blog只显示了这次发布中的主要功能,我们也编译了一个更详细的 release notes

来自: http://www.infoq.com/cn/news/2016/01/spark-16-release