Spark性能优化——和shuffle搏斗 经验
Spark的性能分析和调优很有意思，今天再写一篇。主要话题是shuffle，当然也牵涉一些其他代码上的小把戏。 以前写过一篇文章，比较了 几种不同场景的性能优化 ，包括portal的性能优化，web
xc43fgt66
iOS XMPP：Openfire+spark环境搭建 经验
henishuo.com/xmpp-spark-openfire-setup/ 前言 iOS XMPP：Openfire+spark环境搭建。 下载Openfire+Spark 首先到官网下载openfire+spark：
【原】Learning Spark (Python版) 学习笔记(一) 经验
《Learning Spark》 这本书算是Spark入门的必读书了，中文版是 《Spark快速大数据分析》 ，不过豆瓣书评很有意思的是，英文原版评分7.4，评论都说入门而已深入不足，中文译版评分8.
Apache Spark 1.4.1 发布，开源集群计算系统 资讯
Apache Spark 1.4.1 发布，此版本是个维护版本，包括一些稳定性修复（DataFrame API, Spark Streaming, PySpark, Spark SQL 和 MLlib），基于
jopen IBM 开源主要关注 Spark，Docker，Node 和 Go 资讯
50个项目。在 IBM 开源门户 DeveloperWorks 中有大量的开源项目都是为了提升 Spark 性能来优化 Docker 的网络管理。 IBM 当前推出的 DeveloperWorks 开源门户主要是
应用Spark解决Kaggle数据科学问题 资讯
ysto-Spark 如何利用高性能分布式计算平台来解决现实问题一直是人们所关心的话题。近期， comSysto公司 的Danial Bartl就 分享 了该公司研发团队利用 Spark 平台解决
Apache Spark不过时的六大理由 资讯
Reasons That Apache Spark Isn't Flickering Out 在极短的时间内，Apache Spark 迅速成长为大数据分析的技术核心。这就使得保守派担心在这个技术
IBM承诺将推动Spark的发展 资讯
nce-Apache-Spark 上个月早些时候在拉斯维加斯举行的 IBM Insight 2015 大数据分析峰会上， IBM 公司宣布将主要承担 Apache Spark 项目。正如IBM公司
Spark 是否真的比 MapReduce 技高一筹 资讯
作为一个开源的数据处理框架，Spark 是如何做到如此迅速地处理数据的呢?秘密就在于它是运行在集群的内存上的，而且不受限于 MapReduce 的二阶段范式。这大大加快了重复访问同一数据的速度。 Spark 既可以单独运行，也可以运行在
P11 (4)Spark程序的开发和运行 文档
1. Spark程序的开发和运行—by 球哥 2. 大数据学习网介绍我们的网址是：bigdatastudy.cn 我们提供专业的大数据学习视频，包括Hadoop，Spark，Storm，Mahout，机器学习等。
《Spark官方文档》集群模式概览 经验
http://ifeve.com/《spark官方文档》集群模式概览/ 集群模式概览 本文简要描述了Spark在集群中各个组件如何运行。想了解如何在集群中启动Spark应用，请参考 application
Collective的Spark ML经验分享：读者模型 资讯
新开发的大部分项目都是基于Spark和Spark MLLib的，对于一些被大家广泛使用而Spark并不具备的工具和类库Collective还专门创建了一个扩展库 Spark Ext 。在本文中，Eugene
Hadoop、Spark、HBase与Redis的适用性讨论（全文） 经验
儿我就结合我这几年在 Hadoop 等大数据方向的工作经验，与大家讨论一下 Hadoop 、 Spark 、 HBase 及 Redis 等几个主流大数据技术的使用场景（首先声明一点，本文中所指的 Hadoop
基于 Chrome App 的开发工具：Spark 经验
Spark 是谷歌公司推出的一款基于 Chrome 浏览器的开发环境。提供一组可重用的 UI 组件。采用 Dart 开发。 安装方法请看： https://github.com/dart-la
Spark SQL中对Json支持的详细介绍 经验
在这篇文章中，我将介绍一下 Spark SQL对Json的支持，这个特性是Databricks的开发者们的努力结果，它的目的就是在 Spark 中使得查询和创建JSON数据变得非常地简单。随着WEB和
Spark on Yarn: Cluster模式Scheduler实现 经验
背景 Spark on Yarn分yarn-cluster和yarn-client两种模式。 本文通过Cluster模式的TaskScheduler实现入手，梳理一遍spark on yarn的大致实现逻辑。
Spark RDD API详解(一) Map和Reduce 经验
RDD是什么？ RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组 的区别是，RDD中的数据是分区存储的，这
如何使用Spark ALS实现协同过滤 经验
本文主要记录最近一段时间学习和实现Spark MLlib中的协同过滤的一些总结，希望对大家熟悉Spark ALS算法有所帮助。 更新： 【2016.06.12】Spark1.4.0中MatrixFa
大数据处理框架Apache Spark入门 经验
什么是Spark Apache Spark 是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。
使用Docker在本地搭建hadoop，spark集群 经验
使用Docker在本地搭建hadoop，spark集群 简介和环境说明 本环境使用的单个宿主主机，而不是跨主机集群，本spark集群环境存在的意义可能在于便于本地开发测试使用，非常轻量级和便捷。这