Spark 1.4最大的看点：支持R语言(SparkR) 资讯
SparkR 就是用R语言编写 Spark 程序，它允许数据科学家分析大规模的数据集，并通过R shell交互式地在 Spark R上运行作业。值得大家庆幸的是，2015年4月， Spark R已经合并到Apache
jopen 
Hadoop/Spark生态圈里的新气象 资讯
这边厢，Cloudera有时换掉HDFS改用Kudu，同时宣布Spark是其圈子的核心(因而一概取代发现的MapReduce);那边厢，Hortonworks加入了Spark阵营。在Cloudera和Hortonwor
P28 TalkingData 基于 Spark 的数据挖掘工作 文档
TalkingData基于Spark的 数据挖掘工作张夏天 腾云天下科技有限公司 @张夏天_机器学习 2. 内容TalkingData简介 我们的数据挖掘工作 应用广告优化 随机决策树算法及其Spark实现 3. Talking
pd3n 分布式计算 Spark 入门介绍 经验
Spark是一个通用的分布式内存计算框架，本文主要研讨Spark的核心数据结构RDD的设计思路，及其在内存上的容错。内容基于论文 Zaharia, Matei, et al. " Resilient Distributed
搭建Spark完全分布式集群 经验
本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。 写在前面二： 使用软件说明 约定，Spark相关软件存放目录：
spark用程序提交任务到yarn 经验
因为spark文档中只介绍了两种用脚本提交到yarn的例子，并没有介绍如何通过程序提交yarn，但是我们的需求需要这样。网上很难找到例子，经过几天摸索，终于用程序提交到yarn成功，下面总结一下。
spark读取hbase数据做分布式计算 经验
由于spark提供的hbaseTest是scala版本，并没有提供java版。我将scala版本改为java版本，并根据数据做了些计算操作。 程序目的：查询出hbase满足条件的用户，统计各个等级个数。
Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3) 经验
Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3)：1. 新建表 1) 新建表结构 create table user_table( id int, userid ...
使用Spark DataFrame进行大数据处理 经验
简介 DataFrame让Spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，计算性能更还快了两倍。这一个小小的API，隐含着Spark希望大一统「大数据江湖」的野心
Spark Streaming 1.6 流式状态管理分析 经验
jianshu.com/p/1463bc1d81b5 Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。 关于状态管理
Spark性能优化——和shuffle搏斗 经验
Spark的性能分析和调优很有意思，今天再写一篇。主要话题是shuffle，当然也牵涉一些其他代码上的小把戏。 以前写过一篇文章，比较了 几种不同场景的性能优化 ，包括portal的性能优化，web
iOS XMPP：Openfire+spark环境搭建 经验
henishuo.com/xmpp-spark-openfire-setup/ 前言 iOS XMPP：Openfire+spark环境搭建。 下载Openfire+Spark 首先到官网下载openfire+spark：
【原】Learning Spark (Python版) 学习笔记(一) 经验
《Learning Spark》 这本书算是Spark入门的必读书了，中文版是 《Spark快速大数据分析》 ，不过豆瓣书评很有意思的是，英文原版评分7.4，评论都说入门而已深入不足，中文译版评分8.
Apache Spark 1.4.1 发布，开源集群计算系统 资讯
Apache Spark 1.4.1 发布，此版本是个维护版本，包括一些稳定性修复（DataFrame API, Spark Streaming, PySpark, Spark SQL 和 MLlib），基于
IBM 开源主要关注 Spark，Docker，Node 和 Go 资讯
50个项目。在 IBM 开源门户 DeveloperWorks 中有大量的开源项目都是为了提升 Spark 性能来优化 Docker 的网络管理。 IBM 当前推出的 DeveloperWorks 开源门户主要是
应用Spark解决Kaggle数据科学问题 资讯
ysto-Spark 如何利用高性能分布式计算平台来解决现实问题一直是人们所关心的话题。近期， comSysto公司 的Danial Bartl就 分享 了该公司研发团队利用 Spark 平台解决
Apache Spark不过时的六大理由 资讯
英文原文： 6 Reasons That Apache Spark Isn't Flickering Out 在极短的时间内，Apache Spark 迅速成长为大数据分析的技术核心。这就使得保守派担心
IBM承诺将推动Spark的发展 资讯
nce-Apache-Spark 上个月早些时候在拉斯维加斯举行的 IBM Insight 2015 大数据分析峰会上， IBM 公司宣布将主要承担 Apache Spark 项目。正如IBM公司
Spark 是否真的比 MapReduce 技高一筹 资讯
作为一个开源的数据处理框架，Spark 是如何做到如此迅速地处理数据的呢?秘密就在于它是运行在集群的内存上的，而且不受限于 MapReduce 的二阶段范式。这大大加快了重复访问同一数据的速度。 Spark 既可以单独运行，也可以运行在
P11 (4)Spark程序的开发和运行 文档
1. Spark程序的开发和运行—by 球哥 2. 大数据学习网介绍我们的网址是：bigdatastudy.cn 我们提供专业的大数据学习视频，包括Hadoop，Spark，Storm，Mahout，机器学习等。