Spark + ansj 对大数据量中文进行分词 经验
mapreduce对存储在hdfs中大量的数据文本进行分词。由于mapreduce的速度较慢，相对spark来说代码书写较繁琐。本文使用 spark + ansj对存储在hdfs中的中文文本数据进行分词。 首先下载ansj源码文件，下载地址为
x286 使用Apache Spark分析豆瓣电影数据 经验
近在学Berkeley 的Scalable Machine Learning这门课程，接触了下Spark的基本的操作，然后就想要不然自己抓取豆瓣的电影数据来分析下。 本来是想实践下豆瓣电影的推荐系
jopen Spark如何解决常见的Top N问题 经验
表“product_url”的示例数据如下： （2）统计各个产品线下各个URL的访问次数 这个逻辑使用Spark SQL即可以实现，示例数据如下： 可以看出，数据多出了一个字段access，用于表示某产品线下某个URL的访问次数。
在Eclipse上运行Spark(Standalone,Yarn-Client) 经验
ipse上运行Spark程序，提交到集群上以YARN-Client方式运行，或者以Standalone方式运行呢？ 答案是可以的。下面我来介绍一下如何在eclipse上运行Spark的wordcount程序。我用的hadoop
深入浅出Spark(二) 什么是RDD 经验
本系列讲座是沁原对Sameer Farooqui的《Advanced Apache Spark》的解说。 完整视频： https://www. bittiger.io/videos/NBAT gD
让Spark如虎添翼的Zeppelin - 基础篇 经验
0. 简介 Spark 是一个非常好的计算平台，支持多种语言，同时基于内存的计算速度也非常快。整个开源社区也很活跃。 但是Spark在易用性上面还是有一些美中不足。 对于刚接触的人来说，上手以及环境搭建还是有一些困难。
zulo2012 Apache Spark 1.4 发布，开源集群计算系统 资讯
Apache Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内
Spark 1.4最大的看点：支持R语言(SparkR) 资讯
SparkR 就是用R语言编写 Spark 程序，它允许数据科学家分析大规模的数据集，并通过R shell交互式地在 Spark R上运行作业。值得大家庆幸的是，2015年4月， Spark R已经合并到Apache
Hadoop/Spark生态圈里的新气象 资讯
这边厢，Cloudera有时换掉HDFS改用Kudu，同时宣布Spark是其圈子的核心(因而一概取代发现的MapReduce);那边厢，Hortonworks加入了Spark阵营。在Cloudera和Hortonwor
P28 TalkingData 基于 Spark 的数据挖掘工作 文档
TalkingData基于Spark的 数据挖掘工作张夏天 腾云天下科技有限公司 @张夏天_机器学习 2. 内容TalkingData简介 我们的数据挖掘工作 应用广告优化 随机决策树算法及其Spark实现 3. Talking
分布式计算 Spark 入门介绍 经验
Spark是一个通用的分布式内存计算框架，本文主要研讨Spark的核心数据结构RDD的设计思路，及其在内存上的容错。内容基于论文 Zaharia, Matei, et al. " Resilient Distributed
搭建Spark完全分布式集群 经验
本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。 写在前面二： 使用软件说明 约定，Spark相关软件存放目录：
spark用程序提交任务到yarn 经验
因为spark文档中只介绍了两种用脚本提交到yarn的例子，并没有介绍如何通过程序提交yarn，但是我们的需求需要这样。网上很难找到例子，经过几天摸索，终于用程序提交到yarn成功，下面总结一下。
spark读取hbase数据做分布式计算 经验
由于spark提供的hbaseTest是scala版本，并没有提供java版。我将scala版本改为java版本，并根据数据做了些计算操作。 程序目的：查询出hbase满足条件的用户，统计各个等级个数。
Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3) 经验
一定要加：冒号 3. 修改表信息 1) 表 添加一个字段 hive> alter table test1 add columns(name string); 2) 修改表的某个字段 注意：
使用Spark DataFrame进行大数据处理 经验
简介 DataFrame让Spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，计算性能更还快了两倍。这一个小小的API，隐含着Spark希望大一统「大数据江湖」的野心
Spark Streaming 1.6 流式状态管理分析 经验
jianshu.com/p/1463bc1d81b5 Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。 关于状态管理
Spark性能优化——和shuffle搏斗 经验
Spark的性能分析和调优很有意思，今天再写一篇。主要话题是shuffle，当然也牵涉一些其他代码上的小把戏。 以前写过一篇文章，比较了 几种不同场景的性能优化 ，包括portal的性能优化，web
iOS XMPP：Openfire+spark环境搭建 经验
henishuo.com/xmpp-spark-openfire-setup/ 前言 iOS XMPP：Openfire+spark环境搭建。 下载Openfire+Spark 首先到官网下载openfire+spark：
【原】Learning Spark (Python版) 学习笔记(一) 经验
《Learning Spark》 这本书算是Spark入门的必读书了，中文版是 《Spark快速大数据分析》 ，不过豆瓣书评很有意思的是，英文原版评分7.4，评论都说入门而已深入不足，中文译版评分8.