Apache Falcon 提供了一个用于治理和编排 Hadoop 内部和周边数据流的数据处理框架。该框架为获取和处理数据集、复制与保留数据集、重新定向位于非Hadoop扩展中的数据集、维护审核跟踪与沿袭提供了关

Drill是一个分布式系统用于大型数据集的互动分析，类似于 Google 的 Dremel。 据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”

于 Apache Hadoop 和 Apache HBase . 构建。Tigon 严重依赖开源项目 Tephra 和 Apache Twill 提供紧密的集成到已有的 Hadoop/HBase 集群中。

成为基金会的顶级项目。项目新的首页是： http://drill.apache.org/ 为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会发起了一项名为“Drill”的开源项目。Apache Drill

AMPLab 的集群计算平台。 Spark 被称为“Hadoop 的瑞士军刀”，拥有非凡的速度和易用性。Spark 立足于内存计算，相比 Hadoop MapReduce，Spark 在性能上要高 100

式系统基础架构 Hadoop 到 Twitter 旗下实时数据处理平台 Storm 等各种软件和工具。 而 Summingbird 所提供的正是一种能让开发者同时利用 Hadoop 和 Storm

算法模式实现的分布式计算框架，拥有 Hadoop MapReduce 所具有的优点，并且解决了 Hadoop MapReduce 中的诸多缺陷。 2.1 初识 Spark 2.1.1 Hadoop MRv1 的局限

HDFS启用HA高可用性(基于Quorum-based Storage) 16 5.CDH安装使用lzo 22 5.1 hadoop_lzo安装 22 5.2 配置MapReduce： 23 5.3相关服务重启 25 6.安装Storm

案，基于Hadoop的分布式处理模型保证了系统的性能，类似Eclipse的插件机制保证了系统的可客户化，而且很容易集成到自己的应用之中。       Nutch 0.8 完全使用Hadoop重写了骨干

Functions Virtualization，NFV）平台功能初级版、Sahara套件也支持Hadoop和Spark来快速建置与管理大资料丛集。 每 隔半年就推出新版本的OpenStack云

rk 仅仅是崭露头角。 在过去的几年时间，随着 Hadoop 技术爆炸和大数据逐渐占据主流地位，几件事情逐渐明晰： 对所有数据而言，Hadoop 分布式文件系统（HDFS）是一个直接存储平台。 YARN

XMLSerializer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import

List(v2))->List(k3,v3) 8. Spark基础Shuffle 9. Spark基础Spark为什么比Hadoop快 大致的业务需求： 1.gn口数据，根据 手机号码、msisdn、lac、ci计算总流量 2

，项目的core部分的代码只有63个Scala文件，非常短小精悍。 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在

：Spark 0.6核心代码有2万行，Hadoop 1.0为9万行，2.0为22万行。一方面，感谢Scala语言的简洁和丰富表达力；另一方面，Spark很好地利用了Hadoop和Mesos（伯克利 另一个进入

的商业智能功能。微软与 Hortonworks 合作，在 SQL Server 中集成了开源的 Apache Hadoop ，从而提供大数据处理功能。正如 Hortonworks 的 CEO，Eric Baldeschwieler

ClouderaSearch带来了全文索引，实时查询和针对CDH和你的企业级数据中心的扩展、灵活性的索引服务。由Apache Hadoop和Apache Solr提供，是企业级的 开源搜索 。Cloudera Search带来了扩展

[root@hadoop01 ~]# killall -9 redis-server ##########压缩redis文件并拷入另一台机器######### [root@hadoop01 data]#

Spark 传奇华为开源软件中心 程广卫 2. 大数据技术发展历程 3. Hadoop：大道至简 4. Hadoop：八仙过海Twister(Indiana 大学) Haloop(Washington大学)

hive是什么？ hive是基于hadoop构建的数据仓库基础架构，通过提供一系列的工具，使得用户能够方便的做数据ETL，数据结构化，并针对存放在hadoop上的海量数据进行查询和分析。 hi