以前只用过Hive与impala两个类SQL查询系统，最近又将Hortonworks开源的Stinger与Apache的Drill做了些调研。累死累活搞了一天的资料，头都大了。为了纪念我那逝去的脑细胞，特将这些信息整理出来。

主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN

Hadoop是一个用于运行应用程序在大型集群的廉价硬件设备上的框架。Hadoop为应用程序透明的提供了一组稳定/可靠的接口和数据运动。在Hadoop中实现了Google的MapReduce算法，它能够

找hadoop找到这里，留个脚印

是一个商品推荐预测框架。通过对用户上一个月的行为数据进行分析，为后一天的用户购买行为作出预测，进行推荐。 通过对用户在移动终端上一个月的行为数据进行分析，为后一天的用户购买行为作出预测，进行推荐。 目录结构

趋势有什么大胆的预测。 又到了众人纷纷对下一年进行预测的时候了。虽然这些预测看起来多为老生常谈，但鉴于我所在的公司 OpsClarity 在 2015 年 12 月刚刚崭露头角，我决定做出一个预测。我们 OpsClarity

ImportNew - 朱伟杰 这篇文章会讲述 2012 年发生的一些大大小小事件，并且对 2013 年进行一点预测。有些仅仅只是猜测而已….好吧，我只能说我邪恶的一面已经暴露出来了。 多的就不说了，我们来看看

数据平民崛起 甲骨文公司预测一种新型用户：数据平民(Data Civilian)会崛起。该公司称：“虽然复杂的数据统计可能仍局限于数据科学家，但数据驱动的决策不会是这样。在未来一年，更简单的大数据发现工具让业务分析员可以寻找企业

线性设计是一个具有固定的开始，中间，结束结构的旅程，并允许用户在每个步骤中只做一个特定的动作。 预先设计： 能够洞悉用户的需求，正确的预测，然后提供完整且符合预期额设计和体验 这些元素仅仅代表可以节省用户时间的可能设计特征的一部分。

本文尝试使用Spark提供的机器学习算法 Gradient-Boosted Trees来预测一个用户是否会点击广告。 训练和测试数据使用Kaggle Avazu CTR 比赛的样例数据，下载地址：

关于2016年对技术的预测众说纷纭，我有一些在MongoDB公司的朋友和我说了他们的预测。关于Kafka和Container Orchestration的预测看来非常正确。我还想补充的一点是，微服务仍将很重要，以及Apache

宣布开源一款基于 Python 和 R 语言的数据预测工具——“Prophet”，即“先知”。取名倒是非常直白。 Facebook 表示，Prophet 相比现有预测工具更加人性化，并且难得地提供 Python

2013-12-5文章内容来自：Java私塾 Hadoop实战-初级部分 之 Hadoop IO 整体课程概览 第一部分：开始云计算之旅 第二部分：初识Hadoop 第三部分：Hadoop 环境安装部署 第四部分：Hadoop Shell

谷歌产品营销经理本杰明·贝托谢姆(Benjamin Bechtolsheim)周三在一篇博客中表示，到目前为止，谷歌的云计算平台已成功预测了世界杯 16 强比赛每场比赛的胜利者。 谷歌使用了来自 Opta Sports 的数据，评估

百度预测上周末上线了 最新的产品“疾病预测” ，利用用户的搜索数据，并结合气温变化、环境指数、人口流动等因素建立预测模型，实时提供几种流行病的发病指数。这是继世界杯赛果预测之后百度预测的又一款产品。

一．Hadoop核心角色 hadoop框架 Hadoop使用主/从（Master/Slave）架构，主要角色有NameNode，DataNode，secondary NameNode，JobTracker，TaskTracker组成。

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。<br> Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

 一、安装sun的jdk和hadoop，不要使用open-jdk 本人安装的jdk1.7.0.rpm包（默认安装路劲为/usr/java/jdk1.7.0） 解压hadoop-0.20.2到：/home/hadoop/

csdn.net/calvinxiu/archive/2007/02/09/1506112.aspx Hadoop 是Google MapReduce 的一个Java实现。MapReduce是一种简化的分布式

Hadoop作为Apache基金会资助的开源项目，由Doug Cutting带领的团队进行开发，基于Lucene和Nutch等开源项目，实现了Google的GFS和Hadoop能够稳定运行在20个节点的集群；2006年1月，Doug Cutting加入雅虎公司，同年2月Apache Hadoop项目正式支持HDFS和MapReduce的独立开发。同时，新兴公司Cloudera为Hadoop提供了商业支持，帮助企业实现标准化安装，并志愿贡献社区。Hadoop的最新版本是0.21.0，说明其还在不断完善发展之中。<br> Hadoop由分布式存储HDFS和分布式计算MapReduce两部分组成。HDFS是一个master/slave的结构，就通常的部署来说，在master上只运行一个Namenode，而在每一个slave上运行一个Datanode。MapReduce是Google的一项重要技术，它是一个编程模型，用以进行大数据量的计算。MapReduce的名字源于这个模型中的两项核心操作：Map和Reduce。Map是把一组数据一对一的映射为另外的一组数据，Reduce是对一组数据进行归约，映射和归约的规则都由一个函数指定。