Cascading是一个架构在Hadoop上的API，用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用，而不用考虑背后的MapReduce。

Apache Sqoop（SQL-to-Hadoop） 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。

有时候我们在项目中会遇到输入结果集很大，但是输出结果很小，比如一些 pv、uv 数据，然后为了实时查询的需求，或者一些 OLAP 的需求，我们需要 mapreduce 与 mysql 进行数据的交互，而这些是 hbase 或者 hive 目前亟待改进的地方。

sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。

hadoop集群数据节点gmond安装

转眼间已经接触了hadoop两周了，从之前的极力排斥到如今的有点喜欢,刚开始被搭建hadoop开发环境搞得几乎要放弃，如今学会了编写小程序,每天都在成长一点挺好的，好好努力,为自己的装备库再填一件武器挺好的，学习在于坚持不懈,加油！！！

之前在学校的时候一直就想学习大数据方面的技术，包括hadoop和机器学习啊什么的，但是归根结底就是因为自己太懒了，导致没有坚持多长时间， 加上一直为offer做准备，所以当时重心放在C++上面了（虽然C++也没怎么学），计划在大四下有空余时间再来慢慢学习。现在实习了，需要这方面的知 识，这对于我来说，除去校招时候投递C++职位有少许影响之外，无疑是有很多的好处。

Infinispan 是个开源的数据网格平台。它公开了一个简单的数据结构（一个Cache）来存储对象。虽然可以在本地模式下运行Infinspan，但其真正的价值在于分布式，在这种模式下，Infinispan可以将集群缓存起来并公开大容量的堆内存。

给BOSS框架之外的其他的外围系统提供所需数据(举例：BASS-经营分析系统 大客户系统)

Microsoft 在去年 10 月西雅图举行的 SQL PASS 2011 峰会上宣布将与从 Yahoo 分拆出来的 Hortonworks 合作开发，旨在实现 Windows Server 和 Windows Azure 平台之上的 Hadoop。Microsoft 官方将未来支持 Windows Azure 和 Windows Server 的 Hadoop 框架的产品套件的代号定义为“Isotope”。

ETL平台用于数据的抽取、转换、加载，为数据比对提供数据的采集、转换、导入、导出等功能。

这篇文章的目的是帮助您开始使用 Apache Zeppelin Notebook，它可以满足您用R做数据科学的需求。Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等。

一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。

10月18日，来自国外媒体的报道，高性能计算机系统提供商SGI宣布计划提供运行Hadoop数据分析平台的集群。SGI Hadoop集群将完全支持Cloudera的发行版，包括 Apache Hadoop (CDH)在SGI的机架式服务器产品线之上。SGI加入了＂Cloudera 连接伙伴程序＂中，将提供专线电话回答客户关于SGI硬件或者Hadoop的相关问题。

另一个来自Google的重要工具，看起来超越了Hadoop MR——Pregel框架实现了图形计算（Malewicez et al.2010）。在Pregel中的计算是由一系列迭代组成的，被称为supersteps。图上的每个顶点都与一个用户定义的计算函数相关 联；Pregel确保每个superstep在图的每条边上并发调用用户定义的计算函数。顶点可通过边发送消息，并且顶点间可交换值。

R是GNU的一个开源工具，具有S语言血统，擅长 统计 计算和 统计 制图。由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起，很好发挥了R语言特长。广大R语言爱好者借助强大工具RHadoop，可以在 大数据 领域大展拳脚，这对R语言程序员来说无疑是个喜讯。作者从一个程序员的角度对R语言和Hadoop做了一次详细的讲解。

Google的核心竞争技术是它的计算平台. Google的大牛们用了下面5篇文章, 介绍了它们的计算设施. GoogleCluster： Chubby： GFS： BigTable： MapReduce： 很快, Apache上就出现了一个类似的解决方案, 目前它们都属于Apache的Hadoop项目

前雅虎首席技术官Raymie Stata去年6月创立公司Altiscale提供“Hadoop即服务”，近日Altiscale宣布面向公众推出大数据云计算平台，类似亚马逊的Elastic Map Reduce,与其产品极为接近的另一家创业公司是Qubole（以云计算的方式提供Facebook开源的Hadoop互动查询架构——Presto）。

Apache Falcon 是一个面向Hadoop的、新的数据处理和管理平台，设计用于数据移动、数据管道协调、生命周期管理和数据发现。它使终端用户可以快速地将他们的数据及其相关的处理和管理任务“上载（onboard）”到Hadoop集群。