Hadoop的两种开发模式 一、一种是脱离集群环境的开发： 那么什么是脱离集群环境开发，因为集群也是有一个Java环境的。如果我们编写程序，脱离了集群，那么就是脱离集群开发。

ZooKeeper像分布式文件系统一样拥有层次化的命名空间。唯一的不同之处是每个node可以像其子节点一样关联数据，它更像一个允许将文件视为目录的文件系统。节点的路径必须是符合规定的、绝对的、以斜线分割的，没有对相对路径的解析。

以Hadoop为核心的大数据开放平台建设孙利兵驾驭大数据大数据技术发展大数据技术发展大数据技术有哪些不足大数据技术本身百花齐放，如何用好每项技术是个难题大数据技术内部融合性不够大数据技术与其他传统技术的融合性不够我们缺少什么？缺乏一个能融合现有大数据技术的技术技术领域如何解决大数据技术应用难的问题？

挖掘隐藏在大数据背后的知识目录信心爆棚的进击Hadoop HBase Spark StormImpalaML很快感受到森森的恶意丰富的数据源权力的游戏性能更要命的问题——大数据？？问题定义整合多源，异构，实时保护权限，集群，统一分析模型，效率，定制交互可视化，实时响应目录明略总体思路核心产品组件大数据集群INCR让传统应用系统的数据实时整合进数据平台LogM日志实时采集、处理和整合AcreCell级别的数据访问权限管理NoahArk集中管理，监控和运维您的系统Data One&SQL One全链路数据整合、存储管理、查询计算、处理分析的大数据作业平台

摘要在大数据到来的今天，本文首先介绍了Hadoop及其核心技术MapReduce的工作原理。详细讨论了Hadoop推测执行算法和SALS推测执行算法并对它们的性能进行分析。最后，分析了MapReduce框架的通用二路连接算法RSJ。为了提高性能，提出了一种基于DistributedCache的改进算法，通过减少mapper输出的数据来达到优化的目的。

Hadoop主要子项目介绍（Pig Zookeeper Hbase Sqoop Avro Chukwa Cassandra ）Hive 现 在Hadoop已经发展成为包含多个子项目的集合。虽然其核心内容是MapReduce和Hadoop分布式文件系统(HDFS)，但Hadoop下的 Common、Avro、Chukwa、Hive、HBase等子项目也是不可或缺的。它们提供了互补性服务或在核心层上提供了更高层的服务。1、Hadoop Common从Hadoop 0.20版本开始，Hadoop Core项目便更名为Common。Common是为Hadoop其他子项目提供支持的常用工具，它主要包括FileSystem、RPC和串行化库，它 们为在廉价的硬件上搭建云计算环境提供基本的服务，并且为运行在该运平台上的软件开发提供了所需的API。

Pig是一种探索大规模数据集的脚本语言。2）、pig是在HDFS和MapReduce之上的数据流处理语言，它将数据流处理翻译成多个map和reduce函数，提供更高层次的抽象将程序员从具体的编程中解放出来。Pig 是一种探索大规模数据集的脚本语言。MapReducer的一个主要的缺点就是开发的周期太长了。我们要编写mapper和reducer，然后对代码进行编译打出jar包，提交到本地的JVM或者是hadoop的集群上，最后获取结果，这个周期是非常耗时的。

Openstack DASHBOARD 文档说明

OpenStack Object Storage(Swift) 是用来创建冗余的、可扩展的对象存储（引擎）的开源软件。通过阅读Swift的技术文档，我们可以理解其中的设计的原理和实现的方法 。    Swift项目已经进展有两年了，对外开放也一年有余，在国外的社区你可以获得许多帮助，但在国内只能找到一些零零散散不齐全的资料，许多人更喜欢坐享其成，而不是参与其中。本人于9月底开始接触swift，刚开始看文档的时候一知半解，有幸阅读了zzcase等人的博客，才得以入门。

•Hadoop:分布式存储和计算平台•HDFS：分布式文件系统•MapReduce：分布式计算框架•NOSQL：分布式数据库•MPP、内存计算与流计算平台•大数据查询和分析技术（SQLonHadoop）•Hive：基本的Hadoop查询和分析•Hive2.0（stinger、presto）：Hive的优化和升级•实时互动SQL(impala、drill）•大数据高级分析和可视化技术•数据仓库与OLAP/OLTP•大数据挖掘与高级分析算法•Mahout•文本、语音、图像、空间数据分析•实时预测分析•R语言

官方给出的标准架构进行分析，如图，分别为存储节点（Storage node）、代理节点（Proxy node）和认证节点（Auth node）三部分。代理节点可以说是Swift的核心，运行着swift-proxy-server进程。它提供Swift API的服务，负责Swift其余组件间的相互通信。对于每个客户端的请求，它在Ring中查询相应Account、Container以及Object的位置，并且转发这些请求。从安全的角度来说，很少有直接暴露底层服务接口的实现方式，这个代理可以做集群。 它提供了Rest-full API，开发者可以通过这个接口快捷构建定制的客户端与Swift交互。 大量的存储错误也由Proxy Server处理：当一个服务器无法对一个对象的PUT操作进行响应，它将从Ring中查询一个可以接手的服务器并将请求传递给它。

OpenStack Swift 云存储安装手册

目前，基于类似思想的Open Source项目还很多，如Facebook用于用户分析的Hive。 HDFS作为一个分布式文件系统，是所有这些项目的基础。分析好HDFS，有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目，我们就把他们放在一块，进行分析。 下图是MapReduce整个项目的顶层包图和他们的依赖关系。Hadoop包之间的依赖关系比较复杂，原因是HDFS提供了一个分布式文件系统，该系统提供API，可以屏蔽本地文件系统和分布式文件系统，甚至象Amazon S3这样的在线存储系统。这就造成了分布式文件系统的实现，或者是分布式文件系统的底层的实现，依赖于某些貌似高层的功能。功能的相互引用，造成了蜘蛛网型的依赖关系。一个典型的例子就是包conf，conf用于读取系统配置，它依赖于fs，主要是读取配置文件的时候，需要使用文件系统，而部分的文件系统的功能，在包fs中被抽象了。

基于NIO,Listener关注OP_ACCEPT事件,当有客户端连接过来,Accept后,从readers中选取一个Reader将客户端Channel注册到Reader中的NIO selector,并新建一个Connection对象关联客户端Channel,Reader关注OP_READ事件. 客户端建立连接后,首先发送的是ConnnectionHeader包含协议名,用户组信息,验证方法,Connection会根据以上信息进行校验.之后将是先读取4位的长度代表这次请求的数据的长度,然后一直等待事件触发读取够长度,将读取的数据 解码为调用id和param,新建一个Call对象(关联Connection)放入call队列中,handlers中的Handler会将Call中callQuene中取走.

Apache Hadoop项目开发可靠的、可扩展的（Scalable）、分布式计算的开源软件。Apache Hadoop软件库是一个框架，使用简单的编程模型，用于对跨计算机集群的大数据集进行分布式处理。使用ApacheHadoop软件库，可以从单个服务器扩展到上千台服务器，每台服务器都提供本地的计算后存储。Apache Hadoop软件库不再依赖于硬件实现高可用性，Apache Hadoop软件库可以检测并处理应用层的失效，从而在计算机集群之上提供高可用性服务。ApacheHadoop项目组成Apache Hadoop包括的子项目Hadoop Common：支撑其他子项目的通用工具；

异步处理在分布式系统中的优化作用

RDD - resillient distributed dataset 弹性分布式数据集 Operation - 作用于RDD的各种操作分为transformation和action Job - 作业，一个JOB包含多个RDD及作用于相应RDD上的各种operation Stage - 一个作业分为多个阶段 Partition - 数据分区，一个RDD中的数据可以分成多个不同的区 DAG - Directed Acycle graph, 有向无环图，反应RDD之间的依赖关系

zookeeper是一个集群，负责协调。storm是一个分布式实时计算集群。 1.他们是不同的东西，搭建的时候可以搭载一样的机器上，也可以搭建在不同的机器上，各自成体系，storm.yaml文件中显示的写出了需要用的zookeeper集群。 2.zookeeper中的机器从属关系是平等的，storm中机器的关系是不平等的，运行nimbus进程的机器控制运行supervisor的机器。 3.运行supervisor的机器必须在其storm.yaml文件的storm.local.hostname: node**处，hostname要唯一，否则就运行不起来。

This how-to paper is written to illustrate the architecture, configuration and the implementation for developing a custom adapter for streaming relational database transactions to HDFS. Please note the code and the configuration of the HDFS adapter illustrated in this how-to is only meant to highlight the capability of the Oracle GoldenGate product. As such, no support is provided by Oracle for the code and configuration illustrated in paper.

机器规格CPU：2个四核2~2.5GHzCPU内存：8~16GBECCRAM(非ECC会产生校验和错误)存储器：4*1TSATA硬盘（硬盘大小一般是数据量的3—5倍）网络：千兆以太网PS：namenode一般采用64位硬件，避免32位机java堆3g限制具体规格情况跟数据量有关。