hbase表中的每个列，都归属与某个列族。列族是表的chema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history，courses:math 都属于courses 这个列族。 访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据（甚至可能因为隐私的原因不能浏览所有数据）。

Hadoop与数据分析淘宝。Hadoop基本概念；Hadoop的应用范围；Hadoop底层实现原理；Hive与数据分析；Hadoop集群管理；典型的Hadoop离线分析系统架构；常见问题及解决方案。

云计算(Cloud Computing)是一种新兴的商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。这种资源池称为“云”。“云”是一些可以自我维护和管理的虚拟计算资源，通常为一些大型服务器集群，包括计算服务器、存储服务器、宽带资源等等。云计算将所有的计算资源集中起来，并由软件实现自动管理，无需人为参与。这使得应用提供者无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。之所以称为“云”，是因为它在某些方面具有现实中云的特征：云一般都较大；云的规模可以动态伸缩，它的边界是模糊的；云在空中飘忽不定，你无法也无需确定它的具体位置，但它确实存在于某处。

云计算相关功能列表

在windows上配置Hadoop需要做一些准备，包括软件的下载，了解Hadoop运行的条件，了解Hadoop在Linux与windows平台上的不同。 Hadoop安装需要的基础东西有，Hadoop安装包，jdk开发工具，Cygwin安装程序。 其中jdk最好在1.6版本以上，考虑到兼容性以及功能的完整性我们选择Hadoop-0.20.2版本；因为由于我们是模拟Linux平台配置Hadoop所以需要先在电脑上安装Cygwin，提供其他软件之外的shell支持，安装时可以选择从你下载的Cygwin安装包目录安装也可以选择从Internet上直接安装，从Internet上安装可能需要更长的时间，下面我们会详细介绍。

本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。

云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。研究背景云计算厂商都有自己资源分配与任务调度模式，但并没有统一的标准和规范。在云计算中，资源分配的效率非常重要，对云计算平台的系统综合性能影响很大。

本文档主要侧重hadoop和hbase在windows下的开发.在linux上开发自行修改即可.

ImDFS简介ImDFS是一个类似googleGFS轻量级的开源分布式文件系统,采用纯C语言开发，简洁高效,支持Linux、FreeBSD等UNIX系统。ImDFS主要解决了对海量小文件的存储和高并发访问的问题，文件存取时实现了负载均衡和互备ImDFS实现了软件方式的RAID，可以使用廉价的PC硬盘进行存储支持存储服务器在线扩容支持分布式文件系统的备份恢复机制ImDFS特别适合大中型网站使用，用来存储小资源文件（如：图片、音频、视频、文档等等）系统架构－架构图系统架构—文件访问流畅ImDFS检索文件无索引服务器，通过文件ID即可知道文件存放的具体位置，并发访问速度快高效。

本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。

Apache Hadoop项目开发可靠的、可扩展的（Scalable）、分布式计算的开源软件。Apache Hadoop软件库是一个框架，使用简单的编程模型，用于对跨计算机集群的大数据集进行分布式处理。使用Apache Hadoop软件库，可以从单个服务器扩展到上千台服务器，每台服务器都提供本地的计算后存储。ApacheHadoop软件库不再依赖于硬件实现高可用性，Apache Hadoop软件库可以检测并处理应用层的失效，从而在计算机集群之上提供高可用性服务。

HBase 的安装、配置、管理与编程

Google的十个核心技术，而且可以分为四大类： 分布式基础设施：GFS、Chubby 和 Protocol Buffer。 分布式大规模数据处理：MapReduce 和 Sawzall。 分布式数据库技术：BigTable 和数据库 Sharding。 数据中心优化技术：数据中心高温化、12V电池和服务器整合。

根据didyouknow的数据，目前互联网上可访问的信息数量接近1秭=1百万亿亿(1024)。毫无疑问，各个大型网站也都存储着海量的数据，这些海量的数据如何有效存储，是每个大型网站的架构师必须要解决的问题。分布式存储技术就是为了解决这个问题而发展起来的技术，下面让将会详细介绍这个技术及应用。

大数据解决之道 - 淘宝OceanBase开发组

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。这个项目的地址是http://hadoop.apache.org/core/。

Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating large data sets）的相关的实现。用户定义一个map函数来处理一个key/value对以生成一批中间的key/value对，再定义一个reduce函数将所有这些中间的有着相同key的values合并起来。很多现实世界中的任务都可用这个模型来表达。 Hadoop的Map/Reduce框架也是基于这个原理实现的，下面简要介绍一下Map/Reduce框架主要组成及相互的关系。

本文档主要是针对Hadoop最基本知识的了解，对于刚刚接触Hadoop学习过程中的总结。Hadoop是什么Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。

OpenStack既是一个社区，也是一个项目和一个开源软件，它提供了一个部署云的操作平台或工具集。其宗旨在于，帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、小云提供可扩展的、灵活的云计算。

本文档主要是针对Hadoop最基本知识的了解，对于刚刚接触Hadoop学习过程中的总结。Hadoop是什么Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。