较好地整合了Hadoop生态系统和数据储存系统(HDFS, Amazon S3, HIVE, HBase, Cassandra等) 既可以在Hadoop YARN或者Apache Mesos等集群上运行，也可以单机运行。

像是最终的赢家，问题在于我们永远不会单独使用它—我们需要 HDFS 存储数据，或许还会需要用到 HBase，Hive，Pig，Impala 或其他 Hadoop 项目。这意味着在处理非常大的数据的时候，Spark

GFSStraight GFS files are not the only storage option HBase (on top of GFS) provides column-oriented storage

Redis，Tokyo Cabinet，Cassandra，Voldemort MongoDB，Dynomite，HBase，CouchDB，Hypertable Riak，Tin， Flare， Lightcloud，

engine – HDFS – Hadoop distributed file system – HBase (pre-alpha) – online data access Yahoo! is the biggest

数据1.key-value存储 5. 5NoSQL四大类ExamplesCassandra, HBase, Riak典型应用场景分布式的文件系统数据模型以列簇式存储，将同一列数据存在一起强项查找速度快

Google Spanner & BigTable & MegaStore OceanBase、Hbase 缓存服务器 ＆ KeyValue Store Tair MemcacheD Redis 5. 数据库的主要特性

NoSQL是一种技术或者框架的统称，包括以Mongodb，Hadoop，Hive，Cassandra，Hbase，Redis等为代表的框架技术，这些都在特定的领域有很多实际的应用。而SQL领域的开源代表自然是MySQL了。

能够通过预测分析与大数据技术提供市场营销的效用与收益。 PredictionIO : 基于 Apache Spark、HBase 以及 Spray 这些著名的开源项目搭建的开源机器学习服务。典型的 API 包括了创建与管理用

业内便已街知巷闻。目前，NoSQL 已经不再停留在学习概念和坐而论道的阶段，而是得到了广泛应用，HBase、MongoDB、Redis 等深入人心。应该说 Facebook 在这中间起到了领头羊的作用，率先采用了一些开源

工具中很多都是用 Java 编写。Cassandra、Lucene、ElasticSearch、HBase 和 Neo4J 只是一些经常提到的 NoSQL 选择。 据了解，工具通常是开源的。开发者将

的数据元素可执行并行操作。RDD可以引用外部存储系统中的数据集，比如共享式文件系统、HDFS、HBase，或者提供Hadoop InputFormat的任何数据源。Spark可以用Hadoop支持的任

info("--------------" + dfs.ifExists("/user/warehouse/hbase.db/u_data/u.data")); //false LOG.info("--------------"

Map-reduce的实现 Hadoop 的流数据处理效率非常高，列式存储的优点体现的淋漓极致。因此， HBase 和 Hypertable 通常作为非关系型数据仓库，为Map-reduce进行数据分析提供支持。

storage storage是存储系统，可以是一个普通file，也可以是HDFS，HIVE，HBase等。 6. 总结 根据这四个系统的架构设计，可以总结出典型的日志系统需具备三个基本组件，

人）牵头开发。Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中 例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统。Avro可以将数

的，我们通过以下几个方面来了解它： 创建 1）从集合转换而来； 2）基于文件系统（本地文件、 HDFS 、 HBase 等）的输入创建； 3）从父 RDD 转换而来。 计算类型 1）Transformation

看下ganglia监控的一个图： 可以很只直观的观察系统的各个指标，特别是对于分布式系统来说，无疑非常重要，而且Hadoop,Hbase提供了集成了ganglia的配置文件。 2 工作原理以及配置简介 1）组成 在了ganglia的组成之前，先来看下一张图

ce，Hive可以将结构化的数据文件映射为一张数据库表，Hive中表纯逻辑，就是表的元数据。而HBase是物理表，定位是NoSQL。 13. 后记 以上只是简单介绍了下Pig，提供安装和运行demo，

NoSQL 存储： MongoDB （文档数据库） Neo4j（图形数据库） Redis（键/值存储） Hbase（列族数据库） SpringData 项目所支持的关系数据存储技术： JDBC JPA 4. JPA