发布了第一个列型存储数据库Bigtable，它影响了 Hadoop 生态系统中活跃的开源数据库HBase 和 Facebook 的Cassandra。像 BigTable，HBase 和 Cassandra 这样的存储系统将键以字母顺序存储，可以高效地读取键列。

ü Storm，流式数据处理 ü Spark/Spark Streaming，内存计算框架 ü HBase，Key-Value数据存储 ü MapReduce，离线批处理计算框架 ü Kafka，消息队列式流失数据接入

资源层主要是数据模型的存储，包含通用的缓存资源Redis和Memcached，以及持久化数据库存储MySQL、HBase，或者分布式文件系统TFS以及Sina S3服务。 水平分层有一个特点，依赖关系都是从上往下

，我们还使用了另一个开源项目ES SQL提供类SQL查询。ES的运维成本，相对 SQL on HBase方案也要低很多。整个项目开发只用了不到700行代码，开发维护成本还是非常低的。那如此“简单”的系统，可用性可以保证吗？

2. Zookeeper分布式应用程序协调服务，在很多分布式系统中用到了它 3. Hadoop、Hbase用于存储数据 4. Memcache是一套分布式的高速缓存系统 大部分以及关键技术都是开源项目

大众点评网因应对大数据查询分析功能，从2011年开始使用Hadoop，有60多个节点，700TB容量，还有2个HBase线上集群。使用 Puppet管理集群，之后由于业务需要，又自行开发了Taurus调度系统。并于2

reaming access）文件系统中的数据。 Hadoop的家族成员：Hive, HBase, Zookeeper, Avro, Pig, Ambari, Sqoop, Mahout, Chukwa

时的另一个要点。在项目的早期阶段， 我们就意识到出了 HDFS 之外，大量数据会被存储在很多其他类型的系统中。 其中一些是像 HBase 一类的为人熟知的系统，另一类则是象 Facebook New Feed 一样的定制的后台。Presto

educe任务进行运行 ZooKeeper：高效的，可扩展的协调系统,存储和协调关键共享状态 HBase是一个开源的，基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点，并

下图为flume典型的体系结构： Flume数据源以及输出方式: Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系

Flume 数据源以及输出方式 : Flume 提供了从 console( 控制台 ) 、 RPC(Thrift-RPC) 、 text( 文件 ) 、 tail(UNIX tail) 、 syslog(syslog

Diffy简介 Diffy 是一个开源的自动化测试工具，它能够自动检测基于 Apache Thrift 或者基于HTTP的服务。使用Diffy，只需要进行简单的配置，之后不需要再编写测试代码。

2, 3, 4, 5, 6, 7查索引求交集节点21, 2, 4, 6, 7本地SUM运算（Hbase扩展）汇总计算 写入缓存 21. Prom—数据冗余明细数据大量冗余 牺牲磁盘容量，以得到： 避免明细数据网络传输

栏位的逻辑计算日志通过自主研发的数据回流框架，以HDFS的形式沉淀，并通过数据清洗等步骤写入到HBase中，通过WEB界面展示给网站运营方，来解释线上的栏位是如何推荐商品的，这个平台称为推荐可追溯平台。

业务线的反馈 7. 目录背景 InfiniDB的特点 Infinidb的实战 8. Infinidb的定位Hbase等infinidbinfinidb 9. infinidb产品介绍产品特点： Mysql协议兼容

2, 3, 4, 5, 6, 7查索引求交集节点21, 2, 4, 6, 7本地SUM运算（Hbase扩展）汇总计算 写入缓存 21. Prom—数据冗余明细数据大量冗余 牺牲磁盘容量，以得到： 避免明细数据网络传输

#set the path to where bin/hbase is available export HBASE_HOME=/usr/local/hbase #Set the path to where 

90+位讲师，16大分论坛，Databricks公司联合创始人、Apache Spark首席架构师辛湜，Hadoop、HBase和Thrift项目的PMC成员和Committer、Kudu的发明人Todd Lipcon等海外专家将亲临

方案。 集群 —— 所有事情都是自动化的 示例: Cassandra, MemBase, HBase 结论: 太可怕了，不是在现在，可能在将来，但现在太复杂了，有非常多的故障点 属性: 自动化数据分布

安装Hadoop、hbase等Nosql分布式数据库集群，对现有的数据ETL采集、清洗、转换、汇总进来，使用海量数据分布存储技术，用spark、storm等大数据处理软件对hbase中的数据进行分析处