eBay开源新数据库技术Kylin,支持TB到PB级数据量 资讯

取数据;使用 MapReduce 预处理大型查询;然后将这些结果作为键值 cuboids 存储在 HBase 上。当用户用一组特定的变量值运行一个 Kylin 查询,结果已经准备就绪,不需要再重新处理,这和已经使用多年的分析型数据库完全不同。

jopen 2014-10-23   11724   0
Kylin  

Zookeeper注册中心的搭建 经验

Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。

jopen 2016-01-19   12921   0

大数据(一) - hadoop生态系统及版本演化 经验

推荐(Recommendation) 、 聚类(Clustering) 、 分类(Classification) HBase:分布式 数据库 ,源自Google的Bigtable论文 , 发表于2006年11月 , 是Google

jopen 2016-01-20   22814   0
P1

  hadoop面试小结 文档

combiner? use compression? pig latin, Hive 简单语法 HBase, zookeeper 搭建 最新: 关注cloudera, hortonworks blog next

wujiuliu 2013-05-31   7460   0

大数据处理一定需要Hadoop吗? 资讯

」 Cloudera Search能够与Hadoop分散式档案系统(HDFS)或资料库系统Hbase整合,使用者可以输入搜寻字串后就找到一串搜寻结果。这项搜寻工具是以Apache Solr搜寻器为基础。

dy223 2015-03-26   12892   0
P4

  使用 Zookeeper 构建 LogServer 文档

程序可以基于它实现同步服务,配置维护和命名服务等。目前zookeeper被应用于hadoop/hbase中进行节点的管理,通过zookeeper你可以很方便的开发出一些分布式控制的工具,比如分布式lock

mercykevin 2012-11-05   6120   0
P1

  系统设计面试题思路综述 文档

开了论文而未开源代码,开源界对此非常有兴趣,仿照这三篇论文实现了一系列软件,如:Hadoop、HBase、HDFS、Cassandra等。 在google这些技术还未出现之前,企业界在设计大规模分布式

wujiuliu 2013-06-01   8501   0

NoSQL开篇——为什么要使用NoSQL 经验

根据数据的存储模型和特点分为很多种类。 类型 部分代表 特点 列存储 Hbase Cassandra Hypertable 顾名思义,是按列存储数据的。最大的特点是

jopen 2013-11-10   23014   0

腾讯分析系统架构解析 经验

此我们需要的存储构件是“not clustering, but sharding”。也就是说像HBase和MongoDB这样的“重武器”并不适合TA,而NoSQL数据库中的“瑞士军刀”Redis凭借其出色的性

jopen 2014-12-01   29639   0
架构  

redis的简介和使用 经验

常见的数据库系统有以下几类: RDBMS:Oracle、DB2、Mysql NoSQL:MongoDB、Redis、HBase、Memcached NewSQL:Aerospike、FounddtionDB、RethinkDB

lieee 2015-12-20   17439   0

NoSQL数据管理系统与模型的比较 经验

/ 值: 如 Redis,MemcacheDB等。 列: 如 Cassandra,HBase等。 文档: 如 MongoDB,Couchbase等。 图形: 如 OrientDB,Neo4J等。

jopen 2014-03-23   29289   0
P32

  Hadoop 学习总结 文档

HDFS不适应条件低延迟数据访问 HDFS是为了达到高数据吞吐量而优化的,这是以延迟为代价的,对于低延迟访问,可以用Hbase(hadoop的子项目)。 大量的小文件 多用户写入,任意修改 12. HDFS的基本单元储存基本单元

orangeking 2012-06-29   8911   0
P36

  Hadoop / MapReduce 讨论与学习 文档

分布式文件系统HDFS MapReduce框架 并行数据分析语言Pig 列存储NoSQL数据库 Hbase 分布式协调器Zookeeper 数据仓库Hive(使用SQL) Hadoop日志分析工具Chukwa3

jphnny 2016-06-28   3381   0
P38

  Hadoop 介绍 - API 文档

ChubbyGFS-->HDFS MapReduce-->Hadoop BigTable-->HBase 4. Hadoop项目简介HDFS为了做到可靠性(reliability)创建了多份数据块(data

zoujl 2012-08-29   4332   0
P38

  Hadoop 技术讲解 文档

ChubbyGFS-->HDFS MapReduce-->Hadoop BigTable-->HBase 4. Hadoop项目简介HDFS为了做到可靠性(reliability)创建了多份数据块(data

aaron509 2012-03-01   4567   0

8种Nosql数据库系统对比 问答

Mongodb 、 CouchDB 、 Redis 、 Riak 、 Membase 、 Neo4j 和 HBase 进行了比较: (编注1:NoSQL:是一项全新的数据库革命性运动,NoSQL的拥护者们

openkk 2011-12-15   27329   7
NOSQL   JavaScript   C/C++   Ruby   Go  

Aerospike NoSQL 数据库架构 经验

其他的NoSQL数据库要求手动分片、手动故障转移、维护窗口等。MongoDB和HBase提供了自动分片,但是MongoDB需要一个区分数据的分片键值作为参数,而HBase要涉及到从原则集里选择一个RegionSplitPol

jopen 2015-06-16   21950   0

Impala与Hive的比较 经验

Planner、Query Coordinator和Query Exec Engine三部分组成),可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据,从而大大降低了延迟。其架构如图 1所示,Impala主要由Impalad,

jopen 2015-03-18   16151   0

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈 经验

这时候,需要做相应的开发,从HDFS或者HBase中获取数据,完成OLAP的功能; 比如:根据用户在界面上选择的不定的维度和指标,通过开发接口,从HBase中获取数据来展示。 其它数据接口 这

jopen 2015-10-17   110870   0
数据  
P38

  Hadoop 技术讲解 文档

ChubbyGFS-->HDFS MapReduce-->Hadoop BigTable-->HBase 4. Hadoop项目简介HDFS为了做到可靠性(reliability)创建了多份数据块(data

xiexiantao 2012-06-20   2317   0
1 2 3 4 5 6 7 8 9 10