P6

  大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术 文档

pig入门简单操作及语法包括支持数据类型、函数、关键字、操作符等 hadoop家族Pig和Hive有什么不同? HBase: Apache HBase是Hadoop数据库,一个分布式、可扩展的大数据存储。它提供了大数据集上随机和实时

tony2007 2015-06-19   2795   0

如何从零构建实时的个性化推荐系统? 经验

he HBase,它在四个维度 – 行、列族、列标识和时间戳-存储数据。借助时间戳维度和HBase存储多个版本Cell的能力,Kiji能够存储有更多状态的缓慢变化的事件流数据。 HBase是Apache

jopen 2016-01-07   38415   0

Urban Airship是如何在美国大选日支持了25亿条通知的 经验

es分区中,可是我们增加新分区的速度始终跟不上我们的业务规模扩展速度,因此我们就移到了一个基于HBase和Cassandra的混合数据库架构上来。 核心推送管道是一系列处理分片和推送通知消息的服务

guchengren 2016-12-07   31386   0

Apache Gora 0.6 发布,NoSQL 的 ORM 框架 资讯

Gora 是一个应用于 NoSQL 数据库的 ORM 框架,支持包括:Apache HBase/Apache Cassandra Apache Gora 0.6 发布,此版本解决了 47 个 issues

jopen 2015-02-21   9740   0
P24

  Apache Hadoop介绍 文档

Hadoop的核心子项目,提供了一个分布式文件系统(HDFS)和支持MapReduce的分布式计算。 HBase 建立在Hadoop内核之上,提供可靠的,可扩展的分布式数据库。 ZooKeeper 一个高效的

观光阁 2011-05-15   17718   0

天猫11.11:搜索引擎实时秒级更新 资讯

Hadoop/HBase 的离线集群,而流式计算是阿里自己研发的一套系统。之所以没有选用 Storm,是因为在这一层中,光有计算是不够的,还需要有数据的存储(开源解决方案 HBase)。如果使用 S

jopen 2014-11-11   6656   0

高并发下的九死一生,一个不小心就掉入万丈深渊 经验

引言 了解LZ的猿友应该都知道,LZ最近弄了一个hbase(不理解hbase的猿友可以把hbase当做与oracle,mysql,sqlserver等一样的数据库,并不影响阅读本文)的大数据平台,

BraydenMald 2017-01-08   5988   0
并发   HBase  

不得不了解的Hadoop知识 经验

HDFS在今年仍然很重要。我希望大家能够记住这一生态圈中的东西。尽管许多人可能会认为HBase和Cassandra与Hadoop无关, 但是实际上 HBase已经变得极为关键,Cassandra也已经被市场所接受。(如果你

fn67 2015-03-21   15211   0
P33

  淘宝搜索离线系统介绍-技术报告 文档

随机读写能力增加, latency减小容量越来越大 13. 存储的解决方案 --I 存储分层,HBase + Redis + GCIH + HDFS 把join的map/reduce计算转化为查询KV存储;

defeqw 2015-11-30   2271   0

几种常见的基于Lucene的开源搜索解决方案对比 博客

缺点:一个新的项目,没有经过很多的验证。(只有一个人在开发?)分片的数目不能动态调整,只能在初始化索引的时候指定(跟 HBase 不一样的地方) 七 Lucandra ( https://github.com/tjake/Lucandra

openkk 2012-08-23   4505   0

Facebook架构解读 经验

tty都显得开销过大、值不符实了。 用MySQL、Memcached[5]、Hadoop’s HBase[6]实现持久化;用Memcached作为MySQL缓存与通用缓存。 用Hadoop和Hive实现离线处理。

jopen 2016-01-19   25626   0

基于Hadoop MapReduce模型的数据分析平台研究设计 经验

自己的驱动来增加新的数据源和数据格式。一种理想的应用模型是将数据存储在HBase中实现实时访问,而用Hive对HBase中的数据进行批量分析。 五、Hbase Hbase是使用java的google bigtable的

d3fw 2015-04-28   48832   0

Java 持久层框架 DataNucleus Access Platform 发布了 3.1 的首个里程碑 资讯

Support for multitenancy via discriminator for HBase was added. 5. Support for JDO/JPA schema naming

jopen 2012-03-11   16396   0
Java  
P6

  Tumblr:150亿月浏览量背后的架构挑战 文档

  Tumblr 最开始是非常典型的 LAMP 应用。目前正在向分布式服务模型演进,该模型基于Scala、HBase、Redis(著名开源K-V存储方案)、Kafka(Apache 项目,出自 LinkedIn

gmmxx 2015-12-21   2924   0

Hadoop 的分布式架构改进与应用 经验

Nutch项目子项目之一的Yahoo资助的Hadoop分别实现了三个强有力的开源产品:HDFS,MapReduce和HBase。在大数据时代的背 景下,许多公司都开始采用Hadoop作为底层分布式系统,而Hadoop的开源

jopen 2012-05-31   96547   0

Tumblr 架构设计 经验

Tumblr最开始是非常典型的LAMP应用。目前正在向分布式服务模型演进,该模型基于 Scala 、 HBase 、 Redis 、 Kafka 、 Finagle ,此外还有一个有趣的基于Cell的架构,用于支持Dashboard 

jopen 2013-05-26   78089   0

Ambari部署hadoop集群 经验

yum remove -y  rrdtool.x86_64 yum remove -y  hbase.noarch yum remove -y  pig.noarch yum remove -y  lzo

jopen 2014-01-19   49758   0

值得尝试的10款出色NoSQL数据库 资讯

2下载 ) 8. Hadoop的HBase HBase (Hadoop Database),是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上

jopen 2012-10-18   37422   0
NOSQL  

每天近百亿条用户数据,携程大数据高并发应用架构涅槃 经验

是基于Lucene实现的分布式搜索引擎,用于索引用户画像的数据,支持离线精准营销的用户筛选,同时支持线上应用推荐系统的选品功能 。Hbase 基于Hadoop的Hdfs 上的列存储Nosql数据库,用于后台报表可视化系统和线上服务的数据存储。

Kylin 大数据时代的OLAP利器 资讯

Kylin针对维度字典以及维度表快照采用了特殊的压缩算法,对于Hbase中的聚合计算数据利用了Hadoop的LZO或者是Snappy,从而保证存储在Hbase以及内存中的数据尽可能的小。其中维度字典以及维度表快

jopen 2016-01-04   124168   0
OLAP   大数据  
1 2 3 4 5 6 7 8 9 10