如何从零构建实时的个性化推荐系统? 经验

he HBase,它在四个维度 – 行、列族、列标识和时间戳-存储数据。借助时间戳维度和HBase存储多个版本Cell的能力,Kiji能够存储有更多状态的缓慢变化的事件流数据。 HBase是Apache

jopen 2016-01-07   38415   0
P24

  Apache Hadoop介绍 文档

Hadoop的核心子项目,提供了一个分布式文件系统(HDFS)和支持MapReduce的分布式计算。 HBase 建立在Hadoop内核之上,提供可靠的,可扩展的分布式数据库。 ZooKeeper 一个高效的

观光阁 2011-05-15   17718   0

天猫11.11:搜索引擎实时秒级更新 资讯

Hadoop/HBase 的离线集群,而流式计算是阿里自己研发的一套系统。之所以没有选用 Storm,是因为在这一层中,光有计算是不够的,还需要有数据的存储(开源解决方案 HBase)。如果使用 S

jopen 2014-11-11   6656   0

高并发下的九死一生,一个不小心就掉入万丈深渊 经验

引言 了解LZ的猿友应该都知道,LZ最近弄了一个hbase(不理解hbase的猿友可以把hbase当做与oracle,mysql,sqlserver等一样的数据库,并不影响阅读本文)的大数据平台,

BraydenMald 2017-01-08   5988   0
并发   HBase  
P33

  淘宝搜索离线系统介绍-技术报告 文档

随机读写能力增加, latency减小容量越来越大 13. 存储的解决方案 --I 存储分层,HBase + Redis + GCIH + HDFS 把join的map/reduce计算转化为查询KV存储;

defeqw 2015-11-30   2271   0

基于Hadoop MapReduce模型的数据分析平台研究设计 经验

自己的驱动来增加新的数据源和数据格式。一种理想的应用模型是将数据存储在HBase中实现实时访问,而用Hive对HBase中的数据进行批量分析。 五、Hbase Hbase是使用java的google bigtable的

d3fw 2015-04-28   48832   0

Java 持久层框架 DataNucleus Access Platform 发布了 3.1 的首个里程碑 资讯

Support for multitenancy via discriminator for HBase was added. 5. Support for JDO/JPA schema naming

jopen 2012-03-11   16396   0
Java  

世界最大的PHP站点 Facebook后台技术探秘 经验

候获取进来的。即使某些工程的一部分关闭或中端,用户也可以获得一部分网页。 Cassandra Cassandra是一个不会单点失败的分布式存储系统。 这是为NoSQL运动的一个重要组成部分,并

jopen 2014-09-19   26739   0

Lambda架构实现数据实时更新 经验

上,然后Spark处理所有的交易历史计算每个股票交易者持有的股票准确数量,对应的结果会写入Cassandra数据库。 在流式处理层,Spark Streaming实时消费Kafka消息,但并不像Storm那样完全实时,Spark

vr961971 2016-04-13   17993   0

最好的 Java 单元测试框架和工具 资讯

Framework by Shahid Cassandra unit testing CassandraUnit Cassandra Unit is a Cassandra data operations

n342 2015-04-29   20731   0
P6

  Tumblr:150亿月浏览量背后的架构挑战 文档

  Tumblr 最开始是非常典型的 LAMP 应用。目前正在向分布式服务模型演进,该模型基于Scala、HBase、Redis(著名开源K-V存储方案)、Kafka(Apache 项目,出自 LinkedIn

gmmxx 2015-12-21   2924   0

Hadoop 的分布式架构改进与应用 经验

Nutch项目子项目之一的Yahoo资助的Hadoop分别实现了三个强有力的开源产品:HDFS,MapReduce和HBase。在大数据时代的背 景下,许多公司都开始采用Hadoop作为底层分布式系统,而Hadoop的开源

jopen 2012-05-31   96547   0

Tumblr 架构设计 经验

Tumblr最开始是非常典型的LAMP应用。目前正在向分布式服务模型演进,该模型基于 Scala 、 HBase 、 Redis 、 Kafka 、 Finagle ,此外还有一个有趣的基于Cell的架构,用于支持Dashboard 

jopen 2013-05-26   78089   0

Ambari部署hadoop集群 经验

yum remove -y  rrdtool.x86_64 yum remove -y  hbase.noarch yum remove -y  pig.noarch yum remove -y  lzo

jopen 2014-01-19   49758   0

每天近百亿条用户数据,携程大数据高并发应用架构涅槃 经验

是基于Lucene实现的分布式搜索引擎,用于索引用户画像的数据,支持离线精准营销的用户筛选,同时支持线上应用推荐系统的选品功能 。Hbase 基于Hadoop的Hdfs 上的列存储Nosql数据库,用于后台报表可视化系统和线上服务的数据存储。

Kylin 大数据时代的OLAP利器 资讯

Kylin针对维度字典以及维度表快照采用了特殊的压缩算法,对于Hbase中的聚合计算数据利用了Hadoop的LZO或者是Snappy,从而保证存储在Hbase以及内存中的数据尽可能的小。其中维度字典以及维度表快

jopen 2016-01-04   124168   0
OLAP   大数据  

每天TB级数据处理,携程大数据高并发应用架构涅槃 经验

是基于Lucene实现的分布式搜索引擎,用于索引用户画像的数据,支持离线精准营销的用户筛选,同时支持线上应用推荐系统的选品功能 。Hbase 基于Hadoop的Hdfs 上的列存储Nosql数据库,用于后台报表可视化系统和线上服务的数据存储。

七牛首席架构师李道兵:分布式存储的元数据设计 资讯

无中心的存储设计,如GlusterFS。 有中心的存储设计,如Hadoop。 基于数据库的存储设计,如GridFS和HBase。 绕过元数据的存储设计,如FastDFS。 下面我们来逐一进行讲述。 无中心的存储设计:GlusterFS

pjp 2015-05-10   21784   0

Hadoop 管理监控工具:Apache Ambari 经验

Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、S

jopen 2012-12-25   77765   0

来自 eBay 的 OLAP 分析引擎:Kylin 经验

其它亮点: 作业管理和监控 压缩和编码的支持 Cube 的增量更新 Leverage HBase Coprocessor for query latency Approximate Query

jopen 2014-10-09   73265   0
1 2 3 4 5 6 7 8 9 10