Kafka入门:简介、使用场景、设计原理、主要配置及集群搭建 经验

仍然可以保证消息的正常发送和接收,只要 zookeeper集群存活即可.(不同于其他分布式存储,比如hbase需要"多数派"存活才行) 当leader失效时,需在followers中选取出新的leader,

jopen 2015-11-12   31728   0

ZIP压缩算法详细分析及解压实例解释 经验

描述分析有误的地方,敬请指正。针对数据压缩相关的话题,后续会对HBase列压缩等等进行分析,看看ZIP这种文件压缩和HBase这种数据库数据压缩的区别和联系。 来自: esingchan

jopen 2014-09-10   50411   0
算法  

年度最佳硬件、软件、开发工具和云服务 资讯

让你可以以一种容错方式来运行计划任务(cron job)。面向Mesos的其他流行框架包括Cassandra、Hadoop、Storm和Spark。 如果你需要另外的动力在今年关注Mesos,不妨

jopen 2016-01-22   63864   0
P92

  架构变革-云计算的架构 文档

几个主流开源的NoSQL产品Apache CouchDB:源自IBM,(IBM 支持) Apache cassandra:源自Facebook Apache MongoDB 相应的介绍文档可以从http://www

pf2f 2015-03-25   653   0

优酷、YouTube、Twitter及JustinTV视频网站架构设计 经验

的元数据负载也指数级的爆发增长,因此,他们 需要将其大范围进行切分,对于网络数据库,将使用Cassandra对其进行拆分。其次,为了灾后恢复,要对核心数据中心进行备份。 学到的东西 自己开发还是购

jopen 2015-10-06   58490   0
架构  

Go语言(golang)开源项目大全 经验

cabinet - Kyoto Cabinet bindings for go cass - Cassandra Client Lib cdb.go - Create and read cdb ("constant

jopen 2014-03-29   627514   0
P89

  架构变革-云计算的架构 文档

几个主流开源的NoSQL产品Apache CouchDB:源自IBM,(IBM 支持) Apache cassandra:源自Facebook Apache MongoDB 相应的介绍文档可以从http://www

sunjianing 2012-03-26   4444   0
软件架构   方案   Apache   Go   Basic  
P67

  Hadoop源码分析-HDFS部分 文档

的分别是: Chubby-->ZooKeeper GFS-->HDFS BigTable-->HBase MapReduce-->Hadoop 目前,基于类似思想的Open Source项目还很多,如

dishad631 2010-10-01   492   0
P55

  Hadoop入门实战手册 文档

apache.hadoop.mapreduce的新API 4) HBase: 类似Google BigTable的分布式NoSQL列数据库。(HBase 和 Avro 已经于2010年5月成为顶级 Apache

somnus_sta 2012-09-13   629   0

mysql的安装以及和mapreduce的交互 经验

,他们设计了类似于关系数据中结构化数据表的技术(Google的BigTable,Hadoop的HBase)提供一些粗粒度的结构化数据存储和处理能力; 另一方面 ,为了增强与关系数据库的集成能力,Hadoop

jopen 2014-11-08   52451   0

zookeeper入门与实战 经验

可将节点信息写入Zookeeper的一个znode上; 监听这个znode可获取它的实时状态变化 典型应用 Hbase中Master状态监控与选举 在 Zookeeper 上创建一个 EPHEMERAL 类型的目录节点,然后每个

yinpeng 2016-02-22   23702   0

消息队列设计精要 经验

理,具体这块的设计比较复杂,可以参考下篇的存储子系统设计。 分布式KV(如MongoDB,HBase)等,或者持久化的Redis,由于其编程接口较友好,性能也比较可观,如果在可靠性要求不是那么高的场景,也不失为一个不错的选择。

lzy_168 2016-07-02   34617   0

基于ZooKeeper的分布式Session实现 经验

是 Apache Hadoop 的一个组件,现在被拆分为一个 Hadoop 的独立子项目,在 HBase ( Hadoop 的另外一个被拆分出来的子项目,用于分布式环境下的超大数据量的 DBMS )中也用到了

jopen 2013-09-09   116615   0

走进京东金融:听过来人谈经验及技术干货 经验

由于分散的数据存储,在运营、财务、客服等方面无法满足多维度的数据查询应用,从而打造了Solr+Hbase、Mongo和ES三个数据平台。 白条经历了多个618和双十一,应对大促的挑战,很多公司的方

tweeto31 2017-02-15   21960   0

传统企业应用容器化的痛点、坑和解决之道 经验

,同种资源一致化。 资源管理监控,我们用的是Ceilometer,我们存储后端使用的是HBase。我们对存储后端和API接入方式都进行了大量的扩充。可以说除了Ceilometer这个名子,已经

binj4922 2016-10-08   16499   0

基于ZooKeeper的分布式Session实现 经验

是 Apache Hadoop 的一个组件,现在被拆分为一个 Hadoop 的独立子项目,在 HBase ( Hadoop 的另外一个被拆分出来的子项目,用于分布式环境下的超大数据量的 DBMS )中也用到了

fmms 2012-01-01   242564   0

阿里面试回来,想和Java程序员谈一谈 经验

关的。 而且在研究一门新技术时,切忌朝三暮四。有的同学今天去整整大数据,搞搞Hadoop、hbase一类的东西。过不了一段时间,就觉得没意思,又去研究分布式缓存,比如redis。然后又过不了一段时

ShaniMilbur 2016-08-11   160631   0

阿里面试回来,想和Java程序员谈一谈 经验

关的。 而且在研究一门新技术时,切忌朝三暮四。有的同学今天去整整大数据,搞搞Hadoop、hbase一类的东西。过不了一段时间,就觉得没意思,又去研究分布式缓存,比如redis。然后又过不了一段时

qepuhunbigu131 2017-02-22   20411   0

一文了解甲骨文云计算全景,看“狂人”拉里如何重新洗牌云产业 资讯

Spark、Pig 和 Oozie 等开源大数据。除了对已有的 Hive、HCatalog、HBase、Impala、Cloudera、Hortonworks 和 MapR 等大数据框架的支持,Oracle

jopen 2015-11-02   47479   0
P55

  基于 ZooKeeper 的分布式 Session 实现 文档

系统。原本是Apache Hadoop的一个组件,现在被拆分为一个Hadoop的独立子项目,在HBase (Hadoop的另外一个被拆分出来的子项目,用于分布式环境下的超大数据量的DBMS)中也用到了

sweetbaybe 2012-12-27   576   0
1 2 3 4 5 6 7 8 9 10