Zookeeper原理及简介 经验

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可 以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好 地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。 Zookeeper的目的就在于此。本文简单分析zookeeper的工作原理,对于如何使用zookeeper不是本文讨论的重点

y3c5 2015-05-11   41259   0

ZooKeeper运维经验 经验

ZooKeeper 是分布式环境下非常重要的一个中间件,可以完成动态配置推送、分布式 Leader 选举、分布式锁等功能。在运维 AliExpress ZooKeeper 服务的一年多来

jopen 2015-03-21   21628   0

Zookeeper研究和应用 经验

zookeeper是一个开源分布式的服务,它提供了分布式协作,分布式同步,配置管理等功能. 其实现的功能与google的chubby基本一致.zookeeper的官方网站已经写了一篇非常经典的概述性文章,请大家参阅:ZooKeeper: A Distributed Coordination Service for Distributed Applications

jopen 2015-03-25   21697   0

Zookeeper工作原理 经验

ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。 Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在 某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。本文简单分析 zookeeper的工作原理,对于如何使用zookeeper不是本文讨论的重点。

jopen 2015-03-25   14125   0

ZOOKEEPER基础 经验

ZOOKEEPER基础

jopen 2015-12-22   15093   0

zookeeper C API指南 经验

zookeeper C API指南:  由于所接手的项目里面用到了zookeeper,所以就收集了zookeeper相关的知识: Zookeeper ...

jopen 2016-01-18   21609   0

Consul和ZooKeeper的区别 经验

Consul是一个在国外流行的服务发现和配置共享的服务软件。本文翻译自Consul的官方文档,文中重点讲述:在与主流同类软件ZooKeeper、Doozerd以及Etcd比较时,Consul的优势所在。

jopen 2015-05-12   105785   0

Docker部署Zookeeper 经验

需要考虑的问题: 日志,快照等如何存放; 同一个镜像怎么做到个性化配置; 外部如何访问zk集群?`

jopen 2015-03-06   73693   0
Docker  

大数据(六) - ZooKeeper 经验

Zookeeper是什么 是一个针对大型分布式系统的可靠协调系统; 提供的功能包括:配置维护、名字服务、分布式同步、组服务等; 目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户; Zookeeper已经成为Hadoop生态系统中的基础组件。

jopen 2016-01-20   13280   0
P19

  zookeeper使用简介 文档

zoomkeeper分布式协作场景一有这样一个场景:系统中有大约100w的用户,每个用户平均有3个邮箱账号,每隔5分钟,每个邮箱账需要收取100封邮件,最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力,从多个不同的网路出口进行访问外网,计算的压力得到缓解,那么每台机器的计算压力也不会很大了。通过我们的讨论和以往的经验判断在这场景中可以实现并行计算,但我们还期望能对并行计算的节点进行动态的添加/删除,做到在线更新并行计算的数目并且不会影响计算单元中的其他计算节点,但是有4个问题需要解决,否则会出现一些严重的问题:20台机器同时工作时,有一台机器down掉了,其他机器怎么进行接管计算任务,否则有些用户的业务不会被处理,造成用户服务终断。随着用户数量增加,添加机器是可以解决计算的瓶颈,但需要重启所有计算节点,如果需要,那么将会造成整个系统的不可用。

xnbw 2016-01-11   611   0
P16

  zookeeper 理论及使用 文档

Zookeeper是一个高性能、分布式的开源的分布式应用程序的协作服务。提供一系列简单的功能,分布式应用可以在此基础上实现例如同步、配置管理、集群管理、leaderelection和统一命名服务等等。

dy3168729 2016-04-25   4414   0

Zookeeper内幕 经验

这篇博文是关于Zookeeper官网上zookeeperInternals的翻译讲述了Zookeeper的内部机制

jopen 2015-01-07   43501   0
P4

  使用 Zookeeper 构建 LogServer 文档

zookeeper简介ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。目前zookeeper被应用于hadoop/hbase中进行节点的管理,通过zookeeper你可以很方便的开发出一些分布式控制的工具,比如分布式lock,barrier,countDown,Semaphore等,甚至有人使用zookeeper开发了一个分布式Collections.zookeeper客户端我们构建分布式logserver系统,主要使用zookeeper的目录服务,zookeeper本身有api可供我们来使用zookeeper的一些特性,但是zookeeper的api接口太生硬了,不方便使用,但这么强大的zookeeper肯定有很多公司在使用,他们一定会发现现有api的问题,肯定会出不少优秀的api,于是我们找到了Curator,Curator是Netflix开源的一套ZooKeeper客户端框架.

mercykevin 2012-11-05   6120   0

zookeeper client分析 博客

1)几个重要概念 ZooKeeper:客户端入口 Watcher:客户端注册的callback ZooKeeper.SendThread: IO线程 ZooKeeper.EventThread: 事件处理线程,处理各类消息callback ClientCnxnSocketNIO:继承自ClientCnxnSocket,专门处理IO 2)zookeeper初始化 应用提供watch实例 实例化zoo

jopen 2012-09-20   5126   0

hadoop2.x 完全分布式详细集群搭建(图文:4台机器) 经验

hadoop2.x 完全分布式详细集群搭建(图文:4台机器)

jopen 2015-11-04   33701   0

构建OpenStack的高可用性(HA,High Availability) 经验

OpenStack由5大组件组成(计算nova,身份管理keystone,镜像管理glance,前端管理dashboard和对象存储swift)。 nova是计算、控制的核心组件,它又包括nova-compute、nova-scheduler、nova-volume、nova-network 和nova-api等服务。

jopen 2012-06-30   43927   0

使用 HA-LVM 实现高可用存储 经验

近年来,有一种趋势是数据中心优先选择商用的硬件和软件而非采用专利的解决方案的商品。他们为什么不能这样做呢?这种做法具有非常低的成本并且可以以更有利的方式来灵活地构建生态系统。唯一的限制是管理员想象的空间有多大。然而,一个问题要问:“与专利的和更昂贵的解决方案相比较,这样的定制解决方案表现如何呢?”

jopen 2015-03-10   17870   0
存储  
P2

  Netsign HA 状态监测方法 文档

Netsign HA主备机状态检测内容及方法:注释:在正常的HA主备情况下,备机的NetSign Server系统服务进程和downloadcrl进程是不启动的,只有当主机切换到备机时,随着虚IP切换到备机

hnhn22 2014-11-06   2042   0
P9

  MQV7双机HA方案 文档

WebSphere MQ 的最小故障转移单元是队列管理器。通常,包括队列管理器的资源组还包含卷组或磁盘组(已保留,以供资源组专门使用)中的共享磁盘和 IP 地址(用于连接队列管理器)。还可能包括其他 WebSphere MQ 资源,例如同一资源组中的侦听器或触发器监视器(作为独立资源或处于队列管理器本身的控制之下)。

michele 2014-01-18   1331   1
P4

  linux-ha开源软件 Heartbeat(安装篇) 文档

Heartbeat集群中的每个主机必须有一块网卡和一个空闲串口,网卡用于连接公用网络,串口可以通过串口线,例如modem电线来实现连接,用于心跳监控节点间的状态,如果没有空闲串口的话,每个主机也可以通过两块网卡来实现HA,其中一块网卡用于连接公用网络,另一块网卡通过以太网交叉线与两个节点相连接。

wsldg 2012-02-28   3755   0
1 2 3 4 5 6 7 8 9 10