分布式系统一致性的发展历史(一) 资讯

“点融黑帮”(微信号:DianrongMafia)吴强,前盛大架构师,现在在点融网任首席社交平台架构师。专注分布式系统和移动应用,有十三年的开发经验,目前在点融做最爱的两件事情:写代码和重构代码。 分布式系统是一个非常有趣的话题, 在

jopen 2015-09-08   36109   0

分布式文件系统,Ceph 9.0.3 发布 资讯

新一代自由软件分布式文件系统。自2007年毕业之后,Sage开始全职投入到Ceph开 发之中,使其能适用于生产环境。Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统,使数据能容错和无缝的复制。2010年3

jopen 2015-08-24   8690   0
Ceph  

分布式文件系统,Ceph v0.94.1.5 发布 资讯

新一代自由软件分布式文件系统。自2007年毕业之后,Sage开始全职投入到Ceph开 发之中,使其能适用于生产环境。Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统,使数据能容错和无缝的复制。2010年3

jopen 2015-07-29   8492   0
Ceph  
P6

  Yarn是一个分布式的资源管理系统 文档

 Yarn 背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapR

光荣复兴 2014-03-30   3987   0

Moosefs分布式文件系统集群讲解配置 经验

本篇为大家分享一下关于MooseFS的相关知识,以及简单的安装配置介绍。MooseFS是一种分布式文件系统,它通过四个节点服务器来进行整个分布式文件系统的正常运作,包括管理服务器,元数据日志服务器,存储服务器和客户端挂载。

jopen 2014-06-24   17543   0

分布式key/value存储系统 Tair 经验

Tair是由淘宝网自主开发的Key/Value结构数据存储系统,在淘宝网有着大规模的应用。您在登录淘宝、查看商品详情页面或者在淘江湖和好友“捣浆糊”的时候,都在直接或间接地和Tair交互。 Tair的功能

openkk 2011-11-30   16612   0

分布式的Key-Value存储系统 Voldemort 经验

Voldemort是一个分布式键-值(Key-value)存储系统,是Amazon's Dynamo的一个开源克隆。 1.支持自动复制数据到多个服务器上。 2.支持数据自动分割所以每个服务器只包含总数据的一个子集。

openkk 2011-12-01   19124   0

分布式的Key-Value存储系统 Dynomite 经验

Dynomite 是采用 ErLang 语言开发的分布式的Key-Value存储系统。 Dynomite is an eventually consistent distributed key value

openkk 2011-12-01   16403   0

分布式的Key-Value存储系统 Kai 经验

Kai是一个分布式key-value数据存储,启发自Amazon的Dynamo。它能够用于构建高可靠性和高扩展性。你可以利用Kai管理海量数据,就像Dynamo存储购物车,分类等一样。 A highly

openkk 2011-12-01   13847   0

分布式系统测试在阿里云的实践 经验

分布式系统的测试是一个比较大的话题,在这里,我们仅用几个阿里云飞天分布式系统测试中比较有特点的实践方式来阐述一下我们对分布式系统测试的理解,希望对大家有所帮助。 1. 阿里云的分布式系统 飞天

jopen 2012-11-11   50374   0

HAProxy + Keepalived + Flume 构建高性能高可用分布式日志系统 经验

些负载特大的web站点,这些站点通常又需要会话保持或七层处理。 HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。

jopen 2013-07-11   31389   0

使用 Redis 实现分布式系统轻量级协调技术 经验

分布式系统中,各个进程(本文使用进程来描述分布式系统中的运行主体, 它们可以在同一个物理节点上也可以在不同的物理节点上)相互之间通常是需要协调进行运作的,有时是不同进程所处理的数据有依赖关系,必须按照一定的次序进

ny8p 2015-06-19   23978   0

分布式系统:Paxos算法的一个简单解释 经验

这会导致每个分区都选择一个恢复节点,这两个恢复节点要么提交事务,要么终止事务。一旦网络分区被移除,系统会得到不一致的状态。 Paxos-为什么麻烦? 先说重要的事-考虑下3PC,我们还需要更好的算

jopen 2015-09-04   21676   0
算法  

分布式文件系统FastDFS原理介绍 经验

在生产中我们一般希望文件系统能帮我们解决以下问题,如:1.超大数据存储;2.数据高可用(冗余备份);3.读/写高性能;4.海量数据计算。最好还得支持多平台多语言,支持高并发。 由于单台服务器无法满

jopen 2015-04-18   22131   0

百度开源的BigTable实现:Tera - 分布式表格系统 经验

按列存储,支持内存表 * 动态schema,支持稀疏表 * 表格快照 * 高效随机读写 系统依赖 使用分布式文件系统(HDFS、NFS等)持久化数据与元信息 使用zookeeper选主与协调 使用Sofa-pbrpc实现跨进程通信

jopen 2015-03-11   47535   0

彻底厘清真实世界中的分布式系统 经验

编者的话:本文从一个实践者的角度,首先介绍了分布式系统的一些理论结果,例如 FLP 不可能性和 CAP 定理等;然后介绍了构建实际分布式系统最重要的一个原则:端到端;最后讨论了实际系统经常用到的协调服务。 求知

jopen 2016-01-18   23750   0

使用 Python 进行分布式系统协调 经验

随着大数据时代的到来,分布式是解决大数据问题的一个主要手段,随着越来越多的分布式的服务,如何在分布式系统中对这些服务做协调变成了一个很棘手的问题。今天我们就来看看如何使用Python,利用开源对分布式服务做协调。

darcy_yang 2016-10-31   11976   0

分布式系统互斥性与幂等性问题的分析与解决 经验

日趋复杂,对系统的高并发访问、海量数据处理的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、扩展等目标就显得越发重要。为了解决这一系列问题,系统架构也在不断演进。传统的集中式系统已经逐渐无法

使用Apache Mesos打造分布式资源调度系统 经验

Mesos打造云端原生调度机制 为了从不同EC2实例为任务分配资源,我们需要一种能对可用资源进行调度,并能在分布式EC2实例上启动和监控任务的资源管理器。Apache Mesos可将要使用集群的“框架”的资源分配

hzatwhed 2016-08-19   35354   0

微店分布式监控系统实践 经验

诊断定位也越来越困难,光报警出来还不够,还要能够快速的定位问题根源;第三,配置繁琐,配置一些简单的系统指标问题还不大,但在虚拟化、容器、服务化等理念深入人心的现在,监控指标开始呈爆炸式的增长,配置za

dhphmm 2016-12-03   13791   0
1 2 3 4 5 6 7 8 9 10