NSQ - 分布式消息处理系统 经验

NSQ是一个大规模的实时分布式信息处理。设计工作在亿级别的规模,每天能够处理数十亿的消息。 项目主页: http://www.open-open.com/lib/view/home/1349858561338

jopen 2012-10-10   30735   0

分布式数据库概述 经验

概念发展。分布计算主要体现在客户机/服务器模式和分布式数据库体系结构两个方面。 二、分布式数据库系统概述 随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩大,以分布式为主要特征的数据库系统的研究与开发受到人们的注意。分布

jopen 2013-07-20   14835   0

Hadoop 的分布式架构改进与应用 经验

Hadoop的分布式架构改进与应用 Baofeng Zhang@zju 1.  背景介绍 谈到分布式系统,就不得不提到Google的三驾马车:GFS [1] ,MapReduce [2]

jopen 2012-05-31   96547   0

分布式流处理框架:Apache Samza 经验

Apache Samza 是一个分布式流处理框架。它使用 Apache Kafka 用于消息发送,采用 Apache Hadoop YARN 来提供容错,处理器隔离,安全性和资源管理。专用于实时数据的

jopen 2013-09-23   27242   0

使用zookeeper实现分布式共享锁 经验

分布式系统中经常需要协调多进程,多个jvm,或者多台机器之间的同步问题,得益于zookeeper,实现了一个分布式的共享锁,方便在多台服务器之间竞争资源时,来协调各系统之间的协作和同步。 package

jopen 2013-06-05   52064   0

NoSQL数据库的分布式算法 经验

系统的可扩展性是推动NoSQL运动发展的的主要理由,包含了分布式系统协调,故障转移,资源管理和许多其他特性。这么讲使得NoSQL听起来像是 一个大筐,什么都能塞进去。尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革,

jopen 2014-12-25   29198   0
算法   NOSQL  

分布式实时计算系统:Apache Storm 经验

Storm 平台,目前已经归于 Apache 基金会管辖。 Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。

jopen 2014-09-30   27716   0

分布式服务调用框架:eos 经验

eos (easy operation service)是公司内部开发的分布式服务调用框架,基于zookeeper,netty,hessian等成熟框架。在使用上与spring无缝结合,无任何学习成本

jopen 2014-10-06   20377   0

分布式Actor模型:Orleans 经验

Orleans是一个提供构建分布式高伸缩性计算应用的简单方法的框架,不需要学习和应用复杂并发或者其它伸缩模式。由微软研究院建立并广泛应用到微软自己和其它厂商的云计算环境中。 项目主页: http://www

jopen 2015-01-25   17388   0

分布式系统中的数据同步 经验

许多人在日常工作中都会用到分布式系统,它的好处就是它所提供的稳定性,容错性以及伸缩性使我们能更容易地构建出稳定,高效的应用。然而分布式系统的使用非常具有挑战性,包括数据同步以及理解冲突的意义。 分布式系统中的数据

jopen 2014-10-09   45287   0

分布式处理框架:Pyleus 经验

Pyleus 是一个来自 Yelp 的开源框架,使得 Yelp 的另外一个开源项目 mrjob 可以运行在 Apache Storm 框架上,就像 Hadoop 一样。开发者可以使用纯 Python 实现大数据的处理,并进行快速迭代。

jopen 2014-10-15   21569   0

分布式对象存储系统:LeoFS 经验

LeoFS是一个高可靠性,最终一致性的分布式对象存储系统,主要功能如下: 支持多种协议: S3 REST NFS 支持大对象和小对象 内置换存储机制 多数据中心复制 自动运维支持

m45y 2015-06-01   29525   0

独立实现一个分布式session 经验

对于一个独立应用来说,单机部署不需要考虑分布式问题,默认的session实现就行了,一旦多机部署,首先我们需要修改session方案,分布式session解决的是多机session状态同步的问题,一般情况下,会有2种常见的方案

gf67 2015-06-12   9143   0
Session  

分布式系统Failover测试框架的实现 经验

摘 要 Failover是指系统处理故障并恢复的过程,目前大多数分布式系统都实现了自动Failover的机制,即使发生局部失败也能继续提供服务。Failover测试则是通过主动注入错误,模拟出各种

f663x 2015-03-14   146182   0

Python 并行分布式框架:Celery 经验

Celery (芹菜)是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。 架构设计 Celery的架构由三部分组成,消息中间件(message

f663x 2015-03-13   315451   0

分布式表格系统:​Tera 经验

group在物理上单独存储,可以选择不同的存储介质,以优化访问效率。 系统依赖 使用分布式文件系统(HDFS、NFS等)持久化数据与元信息 使用zookeeper选主与协调 使用Sofa-pbrpc实现跨进程通信

cwf8 2015-03-25   17928   0

分布式存储必读论文 经验

分布式存储泛指存储存储和管理数据的系统, 与无状态的应用服务器不同, 如何处理各种故障以保证数据一致,数据不丢, 数据持续可用, 是分布式存储系统的核心问题,也是极具挑战的问题。 本文总结了分布式存储领域的经典论文,

jopen 2015-07-10   27090   0

CockroachDB是如何实现分布式原子事务的? 经验

http://www.infoq.com/cn/news/2015/09/ACID-Cockroach 作为一个分布式数据库, CockroachDB 有一个鲜明的特性,就是支持 ACID事务 。近日, Cockroach

jopen 2015-09-11   9336   0

运用Kubernetes进行分布式负载测试 经验

开发团队的工作效率变低,应用在部署到生产环境前也无法得到充分有效的测试。 解决方案综述 分布式负载测试采用云计算手段,在各种测试场景中这种方案都很有吸引力。云平台使得基础设施平台的弹性得到高度

jopen 2015-07-08   69111   0

分布式系统的开发经验与心得 经验

与近期与InfoQ的一次对话中, Vaughn Vernon 分享了一些他在开发分布式系统方面的心得。他特别指出,在分布式系统中,有可能会出现局部故障之类的问题。对于这种类型的问题以及一些其它挑战来说,

jopen 2015-08-24   9833   0
1 2 3 4 5 6 7 8 9 10