分布式Actor模型:Orleans 经验

Orleans是一个提供构建分布式高伸缩性计算应用的简单方法的框架,不需要学习和应用复杂并发或者其它伸缩模式。由微软研究院建立并广泛应用到微软自己和其它厂商的云计算环境中。 项目主页: http://www

jopen 2015-01-25   17388   0

分布式处理框架:Pyleus 经验

Pyleus 是一个来自 Yelp 的开源框架,使得 Yelp 的另外一个开源项目 mrjob 可以运行在 Apache Storm 框架上,就像 Hadoop 一样。开发者可以使用纯 Python 实现大数据的处理,并进行快速迭代。

jopen 2014-10-15   21569   0

独立实现一个分布式session 经验

对于一个独立应用来说,单机部署不需要考虑分布式问题,默认的session实现就行了,一旦多机部署,首先我们需要修改session方案,分布式session解决的是多机session状态同步的问题,一般情况下,会有2种常见的方案

gf67 2015-06-12   9143   0
Session  

Python 并行分布式框架:Celery 经验

Celery (芹菜)是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。 架构设计 Celery的架构由三部分组成,消息中间件(message b

f663x 2015-03-13   315451   0

分布式存储必读论文 经验

分布式存储泛指存储存储和管理数据的系统, 与无状态的应用服务器不同, 如何处理各种故障以保证数据一致,数据不丢, 数据持续可用, 是分布式存储系统的核心问题,也是极具挑战的问题。 本文总结了分布式存储领域的经典论文,

jopen 2015-07-10   27090   0

CockroachDB是如何实现分布式原子事务的? 经验

http://www.infoq.com/cn/news/2015/09/ACID-Cockroach 作为一个分布式数据库, CockroachDB 有一个鲜明的特性,就是支持 ACID事务 。近日, Cockroach

jopen 2015-09-11   9336   0

运用Kubernetes进行分布式负载测试 经验

负载测试是开发后台基础架构的重要一环,它不但能够演示系统在真实需求面前的性能表现,还可以通过模拟用户与设备行为,在应用程序部署到生产环境前,找出并了解任何可能的系统瓶颈。 但是,专用的测试基

jopen 2015-07-08   69111   0

thrift rpc分布式组件 - tns 经验

tns为thrift rpc分布式组件,实现rpc的高可靠、负载均衡、水平动态扩展等,工具提供完整的命令行管理方式。

jopen 2016-01-11   11709   0

实现Hadoop分布式环境部署 博客

目标 配置一个分布式计算集群,让hadoop 框架能够正常的运行起来,主要有master 的namenode,jobtracker 和slave 的datanode,tasktracker. 便于之

openkk 2011-01-03   2897   0
并发  

Celery 实现分布式任务队列 经验

Celery 简介 Celery 是 Distributed Task Queue,分布式任务队列,分布式决定了可以有多个 worker 的存在,队列表示其是异步操作,即存在一个产生任务提出需求的工头,和一群等着被分配工作的码农。

g2md 2015-09-02   56200   0

大型网站之分布式会话管理 经验

com/dis-session-manager/ 随着网站的功能和用户越来越多,单机器服务部署的Web应用已经不能再支持了。这时候就需要优化或调整目前的架构,具体怎么优化,或先优化哪部分,这取决于网站的具体情况, 并非总是一个套路。

jopen 2015-10-06   6572   0

分布式服务平台:Microservices Infrastructure 经验

Microservices infrastructure 是一个为快速部署全球分布式服务的现代平台。 基础平台包括可以用来管理集群和资源节点数量的控制节点。容器可以自动在 DNS 上注册,从而使其他服务能够定位到它们

分布式事务内存数据库:MemDB 经验

MemDB 是全球首个支持分布式事务的 MongoDB。 高性能和伸缩 快速的内存数据访问,高达 25,000 ops (single doc read/write) /碎片 (each shard

jopen 2015-11-05   10706   0

Python 并行分布式框架:Celery 经验

Celery (芹菜)是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。 一、架构设计 Celery的架构由三部分组成,消息中间件(message

jopen 2016-01-05   11763   0

分布式队列编程优化篇 经验

前言 “分布式队列编程”是一个系列文,之前我们已经发布了《 分布式队列编程模型、实战 》,主要剖析了分布式队列编程模型的需求来源、定义、结构以及其变化多样性;根据作者在新美大实际工作经验,给出了队

分布式数据库 HBase 经验

HBase是 Hadoop 的正式子项目,它是一个面向列的分布式数据库。是建立的hdfs之上,提供高可靠性、高性能、列存储、伸缩、实时读写的数据库系统。 它介于nosql和RDBMS之间,仅能通过主键(row

openkk 2011-12-01   137182   0

分布式计算框架 Fourinone 经验

FourInOne(中文名字“四不像”)是一个四合一分布式计算框架,在写这个框架之前,我对分布式计算进行了长时间的思考,也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时,似乎忘

fmms 2011-12-06   35341   0

分布式的数据存储平台 PNUTS 经验

Yahoo!的PNUTS是一个分布式的数据存储平台,它是 Yahoo!云计算平台重要的一部分。它的上层产品通常也称为Sherpa。按照官方的 描述,”PNUTS, a massively parallel

openkk 2012-03-07   21153   0

分布式数据存储框架 Gizzard 经验

Twitter已经从以往的数据存储开发经验中提出一个名为 Gizzard的Scala框架,让用户可以更方便地创建自定义容错、分布式数据库。Twitter给出了一个名为“Rowz”的示例,方便用户上手。 Twitter还公布了Gi

openkk 2012-06-08   30644   0

Disco - 基于MapReduce的分布式计算框架 经验

Disco是一个基于MapReduce的分布式计算框架。Disco是一个开源项目,由诺基亚研究中心开发用来解决处理大数据时碰到的实际问题。 Disco采用Python开发,具有易于使用,强大的特点

openkk 2012-06-08   32597   0
1 2 3 4 5 6 7 8 9 10