Python实现的分布式计算框架:DPark 经验

DPark 是 Spark 的 Python 克隆,是一个Python实现的分布式计算框架,可以非常方便地实现大规模数据处理和迭代计算。 DPark 由豆瓣实现,目前豆瓣内部的绝大多数数据分析都使用DPark

jopen 2013-06-06   47199   0

分布式任务调度框架:task 经验

基于zookeeper的分布式任务调度框架,具有如下特性 1.分布式,解决单点故障 2.支持负载均衡 3.支持自动扩容 4.容错重试 5.任务基于SPI插件开发 项目主页:

jopen 2013-11-10   39215   0

分布式数据处理MapReduce 经验

MapReduce是google提出的一个软件架构,是一种处理海量数据的并行编程模式,用于大规模数据集(通常大于1TB)的并行运算。

jopen 2014-03-15   24199   0

分布式文件系统FastDFS设计原理 经验

FastDFS 是一个开源的轻量级分布式文 件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储

jopen 2013-12-31   25967   0

spark读取hbase数据做分布式计算 经验

由于spark提供的hbaseTest是scala版本,并没有提供java版。我将scala版本改为java版本,并根据数据做了些计算操作。 程序目的:查询出hbase满足条件的用户,统计各个等级个数。

jopen 2014-01-27   69731   0

Spring分布式事务实现 经验

分布式事务是指操作多个数据库之间的事务,spring的org.springframework.transaction.jta.JtaTransactionManager,提供了分布式事务支持。如果使用

jopen 2013-12-14   90072   0

使用 ZeroMQ 实现分布式消息系统 经验

分布式系统是你甚至不知道的一台计算机上的故障可以使您自己的计算机不可用。”-Leslie Lamport 随着云计算的普及和可用性,分布式系统架构已很大程度上取代了更多的整体构建。当然,使用面向

jopen 2015-05-19   83152   0

分布式系统(Distributed System)资料 经验

介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是 分布式系统 ,还有无线网络.如果感兴趣可以去他的主页了解

jopen 2015-07-10   24825   0

基于Zookeeper的分布式共享锁 经验

收到一个相同订单的创建指令,这时并发就产生了,系统就会重复创建订单。等等......场景。这时,分布式共享锁就闪亮登场了。 共享锁在同一个进程中是很容易实现的,但在跨进程或者在不同Server之间

y35w 2015-07-09   32984   0

开源分布式存储之我见 经验

源项目,在我们的分布式存储系统里,目前就采用了HDFS,Gluster,Swift和Ceph四种系统。今天就凭着印象,聊一聊这四种分布式存储的不同。 1.HDFS 其实在真正搞过分布式文件系统的人看来

jopen 2015-05-27   15237   0

hadoop2.7完全分布式安装 经验

hadoop2.7完全分布式安装

mxw8 2015-06-21   34384   0

memdb - 全球首个支持分布式事务的MongoDB 经验

memdb - 全球首个支持分布式事务的MongoDB Distributed Transactional In-Memory Database Performance and Scalable Fast

jopen 2015-10-16   33102   0

基于Go实现的分布式MQ 经验

个人简介: 6年的Java开发经验、先后就职于淘宝Java中间件团队、腾讯无线媒体产品部。现就职于陌陌担任基础业务组主管。专注于分布式消息总线、LBS技术领域、golang在大规模生产换环境应用的探索。

jopen 2015-09-15   30878   0

分布式计算系统:Go Glow 经验

Go 编写的易用分布式计算系统,是 Hadoop Map Reduce,Spark,Flint,Samza 等等的替代品。 Glow 的目标是提供一个库,可以在并行线程或者分布式集群机器中进行更简单计算。

jopen 2015-10-30   12689   0

SpringMVC+MyBatis+JMS+JTA(分布式事务) 经验

这也就意味这一个问题,我们要多个数据源在同一个事务中。这里不枚举市面上的所有解决方案,其实atomikos JTA 是一个比较不错分布式事务管理器。 当然如果没有使用到JMS,在需要多数据源(也就是需要连接多个数据库)的情况同样适用。

jopen 2016-01-08   38858   0

深入理解分布式事务 经验

1、什么是分布式事务 分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。以上是百度百科的解释,简单的说,就是一次大的操作由不同的小操作

AnnRalston 2016-12-06   6227   0

基於 Bitcoin 的分布式 DNS: Namecoin 资讯

Namec oin 是一个基于比特币技术的分布式域名系统. 其原理和 Bitcoin 一样, 但产生於一个不同於 Bitcoin 主交易区块的起源块. 因为是基於 Bitcoin , 域名的安全性, 分布性,

openkk 2012-05-17   7503   0
DNS  

浅谈分布式消息技术 Kafka 经验

Kafka的基本介绍 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志

wgpd9383 2017-07-26   17443   0

CAP 理论与分布式系统设计 经验

CAP 和 分布式系统的讨论和研究很多,但我认为这一篇肯定给大家带来不一样的收获,欢迎留言讨论。 Author Taosheng  Shi WeChat  Contact data-lake

基于Redis的开源分布式服务Codis 资讯

ng==》单个Twemproxy==》多个 Twemproxy==》Codis,豌豆荚自己开发的分布式Redis服务。在大规模的Redis使用过程中,他们发现Redis受限于多个方面:单机 内存有限、

jopen 2015-02-02   18695   0
Codis  
1 2 3 4 5 6 7 8 9 10