分布式TCP压力测试工具:tcpcopy 经验

广告投放系统,urs系统,nginx hmux协议开发等系统,避免了上线带来的很多问题。 总体说来,tcpcopy主要有如下功能: 1)分布式压力测试工具,利用在线数据,可以测试系统能够承受的

jopen 2013-03-13   20229   0

基于redis分布式缓存实现 经验

忙。(参考官网redis.io) 2.redis单点的性能也非常高效(利用项目中的数据测试优于memcache). 基于以上考虑,因此选用了redis来做为缓存应用。 二.分布式缓存的架构设计

jopen 2013-11-16   61888   0

Python实现的分布式计算框架:DPark 经验

DPark 是 Spark 的 Python 克隆,是一个Python实现的分布式计算框架,可以非常方便地实现大规模数据处理和迭代计算。 DPark 由豆瓣实现,目前豆瓣内部的绝大多数数据分析都使用DPark

jopen 2013-06-06   47199   0

分布式任务调度框架:task 经验

基于zookeeper的分布式任务调度框架,具有如下特性 1.分布式,解决单点故障 2.支持负载均衡 3.支持自动扩容 4.容错重试 5.任务基于SPI插件开发 项目主页:

jopen 2013-11-10   39215   0

分布式数据处理MapReduce 经验

MapReduce是google提出的一个软件架构,是一种处理海量数据的并行编程模式,用于大规模数据集(通常大于1TB)的并行运算。 MapReduce封装了并行处理,容错处理,本地化计算,负载均

jopen 2014-03-15   24199   0

spark读取hbase数据做分布式计算 经验

由于spark提供的hbaseTest是scala版本,并没有提供java版。我将scala版本改为java版本,并根据数据做了些计算操作。 程序目的:查询出hbase满足条件的用户,统计各个等级个数。

jopen 2014-01-27   69731   0

Spring分布式事务实现 经验

分布式事务是指操作多个数据库之间的事务,spring的org.springframework.transaction.jta.JtaTransactionManager,提供了分布式事务支持。如果使用

jopen 2013-12-14   90072   0

基于Zookeeper的分布式共享锁 经验

首先,说说我们的场景,订单服务是做成集群的,当两个以上结点同时收到一个相同订单的创建指令,这时并发就产生了,系统就会重复创建订单。等等......场景。这时,分布式共享锁就闪亮登场了。 共享锁在同一个进程中是很容易实现的,但在跨进程

y35w 2015-07-09   32984   0

开源分布式存储之我见 经验

目,在我们的分布式存储系统里,目前就采用了HDFS,Gluster,Swift和Ceph四种系统。今天就凭着印象,聊一聊这四种分布式存储的不同。 1.HDFS 其实在真正搞过分布式文件系统的人看来,H

jopen 2015-05-27   15237   0

hadoop2.7完全分布式安装 经验

hadoop2.7完全分布式安装

mxw8 2015-06-21   34384   0

memdb - 全球首个支持分布式事务的MongoDB 经验

memdb - 全球首个支持分布式事务的MongoDB Distributed Transactional In-Memory Database Performance and Scalable Fast

jopen 2015-10-16   33102   0

基于Go实现的分布式MQ 经验

6年的Java开发经验、先后就职于淘宝Java中间件团队、腾讯无线媒体产品部。现就职于陌陌担任基础业务组主管。专注于分布式消息总线、LBS技术领域、golang在大规模生产换环境应用的探索。 今天交流的内容也是我上半

jopen 2015-09-15   30878   0

SpringMVC+MyBatis+JMS+JTA(分布式事务) 经验

这也就意味这一个问题,我们要多个数据源在同一个事务中。这里不枚举市面上的所有解决方案,其实atomikos JTA 是一个比较不错分布式事务管理器。 当然如果没有使用到JMS,在需要多数据源(也就是需要连接多个数据库)的情况同样适用。

jopen 2016-01-08   38858   0

深入理解分布式事务 经验

1、什么是分布式事务 分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。以上是百度百科的解释,简单的说,就是一次大的操作由不同的小操作

AnnRalston 2016-12-06   6227   0

基於 Bitcoin 的分布式 DNS: Namecoin 资讯

Namec oin 是一个基于比特币技术的分布式域名系统. 其原理和 Bitcoin 一样, 但产生於一个不同於 Bitcoin 主交易区块的起源块. 因为是基於 Bitcoin , 域名的安全性, 分布性,

openkk 2012-05-17   7503   0
DNS  

浅谈分布式消息技术 Kafka 经验

Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等

wgpd9383 2017-07-26   17443   0

基于Redis的开源分布式服务Codis 资讯

ng==》单个Twemproxy==》多个 Twemproxy==》Codis,豌豆荚自己开发的分布式Redis服务。在大规模的Redis使用过程中,他们发现Redis受限于多个方面:单机 内存有限、

jopen 2015-02-02   18695   0
Codis  
P56

  10 分布式对象体系 文档

分布对象处理技术---发展趋势 9.6 分布对象主流技术开发过程 1 2. 9.1 分布对象技术要解决的基本问题以下情况是不是分布式? 1、浏览 2、两个及其之间的通信 3、计算引擎 2 3. ?B机A机就是支持访问异地对象同一地址空间C++编译器完成连接

panyong15 2014-01-06   1467   0
Java开发   HTTP   Java   Perl   C/C++  
P28

  zookeeper分布式协同 文档

1. zookeeper分布式协同 2. 目录CONTENTS01 / 自身特性02 / 应用案例03/ 分布式系统概论 3. 01 / 自身特性-初识zookeeperWhat is zookeeper

summerwild 2018-01-24   760   0
Java  
P28

  高性能和分布式计算 文档

1. 高性能和分布式计算 林小拉 linxl@mail.sysu.edu.cn 中山大学信息科学与技术学院 2. 内容提要分布式计算和分布式系统 P2P计算 云计算和网格计算 传感器网络和物联网 3.

萧萧若水 2011-10-30   6695   0
1 2 3 4 5 6 7 8 9 10