分布式的内存计算平台:Apache Ignite 经验

Ignite 内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台,用于大规模的数据集处理。Ignite 为应用和不同的数据源之间提供一个高性能、分布式内存中数据组织管理的框架。 集群计算特性:

jopen 2015-01-10   61534   0

分布式流处理框架:Tigon 经验

的查询语句,使用类似 SQL 的语言进行查询。 Tigon 支持不同运行时和环境,你可以运行在单一计算机或者是分布式 Hadoop 集群中,提供直观的命令行接口帮助用户管理 Tigon 流。 要使用 Tigon

jopen 2014-12-15   15625   0

分布式数据库DDB introduce 经验

database)是网易杭研院立项最早,应用最为广泛的后台产品之一,也是国内最早出现的基于现有database之上开发的分布式数据库中间件,目前 依然在为网易易信,云音乐,云阅读等大型互联网产品提供稳定的数据库服务。业界中同

jopen 2014-09-25   29499   0

ZooKeeper伪分布式集群安装 经验

选择一个稳定版本进行下载,我这里下载的是zookeeper-3.4.6版本。 ZooKeeper伪分布式集群安装 伪分布式集群:在一台Server中,启动多个ZooKeeper的实例。 上传并解压安装包 cd /usr

jopen 2015-03-08   17960   0

分布式计算 Spark 入门介绍 经验

Spark是一个通用的分布式内存计算框架,本文主要研讨Spark的核心数据结构RDD的设计思路,及其在内存上的容错。内容基于论文 Zaharia, Matei, et al. " Resilient Distributed

jopen 2015-01-07   65000   0

搭建Spark完全分布式集群 经验

写在前面一: 本文详细总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。 写在前面二: 使用软件说明 约定,Spark相关软件存放目录:

jopen 2015-01-16   23746   0

分布式矩阵编程库:Spartan 经验

Spartan是一个用于分布式矩阵编程库。使用类似于Numpy的操作来构建矩阵表达式。然后这些表达式被编译和优化,最后运行在一个跨多台机器的分布式阵列后端。 >> In [3]: x = spartan

jopen 2015-01-21   13857   0

分布式存储推荐论文 经验

Corbett, Jeffrey Dean, et. 第一个用于大规模产品的, 高可用,跨数据中心,支持事务的分布式数据库。 主要技术特点包括, 基于GPS和原子钟全球同步时间TrueTime, Paxo, 多版本事务。

jopen 2014-01-21   20407   0

淘宝分布式数据层:TDDL 经验

淘宝根据自己的业务特点开发了TDDL(Taobao Distributed Data Layer 外号:头都大了 ©_Ob)框架,主要解决了分库分表对应用的透明化以及异构数据库之间的数据复制,它是一个基于集中式配置的 jdbc datasource实现,具有主备,读写分离,动态数据库配置等功能。

jopen 2014-02-24   105344   0

mongodb集群的分布式锁的实现研究 经验

分布式锁的作用 一般来讲,锁的作用是在于解决不同的执行流之间对于同一个资源的竞争而产生的问题。分布式锁的作用就在于解决分布式程序中,分布在不同机器上的执行流对于资源的竞争问题。在mongodb的cluster上

jopen 2014-09-11   30623   0

MongoDB单机, 主从, 分布式部署 经验

。 MongoDB分片部署 介绍完以上,组合起来就可以搭建一个比较强壮的分布式MongoDB集群。分片类似分布式,MongoDB以新增分片的方式,扩展自己的容量,并且能给读写负载均衡。 1

jopen 2014-05-20   120810   0

分布式TCP压力测试工具:tcpcopy 经验

hmux协议开发等系统,避免了上线带来的很多问题。 总体说来,tcpcopy主要有如下功能: 1)分布式压力测试工具,利用在线数据,可以测试系统能够承受的压力大小(远比ab压力测试工具真实地多),也可以提前发现一些bug

jopen 2013-03-13   20229   0

基于redis分布式缓存实现 经验

基于以上考虑,因此选用了redis来做为缓存应用。 二.分布式缓存的架构设计 1.架构设计 由于redis是单点,项目中需要使用,必须自己实现分布式。基本架构图如下所示: 2.分布式实现 通过key做一致性哈

jopen 2013-11-16   61888   0

Python实现的分布式计算框架:DPark 经验

DPark 是 Spark 的 Python 克隆,是一个Python实现的分布式计算框架,可以非常方便地实现大规模数据处理和迭代计算。 DPark 由豆瓣实现,目前豆瓣内部的绝大多数数据分析都使用DPark

jopen 2013-06-06   47199   0

分布式数据处理MapReduce 经验

的哥哥节点共同完成,通过这种方式实现任务的可靠执行与容错机制。在每个时间周期,主节点都会对分节点的工作状态进行标记,一旦分节点状态标为死亡状态,则这个节点的所有任务都会分配给其他节点重新执行。 1

jopen 2014-03-15   24199   0

分布式文件系统FastDFS设计原理 经验

FastDFS 是一个开源的轻量级分布式文 件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储

jopen 2013-12-31   25967   0

spark读取hbase数据做分布式计算 经验

由于spark提供的hbaseTest是scala版本,并没有提供java版。我将scala版本改为java版本,并根据数据做了些计算操作。 程序目的:查询出hbase满足条件的用户,统计各个等级个数。

jopen 2014-01-27   69731   0

Spring分布式事务实现 经验

分布式事务是指操作多个数据库之间的事务,spring的org.springframework.transaction.jta.JtaTransactionManager,提供了分布式事务支持。如果使用

jopen 2013-12-14   90072   0

使用 ZeroMQ 实现分布式消息系统 经验

分布式系统是你甚至不知道的一台计算机上的故障可以使您自己的计算机不可用。”-Leslie Lamport 随着云计算的普及和可用性,分布式系统架构已很大程度上取代了更多的整体构建。当然,使用面向

jopen 2015-05-19   83152   0

分布式系统(Distributed System)资料 经验

介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是 分布式系统 ,还有无线网络.如果感兴趣可以去他的主页了解

jopen 2015-07-10   24825   0
1 2 3 4 5 6 7 8 9 10