分布式存储系统 Katta 经验

Katta是一个可扩展的、故障容错的、分布式实施访问的数据存储。 Katta可用于大量、重复、索引的碎片,以满足高负荷和巨大的数据集。这些索引可以是不同的类型。当前该实现在Lucene和Hadoop mapfiles

openkk 2012-06-08   17729   0

分布式架构 MapR 经验

Marp是一个比现有Hadoop分布式文件系统还要快三倍的产品,并且也是开源的。Mapr配备了快照,并号称不会出现SPOF单节点故障,且被认为是与现有HDFS的API兼容。因此非常容易替换原有的系统。

openkk 2012-06-09   15928   0

分布式计算的架构 Apache River 经验

Apache River 是一个分布式计算的架构,基于原 Sun 的 JSK Starter Kit 源码,主要使用 Jini 规范。 项目主页: http://www.open-open

openkk 2012-06-09   17977   0

分布式计算平台 ICE 经验

ICE(Internet Communications Engine)是ZeroC提 供的一款高性能的分布式计算平台,支持 C++ , .NET , Java , Python , Objective-C

openkk 2012-06-09   27619   0

分布式基准测试框架 - RadarGun 经验

RadarGun 是一个用于对数据网格和分布式缓存进行基准测试的框架。 架构: 测试结果: 项目主页: http://www.open-open.com/lib/vie

jopen 2012-12-19   12327   0

分布式Linux软件管理系统:Conary 经验

Conary 是一个支持各种 Linux 发行版的分布式软件管理系统。主要目的是为了取代传统的包管理解决方案(比如RPM和dpkg),同时提供基于互联网的协作管理。分布式和松散连接的存储库定义的组件都安装在一个

jopen 2013-01-22   16572   0
Linux  

Redis脚本实现分布式 经验

redis被大量用在分布式的环境中,自然而然分布式环境下的锁如何解决,立马成为一个问题。例如我们当前的手游项目,服务器端是按业务模块划分服务器的,有应用服,战斗服等,但是这两个vm都有可能同时改变玩家

jopen 2015-01-13   21136   0

分布式的内存计算平台:Apache Ignite 经验

Ignite 内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台,用于大规模的数据集处理。Ignite 为应用和不同的数据源之间提供一个高性能、分布式内存中数据组织管理的框架。 集群计算特性:

jopen 2015-01-10   61534   0

分布式流处理框架:Tigon 经验

于 Apache Hadoop 和 Apache HBase . 构建。Tigon 严重依赖开源项目 Tephra 和 Apache Twill 提供紧密的集成到已有的 Hadoop/HBase 集群中。

jopen 2014-12-15   15625   0

ZooKeeper伪分布式集群安装 经验

选择一个稳定版本进行下载,我这里下载的是zookeeper-3.4.6版本。 ZooKeeper伪分布式集群安装 伪分布式集群:在一台Server中,启动多个ZooKeeper的实例。 上传并解压安装包 cd /usr

jopen 2015-03-08   17960   0

分布式计算 Spark 入门介绍 经验

Spark是一个通用的分布式内存计算框架,本文主要研讨Spark的核心数据结构RDD的设计思路,及其在内存上的容错。内容基于论文 Zaharia, Matei, et al. " Resilient Distributed

jopen 2015-01-07   65000   0

搭建Spark完全分布式集群 经验

写在前面一: 本文详细总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。 写在前面二: 使用软件说明 约定,Spark相关软件存放目录:

jopen 2015-01-16   23746   0

分布式矩阵编程库:Spartan 经验

Spartan是一个用于分布式矩阵编程库。使用类似于Numpy的操作来构建矩阵表达式。然后这些表达式被编译和优化,最后运行在一个跨多台机器的分布式阵列后端。 >> In [3]: x = spartan

jopen 2015-01-21   13857   0

分布式存储推荐论文 经验

and Shun-Tak Leung。 基于普通服务器构建超大规模文件系统的典型案例,简单实用, 是google的重要基础设施,大数据的基石, 主要面向大文件和批处理系统。 主要技术特点包括: 假设硬件故障是常态,

jopen 2014-01-21   20407   0

mongodb集群的分布式锁的实现研究 经验

分布式锁的作用 一般来讲,锁的作用是在于解决不同的执行流之间对于同一个资源的竞争而产生的问题。分布式锁的作用就在于解决分布式程序中,分布在不同机器上的执行流对于资源的竞争问题。在mongodb的cluster上

jopen 2014-09-11   30623   0

MongoDB单机, 主从, 分布式部署 经验

,让mongod读写数据。写入数据后,data目录里的文件如图: .lock文件如果在下次启动时候还存在,需要删除才能成功启动。"article"和"config"是数据库名字,可以特别注意一下每个文件块的大小(16M

jopen 2014-05-20   120810   0

分布式TCP压力测试工具:tcpcopy 经验

hmux协议开发等系统,避免了上线带来的很多问题。 总体说来,tcpcopy主要有如下功能: 1)分布式压力测试工具,利用在线数据,可以测试系统能够承受的压力大小(远比ab压力测试工具真实地多),也可以提前发现一些bug

jopen 2013-03-13   20229   0

基于redis分布式缓存实现 经验

在项目中使用redis做为缓存,还没有使用memcache,考虑因素主要有两点: 1.redis丰富的数据结构,其hash,list,set以及功能丰富的String的支持,对于实际项目中的使用有很大的帮忙。(可参考官网redis

jopen 2013-11-16   61888   0

Python实现的分布式计算框架:DPark 经验

Python 克隆,是一个Python实现的分布式计算框架,可以非常方便地实现大规模数据处理和迭代计算。 DPark 由豆瓣实现,目前豆瓣内部的绝大多数数据分析都使用DPark 完成,正日趋完善。

jopen 2013-06-06   47199   0

分布式任务调度框架:task 经验

基于zookeeper的分布式任务调度框架,具有如下特性 1.分布式,解决单点故障 2.支持负载均衡 3.支持自动扩容 4.容错重试 5.任务基于SPI插件开发 项目主页:

jopen 2013-11-10   39215   0
1 2 3 4 5 6 7 8 9 10