FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
牧羊犬(Sheepdog) 是一个新的第三方的KVM开源项目,提供分布式存储管理功能。牧羊犬提供高可用性的KVM提供块级存储卷类似亚马逊电子交易系统(弹性块存储虚拟 机)的客户机。事实上,对牧羊犬项目
Katta是一个可扩展的、故障容错的、分布式实施访问的数据存储。 Katta可用于大量、重复、索引的碎片,以满足高负荷和巨大的数据集。这些索引可以是不同的类型。当前该实现在Lucene和Hadoop
Marp是一个比现有Hadoop分布式文件系统还要快三倍的产品,并且也是开源的。Mapr配备了快照,并号称不会出现SPOF单节点故障,且被认为是与现有HDFS的API兼容。因此非常容易替换原有的系统。
Apache River 是一个分布式计算的架构,基于原 Sun 的 JSK Starter Kit 源码,主要使用 Jini 规范。 项目主页: http://www.open-open
ICE(Internet Communications Engine)是ZeroC提 供的一款高性能的分布式计算平台,支持 C++ , .NET , Java , Python , Objective-C
hadoop分布式集群搭建
RadarGun 是一个用于对数据网格和分布式缓存进行基准测试的框架。 架构: 测试结果: 项目主页: http://www.open-open.com/lib/vie
Conary 是一个支持各种 Linux 发行版的分布式软件管理系统。主要目的是为了取代传统的包管理解决方案(比如RPM和dpkg),同时提供基于互联网的协作管理。分布式和松散连接的存储库定义的组件都安装在一个
redis被大量用在分布式的环境中,自然而然分布式环境下的锁如何解决,立马成为一个问题。例如我们当前的手游项目,服务器端是按业务模块划分服务器的,有应用服,战斗服等,但是这两个vm都有可能同时改变玩家
Ignite 内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台,用于大规模的数据集处理。Ignite 为应用和不同的数据源之间提供一个高性能、分布式内存中数据组织管理的框架。 集群计算特性:
的查询语句,使用类似 SQL 的语言进行查询。 Tigon 支持不同运行时和环境,你可以运行在单一计算机或者是分布式 Hadoop 集群中,提供直观的命令行接口帮助用户管理 Tigon 流。 要使用 Tigon
database)是网易杭研院立项最早,应用最为广泛的后台产品之一,也是国内最早出现的基于现有database之上开发的分布式数据库中间件,目前 依然在为网易易信,云音乐,云阅读等大型互联网产品提供稳定的数据库服务。业界中同
选择一个稳定版本进行下载,我这里下载的是zookeeper-3.4.6版本。 ZooKeeper伪分布式集群安装 伪分布式集群:在一台Server中,启动多个ZooKeeper的实例。 上传并解压安装包 cd /usr
Spark是一个通用的分布式内存计算框架,本文主要研讨Spark的核心数据结构RDD的设计思路,及其在内存上的容错。内容基于论文 Zaharia, Matei, et al. " Resilient Distributed
写在前面一: 本文详细总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。 写在前面二: 使用软件说明 约定,Spark相关软件存放目录:
Spartan是一个用于分布式矩阵编程库。使用类似于Numpy的操作来构建矩阵表达式。然后这些表达式被编译和优化,最后运行在一个跨多台机器的分布式阵列后端。 >> In [3]: x = spartan
Corbett, Jeffrey Dean, et. 第一个用于大规模产品的, 高可用,跨数据中心,支持事务的分布式数据库。 主要技术特点包括, 基于GPS和原子钟全球同步时间TrueTime, Paxo, 多版本事务。
淘宝根据自己的业务特点开发了TDDL(Taobao Distributed Data Layer 外号:头都大了 ©_Ob)框架,主要解决了分库分表对应用的透明化以及异构数据库之间的数据复制,它是一个基于集中式配置的 jdbc datasource实现,具有主备,读写分离,动态数据库配置等功能。
分布式锁的作用 一般来讲,锁的作用是在于解决不同的执行流之间对于同一个资源的竞争而产生的问题。分布式锁的作用就在于解决分布式程序中,分布在不同机器上的执行流对于资源的竞争问题。在mongodb的cluster上