ZeroRPC 是一个分布式的通讯框架。ZeroRPC-Node 是 ZeroRPC 的 node.js 版本。这个项目还处于 alpha 阶段。 项目主页: http://www.open-open
kestel是一个简单,分布式消息队列系统。 特性: fast It runs on the JVM so it can take advantage of the hard work people
Quantcast File System (QFS) 是一个高性能、容错、分布式的文件系统,其开发是用于支持 MapReduce 处理或者需要顺序读写大文件的应用。 项目主页: http://www
HadoopDB是一个Mapreduce和传统关系型数据库的结合方案,以充分利用RDBMS的性能和Hadoop的容错、分布特性。2009年被Yale大学教授Abadi提出,继而商业化为 Hadapt ,据称从VC那儿拉到了10M刀投资。
Martinet 是分布式任务管理工具。 Martinet 数据库后端,基于 zeroMQ 的分布式任务管理系统。Martinet 可以使用任意的 sequelize.js 兼容的数据库(默认是 SQLite)。
Tachyon 是一个分布式内存文件系统,可以在集群里以访问内存的速度来访问存在tachyon里的文件。把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将
HekaFS 是一个分布式文件系统,专门为云服务提供者解决存储问题,提供文件系统级别的访问。 CloudFS is a distributed fileysystem specifically intended
死的中间不可预期状态。 参考下薛定谔的猫。 事务是为了保障业务数据的完整性和准确性的。 分布式事务,常见的两个处理办法就是两段式提交和补偿。 两段式提交典型的就是XA,有个事务协调器,告诉
分布式系统很重要的一个设计原则是松耦合,即尽量减少子系统间的依赖。这样各个子系统可以相互独立的进行演进,维护,重用等。Message Queue (MQ)是一种很好的解耦手段。要了解MQ在系统整合中的作用,可以看
Go 语言的分布式读写互斥 Go语言默认的 sync.RWMutex 实现在多核环境中表现并不佳,因为所有的读者在进行原子增量操作时,会抢占相同的内存地址。该文探讨了一种 n-way RWMutex,也可以称为“大读者(big
以事件没基础进行设计,将每一次数据当成是一个事件来处理 使用 ZooKeeper 进行分布式数据的管理,在内部实现了负载均衡、容错、分发、路由等功能;
Petuum 是一个分布式机器学习框架。它致力于提供一个超大型机器学习的通用算法和系统接口。它主要集中在系统上 "plumbing work"和算法加速的优化上面,当简化分布式 ML 程序实现时——允
兔子和分布式机器学习 上个学习的时候,我除了 TA 机器学习以外,另外一半的时间就是上了 System 课程。因为上课的缘故,需要做一个课程项目,于是我决定做一些和分布式机器学习相关的事情。 来到
Storm是一个免费开源、分布式、高容错的实时计算系统。它与其他大数据解决方案的不同之处在于它的处理方式。Hadoop 在本质上是一个批处理系统,数据被引入 Hadoop 文件系统 (HDFS) 并分
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES SIZE a532b4ac60d9 redis-cluster-node:latest "/sbin/my_in
Linus一直痛恨的CVS及SVN都是集中式的版本控制系统,而Git是分布式版本控制系统,集中式和分布式版本控制系统有什么区别呢? 先 说集中式版本控制系统,版本库是集中存放在中央服务器的,而干活
本文是我对分布式计算的算子这层的一些认识和想法。因为最近自己的开发任务也是这方面相关的,公司内部有自研的类流式计算框架需要做一层算子层。我主要分析的是流式系统上实现算子这一点入手,对比现有计算框架和业界正在开展的项目,分析分析这件事的
Session,可以有很多种方案: 内存存储 数据库存储 分布式缓存存储 分布式Session 随着网站规模(访问量/复杂度/数据量)的扩容,针对单机的方案将成为性能的瓶颈,分布式应用在所难免。所以,有必要研究一下
是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海 量数据进行分布式计算。Hadoop框架中最核心设计就是:MapReduce和HDFS。MapReduce提供了对数据的计算,HDFS提供了海量数
5年前,术语NoSQL才 刚刚开始出现 ,那时 很多 NoSQL 数据库 的版本都还不到1.0,对于 CAP理论 来说,众多NoSQL数据库都选择了可用性要高于一致性的做法。 ACID 是一个沉重的负担,而