开源分布式MySQL工具集:Vitness 经验

Youtube出品的开源分布式MySQL工具集Vitness,自动分片存储MySQL数据表,将单个SQL查询改写为分布式发送到多个MySQL Server上,支持行缓存(比MySQL本身缓存效率高),

jopen 2014-03-09   26386   0

分布式文件系统:SnackFS 经验

SnackFS 是一个很小的、轻量级的兼容 HDFS 的文件系统,基于 Cassandra 构建。你需要做的只是指向 Cassandra 集群即可。该项目的目的就是为了替代 HDFS,速度更快更可靠。

jopen 2014-03-24   9552   0

分布式的锁管理器:FLOM 经验

FLOM 是一个分布式的锁管理器,可用于避免 SHELL 欺骗和安全的执行不能在同一时间执行的不同任务。它可以管理进程的执行顺序。 项目主页: http://www.open-open.c

jopen 2014-04-17   8253   0
FLOM  

分布式存储系统:TDSS 经验

TDSS是一个高可扩展、高可用、高性能、面向互联网服务的分布式存储系统,主要针对海量的非结构化数据,它构筑在普通的Linux机 器集群上,可为外部提供高可靠和高并发的存储访问。它采用了HA架构和平滑扩

jopen 2013-04-08   16313   0

memcached分布式缓存应用教程 经验

RDBMS的负担加重、数据库响应恶化、网站显示延迟等重大影响。这时就该memcached大显身手了。memcached是高性能的分布式内存缓存服 务器。一般的使用目的是,通过缓存数据库查询结果,减少数据库访问次数,以提高动态Web应用的速度、提高可扩展性。

jopen 2013-02-27   22645   0

分布式 RPC 框架 zerorpc-node 经验

ZeroRPC 是一个分布式的通讯框架。ZeroRPC-Node 是 ZeroRPC 的 node.js 版本。这个项目还处于 alpha 阶段。 项目主页: http://www.open-open

jopen 2012-07-15   33339   0

kestel - 分布式消息队列系统 经验

kestel是一个简单,分布式消息队列系统。 特性: fast It runs on the JVM so it can take advantage of the hard work people

jopen 2012-12-01   18643   0

大数据分布式文件系统:QFS 经验

Quantcast File System (QFS) 是一个高性能、容错、分布式的文件系统,其开发是用于支持 MapReduce 处理或者需要顺序读写大文件的应用。 项目主页: http://www

jopen 2013-04-14   15833   0
QFS  

HadoopDB:混合分布式系统 经验

在异构型环境中运行的能力。即使所有机器硬件一样,但某些机器在某些时候可能因为软件原因、网络原因也会性能降低。分布式操作时,要防止木桶效应。 4.活的查询接口:商业化的数据分析一般建立在SQL查询上,UDF等non-SQL也是需要的。

jopen 2013-05-19   13018   0

Node.js 分布式作业队列:Martinet 经验

Martinet 是分布式任务管理工具。 Martinet 数据库后端,基于 zeroMQ 的分布式任务管理系统。Martinet 可以使用任意的 sequelize.js 兼容的数据库(默认是 SQLite)。

jopen 2014-08-24   13583   0

分布式内存文件系统:Tachyon 经验

Tachyon 是一个分布式内存文件系统,可以在集群里以访问内存的速度来访问存在tachyon里的文件。把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将

jopen 2014-09-03   188748   0

分布式文件系统:HekaFS 经验

HekaFS 是一个分布式文件系统,专门为云服务提供者解决存储问题,提供文件系统级别的访问。 CloudFS is a distributed fileysystem specifically intended

jopen 2014-09-05   13191   0

聊聊分布式事务 经验

死的中间不可预期状态。 参考下薛定谔的猫。 事务是为了保障业务数据的完整性和准确性的。 分布式事务,常见的两个处理办法就是两段式提交和补偿。 两段式提交典型的就是XA,有个事务协调器,告诉

jopen 2015-01-28   13886   0
事务  

分布式消息队列(Message Queue)系统:kafka 经验

分布式系统很重要的一个设计原则是松耦合,即尽量减少子系统间的依赖。这样各个子系统可以相互独立的进行演进,维护,重用等。Message Queue (MQ)是一种很好的解耦手段。要了解MQ在系统整合中的作用,可以看

jopen 2015-03-26   29009   0

Go 语言的分布式读写互斥 经验

Go 语言的分布式读写互斥 Go语言默认的 sync.RWMutex 实现在多核环境中表现并不佳,因为所有的读者在进行原子增量操作时,会抢占相同的内存地址。该文探讨了一种 n-way RWMutex,也可以称为“大读者(big

bgn4 2015-05-06   14249   0

常见分布式计算框架特点 经验

在使用原理上基本上遵照了 Map 、 Reduce 这样的一种模式进行项目的实际开发与交互,将一个个任务分解成映射与合并两种方式,然而通过映射进行分类与简化,从而产生部分归并结果,然后对同类结果进行归并计算;

jopen 2015-07-08   17537   0

分布式数据库事务 经验

分布式数据库环境中,一个数据库事务可以更新多个场地上的数据,这种数据库事务称为分布式事务。 分布式事务必须满足传统事务的特性,即原子性,一致性,分离性和持久性。但是分布式事务处理过程中,某些场地(Server)可能发生故障,或

jopen 2015-07-19   9621   0
事务  

分布式机器学习框架:Petuum 经验

Petuum 是一个分布式机器学习框架。它致力于提供一个超大型机器学习的通用算法和系统接口。它主要集中在系统上 "plumbing work"和算法加速的优化上面,当简化分布式 ML 程序实现时——允

juio 2015-05-21   47778   0

​兔子和分布式机器学习 经验

兔子和分布式机器学习 上个学习的时候,我除了 TA 机器学习以外,另外一半的时间就是上了 System 课程。因为上课的缘故,需要做一个课程项目,于是我决定做一些和分布式机器学习相关的事情。 来到

gcd8 2015-01-21   34205   0

分布式流式处理框架:Storm 经验

Storm是一个免费开源、分布式、高容错的实时计算系统。它与其他大数据解决方案的不同之处在于它的处理方式。Hadoop 在本质上是一个批处理系统,数据被引入 Hadoop 文件系统 (HDFS) 并分

jopen 2014-12-03   27828   0
1 2 3 4 5 6 7 8 9 10