SeaweedFS 是简单,高伸缩性的分布式文件系统,包含两部分:存储数十亿的文件;快速为文件服务。SeaweedFS 作为支持全 POSIX 文件系统语义替代,Seaweed-FS 选择仅实现 key-file
去效果。 由于共享资源多种多样,如:文件、业务的临时状态、数据库数据等,本章的同步锁主要解决的是不依赖于主机环境的共享资源,如:数据库数据; 而共享资源依赖于项目环境时,想要同步访问共享资源,则当
前言 “分布式队列编程”是一个系列文,之前我们已经发布了《 分布式队列编程模型、实战 》,主要剖析了分布式队列编程模型的需求来源、定义、结构以及其变化多样性;根据作者在新美大实际工作经验,给出了队
让我们用最经典的Use Case:“A帐号向B帐号汇钱”来说明一下,熟悉RDBMS事务的都知道从帐号A到帐号B需要6个操作: 从A帐号中把余额读出来。 对A帐号做减法操作。 把结果写回A帐号中。 从B帐号中把余额读出来。
FourInOne(中文名字“四不像”)是一个四合一分布式计算框架,在写这个框架之前,我对分布式计算进行了长时间的思考,也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时,似乎忘
Yahoo!的PNUTS是一个分布式的数据存储平台,它是 Yahoo!云计算平台重要的一部分。它的上层产品通常也称为Sherpa。按照官方的 描述,”PNUTS, a massively parallel
Twitter已经从以往的数据存储开发经验中提出一个名为 Gizzard的Scala框架,让用户可以更方便地创建自定义容错、分布式数据库。Twitter给出了一个名为“Rowz”的示例,方便用户上手。 Twitter还公布了Giz
Disco是一个基于MapReduce的分布式计算框架。Disco是一个开源项目,由诺基亚研究中心开发用来解决处理大数据时碰到的实际问题。 Disco采用Python开发,具有易于使用,强大的特点
SmartFrog 是一个功能强大而且灵活的用于配置发布和管理分布式软件系统的 Java 平台。 SmartFrog由以下三部分组成: A Language for defining configurations
SharedCache是高性能的、分布式的内存对象系统,用于在动态WEB或Win应用程序中减少数据库的负责,提高访问速度。SharedCache 全部的代码都是用c#写的,100% DotNet原生态。
MyRPC是个远程过程调用框架,设计用来方便地连接异构系统。它具有基于IDL的客户机/服务器存根生成,多平台支持,二进制协议(不需要转义二进制数据,更少的开销),支持各种数据类型(如字符串,二进制,符号和无符号整数,浮点数,列表,结构和枚举),和异常的支持。
Elasticsearch是一个基于lucene的、开源的、分布式的、RESTful的搜索引擎。Elasticsearch有如下特征: 1. 更快的执行搜索; 2. 安装简单; 3. 完全自由的搜索模式;
Ganglia是一个跨平台可扩展的,高 性能计算系统下的分布式监控系统,如集群和网格。它是基于分层设计,它使用广泛的技术,如XML数据代表,便携数据传输,RRDtool用于数据存储和可 视化。它利用精
GridWay 是一个工作负载管理器,用于在一个由不同计算平台组成的 grid 中执行作业管理和资源调配。GridWay 主要任务是大规模、可靠和高效的计算资源分片管理。
的相关文章我已经做了索引,在我的博客中置顶了,大家可以方便的找到。从这一篇开始分布式消息系统的入门。 在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题: l 我想分析一下用户行为(
Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low- cos
环境,我们会从单机版开始,然后逐渐往分布式扩展。单机版的搭建官网上就有,比较容易实现,这里我就简单介绍下即可,而分布式的搭建官网却没有描述,我们最终的目的还是用分布式来解决问题,所以这部分会是重点。
Zipkin 是 Twitter 的一个开源项目,允许开发者收集 Twitter 各个服务上的监控数据,并提供查询接口。
机制。能够将计算压力分布到多核CPU或集群的多台计算机上,能够非常方便的在内网中搭建一个自组织的分布式计算平台。先从多核计算开始,普通的Python应用程序只能够使用一个CPU进程,而通过Parallel
Apache Giraph 是一个可伸缩的分布式迭代图处理系统,灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel. Giraph 区别于其他项目的是开源、基于