非结构化数据、大数据、云存储已经毫无争议地成为了信息技术发展趋势和热点,分布式文件系统作为核心基础被推到了浪潮之巅,广泛被工业界和学术界热推。现代分布式文件系统普遍具有高性能、高扩展、高可用、高效能、易使用、
Scalaris 是一个采用Erlang开发的分布式 key-value 存储系统。 Business Logic fault-tolerant startup: start Scalaris when
是一个主要针对大数据量、高可用性的分布式KeyValue存储系统,采用HashTree和简化的版本号来快速同步保证最终一致性(弱),一个简化版的 Dynamo (Dynamo 是 Amazon 公司的一个分布式 存储 引擎。)。
FastDFS是一款类 Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问,不支持 POSIX接口方
这些目标所使用的组件。 上篇文章 介绍了Web分布式系统设计准则和基本原理,本文介绍构建快速、可伸缩数据访问的组件。 (上文)谈及了在设计分布式系统中需要考虑的一些核心问题,现在让我们来聊聊(比较)困难的部分:访问数据的可伸缩性。
官网了解时候的简陋学习笔记,之后看到 katta--索引的管理者 比我翻译的好多了,嘻嘻 Katta是一个可扩展的、故障容错的、分布式实施访问的数据存储。 Katta可用于大量、重复、索引的碎片,以满足高负荷和巨大的数据集。这些索引可以是不同的类型。当前该实现在
Sapphire是一个高并发、高缓存吞吐性、高性能的分布式的内存对象缓存系统,其具有简单易学、方便实用等特点。它能够用来存储各种格式的数据,包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数
lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输
如何搭建一个快速的分布式计算平台?Parallel python提供了简易的方式来实现此目的。 Parallel Python( http://www.parallelpython.com
Voldemort 是一款基于Java开发的分布式键-值缓存系统,像 JBoss Cache 一样,Voldemort同样支持多台服务器之间的缓存同步,以增强系统的可靠性和读取性能。 Voldemort的特点
thorns_project 分布式异步队列系统,wydomain分析目标系统信息后,返回给thorns控制台进行任务调度下发至redis队列系统,worker客户端从redis队列系统获取任务给wyportmap执行,将结果存入后台数据库。
P5 分布式采集系统 总体设计方案 贺志明 2010-4-8 第一篇 系统总体设计 1 系统流程图 2 系统体系结构 3 体系结构概述 分布式采集系统是建立在hadoop分布式文件系统和zookeepe
P31 第3章:MapReduce—分布式计算系统 3.1. MapReduce是什么? Python中的map和reduce 如果我们把MapReduce拆开看,就是两个单词map和reduce。在本书中
P3 MooseFS是一种分布式文件系统,MooseFS文件系统结构包括以下四种角色: 1 管理服务器managing server (master) 2 元数据日志服务器Metalogger server(Metalogger)
Berkeley DB Java 版是 Voldemort 的一部分,提供了分布式的基于 K/V 的存储系统。LinkedIn 目前正在使用这套系统。 Berkeley DB Java 版 5.0 刚刚发
XtreemFS 是一个为云计算互联网存储系统设计的开源分布式文件系统。 该版本最大的改进就是跨站点的文件复制以及自动进行故障转移等功能。另外客户端支持完全的元数据缓存。 项目地址: http://www
一个新的开源分布式版本控制系统。 项目地址: http://veracity-scm.com/ 各种分布式版本控制软件主要功能对比 Veracity Git Mercurial Bazaar Fossil
dCache是一个分布式的存储解决方案。它组织多台电脑的存储,合并后可用于存储数据;最终用户只是看到了大量的存储空间。由于最终用户不必知道哪台计 算机上的数据存储,其数据可从一台计算机迁移到另一台没有
问题 最近项目中遇到了一个分布式系统的并发控制问题。该问题可以抽象为:某分布式系统由一个数据中心D和若干业务处理中心 L1,L2 … Ln 组成;D本质上是一个 key-value 存储,它对外提供基于
Ceph 0.91 发布,我们正在快速的达到 Hammer 版本的特性冻结阶段,但还有一些更多的开发版需要推出。Ceph 0.91 最值得关注的是 CephFS 基于子树的配额支持(ceph-fuse、libcephfs 客户端支持);重写了 librados API 的监控提醒方法,这主要用于 RBD 和 RGW 上;OSDMap checksum 确保 maps 在集群内永远一致;librados 新的 API 调用和 librbd 用于在 posix_fadvise 后的 IO 提示建模,改进了对每个 PG 状态的存储。