P22 1. Tair—分布式KV系统 2. Tair简介 现状与应用案例 Tair特性 内部架构 Tair未来 3. 分布式Key/Value存储 非持久化 持久化 Tair是什么 4. 支持 Java、C/C++的客户端
通过对mfs分布式文件系统中各个模块的拆分组合,较为详细且清晰的实现其配置 mfs分布式文件系统,所需主机: 管理服务器 managing server (master vm3) 元数据日志服务器
SeaweedFS 是简单,高伸缩性的分布式文件系统,包含两部分:存储数十亿的文件;快速为文件服务。SeaweedFS 作为支持全 POSIX 文件系统语义替代,Seaweed-FS 选择仅实现 key-file
通常,我们会通过两种手段来扩展我们的数据服务: 1) 数据分区 :就是把数据分块放在不同的服务器上(如:uid % 16,一致性哈希等)。 2) 数据镜像 :让所有的服务器都有相同的数据,提供相当的服务。 对于第一种情
SharedCache是高性能的、分布式的内存对象系统,用于在动态WEB或Win应用程序中减少数据库的负责,提高访问速度。SharedCache 全部的代码都是用c#写的,100% DotNet原生态。
Ganglia是一个跨平台可扩展的,高 性能计算系统下的分布式监控系统,如集群和网格。它是基于分层设计,它使用广泛的技术,如XML数据代表,便携数据传输,RRDtool用于数据存储和可 视化。它利用精
的相关文章我已经做了索引,在我的博客中置顶了,大家可以方便的找到。从这一篇开始分布式消息系统的入门。 在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题: l 我想分析一下用户行为(
Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low- cos
各个服务上的监控数据,并提供查询接口。 该系统让开发者可通过一个 Web 前端轻松的收集和分析数据,例如用户每次请求服务的处理时间等,可方便的监测系统中存在的瓶颈。 项目主页: http://www
Apache Giraph 是一个可伸缩的分布式迭代图处理系统,灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel. Giraph 区别于其他项目的是开源、基于
Kochiku 是一个自动化测试系统的分布式平台,包含3个组件: Web 服务器:你可以检视构建和管理资料库 后台作业:将构建切分成多个部分 Workers 用来独立允许某个构建的部分 一般一个单击可运行
Katta是一个可扩展的、故障容错的、分布式实施访问的数据存储。 Katta可用于大量、重复、索引的碎片,以满足高负荷和巨大的数据集。这些索引可以是不同的类型。当前该实现在 Lucene 和 Hadoop
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供 对数据进行简单处理,并写到各种数据接受方(可定制)的能力。F
Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央存 储系统(可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统
Pfs是一个类似于Git的分布式文件系统,专门构建用于Docker生态系统。你需要使用 Docker 来部署它,就像在您堆栈中的其他应用程序。此外,MapReduce的jobs被指定为Docker容器,而不是
Chukwa 是一个开源的用于监控大型分布式系统的数据收集系统。它构建在 hadoop 的 hdfs 和 map/reduce 框架之上的,继承了 hadoop 的可伸缩性和鲁棒性。Chukwa 还包
tk/distributed-tracing.md 分布式跟踪系统调研 介绍 把分布式系统中各个组件的工作汇总起来,就可以得到一个全面的跟踪系统。 每个公司都会有一套自己的分布式跟踪系统。Google的Dapper,
IPFS 是分布式文件系统,寻求连接所有计算机设备的相同文件系统。在某些方面,这很类似于原始的 Web 目标,但是 IPFS 最终会更像单个比特流群交换的 git 对象。 IPFS 云成为一个新的
前不久在拉斯维加斯举办的 RICON分布式系统大会 取得了圆满的成功,这佐证了当今大型应用的重要性。各场演讲都爆满,观众的参与度也空前高涨。此次大会由 Basho Technologies (知名的分布式NoSQL数据库