Workloads 背景 PB级数据分析系统的能力要求 1.性能:节省开销(时间、资金)。 2.容错:数据分析系统(即使有故障节点也能顺利工作) 不同于 事务型的系统的容错(从故障中无损的恢复)。节点故障时,原来的查询操作不需要重启。
Tachyon 是一个分布式内存文件系统,可以在集群里以访问内存的速度来访问存在tachyon里的文件。把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将
HekaFS 是一个分布式文件系统,专门为云服务提供者解决存储问题,提供文件系统级别的访问。 CloudFS is a distributed fileysystem specifically intended
分布式系统很重要的一个设计原则是松耦合,即尽量减少子系统间的依赖。这样各个子系统可以相互独立的进行演进,维护,重用等。Message Queue (MQ)是一种很好的解耦手段。要了解MQ在系统整合中的作用,可以看
P33 1. 第六章 分布式系统中的死锁 2. 6.1 死锁问题一般地说,分布式系统涉及更广泛的资源和数据共享。 同集中式系统相比,分布式系统需要通过多个机器才能得到相关信息,其死锁更难避免、更难防止、更难检
P26 1. 分布式系统日志处理调研20120131-0206 2. 目录介绍 开源日志系统 方案 3. 介绍 4. 背景随着分布式系统规模扩大以及模块化程度越来越高,各组件关联性越来越强,使得调试变得很复杂
P16 1. FastDHT ----分布式Hash系统余庆 2009-6-18 2. FastDHT简介分布式hash系统,存储Key Value Pair 支持两种存储方式 缓存方式的MPOOL 持久存储方式的BDB
P12 MFS分布式文件系统 作者:cnmole 交流QQ:370992933 环境:CentOS6.3 禁用selinux,关闭防火墙 主控服务器端口:tcp 9419、9420、9421,cgi监控端口:tcp
Xixibase是一个高性能,跨平台的分布式缓存系统。Xixibase server 采用 C++ 实现,底层网络库采用的是Boost Asio。 Xixibase 主要特点: 1. 实现'Local
zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供柔软的通知机制以让系统管理员快速定位/解决存在的各种问题。
Mogile FS是一个开源的分布式文件系统。主要特性包括: 1. 应用层的组件 2. 无单点故障 3. 自动文件复制 4. 具有比RAID更好的可靠性 5. 无需RAID支持
GlusterFS是一个开源的分布式文件系统,具有强大的Scale-Out横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。 GlusterFS借助TCP/IP或InfiniBand RD
1、故事的起源 还是很多很多年前,做过一个小系统,是一个和支付相关的小系统。因为是一个小系统,所以一切都那么简单。一台应用服务器,一台数据库服务器;文件、图片都放在应用服务器上,一切都是那么的平淡,一切都是那么的理所当然。
Conductor 是一个分布式系统的测试框架。很多测试框架只能测试单机的代码,而 Conductor 是一个分布式系统测试框架,使用 Python 开发,可用于协调一组测试服务。Conductor 系统允许通过单机来控制很多系统进行协调测试。采用
P44 1. Erlang分布式系统的的领域语言淘宝核心系统资深专家 余锋http://yufeng.info @淘宝褚霸 2013-6-3 2. 我是谁?2 3. 传统服务器集群 开发的痛3 4. 编程语言和模型选择各种编程语言?
1. 介绍 Hadoop 分布式文件系统 (HDFS)是一个设计为用在普通硬件设备上的分布式文件系统。它与现有的分布式文件系统有很多近似的地方,但又和这些文件系统有很明显的不同。HDFS 是高容错
P24 Web高级应用论文 2006-6-21 XML在分布式系统中的作用 梁 砾 来源:www.javathinker.org 摘要:本文首先简单介绍了XML的基本知识,然后,通过列举、比较,详细地介绍X
1.分布式日志收集系统:背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1)
Katta是一个可扩展的、故障容错的、分布式实施访问的数据存储。 Katta可用于大量、重复、索引的碎片,以满足高负荷和巨大的数据集。这些索引可以是不同的类型。当前该实现在Lucene和Hadoop
dCache是一个分布式的存储解决方案。它组织多台电脑的存储,合并后可用于存储数据;最终用户只是看到了大量的存储空间。由于最终用户不必知道 哪台计算机上的数据存储,其数据可从一台计算机迁移到另一台没有