HadoopDB:混合分布式系统 经验

Workloads 背景 PB级数据分析系统的能力要求 1.性能:节省开销(时间、资金)。 2.容错:数据分析系统(即使有故障节点也能顺利工作) 不同于 事务型的系统的容错(从故障中无损的恢复)。节点故障时,原来的查询操作不需要重启。

jopen 2013-05-19   13018   0

分布式内存文件系统:Tachyon 经验

Tachyon 是一个分布式内存文件系统,可以在集群里以访问内存的速度来访问存在tachyon里的文件。把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将

jopen 2014-09-03   188748   0

分布式文件系统:HekaFS 经验

HekaFS 是一个分布式文件系统,专门为云服务提供者解决存储问题,提供文件系统级别的访问。 CloudFS is a distributed fileysystem specifically intended

jopen 2014-09-05   13191   0

分布式消息队列(Message Queue)系统:kafka 经验

分布式系统很重要的一个设计原则是松耦合,即尽量减少子系统间的依赖。这样各个子系统可以相互独立的进行演进,维护,重用等。Message Queue (MQ)是一种很好的解耦手段。要了解MQ在系统整合中的作用,可以看

jopen 2015-03-26   29009   0
P33

  chapter 6 分布式系统中的死锁 文档

1. 第六章 分布式系统中的死锁 2. 6.1 死锁问题一般地说,分布式系统涉及更广泛的资源和数据共享。 同集中式系统相比,分布式系统需要通过多个机器才能得到相关信息,其死锁更难避免、更难防止、更难检

dejunw 2013-02-05   2291   0
P26

  分布式系统日志处理调研 文档

1. 分布式系统日志处理调研20120131-0206 2. 目录介绍 开源日志系统 方案 3. 介绍 4. 背景随着分布式系统规模扩大以及模块化程度越来越高,各组件关联性越来越强,使得调试变得很复杂

290259325 2012-02-15   559   0
P16

  FastDHT----分布式Hash系统 文档

1. FastDHT ----分布式Hash系统余庆 2009-6-18 2. FastDHT简介分布式hash系统,存储Key Value Pair 支持两种存储方式 缓存方式的MPOOL 持久存储方式的BDB

cellcomcn 2012-09-18   5669   0
P12

  MFS 分布式文件系统 文档

MFS分布式文件系统 作者:cnmole 交流QQ:370992933 环境:CentOS6.3 禁用selinux,关闭防火墙 主控服务器端口:tcp 9419、9420、9421,cgi监控端口:tcp

opennb 2013-06-06   4228   0

分布式缓存系统 Xixibase 经验

Xixibase是一个高性能,跨平台的分布式缓存系统。Xixibase server 采用 C++ 实现,底层网络库采用的是Boost Asio。 Xixibase 主要特点: 1. 实现'Local

fmms 2012-02-03   21702   0

分布式系统监视:zabbix 经验

zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供柔软的通知机制以让系统管理员快速定位/解决存在的各种问题。

jopen 2013-03-08   17166   0

分布式文件系统 MogileFS 经验

Mogile FS是一个开源的分布式文件系统。主要特性包括: 1. 应用层的组件 2. 无单点故障 3. 自动文件复制 4. 具有比RAID更好的可靠性 5. 无需RAID支持

开源的分布式文件系统:GlusterFS 经验

GlusterFS是一个开源的分布式文件系统,具有强大的Scale-Out横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。 GlusterFS借助TCP/IP或InfiniBand RD

jopen 2014-01-07   18097   0

分布式文件系统介绍 经验

1、故事的起源 还是很多很多年前,做过一个小系统,是一个和支付相关的小系统。因为是一个小系统,所以一切都那么简单。一台应用服务器,一台数据库服务器;文件、图片都放在应用服务器上,一切都是那么的平淡,一切都是那么的理所当然。

jopen 2015-01-13   13487   0

分布式系统测试框架:Conductor 经验

Conductor 是一个分布式系统的测试框架。很多测试框架只能测试单机的代码,而 Conductor 是一个分布式系统测试框架,使用 Python 开发,可用于协调一组测试服务。Conductor 系统允许通过单机来控制很多系统进行协调测试。采用

jopen 2015-07-16   12887   0
P44

  Erlang 分布式系统的的领域语言 文档

1. Erlang 分布式系统的的领域语言淘宝核心系统资深专家 余锋http://yufeng.info @淘宝褚霸 2013-6-3 2. 我是谁?2 3. 传统服务器集群 开发的痛3 4. 编程语言和模型选择各种编程语言?

yn7ty 2014-09-23   2356   0
Erlang开发   HTTP   C/C++   ErLang   Go  

Hadoop分布式文件系统:结构与设计 博客

1. 介绍 Hadoop 分布式文件系统 (HDFS)是一个设计为用在普通硬件设备上的分布式文件系统。它与现有的分布式文件系统有很多近似的地方,但又和这些文件系统有很明显的不同。HDFS 是高容错

Hadoopp 2012-09-28   1325   0
P24

  XML在分布式系统中的作用 文档

Web高级应用论文 2006-6-21 XML在分布式系统中的作用 梁 砾 来源:www.javathinker.org 摘要:本文首先简单介绍了XML的基本知识,然后,通过列举、比较,详细地介绍X

vitas_feng 2010-12-20   3344   0
Java开发   XML  

分布式日志收集系统:Facebook Scribe 经验

1.分布式日志收集系统:背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1)

jopen 2012-01-11   43025   0

分布式存储系统 Katta 经验

Katta是一个扩展的、故障容错的、分布式实施访问的数据存储。 Katta可用于大量、重复、索引的碎片,以满足高负荷和巨大的数据集。这些索引可以是不同的类型。当前该实现在Lucene和Hadoop

fmms 2012-02-06   15191   0

分布式存储系统 dCache DSS 经验

dCache是一个分布式的存储解决方案。它组织多台电脑的存储,合并后可用于存储数据;最终用户只是看到了大量的存储空间。由于最终用户不必知道 哪台计算机上的数据存储,其数据可从一台计算机迁移到另一台没有

openkk 2012-06-06   20333   0
1 2 3 4 5 6 7 8 9 10