Yahoo的分布式流计算平台 S4 经验

S4是Yahoo!发布的一个开源通用、分布式、可扩展、部分容错、具备可插拔功能的平台。这套平台主要是为了方便开发者开发处理流式数据 (continuous unbounded streams of d

openkk 2012-06-09   14346   0

GridFS:基于MongoDB的分布式文件存储系统 经验

GridFS 是 MongoDB 之上的分布式文件系统,其利用了 MongoDB 的分布式存储机制并通过 MongoDB 来存储文件数据和文件元数据,兼具文档型数据库和文件系统的优势。 GridFS 是当前大数据潮流和复杂数据分析需求的产物。

jopen 2013-11-28   14548   0

分布式 Key-Value 存储系统:Cassandra 入门 经验

简介: Apache Cassandra 是一套开源分布式 Key-Value 存储系统。它最初由 Facebook 开发,用于储存特别大的数据。 Cassandra 不是一个数据库,它是一个混合型的非关系的数据库,类似于

openkk 2012-02-25   38026   0

关系型数据的分布式处理系统 Cobar 经验

Cobar是关系型数据的分布式处理系统,它可以在分布式环境下像传统数据库一样为您提供海量数据服务。以下是快速启动场景: 系统对外提供的数据库名是dbtest,并且其中有两张表tb1和tb2。 tb1

openkk 2012-06-19   21771   0

EhCache 分布式缓存/缓存集群 经验

开发环境: System:Windows JavaEE Server:tomcat5.0.2.8、tomcat6 JavaSDK: jdk6+ IDE:eclipse、MyEclipse

jopen 2012-07-19   136797   0

GridFS:基于MongoDB的分布式文件存储系统 经验

GridFS 是 MongoDB 之上的分布式文件系统,其利用了 MongoDB 的分布式存储机制并通过 MongoDB 来存储文件数据和文件元数据,兼具文档型数据库和文件系统的优势。 GridFS 是当前大数据潮流和复杂数据分析需求的产物。

jopen 2013-06-11   40048   0

企业级分布式NoSQL数据库:SequoiaDB 经验

SequoiaDB是企业级NoSQL分布式大数据库,主要应用在政府、电信、金融、电力和互联网等拥有海量业务数据的行业。 优势: 通过非结构化存储与分布式处理,提供了近线性的水平扩张能力,让底层的存储不再成为瓶颈

jopen 2013-10-01   27004   0

Hadoop完全分布式模式的安装和配置 经验

四、下载并解压jdk(namenode-root) 把jdk解压到/usr/local/ 文件夹 1. 配置环境变量 [root@localhost local]# cd /usr/local [root@localhost

jopen 2013-11-25   33355   0

淘宝技术发展(分布式时代:服务化) 经验

拆分之后,系统之间的交互关系变得非常复杂,示意图如下: 系统这么拆分的话,好处显而易见,拆分之后每个系统可以单独部署,业务简单,方便扩容;有大量可重用的模块以便于开发新的业务;能够做到专人专事,让技术 人员更加专注

jopen 2012-11-17   103718   0

淘宝分布式配置管理服务Diamond 经验

在一个分布式环境中,同类型的服务往往会部署很多实例。这些实例使用了一些配置,为了更好地维护这些配置就产生了配置管理服务。通过这个服务可以轻松地管理这些应用服务的配置问题。应用场景可概括为: z

jopen 2014-10-12   14025   0
Diamond  

Amoeba:开源的分布式数据库Porxy解决方案 经验

Amoeba for Mysql软件。这个软件致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的 时候充当SQL路由功能,专注于分布式数据库代理层(Database Proxy)开发。座落与

jopen 2014-11-29   40264   0
Amoeba  

Kubernetes – Google分布式容器技术初体验 经验

Kubernetes 是Google开源的容器集群管理系统。前几天写的 分布式服务框架的4项特性 中提到一个良好的分布式服务框架需要实现 服务的配置管理。包括服务发现、负载均衡及服务依赖管理。

jopen 2014-11-20   24564   0

知乎开源的分布式日志聚合系统:kids 经验

知乎开源的分布式日志聚合系统kids。「kids」是「Kids Is Data Stream」的递归缩写,采用 Scribe 的消息聚合模型和 Redis 的 pub/sub 模型。 1.实时订阅

jopen 2014-12-19   42462   0

使用2-3法则设计分布式数据访问层 经验

前业界涌现出各种各样的技术文章 介绍分布式缓存设计、分布式数据库设计、负载均衡、HA策略等等,这些都是支撑分布式数据访问层的基石,不过,本文将从另一个角度探讨分布式数据访问层 (Data Access

jopen 2015-02-09   23090   0

分布式配置管理平台:Disconf 经验

支持配置(配置项+配置文件)的分布式化管理 配置发布统一化 极简的使用方式(注解式编程 或 XML代码无代码侵入模式) 低侵入性或无侵入性、强兼容性 需要Spring编程环境 重要功能特点

pdkie1 2015-04-13   46374   0

分布式存储和一致性hash 经验

e与桶数取模的方式(当然时间是通过位操作,性能更高)自然映射到具体的桶中。 关于分布式存储 当 hash遇上分布式,单台机子的hashmap存储已经不能满足我们的key-value需求,怎么办,我

cbgd 2015-05-03   16890   0

Hadoop yarn完全分布式安装笔记 经验

168.40.137 slave-1 192.168.40.136 slave-2 一.前置环境配置 1.创建hadoop用户 以下操作使用root用户 $useradd -d /home/hadoop

jopen 2015-05-27   19313   0

我对java分布式系统的一点认识 - biakia 经验

相对于单机系统,分布式系统非常复杂,涉及到非常多的技术,作为一个屌丝,有幸能够在大规模分布式系统下工作,故在此记录一些浅薄认识,作为自己未来学习路线的参考。 一、分布式系统概述 分布式系统往往是

jopen 2015-09-03   20048   0

Twitter是如何构建高性能分布式日志的 经验

在Twitter,他们使用复制日志来解决分布式系统中存在的一系列问题。比如,他们有一个 Manhattan分布式键值数据库 。该系统采用了一种灵活的最终一致性数据模型,允许开发者以一致性换取低延迟。写

jopen 2015-09-24   11616   0

Linux下MFS分布式架构集群配置 经验

com/1192594/1690874 前言:随着分布式、大数据的不断发展,很多时候大家会感觉大数据离自己很远,其实大数据就是我们身边。那我们心目中的大数据到底是什么样的呢,分布式、容错、大容量? 在我们运维中,

jopen 2015-09-02   13948   0
Linux  
1 2 3 4 5 6 7 8 9 10