分布式日志收集系统: Facebook Scribe之日志收集方案 经验

Scribe日志收集服务器只负责收集主动写入它的日志,它本身不会去主动抓取某一个日志,所以为了把日志写入到 scribe服务器,我们必须主动向scribe服务器发送日志信息。由于scribe服务器是基于thrift框架实现的,并且thrift支持多种编程语言的通信,所以对于写入scribe服务器的客户端实现也可以使用多种语言,这就为把写入日志的客户端集成到各种应用系统中提供了很好的支持。

jopen 2012-01-11   30259   0

构建一个高效无单点故障的分布式session服务 经验

目无法承受了。所以也出现各种各样的分布式存储。今儿咱讲讲怎么构建一个高效的无单点故障的分布式session服务。 咱可不是标题党,内容和标题绝对吻合。 现在PHP项目分布式session 一般都是 memcached+

fmms 2012-01-13   46192   0

分布式K/V存储系统 kumofs 经验

kumofs是一个分布式key-value存储系统,它的持久化存储是基于Tokyo Cabinet实现的,并且采用了兼容 memcached 的通讯协议。它拥有以下特性: 数据的分区,并在多个服务器复制。

fmms 2012-01-13   14688   0

分布式C/C++编译工具 distcc 经验

distcc是一个分布式的C/C++编译工具,它可以组织一个网络内的多台计算机同时进行某个编译任务。下图是distcc提供的监控工具,用于查看编译执行的情况 项目主页: http://www.open-open

fmms 2012-01-19   19301   0
P50

  第六章分布式事务管理 文档

第六章分布式事务管理事务的概念、特性及模型 分布式事务 分布式事务管理的实现 分布式事务的提交协议 2. 基本概念 事务:事务是由若干个为完成某一任务而逻辑相关的操作组成的操作序列,是数据库上的一个执行单位。

ahhqcheng 2010-11-03   2786   0
SQL  
P13

  大规模分布式跟踪系统设计 文档

1. 大规模分布式跟踪系统卫向军 2. 分布式服务系统模型接口+RPC调用链监控RPC服务监控接口监控 3. 主要解决的问题监控所有API接口 API接口目前使用Jersey框架 监控所有的RPC服务接口

guading 2016-12-27   436   0

基于Mesos和Docker的分布式计算平台 经验

针对“互联网+”时代的业务增长、变化速度及大规模计算的需求,廉价的、高可扩展的分布式x86集群已成为标准解决方案,如Google已经在几 千万台服务器上部署分布式系统。Docker及其相关技术的出现和发展,又给大规模集群

jopen 2015-06-09   29935   0

分布式图片托管网站:ipfs.pics 经验

ipfs.pics 是一个开源并且是分布式的图片存储网站。它可以替代imgur, flickr等相类似的图片托管网站。 它基于 IPFS - the InterPlanetary File

jopen 2015-10-26   12529   0

使用consul实现分布式服务注册和发现 经验

Consul 是 HashiCorp 公司推出的开源工具,用于实现分布式系统的服务发现与配置。与其他分布式服务注册与发现的方案,比如 Airbnb 的 SmartStack 等相比,Consul的方案更“一站式”,内置了服务注册与发现框

jopen 2015-07-30   66568   0

Memcached分布式缓存初体验 经验

Memcached简介/下载/安装 Memcached是一个高性能的不是内存对象缓存系统,用于动态Web应用以减轻数据库负载.Memcached基于一个存储键/值对的HashMap.其客户端可以使用任何语言进行编写,并通过Memcached协议与进行通信

jopen 2015-09-13   11042   0

asp.net mvc 用Redis实现分布式集群共享Session 经验

1、这两天研究Redis搞分布式session问题,网上找的资料都是用ServiceStack.Redis来实现的,但是在做性能测试的时候发现最新的 v4版本有限制每小时候最多请求6000次,因为官网

jopen 2015-07-17   21793   0

图片集群分布式存储和负载均衡 经验

cnblogs.com/jianjianyang/p/4976368.html 今天记录下图片的分布式存储和负载均衡实现原理。 对于Web服务器而言,用户对图片信息的访问是很消耗服务器资源的。当一个网页被浏览时

jopen 2015-11-24   14865   0

SpringBoot应用之分布式索引 经验

SpringBoot应用系列文章 SpringBoot应用之配置中心 SpringBoot应用之分布式会话 SpringBoot应用之分布式索引 序 本文主要讲怎么在SpringBoot中使用elasticsea

FranciscaNV 2016-01-29   22707   0

一种基于“哨兵”的分布式缓存设计 经验

net//jiao_fuyou/article/details/46604697 14年双11促缓存方案,今天有点闲暇时间,回顾一下当时的思路。 场景介绍: 促活动下,对于某些产品进行整点秒杀活动。预计流量是平时峰值 5+倍

AngBold 2016-02-11   29752   0

Zookeeper的Paxos分布式一致性算法-类比的方式去理解 经验

Paxos是一个基于消息传递的一致性算法,近几年被广泛应用于分布式计算中,Google的Chubby,Apache的Zookeeper都是基于它的理论来实现的,Paxos还被认为是到目前为止唯一的分布式一致性算法,其它的算法都是Pa

MagaretTall 2016-02-03   11701   0

Distributed-Kit - 基于redis和zookeeper分布式工具集 经验

Distributed-Kit 基于redis和zookeeper分布式工具集-包括:分布式锁实现,分布式速率限制器,分布式序列等. 使用 maven: 需先编译安装到本地仓库或者本地私服。

jopen 2016-02-29   14788   0

分布式计算编程模型之RPC 经验

远程过程调用 (RPC)范式的出现可以追溯到40年之前。时至今日,它仍是在编写分布式应用时使用率最高的一种编程模型。只是近些年来,人们对于RPC技术的质疑与批评声逐渐多了起来。Steve Vinoski在2008年曾尖锐地

Raft 为什么是更易理解的分布式一致性算法 经验

net/mindfloating/article/details/50774564 一致性问题可以算是分布式领域的一个圣殿级问题了,关于它的研究可以回溯到几十年前。 拜占庭将军问题 Leslie Lamport

dollgo 2016-03-01   23648   0

如何设计一个复杂的分布式爬虫系统? 经验

一个复杂的分布式爬虫系统由很多的模块组成,每个模块是一个独立的服务(SOA架构),所有的服务都注册到Zookeeper来统一管理和便于线上扩展。模块之间通过thrift(或是protobuf,或是so

BlaSidney 2016-09-29   37085   0

分布式追踪系统架构与设计 经验

中讨论过为什么Knewton需要一个分布式追踪系统,并且数值可以被添加到一个公司中。这个章节将会更加深入探讨技术细节,我们如何实施分布式追踪系统的。 总体结构与追踪数据管理 我们的方案分为两大部分:

1 2 3 4 5 6 7 8 9 10