日志收集系统-探究 经验

。Scribe是基于一个非阻断C++服务的实现。它能够从各种日志源上收集日志,存储到一个中阳存储系统。 三个角色: 日志服务器 为了收集日志,每一台日志服务器上都会部署一个scribe客户端,它包含两个模块agent

Kurtis7288 2016-11-15   34271   0

为什么说SQL正在击败NoSQL,这对数据的未来意味着什么? 经验

它主要用于解决SQL的可扩展性问题。 然而今天SQL开始回归。几乎所有的云计算服务提供商都在提供备受青睐的关系型数据库管理服务:例如Amazon RDS,Google Cloud SQL,Azure 的

KayZiegler 2017-10-17   83039   0
SQL   NOSQL  

高性能、非常灵活的网络通讯库:zeroMQ 经验

层封装。ZMQ让编写高性能网络应用程序极为简单和有趣。” 与RabbitMQ相比,ZMQ并不像是一个传统意义上的消息队列服务器,事实上,它也根本不是一个服务器,它更像是一个底层的网络通讯库,在Socket A

jopen 2012-09-29   36133   0

软件架构模式 经验

统就叫做巨石型应用。巨石型应用有很多好处:IDE都是为开发单个应用设计的、容易测试——在本地就可以启动完整的系统、容易部署——直接打包为一个完整的包,拷贝到web容器的某个目录下即可运行。 但

ssdi0774 2017-06-04   47105   0

架构思考续 经验

些演进方向。 组件化开发思路在很早以前就已经提出,只是当时的组件间交互更多的谈接口而非服务,同时也没太关心单个组件本身的全生命周期管理。谈组件的时候一定不要先谈开发和技术框架,而是真正从业

jopen 2015-09-19   11958   0

分布式消息系统:Kafka 经验

开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统

jopen 2014-12-03   34316   0

分布式消息系统 Kafka 简介 经验

开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在 大数据系统中,常常会碰到一个问题,整个大数据是由各个子系

jopen 2014-08-19   61665   0

两年内从零到每月十亿 PV 的发展来谈 Pinterest 的架构设计 经验

亿,从两名成立者和一个工程师成长为四十个工程师,从一台 MySQL 服务器增长到 180 台 Web 服务器(Web Engine),240 台接口服务器(API Engine), 88 台 MySQL 数据库

jopen 2013-04-20   47543   0

如何打造一个日均PV千万级别的大型系统? 经验

、CDN加速等需要花钱购买的技术或者服务则不再本篇介绍范围之类。 一、从两个系统说起 1、某移动互联网公司服务器端架构图 上图是某移动互联网公司的服务器端架构图,它支撑了国内外数百万客户端的访问请求,有如下特点:

skywing 2017-09-13   40083   0

Reddit月浏览量从百万扩容到十亿的陷阱和教训 经验

看做是便宜的内存 [ 5 ] ,而不是昂贵的硬盘。当 reddit 把数据库从旋转磁盘转移到 SSD 后,服务器数量从 12 个降低到 1 个,并且还有很多余量。SSD 虽贵了 4 倍,但是你会得到 16 倍的性能,这个花销值得。

jopen 2013-09-16   44644   0

大型网站技术-2. OpenStack简述 经验

先来说一下云计算的基本概念: 云服务分类: IaaS:基础设施即服务 IaaS(Infrastructure-as-a- Service):基础设施即服务,就像阿里云主机那样,直接提供虚拟机的就是IaaS。

jopen 2016-01-10   14789   0

使用Go语言每分钟处理100万请求 经验

。web处理服务可以接收包含了很多payload的集合的JSON数据,这些数据需要写入Amazon S3中。接下来,map-reduce系统可以操作这些数据。 按照习惯,我们会调研服务层级架构,涉及的软件如下:

ffflxg560 2016-10-03   36848   0

构建在Docker之上的开源持续集成平台(CI):Drone 经验

cker映像。 Drone 完全采用Go语言开发。具有快速,高效的特点。 与其他的CI服务相比有什么不同? Drone是开源的 Drone是构建在Docker之上 Drone 轻松托管在自己的基础架构之上

jopen 2014-02-07   53731   0

开源大数据利器汇总 经验

ZeroMQ http://zeromq.org/ 很底层的高性能网络库 RabbitMQ https://www.rabbitmq.com/ 在AMQP基础上完整的,可复用的企业消息系统 Apache ActiveMQ

dgy7 2015-05-21   56121   0

分布式队列编程模型、实战 经验

双方不需要时钟。现实的情况是,没有完全校准的时钟,所以没有绝对的同步通讯。同样,绝对异步通讯意味着无法控制一个发出去的消息被接收到的时间点,无期限的等待一个消息显然毫无实际意义。所以,实际编程中所有的

Openstack命令收集 经验

查看rabbitmq 队列 rabbitmqctl list_queues 查看keystone的用户 keystone user-list 查看keystone endpoint keystone

jopen 2014-01-25   13481   0

通过 Redis 实现 RPC 远程方法调用 经验

 :fib,  Fibonacci.new).start 确是如此,它能工作是因为当你等待数据从服务器传回来时,Redis有命令能够让你阻塞等待。这是非常优秀的做法,它让你的客户端代码看上去像是在调用本地方法。

jopen 2014-09-02   17797   0

分布式事务:不过是在一致性、吞吐量和复杂度之间,做一个选择 经验

数据一致性的问题”。特别是微服务架构流行的今天,一次交易需要跨越多个“服务”、多个数据库来实现,传统的技术手段,已经无法应对和满足微服务情况下这些复杂的场景了。针对微服务下的交易业务如何保障数据一致性,本文尽量做到理论结合实践,将

玩转docker镜像和镜像构建 经验

现在已经有了docker hub/daocloud等多家公有容器服务供应商,为我们提供了非常便捷的镜像构建服务。我们不再需要在本地运行docker build而是可以借用他们的服务实现方便的镜像构建。下文中以docker

jopen 2015-12-09   57497   0
Docker  

消息队列设计精要 经验

异步RPC的主要手段之一。 当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafka,阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。

lzy_168 2016-07-02   34617   0
1 2 3 4 5 6 7 8 9 10