开源大数据处理系统/工具大全 经验

Drill是是一个能够对大数据进行交互分析、开源的分布式系统,且基于Google Dremel实现,它能够运行在上千个节点的服务器集群上,且能在几秒内处理PB级或者万亿条的数据记录。Drill能够帮助企业用户快速、高效地进行

ew45 2015-03-12   325553   0

OneStack:Ubuntu 12.04 (或11.10) 一键部署安装OpenStack云计算平台 经验

OpenStack云计算平台,主要步骤是配置网络、数据库、keystone、glance、nova、dashboard、创建镜像和启动实例等,代 码内有详细注释。这只是学习Opentack的入门的一步,深入研究可以参考附录3给出的部分资料和社区。

jopen 2012-07-14   80383   0

Autodesk基于Mesos和Kafka的通用事件系统架构 经验

我非常喜欢这篇博客,因为它揭示了许多简单架构模块—例如:Mesos、Kafka、RabbitMQ、Akka、Splunk、Librato和EC2可以整合起来来解决实际问题。而且一个小团队就可以获得非常令人惊讶的成就。

jopen 2015-08-31   17918   0

用大白话聊聊分布式系统 经验

关于这个定义,我们直观的感受就是: 首先,这种系统相对来说比较牛逼,起码由好几台主机组成。以谷歌、亚马逊等服务商而言,他们的数据中心都由上万台主机支撑起来的。 其次,虽然很牛逼,但对于外人来说,是感觉不到这些

消息队列性能比较 经验

RabbitMQ,ActiveMq,ZeroMq比较 ==结论==:ZeroMq 最好,RabbitMq 次之, ActiveMq 最差。 ==来源==: http://blog.x-aeon.c

jopen 2015-10-25   69240   0

Apache Flink源码解析之stream-source 经验

它继承自一个标记接口(空接口) Function 。 SourceFunction 定义了两个接口方法: run : 启动一个source,即对接一个外部数据源然后emit元素形成stream(大部分情况下会通过在该方法

cxxy4533 2016-05-05   13246   0

Yelp是如何使用Docker的? 经验

些最佳实践和一些部署经验。 每天都有成千上万的人在使用Yelp的SeatMe来完成餐厅预订服务。这篇博客将会深入地讲解Yelp是如何使用Docker来开发并部署 SeatMe系统的。Docke

jopen 2015-09-02   21449   0
Docker  

如何提升网站的性能? 经验

0685234 概述 性能是网站的一个重要指标,除非是没得选择(比如12306),否则用户无法忍受一个响应缓慢的网站。一个打开缓慢的网站会导致严重的用户流失,很多时候网站性能问题是网站架构升级

wpuj4315 2016-02-18   11058   0

大型网站架构系列:分布式消息队列(一) 经验

以下是消息队列以下的大纲,本文主要介绍消息队列概述和消息队列应用场景。 本次分享大纲 消息队列概述 消息队列应用场景 JMS消息服务 常用消息队列 消息中间件示例 参考(推荐)资料 本次分享总结 一、消息队列概述 消息队列中间

qfyd3493 2016-01-24   38129   0

如何从0开始 搭建应用监控架构? 经验

监控架构的核心思想 当企业处在快速成长的时期,业务系统也在不断的迭代更新中,如若无法快速识别系统可扩展的瓶颈,必将遭受长期的系统服务中断的痛苦,因为任何微小的异常隐患或程序报错的发生,轻则影响用户体验,造成

xz6846 2016-12-10   15508   0

Storm是如何成为Apache顶级项目的 经验

。最初,他想模拟先前的队列和工作进程的方法,使用一个类似 RabbitMQ 的消息代理传递中间消息。为此,他花了很多时间研究 RabbitMQ,但总觉得这一方案不够理想,于是就暂停了构建过程。 第二次思考

jopen 2015-04-03   33956   0

构建高并发高可用的电商平台架构大纲 经验

系统的资源总是有限的,一段比较长的业务执行如果是一竿子执行的方式,在大量并发的操作下,这种阻塞的方式,无法有效的及时释放资源给其他进程执行,这样系统的吞吐量不高。 需要把业务进行逻辑的分段,采用异步非阻塞的方式,提高系统的吞吐量。

yne7 2015-03-30   82411   0

构建高并发高可用的电商平台架构大纲 经验

系统的资源总是有限的,一段比较长的业务执行如果是一竿子执行的方式,在大量并发的操作下,这种阻塞的方式,无法有效的及时释放资源给其他进程执行,这样系统的吞吐量不高。 需要把业务进行逻辑的分段,采用异步非阻塞的方式,提高系统的吞吐量。

jopen 2015-11-15   65006   0

构建高并发高可用的电商平台架构大纲 经验

系统的资源总是有限的,一段比较长的业务执行如果是一竿子执行的方式,在大量并发的操作下,这种阻塞的方式,无法有效的及时释放资源给其他进程执行,这样系统的吞吐量不高。 需要把业务进行逻辑的分段,采用异步非阻塞的方式,提高系统的吞吐量。

dwd4 2015-03-31   73469   0

搭建风控系统道路上踩过的坑 经验

眼的。 数据信息拿的是否准确? 比较常见的是需要用户的访问IP,结果拿到的IP地址是内网的服务器IP;或者是想要用户名,结果传递过来的是UID。这点需要大量的前期沟通确认工作,一旦上线了以后发现数据不对再改也同样要遭白眼。

FlossieWitt 2016-09-28   5893   0

Solr与HBase架构设计 经验

SolrInputDocument ,再使用 ConcurrentUpdateSolrServer 方式向 Solr 服务器发送 SolrInputDocument 数据,具体使用方法如 之前博文介绍Solr的使用方法、性能对比

jopen 2014-09-17   69381   0

基于leveldb的消息列队:Siberite 经验

eldb消息列队。采用Go开发。不像内存服务器如 redis, Siberite设计处理比能够放在RAM中大得多的队列。而不像企业队列服务器,如RabbitMQ。Siberite保持所有消息在进程外,使用

jopen 2015-10-18   13685   0

10 个常用的软件架构模式 经验

你是否曾经思考过如何设计大型的企业级系统?在决定启动软件开发之前,首要的是选择恰当的架构来指引系统的功能及质量属性设计。因此在将软件架构应用于设计之前,必需要了解常用的架构模式。 什么是架构模式?

ic4f10gp83 2018-05-13   44437   0

给公司部门设计的SOA架构 经验

系统实施 3.1 SOA管理中心 3.2 发布服务 3.3 订阅服务 3.4 采蘑菇示例 设计目标 4.1 尽可能少的侵入 4.2 服务自治&&水平扩展 4.3 系统升级降级 常见问题

jopen 2015-03-09   36196   0

Digg.com 的系统架构 经验

首先,我们来看下Digg给大众用户提供的服务吧: 一个社会化的新闻站点 为个人可定制的社会新闻 广告平台 API 服务 博客和文档站点 人们通过浏览器或者其他应用来访问这些Digg服务。一些有Digg账户的用户

jopen 2015-03-24   21628   0
1 2 3 4 5 6 7 8 9 10