百度网盘免费提供2TB存储， 它的存储量一定是惊人的， 支持它的存储系统atlas也是相当不错的。 atlas是一个KV存储， 支持GET/PUT/DELETE三个接口， 看起来接口简单， 但要...

Impala是hadoop上交互式MPP SQL引擎， 也是目前性能最好的开源SQL-on-hadoop方案。 如下图所示， impala性能超过SparkSQL、 Presto、 Hive。

Listener线程，当Server处于运行状态时，其负责监听来自客户端的连接，并使用Select模式处理Accept事件。 同时，它开启了一个空闲连接（Idle Connection）...

OpenStack是如何做到在三个月内合并900个文档修改的？我们对待文档就像对待代码一样，并且持续公布了来自多个Git仓库的评估内容。 通常持续集成（CI）意味着代码被不断地测试，与其...

最近将公司的在线业务迁移到Storm集群上，上线后遇到低峰期CPU耗费严重的情况。在解决问题的过程中深入了解了storm的内部实现原 理，并且解决了一个storm0.9-0.10版本一直存在的严...

赵磊在7月21号的全球架构师峰会深圳站上，做了主题演讲:Uber高可用消息系统构建，对于这个热门主题，高可用架构群展开了热议，大家对分布式系统中的各种错误处理非常感兴趣。Tim Yang特邀赵磊...

通过对mfs分布式文件系统中各个模块的拆分组合，较为详细且清晰的实现其配置

这是一篇学习笔记。 学习的材料来自Jay Kreps的一篇讲Log的博文。 原文很长，但是我坚持看完了，收获颇多，也深深为Jay哥的技术能力、架构能力和对于分布式系统的理解之深刻所折服。同时...

前篇简要回顾：前篇文章讲到了ZK在回复完成之后进入了接客状态，跟随者在监听客户端端口的部分接收到客户端的请求数据包，然后开始对这个包进行处理，接下来进入了ZK对客户端请求处理流程的核心部分。。。

前篇简要回顾：在ZooKeeper集群选举完成之后，各个集群节点各就各位，领导者开始领导、跟随者开始跟随，我们已经看到跟随者建立和领导者的连接，并接受领导者的命令开始恢复，恢复完成之后领导者给了...

在ZooKeeper中QuorumPeer这个类是整个集群的抽象，代表着ZooKeeper的整个集群、其关联着ZooKeeper集群的重要信息，包括集群状态、当前ZK节点的状态、当前ZK节点编号...

文主要讨论 Apache Spark 的设计与实现，重点关注其设计思想、运行原理、实现架构及性能调优，附带讨论与 Hadoop MapReduce 在设计与实现上的区别。不喜欢将该文档称之为“源...

电商平台的促销活动往往意味着技术系统的大升级。今年的618周年大促，京东实现了商品中心、用户中心和交易中心等平台化升级。在日前的京东技术 开放日618技术分享专场，多位京东技术专家联袂解析了京东...

目前开源社区有许多并行计算模型和框架可供选择，按照实现方式、运行机制、依附的产品生态圈等可以被划分为几个类型，每个类型各有优缺点，如果能够对各类型的并行计算框架都进行深入研究及适当的缺点修复，就...

Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了...

ZooKeeper 是一个开源的分布式服务框架，它是Apache Hadoop项目的一个子项目，主要用来解决分布式应用场景中存在的一些问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配...

摘要 Storm 是一个开源的、大数据处理系统，与其他大数据解决方案的不同之处在于它的处理方式。Hadoop 在本质上是一个批处理系统。数据被引入 Hadoop 文件系统 (HDFS) 并分发到...

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提...

MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。 MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce(...

随着互联网的发展，数据量的增大，很多对于数据的处理工作（例如一些推荐系统、广告推送等）都迁移到了云端，也就是分布式计算系统上。衍生了很多牛逼的分布式计算的计算模型，比较著名的就是MapReduc...