80/20 法则通常被认为是源于意大利经济学家维尔弗雷多·帕累托。帕累托出生于1848年，他是（至少被认为是）占领运动的早期成员之一。他发现意大利国家财富的 80%是掌握在几乎少于20%的人口手...

Databricks Spark 知识库

摘要：CoreOS是一个采用了高度精简的系统内核及外围定制的操作系统。ThoughtWorks的软件工程师林帆将带来“行走在云端：构建CoreOS集群”系列文章，介绍CoreOS的精华和推荐的实...

Hadoop RPC使用方法示例

分布式计算是现代计算和通信系统的基础。在大规模网络系统方面的一个例子是互联网，而在多处理器方面的一个例子则是新式多核笔记本电脑。下面的这些 讲演材料介绍了分布式计算的原理，重点围绕设计分布式系统...

对于一个业务系统，如何高效、平稳地使用数据库是每一个开发人员都会遇到的问题，OpenStack 也不例外，以 OpenStack 的虚拟网络组件 Neutron 为例，其数据库涉及几百张表...

hadoop和spark集群的搭建，主要用到了hadoop2.5.2、spark1.2.0、scala2.11.4

disk42 是一个开源的在线云存储系统，通过文件同步和分享、文件加密功能。服务器端采用 C 开发。同时提供基于 Qt 开发的桌面客户端。该项目依赖 Nginx、MariaDB 以及部分依赖 S...

写了一个关于zookeepeer应用的简单demo 服务端定时的向zookeeper集群注册，客户端监听zookeeper服务节点变化

对于大多数的大数据而言，实时性是其所应具备的重要属性，信息的到达和获取应满足实时性的要求，而信息的价值需在其到达那刻展现才能利益最大化，例如电商网站，网站推荐系统期望能实时根据顾客的点击行为分析...

在文章《 MapReduce原理与设计思想》中，详细剖析了MapReduce的原理，这篇文章则通过实例重点剖析MapReduce

【编者的话】Clay.io基于Docker来管理服务器日志，架构组合是Docker+Logstash+ElasticSearch，文章对各个工具进行了简单介绍。Clay.io还开源了Docker...

Docker 是最近相当热门的一个名词，它是一个基于 Linux Container 的轻量化的虚拟技术，而微软也相当积极与 Docker 合作，在 Azure 上支持这个火热的技术，并且提供简...

Ubuntu编译Hadoop编码异常总结

当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我 们会遇到很多的问题。为了解决这些性能压力带来问题，我...

看到《Docker —— 从入门到实践》中文版附录一：命令查询里有「一张图总结 Docker 的命令」的图，一时兴起，就尝试重画一张图，把所有指令都排进去。

Gearpump是一套轻量级的大数据实时计算引擎，是基于Akka actor框架之上的一种流式计算引擎，并且借鉴了目前业界主流的实时计算引擎，比如 MillWheel, Storm, Spark...

Hive是一个基于Docker的共享计算能力的工具，用户只需要在自己的机器上启动Docker进程并提交到Hive平台即可。

Apache Twill 是一个 Apache Hadoop YARN 的抽象层，减少了开发分布式应用程序的复杂度，允许开发者把精力放在应用逻辑上。Apache Twill 可以让你向使用线程一...

Tigon 是一个开源的、实时的、低延迟、高吞吐量的流处理框架。基于 Apache Hadoop 和 Apache HBase. 构建。Tigon 严重依赖开源项目 Tephra 和 Apac...