本文聚焦Apache Spark入门，了解其在大数据领域的地位，覆盖Apache Spark的安装及应用程序的建立，并解释一些常见的行为和操作。

上周在看豆瓣的时候，看到有豆列推荐类似豆瓣250的电影，刚好最近在学Berkeley 的Scalable Machine Learning这门课程，接触了下Spark的基本的操作，然后就想要不然...

一致性算法是用来解决一致性问题的,那么什么是一致性问题呢? 在分布式系统中,一致性问题(consensus problem)是指对于一组服务器,给定一组操作,我们需要一个协议使得最后它们的结果达...

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项...

介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣可以去...

分布式存储泛指存储存储和管理数据的系统， 与无状态的应用服务器不同， 如何处理各种故障以保证数据一致，数据不丢， 数据持续可用， 是分布式存储系统的核心问题，也是极具挑战的问题。 本文总结了分布...

通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。

首先，说说我们的场景，订单服务是做成集群的，当两个以上结点同时收到一个相同订单的创建指令，这时并发就产生了，系统就会重复创建订单。等等......场景。这时，分布式共享锁就闪亮登场了。

Hadoop在使用原理上基本上遵照了Map、Reduce这样的一种模式进行项目的实际开发与交互，将一个个任务分解成映射与合并两种方式，然而通过映射进行分类与简化，从而产生部分归并结果，然后对同类...

HDFS 是Hadoop 项目中的文件系统。是Hadoop 框架的底层实现部分， 具有高传输率、高容错率等特点， 并且以流的形式访问文件系统中的数据，从而解决访问速度和安全性等问题，实现海量数据的存储管理。

在一台高性能PC服务器上，使用ceph做虚拟机镜像的存储。在做压力测试的情况下，出现了该服务器所有虚拟机不能访问的故障。

本文将讲述如何使用OpenStack创建并管理Docker，有3种流行的使用方法，使用的分别是Nova Docker驱动，Heat Docker插件，以及Magnum。这篇文章分成2部分，第一部...

总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。

我们开发Ceph,一个分布式文件系统,它提供了优秀的性能、可靠性和可伸缩性。Ceph通过用一个伪随机数据分布函数(CRUSH)替代分布 表来最大化的分离数据与元数据管理，这个算法用于异构和动态不...

由于公司项目需要，最近开始学习一下分布式存储相关知识，确定使用FastDFS这个开源工具。利用周末的时间在虚拟机上搭建了分布式存储系统，在搭建过 程中，发现网上的资料说的并不是很全，...

CloudStack是一个开源的具有高可用性及扩展性的云计算平台。目前Cloudstack支持管理大部分主流的hypervisors，如 KVM，XenServer，VMware，Oracle ...

Spark功能还是蛮强的，安装的东西可是不少，好在搞完一次就可以一直用（除非用不上）。这里介绍安装需要的软件和步骤。不同机器可能还有些设置不一样的，需要自己去摸索，毕竟这个是开源软件，好事是有问...

Spark是近年来发展较快的分布式并行数据处理框架，可以与Hadoop联合使用，增强Hadoop的性能。同时，Spark还增加了内存缓存、流数据处理、图数据处理等更为高级的数据处理能力。这里简单...

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项...

这个 Spark Streaming 样例是一个可持久化到Hadoop近实时会话的很好的例子。 Spark Streaming 是Apache Spark 中最有趣的组件之一。你用Spa...