hadoop分布式集群搭建

RadarGun 是一个用于对数据网格和分布式缓存进行基准测试的框架。 架构： 测试结果： 项目主页： http://www.open-open.com/lib/vie

Conary 是一个支持各种 Linux 发行版的分布式软件管理系统。主要目的是为了取代传统的包管理解决方案(比如RPM和dpkg)，同时提供基于互联网的协作管理。分布式和松散连接的存储库定义的组件都安装在一个

redis被大量用在分布式的环境中，自然而然分布式环境下的锁如何解决，立马成为一个问题。例如我们当前的手游项目，服务器端是按业务模块划分服务器的，有应用服，战斗服等，但是这两个vm都有可能同时改变玩家

Ignite 内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台，用于大规模的数据集处理。Ignite 为应用和不同的数据源之间提供一个高性能、分布式内存中数据组织管理的框架。 集群计算特性：

的查询语句，使用类似 SQL 的语言进行查询。 Tigon 支持不同运行时和环境，你可以运行在单一计算机或者是分布式 Hadoop 集群中，提供直观的命令行接口帮助用户管理 Tigon 流。 要使用 Tigon

database）是网易杭研院立项最早，应用最为广泛的后台产品之一，也是国内最早出现的基于现有database之上开发的分布式数据库中间件，目前 依然在为网易易信，云音乐，云阅读等大型互联网产品提供稳定的数据库服务。业界中同

选择一个稳定版本进行下载，我这里下载的是zookeeper-3.4.6版本。 ZooKeeper伪分布式集群安装 伪分布式集群：在一台Server中，启动多个ZooKeeper的实例。 上传并解压安装包 cd /usr

Spark是一个通用的分布式内存计算框架，本文主要研讨Spark的核心数据结构RDD的设计思路，及其在内存上的容错。内容基于论文 Zaharia, Matei, et al. " Resilient Distributed

写在前面一： 本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。 写在前面二： 使用软件说明 约定，Spark相关软件存放目录：

Spartan是一个用于分布式矩阵编程库。使用类似于Numpy的操作来构建矩阵表达式。然后这些表达式被编译和优化，最后运行在一个跨多台机器的分布式阵列后端。 >> In [3]: x = spartan

Howard Gobioff, and Shun-Tak Leung。 基于普通服务器构建超大规模文件系统的典型案例，简单实用， 是google的重要基础设施，大数据的基石， 主要面向大文件和批处理系统。

淘宝根据自己的业务特点开发了TDDL（Taobao Distributed Data Layer 外号:头都大了 ©_Ob）框架，主要解决了分库分表对应用的透明化以及异构数据库之间的数据复制，它是一个基于集中式配置的 jdbc datasource实现，具有主备，读写分离，动态数据库配置等功能。

分布式锁的作用 一般来讲，锁的作用是在于解决不同的执行流之间对于同一个资源的竞争而产生的问题。分布式锁的作用就在于解决分布式程序中，分布在不同机器上的执行流对于资源的竞争问题。在mongodb的cluster上

。 MongoDB分片部署 介绍完以上，组合起来就可以搭建一个比较强壮的分布式MongoDB集群。分片类似分布式，MongoDB以新增分片的方式，扩展自己的容量，并且能给读写负载均衡。 1

hmux协议开发等系统，避免了上线带来的很多问题。 总体说来，tcpcopy主要有如下功能： 1）分布式压力测试工具，利用在线数据，可以测试系统能够承受的压力大小（远比ab压力测试工具真实地多）,也可以提前发现一些bug

基于以上考虑，因此选用了redis来做为缓存应用。 二.分布式缓存的架构设计 1.架构设计 由于redis是单点，项目中需要使用，必须自己实现分布式。基本架构图如下所示： 2.分布式实现 通过key做一致性哈

DPark 是 Spark 的 Python 克隆，是一个Python实现的分布式计算框架，可以非常方便地实现大规模数据处理和迭代计算。 DPark 由豆瓣实现，目前豆瓣内部的绝大多数数据分析都使用DPark

基于zookeeper的分布式任务调度框架，具有如下特性 1.分布式，解决单点故障 2.支持负载均衡 3.支持自动扩容 4.容错重试 5.任务基于SPI插件开发 项目主页：

MapReduce是google提出的一个软件架构，是一种处理海量数据的并行编程模式，用于大规模数据集（通常大于1TB）的并行运算。