BeeGFS (前身是 FhGFS) 是一个高性能的并行文件系统，其分布式元数据架构的设计是为了提供运行当今最苛刻的高性能计算应用所需的可扩展性和灵活性。

Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布...

Hadoop2.2.0分布式安装

zimg是一个具有图片处理功能的图片存储服务，你可以上传图片到zimg服务器，然后通过带有参数的URL来获取被处理过的图片

这是一个基于Web的SSH控制台，适用于在一个OpenShift domain中的应用。

HekaFS 是一个分布式文件系统，专门为云服务提供者解决存储问题，提供文件系统级别的访问。

Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在tachyon里的文件。把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责...

Hadoop伪分布配置与基于Eclipse开发环境搭建

CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 Ce...

Spark SQL支持在Spark中执行SQL，或者HiveQL的关系查询表达式。它的核心组件是一个新增的RDD类型JavaSchemaRDD。JavaSchemaRDD由Row对象和表述这个行...

由于storm的内核是clojure编写的，目前阿里巴巴公司已经有开源的Copy版本Jstorn，以下本ID为你带来其中相关区别。 关于流处理框架，在先前的文章汇总已经介绍过Strom， ...

摘要：分布式系统需要在数据完整、一致性和性能间做平衡。本文系统介绍了处理分布式数据一致性的技术模型，如：Master-Slave，Master-Master，2PC/3PC，经典的将军问题，Pa...

Hadoop让大数据分析走向了大众化，然而它的部署仍需耗费大量的人力和物力。在直奔Hadoop之前，是否已经将现有技术推向极限？这里总结了对Hadoop投资前可以尝试的10个替代...

有人问我，“你在大数据和Hadoop方面有多少经验？”我告诉他们，我一直在使用Hadoop，但是很少处理几TB以上数据的任务 。我基本上只是一个大数据新手——知道概念，写过代码，但是没有...

最近在负责公司内部私有云的建设，一直在思考怎么搞云计算，怎么才能够把云架构设计得好一些。 本文章主要内容： 1. 行业生态 2. 从需求角度看云 3. 云计算概述 ...

Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output）...

当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的 部分结果的缓存，并在内存buffer中...

hadoop2.2.0安装笔记

Clocker，一个开源项目，它使用户能够以云无关的方式启动Docker容器，而不必生成额外的容器。该项目是建立在Apache Brooklyn（一款多重云应用）管理软件之上的。

本文为您介绍了网易公司基于 OpenStack 开发的一套云计算管理平台，以及在开发、运营、维护过程中遇到的问题和经验分享。网易作为大型互联网公司，IT 基础架构需要支撑包括生产、开发、测试、管...