10分钟搭建Hadoop集群

Hadoop1.0.4集群安装

看过很多Hadoop介绍或者是学习的帖子和文章，发现介绍Hadoop I/O系统的很少。很多文章都会介绍HDFS的架构和使用，还有MapReduce编程等等。尤其是在介绍Hadoop的MapRe...

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统...

为了完成计算机综合实验的考核，折腾了三天，终于完成了在Hadoop集群上完成了Mapreduce的实验。但是，后面的考试接踵而至，也就没能及时写下心得，考试结束了。赶紧把过程中的步骤和遇到的困难...

Hadoopy是Hadoop Streaming的一个Python封装，采用Cython开发。它简单，快速，并且易于被修改。它已经在超过700个节点的集群中测试过了。

MongoDB 本身可以做一些简单的统计工作，包括其内置的基于 Javascript 的 MapReduce 框架，也包括在MongoDB 2.2版本中引入的新的统计框架。除此之外，MongoD...

Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、...

Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，前不久被提升为高层次的Hadoop子项目。

Corona，这是 Facebook 用来调度和管理大规模 Hadoop 作业的系统。 Corona 是 Map-Reduce 的改进版本，可以更好地利用集群资源，更适合 Facebook...

Cloudera 发布实时查询开源项目 Impala (黑斑羚)！多款产品实测表明，比原来基于MapReduce的Hive SQL查询速度提升3～90倍。Impala是Google Dremel...

hadoop 里执行 MapReduce 任务的几种方式

hadoop要发到每个节点的配置文件，只有core-site.xml mapred-site.xml hdfs-site.xml

我们知道可以在本地节点向远程集群提交作业。为了实现远程作业的提交： 首先，要确保本地机器的用户名需要跟远程集群的用户名一致（在实验环境中，集群的用户名是hadoop，因此要在本地机器上创建一个h...

Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api，实现对多台计算机cpu，内存，硬盘的统一利用，从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并...

Hadoop是 apache 的开源 项目，开发的主要目的是为了构建可靠，可拓展 scalable ，分布式的系 统， hadoop 是一系列的子工程的 总和，其中包含

Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法

调用文件系统(FS)Shell命令应使用 bin/hadoop fs。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文...

在日常的使用过程中，可能经常需要将一个集群中hbase的数据迁移到或者拷贝到另外一个集群中，这时候，可能会出很多问题

摘要：本文将着重于讨论Hadoop集群的体系结构和方法，及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。