本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。 （1） 默认情况下，各个节点的负载不均衡（任务数目不同），有...

对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过...

Bigtop 是一个工程的系统开发包，对Apache Hadoop生态系统的测试。 Bigtop的主要目标就是构建一个Apache Hadoop生态系统的包和交互式测试的社区。这个包括对各类...

Skylable SX 是一个用来满足你数据存储需求的可靠的、强大的完全分布式的解决方案。可聚合来自多台服务器上的可用磁盘空间到一个单一的存储系统。集群本身确保你的数据是通过多个节点复制和同步的...

新版本日志系统预计存储在TB级别，并且需要统计分析一些数据（离线统计，非即时），所以选择廉价linux服务器搭建一个hadoop集群，1个namenode，1个resourcemanager(m...

这是一本小书而不是一篇文章，因为它详实细致的让你从一个完全不了解大数据技术及相关应用的门外汉，变成一个熟知其概念和意义的“内行人”，

在应用中使用zookeeper大多数情况都是使用zookeeper提供的客户端，然后我们在生产环境还需要部署zookeeper的服务端，本文写了一个启动类，用于在程序中启动zookeeper服务。

Sirius 是一个来自 Comcast 的开源的分布式系统库，为你的应用程序提供方便、低延迟的访问呢重要的参考数据，这些数据的特点是小、相对很少更新的只读数据集。由于目前的内存资源成本越来越低...

Hadoop中关于文件操作类基本上全部是在＂org.apache.hadoop.fs＂包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。

Dubbo是阿里巴巴内部的SOA服务化治理方案的核心框架，每天为2000+ 个服务提供3,000,000,000+ 次访问量支持，并被广泛应用于阿里巴巴集团的各成员站点。Dubbo自2011年开...

在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在单点故障（single point of failure），每一个集群中存在一个NameNode，如果NN所在的机器出现...

Storm是什么? Storm是Twitter开源的一个分布式的实时计算系统 使用场景: 数据的实时分析,持续计算,分布式RPC等等.

大数据时代，研究大数据的IT 厂商把研究重心放在优化大数据系统软件架构、优化业务逻辑、优化数据分析算法、优化节点性能等方向，而忽略了大数据环境基础设置中网络环节的评估和优化。

因为spark文档中只介绍了两种用脚本提交到yarn的例子，并没有介绍如何通过程序提交yarn，但是我们的需求需要这样。网上很难找到例子，经过几天摸索，终于用程序提交到yarn成功，下面总结一下。

hadoop一个用 于在普通硬件构成 的大集群上运行应用程序的框架。Hadoop框架透明地为应用程序提供可靠性与数据移动保障。Hadoop实现了一个被称为 mapReduce的 计算模型，在这个...

hadoop2.0集群搭建详解

Spark的核心概念是RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。

Storm所说的Realtime，个人理解不是强调批量数据处理的快速和随机性，而更多的是强调对实时数据流的连续处理（Stream），相对的概念是HadoopMapReduce框架的Batch处理...

White Elephant 是一个 Hadoop 的日志聚合器和操作面板，可对 Hadoop 集群进行可视化监控。目前还不支持 Hadoop 2.0 版本。

Hadoop是 apache 的开源 项目，开发的主要目的是为了构建可靠，可拓展 scalable ，分布式的系 统， hadoop 是一系列的子工程的 总和