Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper) 经验

Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不可靠的表现。如下图所示,便是hadoop1.0的架构图

jopen 2015-07-14   292150   0

hadoop2.5.2HA高可靠性集群搭建(zookeeper3.4.6+hbase0.98.11) 经验

在hadoop2中新的NameNode不再是只有一个,可以有多个(目前只支持2个)。每一个都有相同的职能。 一个是active状态的,一个是standby状态的。当集群运行时,只有active状态的NameNode是正常工作的,standby状态的 NameNode是处于待命状态的,时刻同步active状态NameNode的数据。一旦active状态的NameNode不能工作,通过手工或者自 动切换,standby状态的NameNode就可以转变为active状态的,就可以继续工作了。这就是高可靠。 在这里,2个NameNode的数据其实是实时共享的。

xmnx 2015-03-23   22084   0

Storm集群搭建 经验

Storm是什么? Storm是Twitter开源的一个分布式的实时计算系统 使用场景: 数据的实时分析,持续计算,分布式RPC等等.

jopen 2014-04-17   44942   0

flume集群搭建 经验

flume集群搭建:flume其实没有集群概念,每个flume都是一个独立的个体,每个flume agent收集数据汇总到flume collector,...

jopen 2016-01-18   20912   0

kafka集群搭建 经验

kafka集群搭建:版本和集群环境 kafka版本:2.11 集群环境:两台虚拟机(我这里是一台当producer,一台当consumer) 官网...

MagaretBerg 2016-01-22   39252   0
P4

  Hadoop 集群搭建 文档

机器规格CPU:2个四核2~2.5GHzCPU内存:8~16GBECCRAM(非ECC会产生校验和错误)存储器:4*1TSATA硬盘(硬盘大小一般是数据量的3—5倍)网络:千兆以太网PS:namenode一般采用64位硬件,避免32位机java堆3g限制具体规格情况跟数据量有关。

serisboy12 2015-04-02   1475   0

Zookeeper集群搭建 经验

Zookeeper集群搭建

ymc4 2015-02-12   16440   0

Rabbitmq集群搭建 经验

Rabbitmq集群的搭建

jopen 2015-07-20   42628   0
P32

  Mongodb 集群搭建 文档

Mongodb集群搭建。Mongodb一共有三种集群搭建的方式:ReplicaSet(副本集)Sharding(切片)Master-Slaver(主从)ReplicaSet和Sharding整合搭建ReplicaSet(副本集)Mongodb(M)表示主节点,Mongodb(S)表示备节点,Mongodb(A)表示仲裁节点。主备节点存储数据,仲裁节点不存储数据。

sjlv5 2014-06-11   5292   0

Storm集群搭建 经验

Storm集群的搭建:在Ubuntu 14.04下搭建Storm集群环境 Step 1. 下载所需的软件包: 1). JDK: http://www.oracle.com/tec...

wangyifeiy 2016-02-06   9062   0

HBase集群搭建 经验

HBase集群搭建

fmms 2012-02-07   28700   0

storm集群搭建 经验

storm集群搭建:集群环境:每台机器的操作系统,配置都要一样的,避免一些不必要的麻烦, 所需工具软件:python,zookeepe...

jopen 2015-12-31   14469   0

Nutch+Hadoop集群搭建 经验

Apache Nutch是一个用于网络搜索的开源框架,它提供了我们运行自己的搜索引擎所需的全部工具,包括全文搜索和Web爬虫。

fmms 2012-02-07   169808   0

搭建hadoop/spark集群环境 经验

hadoop和spark集群的搭建,主要用到了hadoop2.5.2、spark1.2.0、scala2.11.4

jopen 2014-12-25   113517   0

solrcloud&zookeeper集群搭建 经验

solrcloud&zookeeper集群搭建

jopen 2013-08-07   38368   0

windows redis 集群搭建(一) 经验

Redis 是比较著名的nosql 了,可以拿来当数据用也可以当缓存用,由于他支持的数据类型比memcache多,当缓存也不错,既然牵扯到缓存,大数据的情况下需要做集群处理,目前 redis也支持,不过还没有发布release版本(目前稳定版最高是2.8.19),Redis 集群目前处于Alpha测试阶段 ,所以想要用他的集群版本的,需要自己编译处理下了,linux下的编译比较简单,windows下的比较繁琐,在此做个简单描述。

jopen 2014-12-31   76577   0

Tomcat+Nginx搭建集群 经验

Tomcat+Nginx搭建集群

jopen 2016-01-12   20430   0
P9

  Hadoop 集群搭建文档 文档

环境:Win7系统装虚拟机虚拟机VMware-workstation-full-9.0.0-812388.exeLinux系统Ubuntu12.0.4JDKjdk-7u17-linux-i586.tar.gz搭建步骤:首先在win系统装虚拟机,执行VMware-workstation-full-9.0.0-812388.exe;其次需要在虚拟机上装Ubuntu12.0.4;安装完成Ubuntu12.0.4之后,需要安装JDK,(注意:安装JDK需要处理一些其他问题,JDK必须是Linux版本的,还有就是JDK要和操作系统的位数相符合,比如32位、64位都有对应的安装包):JDk的安装路径

cbxw 2015-01-07   1752   0
P9

  Hadoop 集群搭建文档 文档

Hadoop集群搭建文档

774318955 2014-04-28   2885   0

Redis集群搭建与应用 经验

Redis集群搭建与应用

gaph7309 2016-01-28   8007   0
1 2 3 4 5 6 7 8 9 10