Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不可靠的表现。如下图所示,便是hadoop1.0的架构图
在hadoop2中新的NameNode不再是只有一个,可以有多个(目前只支持2个)。每一个都有相同的职能。 一个是active状态的,一个是standby状态的。当集群运行时,只有active状态的NameNode是正常工作的,standby状态的 NameNode是处于待命状态的,时刻同步active状态NameNode的数据。一旦active状态的NameNode不能工作,通过手工或者自 动切换,standby状态的NameNode就可以转变为active状态的,就可以继续工作了。这就是高可靠。 在这里,2个NameNode的数据其实是实时共享的。
Storm是什么? Storm是Twitter开源的一个分布式的实时计算系统 使用场景: 数据的实时分析,持续计算,分布式RPC等等.
flume集群搭建:flume其实没有集群概念,每个flume都是一个独立的个体,每个flume agent收集数据汇总到flume collector,...
kafka集群搭建:版本和集群环境 kafka版本:2.11 集群环境:两台虚拟机(我这里是一台当producer,一台当consumer) 官网...
机器规格CPU:2个四核2~2.5GHzCPU内存:8~16GBECCRAM(非ECC会产生校验和错误)存储器:4*1TSATA硬盘(硬盘大小一般是数据量的3—5倍)网络:千兆以太网PS:namenode一般采用64位硬件,避免32位机java堆3g限制具体规格情况跟数据量有关。
Zookeeper集群搭建
Rabbitmq集群的搭建
Mongodb集群搭建。Mongodb一共有三种集群搭建的方式:ReplicaSet(副本集)Sharding(切片)Master-Slaver(主从)ReplicaSet和Sharding整合搭建ReplicaSet(副本集)Mongodb(M)表示主节点,Mongodb(S)表示备节点,Mongodb(A)表示仲裁节点。主备节点存储数据,仲裁节点不存储数据。
Storm集群的搭建:在Ubuntu 14.04下搭建Storm集群环境 Step 1. 下载所需的软件包: 1). JDK: http://www.oracle.com/tec...
HBase集群搭建
storm集群搭建:集群环境:每台机器的操作系统,配置都要一样的,避免一些不必要的麻烦, 所需工具软件:python,zookeepe...
Apache Nutch是一个用于网络搜索的开源框架,它提供了我们运行自己的搜索引擎所需的全部工具,包括全文搜索和Web爬虫。
hadoop和spark集群的搭建,主要用到了hadoop2.5.2、spark1.2.0、scala2.11.4
solrcloud&zookeeper集群搭建
Redis 是比较著名的nosql 了,可以拿来当数据用也可以当缓存用,由于他支持的数据类型比memcache多,当缓存也不错,既然牵扯到缓存,大数据的情况下需要做集群处理,目前 redis也支持,不过还没有发布release版本(目前稳定版最高是2.8.19),Redis 集群目前处于Alpha测试阶段 ,所以想要用他的集群版本的,需要自己编译处理下了,linux下的编译比较简单,windows下的比较繁琐,在此做个简单描述。
Tomcat+Nginx搭建集群
环境:Win7系统装虚拟机虚拟机VMware-workstation-full-9.0.0-812388.exeLinux系统Ubuntu12.0.4JDKjdk-7u17-linux-i586.tar.gz搭建步骤:首先在win系统装虚拟机,执行VMware-workstation-full-9.0.0-812388.exe;其次需要在虚拟机上装Ubuntu12.0.4;安装完成Ubuntu12.0.4之后,需要安装JDK,(注意:安装JDK需要处理一些其他问题,JDK必须是Linux版本的,还有就是JDK要和操作系统的位数相符合,比如32位、64位都有对应的安装包):JDk的安装路径
Hadoop集群搭建文档
Redis集群搭建与应用