Hadoop的搭建

1. 是否写WAL日志，对于Hbase的批量入库性能有较大影响。是否采用需要多方面的权衡。<br> 2. 顺序访问时，所费时间是毫秒级。<br> 3. 很显然，并发数越少，访问所费时间越长。并发数为5时，所费时间不超过2秒。<br> 4. 用SingleColumnValueFilter等Filter方式进行过滤查询，效率低，海量数据下难以达到一般业务需求。测试1000万以上数据，查询一个号码（如：13621217968）的匹配，需要110122 milseconds+。

Node的单个实例运行在单个的线程中，要充分利用多核系统，我们可以运行Node进程集群来处理负载。 也就是说，如果系统有8核，单个Node实例只能使用其中1核，可以利用cluster包的workers概念来充分利用所有的核。有趣的是，它们可以共享同一个端口。

GlusterFS 是一个集群的文件系统，支持 PB 级的数据量。GlusterFS 通过 RDMA 和 TCP/IP 方式将分布到不同服务器上的存储空间汇集成一个大的网络并行文件系统。

Bigdesk 是 ElasticSearch 的一个集群监控工具，可生成 ElasticSearch 集群的即时图表和统计信息。可以通过它来查看es集群的各种状态，如：cpu、内存使用情况，索引数据、搜索情况，http连接数等。

Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法

本方案的目的是搭建一个高可用，高可伸缩的中心认证服务。环境是CAS服务器是可任意扩展的，任意一个CAS服务节点均是等效的，CAS服务器的状态信息是集中存储的；CAS服务的客户端应用也是集群的环境，客户端应用服务器也是可任意扩展的，客户端应用的session状态信息是集中存储的，任意两个应用服务节点都是等效的；CAS服务器和客户端应用的状态信息集中存储在缓存服务器Memcached上。

zookeeper集群安装与配置

当hbase集群节点不够用时，我们需要新增节点来对集群进行扩展，hbase集群的扩展是很简单的，步骤如下： 一、准备一台新机器作为扩展节点，这里是作为slaves15，该机子要先与master机之间配置好ssh，并配置好hadoop，扩展到hbase所在的hadoop集群上（ssh配置这里不介绍了，hadoop集群扩展，见我的博客《hadoop集群扩展》）。

使用Docker swarm、Consul、shipyard、Registrator快速搭建Docker集群

Mesos是一个集群管理器提供了高效的资源隔离和共享在分布式应用程序和框架中。它可以运行Hadoop、 MPI、Hypertable、Spark（一个新框架用于低延迟交互和工作迭代）等。Mesos是Apache孵化器中的一个开源项目。它使用ZooKeeper实现容错复制、使用Linux Containers来隔离任务。支持多种资源计划分配（内存和CPU）。提供Java、Python和C++ API

在机器上面装了一个vmWare 虚拟软件，用虚拟软件，虚拟 了一个 linux CentOs  系统， 在windows Xp  下面 ，作 adm service ，linux CentOS 作 node Service  ，在windows操作界面下面，建立weblogic群集环境 ， 刚开始很顺利 但是在 启动集群节点的时候，报 Could not create a socket to th

本文中以两个节点、一个存储为例，本文中所有相关的机器IP均以图中为例。下图将说明连接方式。其中存储器需要有两块硬盘，一块存储操作系统，另一块存储oracle数据库文件（需大容量存储，除这一块硬盘外，其余节点硬盘仅需40-60G即可）。

Ambari部署hadoop集群

JBOSS的HTTP cluster实现了两项任务：会话状态复制（Session state replication）与负载平衡（Load-balance of incoming invocations）。 会话状态复制用来复制集群中不同节点上客户端的连接状态，以实现当集群中的某一节点发生故障时，集群中的其它节点能够接管连接到故障节点的客户端请求，接管过程对客户端透明，客户端并不知道是否发生了服务提供者的转移。会话状态复制由JBOSS本身进行控制，当JBOSS以all的配置方式运行时，默认已经启动了会话状态复制。

一般来讲，集群软件根据侧重的方向和试图解决的问题，分为三大类：高性能集群（High performance cluster，HPC）、负载均衡集群（Load balance cluster， LBC），高可用性集群（High availability cluster，HAC）。 按照集群工作的层面，可分为：数据库服务器集群，应用服务器集群，交换机集群等 按照集群的架构，可分为：共享磁盘型，非共享磁盘型。 按照集群粒度不同：基于IO；基于操作系统；基于数据库实例的；基于每个数据库的等。

简易的Redis Sentinel集群UI

Elasticsearch集群的备份与恢复