hadoop环境搭建总结：最近一段时间在看Hadoop The Definitive Guide, 3rd Edition.pdf，学习hadoop，个人想不能总看书，不实践...

使用solrcloud有几点需要注意的： 索引数据量比较大；配置是统一的（zookeeper会保持配置信息的一致性） 如果索引数据量不大，并且需求变动比较多，field要经常变动的可以考虑用multicore的模式。

HA-JDBC是一个JDBC驱动代理(proxy).它让其它JDBC驱动具备轻量的、透明化的群集处理能力.

用Hadoop搭建分布式存储和分布式运算集群用Hadoop搭建分布式存储和分布式运算集群1.列出使用的机器普通PC，要求：cpu:750M-1Gmem:>128Mdisk:>10G不需要太昂贵的机器。

本手册包括大数据集群环境搭建的全部环境步骤说明，例如环境准备（操作系统、JAVA环境等）、Hadoop、Spark、NoSQL数据库等。

本文目的: 即使之前未触过nagios,也能按照文中步骤搭建自己的nagios监控集群. Nagios是一个可运行在Linux/Unix平台之上的开源监视系统，可以用来监视系统运行状态和网络信息。Nagios可以监视所指定的本地或远程主机以及服务，同时提供异常通知功能。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员，在状态恢复后发出正常的邮件或短信通知。

Apache Hive 优缺点 优点： （1）Hive 使用类SQL 查询语法, 最大限度的实现了和SQL标准的兼容，大大降低了传统数据分析人员学习的曲线； （2）使用JDBC 接口/ODBC接口，开发人员更易开发应用； （3）以MR 作为计算引擎、HDFS 作为存储系统，为超大数据集设计的计算/ 扩展能力； （4）统一的元数据管理（Derby、MySql等），并可与Pig 、Presto 等共享； 缺点： （1）Hive 的HQL 表达的能力有限，有些复杂运算用HQL 不易表达； （2）由于Hive自动生成MapReduce 作业， HQL 调优困难； （3）粒度较粗，可控性差； （4）hive不支持对某个具体行的操作，hive对数据的操作只支持覆盖原数据和追加数据，也不支持事务。

redis3.0版本之后支持Cluster，具体介绍redis集群我就不多说，了解请看 redis中文简介 。

标签： Cloudera-Manager CDH Hadoop 部署 集群 摘要：管理、部署Hadoop集群需要工具，Cloudera Manager便是其一。本文先是简要对比了当前的类似工具，而后详细记录了以离线方式部署CDH集群>的步骤。

本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。

搭建Nginx + Memcached + Tomcat 集群记录

solr-集群安装搭建-入门：0，下载安装源码，solr的官网是 ：http://lucene.apache.org/solr/      1，解压出 源码中的安装脚本...

Redis 也用了一段时间了，记录一下相关集群搭建及配置详解，方便后续使用查阅。

创建一个RedisCluster之前，我们需要有一些以cluster模式运行的Redis实例，这是因为cluster模式下Redis实例将会开启cluster的特征和命令。

Golang环境搭建;Codis下载和编译;zookeeper集群;codis服务集群

Redis3集群搭建

Pacemaker+Corosync搭建PostgreSQL集群

MySQL安装配置 5.1卸载通过yum安装的MySQL yum remove mysql mysql-server mysql-libs compat-mysql51 rm -rf /var/lib/mysql rm /etc/my.cnf rpm -qa|grep mysql ----查看是否还有mysql软件，有的话继续删除 5.2卸载通过rpm安装的MySQL rpm -qa | grep mysql ------ 查找以安装的MySQL

本文以安装和使用hadoop-0.20.2为例。 PasswordAuthenticationnoAuthorizedKeysFile.ssh/authorized_keys三台机器都要如上配置！下面可以通过SSH命令试试是否可以无密码登陆。最好先重新启动下命令：[root@hadoop1root]$servicesshdrestart[root@hadoop1root]$sshhadoop2如果可以无密码登陆，即成功！JDK安装本集群安装jdk1.6.0_24版本,直接放置在root下。以下的配置三台电脑均相同。通过windows中的SSHsecureshell软件将jdk-6u24-linux-rpm.bin安装包传送到三台机器。通过授权、安装命令安装jdk[root@hadoop1root]$chmod+xjdk-6u24-linux-rpm.bin[root@hadoop1root]$./jdk-6u24-linux-rpm.bin等待一段时间，提示回车的时候，按下回车，一会自动打开jdk的网页介绍。3.配置jdk文件，在/etc/profile中配置环境变量如下：exportJAVA_HOME=”/usr/java/jdk1.6.0_24”exportPATH=”$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:”exportCLASSPATH=”$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib”exportHADOOP_HOME=”/root/hadoop-0.20.2”//提前配置好省的麻烦。。。4.测试。建立个test.ja

引言随着云计算技术的飞速发展，越来越多的数据密集型企业相继出现．面临着这些海量的数据信息，包括结构化信息、半结构化信息及其非结构化信息，如何存储并对这些信息进行处理将是这些企业面临的巨大挑战．Hadoop是一个基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个（Hadoop Distributed FileSystem），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。