logstash+es+kibana+redis搭建

环境信息：

CentOS 6.5

redis 3.0.4

logstash

elasticsearch

kibana

服务端ip:192.168.0.65

客户端ip:192.168.0.66

关系结构图：

图片引用自：http://www.wklken.me/posts/2015/04/26/elk-for-nginx-log.html

安装redis

首先下载redis

wget http://download.redis.io/releases/redis-3.0.4.tar.gz

下载之后解压，编译安装

tar -zvxf redis-3.0.4.tar.gz

make

make install

然后启动redis

redis-server redis.conf &

添加&符号表示后台启动

安装logstash

服务器端

首先安装java环境这里使用比较简单的方法

yum install jdk –y

如果你手动安装的话建议安装java1.8

下载logstash

wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

下载之后解压

tar –zxvf logstash-1.5.4.tar.gz

然后到logstash目录下，创建config目录并创建一个logstash_server.conf文件，创建logs目录存放日志并创建logstash.log文件

编辑文件

vim logstash_server.conf

将一下内容写入到logstash_server.conf中

input {
        redis {
                host => "127.0.0.1"           #本地的reds地址
                port => 6379                      #redis端口
                type => "redis-input"           #输入类型
                data_type => "list"               #使用redis的list存储数据
                key => "key_count"
        }
}

output {
        stdout {}
        elasticsearch {
                host => "127.0.0.1"               #elasticsearch地址
                cluster => "elasticsearch"
                codec => "json"
                protocol => "http"                  #elasticsearch使用的协议
        }
}

配置完成后启动logstash

bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &

数据采集端

数据采集端的安装步骤与服务器端的安装步骤相同

只是在配置文件有所不同

在数据采集端创建logstash_client.conf

数据采集端的conf文件配置为：

input {
	file {
		type => "type_count"

                 #日志所在的目录

   	        path => "/data/logs/count/stdout.log", "/data/logs/count/stderr.log"]
		exclude => ["*.gz", "access.log"]   #排除一些不想加入的日志
	}   
}

output {
	stdout {}
	redis {
		host => "192.168.0.65"
		port => 6379
		data_type => "list"         #数据类型也要保持一致
		key => "key_count"          #key 要与服务器端的相同 
	}   
}

配置完成后启动logstash

bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &