ELK 日志分析系统

字数 3071阅读 721

本期简说提高软件产品质量有三个方面需要把握(本篇文章谈ELK的使用):

一、持续集成

二、自动化

三、ELK日志分析

当然,持续集成与自动化总是一起的,而ELK可以搜集所有日志,特别是对错误日志的分析,可以从另一方面来分析产品的问题从而提高软件质量。话不多说,放口粮。

大纲:

一、简介

二、Logstash

三、Redis

四、Elasticsearch

五、Kinaba

一、简介

1、核心组成

ELK由Elasticsearch、Logstash和Kibana三部分组件组成;

Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用

kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

2、四大组件

Logstash: logstash server端用来搜集日志;

Elasticsearch: 存储各类日志;

Kibana: web化接口用作查寻和可视化日志;

Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server;

3、ELK工作流程

在需要收集日志的所有服务上部署logstash,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后的内容发送到Redis,然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch,可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。



4、ELK的帮助手册

ELK官网:https://www.elastic.co/

ELK官网文档:https://www.elastic.co/guide/index.html

ELK中文手册:http://kibana.logstash.es/content/elasticsearch/monitor/logging.html

注释

ELK有两种安装方式

(1)集成环境:Logstash有一个集成包,里面包括了其全套的三个组件;也就是安装一个集成包。

(2)独立环境:三个组件分别单独安装、运行、各司其职。(比较常用)

本实验也以第二种方式独立环境来进行演示;单机版主机地址为:192.168.1.104

二、Logstash

1、安装jdk

Logstash的运行依赖于Java运行环境。

# yum -y install java-1.8.0

# java -version

openjdk version"1.8.0_51"

OpenJDK Runtime Environment (build 1.8.0_51-b16)

OpenJDK 64-Bit Server VM (build 25.51-b03, mixed mode)


2、安装logstash

# wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

# tar zxf logstash-1.5.4.tar.gz -C /usr/local/

配置logstash的环境变量

# echo "export PATH=\$PATH:/usr/local/logstash-1.5.4/bin" > /etc/profile.d/logstash.sh

# . /etc/profile

3、logstash常用参数

-e :指定logstash的配置信息,可以用于快速测试;

-f :指定logstash的配置文件;可以用于生产环境;

4、启动logstash

4.1 通过-e参数指定logstash的配置信息,用于快速测试,直接输出到屏幕。

# logstash -e "input {stdin{}} output {stdout{}}"

my name is zhengyansheng.//手动输入后回车,等待10秒后会有返回结果

Logstash startup completed

2015-10-08T13:55:50.660Z 0.0.0.0 my name is zhengyansheng.

这种输出是直接原封不动的返回...

4.2 通过-e参数指定logstash的配置信息,用于快速测试,以json格式输出到屏幕。

# logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

my name is zhengyansheng.//手动输入后回车,等待10秒后会有返回结果

Logstash startup completed

{

"message"=>"my name is zhengyansheng.",

"@version"=>"1",

"@timestamp"=>"2015-10-08T13:57:31.851Z",

"host"=>"0.0.0.0"

}

这种输出是以json格式的返回...

5、logstash以配置文件方式启动

5.1 输出信息到屏幕

# vim logstash-simple.conf

input { stdin {} }

output {

stdout { codec=> rubydebug }

}

# logstash -f logstash-simple.conf    //普通方式启动

Logstash startup completed

# logstash agent -f logstash-simple.conf --verbose //开启debug模式

Pipeline started {:level=>:info}

Logstash startup completed

hello world.//手动输入hello world.

{

"message"=>"hello world.",

"@version"=>"1",

"@timestamp"=>"2015-10-08T14:01:43.724Z",

"host"=>"0.0.0.0"

}

效果同命令行配置参数一样...

5.2 logstash输出信息存储到redis数据库中

刚才我们是将信息直接显示在屏幕上了,现在我们将logstash的输出信息保存到redis数据库中,如下

前提是本地(192.168.1.104)有redis数据库,那么下一步我们就是安装redis数据库.

# cat logstash_to_redis.conf

input { stdin { } }

output {

stdout { codec => rubydebug }

redis {

host =>'192.168.1.104'

data_type =>'list'

key =>'logstash:redis'

}

}

如果提示Failed to send event to Redis,表示连接Redis失败或者没有安装,请检查...

6、 查看logstash的监听端口号

# logstash agent -f logstash_to_redis.conf --verbose

# netstat -tnlp |grep java

tcp        0      0 :::9301                     :::*                        LISTEN      1326/java

三、Redis

1、安装Redis

wget http://download.redis.io/releases/redis-2.8.19.tar.gz

yuminstalltcl -y

tarzxf redis-2.8.19.tar.gz

cdredis-2.8.19

makeMALLOC=libc

maketest//这一步时间会稍久点...

makeinstall

cdutils/

./install_server.sh//脚本执行后,所有选项都以默认参数为准即可

Welcome to the redis service installer

This script will help you easilysetup a running redis server

Pleaseselectthe redis portforthis instance: [6379]

Selecting default: 6379

Pleaseselectthe redis configfilename [/etc/redis/6379.conf]

Selected default -/etc/redis/6379.conf

Pleaseselectthe redis logfilename [/var/log/redis_6379.log]

Selected default -/var/log/redis_6379.log

Pleaseselectthe data directoryforthis instance [/var/lib/redis/6379]

Selected default -/var/lib/redis/6379

Pleaseselectthe redis executable path [/usr/local/bin/redis-server]

Selected config:

Port           : 6379

Configfile:/etc/redis/6379.conf

Logfile:/var/log/redis_6379.log

Datadir:/var/lib/redis/6379

Executable     :/usr/local/bin/redis-server

Cli Executable :/usr/local/bin/redis-cli

Is this ok? Then press ENTER to go on or Ctrl-C to abort.

Copied/tmp/6379.conf =>/etc/init.d/redis_6379

Installing service...

Successfully added to chkconfig!

Successfully added to runlevels 345!

Starting Redis server...

Installation successful!

2、查看redis的监控端口

# netstat -tnlp |grep redis

tcp        0      0 0.0.0.0:6379                0.0.0.0:*                   LISTEN      3843/redis-server*

tcp        0      0 127.0.0.1:21365             0.0.0.0:*                   LISTEN      2290/src/redis-serv

tcp        0      0 :::6379                     :::*                        LISTEN      3843/redis-server*

3、测试redis是否正常工作

# cd redis-2.8.19/src/

# ./redis-cli -h 192.168.1.104 -p 6379 //连接redis

192.168.1.104:6379>ping

PONG

192.168.1.104:6379>setname zhengyansheng

OK

192.168.1.104:6379> get name

"zhengyansheng"

192.168.1.104:6379> quit

4、redis服务启动命令

# ps -ef |grep redis

root      3963     1  0 08:42 ?        00:00:00/usr/local/bin/redis-server*:6379

5、redis的动态监控

# cd redis-2.8.19/src/

# ./redis-cli monitor     //reids动态监控

6、logstash结合redis工作

6.1 首先确认redis服务是启动的

# netstat -tnlp |grep redis

tcp        0      0 0.0.0.0:6379                0.0.0.0:*                   LISTEN      3843/redis-server*

tcp        0      0 127.0.0.1:21365             0.0.0.0:*                   LISTEN      2290/src/redis-serv

tcp        0      0 :::6379                     :::*                        LISTEN      3843/redis-server*

6.2 启动redis动态监控

# cd redis-2.8.19/src/

# ./redis-cli monitor

OK

6.3 基于入口redis启动logstash

# cat logstash_to_redis.conf

input { stdin { } }

output {

stdout { codec => rubydebug }

redis {

host =>'192.168.1.104'

data_type =>'list'

key =>'logstash:redis'

}

}

# logstash agent -f logstash_to_redis.conf --verbose

Pipeline started {:level=>:info}

Logstash startup completed

dajihao linux

{

"message"=>"dajihao linux",

"@version"=>"1",

"@timestamp"=>"2015-10-08T14:42:07.550Z",

"host"=>"0.0.0.0"

}

6.4 查看redis的监控接口上的输出

# ./redis-cli monitor

OK

1444315328.103928 [0 192.168.1.104:56211]"rpush""logstash:redis""{\"message\":\"dajihao linux\",\"@version\":\"1\",\"@timestamp\":\"2015-10-08T14:42:07.550Z\",\"host\":\"0.0.0.0\"}"

如果redis的监控上也有以上信息输出,表明logstash和redis的结合是正常的。

四、Elasticsearch

1、安装Elasticsearch

# wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz

# tar zxf elasticsearch-1.7.2.tar.gz -C /usr/local/

2、修改elasticsearch配置文件elasticsearch.yml并且做以下修改.

# vim /usr/local/elasticsearch-1.7.2/config/elasticsearch.yml

discovery.zen.ping.multicast.enabled:false#关闭广播,如果局域网有机器开9300 端口,服务会启动不了

network.host: 192.168.1.104#指定主机地址,其实是可选的,但是最好指定因为后面跟kibana集成的时候会报http连接出错(直观体现好像是监听了:::9200 而不是0.0.0.0:9200)

http.cors.allow-origin:"/.*/"

http.cors.enabled:true#这2项都是解决跟kibana集成的问题,错误体现是 你的 elasticsearch 版本过低,其实不是

3、启动elasticsearch服务

# /usr/local/elasticsearch-1.7.2/bin/elasticsearch     #日志会输出到stdout

# /usr/local/elasticsearch-1.7.2/bin/elasticsearch -d #表示以daemon的方式启动

# nohup /usr/local/elasticsearch-1.7.2/bin/elasticsearch > /var/log/logstash.log 2>&1 &

4、查看elasticsearch的监听端口

# netstat -tnlp |grep java

tcp        0      0 :::9200                     :::*                        LISTEN      7407/java

tcp        0      0 :::9300                     :::*                        LISTEN      7407/java

5、elasticsearch和logstash结合

将logstash的信息输出到elasticsearch中

# cat logstash-elasticsearch.conf

input { stdin {} }

output {

elasticsearch { host =>"192.168.1.104"}

stdout { codec=> rubydebug }

}

6、基于配置文件启动logstash

# /usr/local/logstash-1.5.4/bin/logstash agent -f logstash-elasticsearch.conf

Pipeline started {:level=>:info}

Logstash startup completed

python linux java c++//手动输入

{

"message"=>"python linux java c++",

"@version"=>"1",

"@timestamp"=>"2015-10-08T14:51:56.899Z",

"host"=>"0.0.0.0"

}

7、curl命令发送请求来查看elasticsearch是否接收到了数据

# curl http://localhost:9200/_search?pretty

{

"took": 28,

"timed_out":false,

"_shards": {

"total": 5,

"successful": 5,

"failed": 0

},

"hits": {

"total": 1,

"max_score": 1.0,

"hits": [ {

"_index":"logstash-2015.10.08",

"_type":"logs",

"_id":"AVBH7-6MOwimSJSPcXjb",

"_score": 1.0,

"_source":{"message":"python linux java c++","@version":"1","@timestamp":"2015-10-08T14:51:56.899Z","host":"0.0.0.0"}

} ]

}

}

8、安装elasticsearch插件

#Elasticsearch-kopf插件可以查询Elasticsearch中的数据,安装elasticsearch-kopf,只要在你安装Elasticsearch的目录中执行以下命令即可:

# cd /usr/local/elasticsearch-1.7.2/bin/

# ./plugin install lmenezes/elasticsearch-kopf

-> Installing lmenezes/elasticsearch-kopf...

Trying https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip...

Downloading .............................................................................................

Installed lmenezes/elasticsearch-kopfinto/usr/local/elasticsearch-1.7.2/plugins/kopf

执行插件安装后会提示失败,很有可能是网络等情况...

-> Installing lmenezes/elasticsearch-kopf...

Trying https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip...

Failed toinstalllmenezes/elasticsearch-kopf, reason: failed to download out of all possible locations..., use --verbose to get detailed information

解决办法就是手动下载该软件,不通过插件安装命令...

cd/usr/local/elasticsearch-1.7.2/plugins

wget https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip

unzip master.zip

mvelasticsearch-kopf-master kopf

以上操作就完全等价于插件的安装命令

9、浏览器访问kopf页面访问elasticsearch保存的数据

# netstat -tnlp |grep java

tcp        0      0 :::9200                     :::*                        LISTEN      7969/java

tcp        0      0 :::9300                     :::*                        LISTEN      7969/java

tcp        0      0 :::9301                     :::*                        LISTEN      8015/java



10、从redis数据库中读取然后输出到elasticsearch中

# cat logstash-redis.conf

input {

redis {

host =>'192.168.1.104'# 我方便测试没有指定password,最好指定password

data_type =>'list'

port =>"6379"

key =>'logstash:redis'#自定义

type=>'redis-input'#自定义

}

}

output {

elasticsearch {

host =>"192.168.1.104"

codec =>"json"

protocol =>"http"#版本1.0+ 必须指定协议http

}

}

五、Kinaba

1、安装Kinaba

# wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

# tar zxf kibana-4.1.2-linux-x64.tar.gz -C /usr/local

2、修改kinaba配置文件kinaba.yml

# vim /usr/local/kibana-4.1.2-linux-x64/config/kibana.yml

elasticsearch_url:"http://192.168.1.104:9200"

3、启动kinaba

/usr/local/kibana-4.1.2-linux-x64/bin/kibana

输出以下信息,表明kinaba成功.

{"name":"Kibana","hostname":"localhost.localdomain","pid":1943,"level":30,"msg":"No existing kibana index found","time":"2015-10-08T00:39:21.617Z","v":0}

{"name":"Kibana","hostname":"localhost.localdomain","pid":1943,"level":30,"msg":"Listening on 0.0.0.0:5601","time":"2015-10-08T00:39:21.637Z","v":0}

kinaba默认监听在本地的5601端口上

4、浏览器访问kinaba

4.1 使用默认的logstash-*的索引名称,并且是基于时间的,点击“Create”即可。



4.2 看到如下界面说明索引创建完成。



4.3 点击“Discover”,可以搜索和浏览Elasticsearch中的数据。



>>>结束<<<

1、ELK默认端口号

elasticsearch:9200 9300

logstash     : 9301

kinaba       : 5601

2、错误汇总

(1)java版本过低

[2015-10-07 18:39:18.071]  WARN -- Concurrent: [DEPRECATED] Java 7 is deprecated, please use Java 8.

(2)Kibana提示Elasticsearch版本过低...

This version of Kibana requires Elasticsearch 2.0.0 or higher on all nodes. I found the following incompatible nodesinyour cluster:

Elasticsearch v1.7.2 @ inet[/192.168.1.104:9200] (127.0.0.1)

解决办法:

软件包以打包上传:http://pan.baidu.com/s/1hqfeFvY

因为转发过来的排版问题导致部分代码结构不美观易读,您可以通过下面链接查看原文~

声明:本文出自 “郑彦生” 博客,http://467754239.blog.51cto.com/4878013/1700828

推荐阅读更多精彩内容