海量可视化日志分析平台之ELK搭建

ELK是什么?

E=ElasticSearch ,一款基于的Lucene的分布式搜索引擎,我们熟悉的github,就是由ElastiSearch提供的搜索,据传已经有10TB+的数据量。

L=LogStash , 一款分布式日志收集系统,支持多输入源,并内置一些过滤操作,支持多输入元

K=Kibana , 一款配合ElasticSearch的web可视化界面,内置非常各种查询,聚合操作,并拥有漂亮的图形化展示功能

为什么要用ELK?

在实际应用中,我们的日志是非常重要的,它通常会记录一些比较重要的信息,如应用程序的log记录的error,warn级别的log,通常在量小的情况下,我们可以直接vi+awk+sed+grep定位原因,在量大的时候,这种方式就捉襟见肘了,而且我们还要各种聚合,或者基于异常多个关键词的搜索,并有且,或,交,并,差,补,排序等一些操作,而且相应速度必须给力,如果线上环境出了故障,能够立刻准确定位,ELK就是高手,在百万大军中取上将首级,犹如探囊取物,所以这时候ELK就非常适合了,当然除此之外,ELK也经常在运维工作中大放光彩,在应用级别的实时监控,非常适合一些重要核心服务的预警。

ELK如何安装搭建?

环境要求:

Linux系统:Centos7

海量可视化日志分析平台之ELK搭建

Java版本:JDK1.8

海量可视化日志分析平台之ELK搭建

ELK均为最新版本:

海量可视化日志分析平台之ELK搭建

(1)ElasticSearch1.7.2 基于Lucene4.10.4的版本

海量可视化日志分析平台之ELK搭建

(2)Logstash1.5.4

海量可视化日志分析平台之ELK搭建

(3)Kibana4.1.2

海量可视化日志分析平台之ELK搭建

集群拓扑:

ElasticSearch 3台机器:

集群名:search

机器名+es节点名 => ip地址

h1 => 192.168.1.120

h2 => 192.168.1.121

h3 => 192.168.1.122

Logstash 192.168.1.120

Kibana 192.168.1.120

下载:

elasticsearch: wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.3.tar.gz

logstash : wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

kibana : wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

一: 安装elasticsearch集群:

(1)解压到指定目录

(2)配置elasticsearch.yml里面,集群名字和节点名字,如果不配置默认集群名为elasticsearch,节点名随机生成一个

(3) 在线安装head和bigdisk插件

直接在elasticsearch的根目录下,分别输入:

bin/plugin --install mobz/elasticsearch-head 安装head

bin/plugin --install lukas-vlcek/bigdesk 安装bigdesk

(4)scp分发安装完毕后的elasticsearch

(5)依次启动各个机器上的elasticsearch

(6)head显示如下:

海量可视化日志分析平台之ELK搭建
海量可视化日志分析平台之ELK搭建

(7)bigdisk显示如下:

海量可视化日志分析平台之ELK搭建
海量可视化日志分析平台之ELK搭建

二:安装logstash

(1)解压到指定目录

(2)在根木下新建一个conf目录,在里面新建一个配置文件first.conf

海量可视化日志分析平台之ELK搭建

(3)启动logstash

执行命令: bin/logstash -f conf/first.conf

海量可视化日志分析平台之ELK搭建

三:安装kibana

(1)解压到指定目录

(2)在根目录执行bin/kibana直接启动

(3)访问http://192.168.1.120:5601/ 配置一个ElasticSearch索引

(4)在logstach里面添加数据

海量可视化日志分析平台之ELK搭建

(5)查看图表:刚新加的数据

海量可视化日志分析平台之ELK搭建

四: 至此,ELK组件已经安装完毕,带图形化界面的简单日志查询分析系统就搞定了

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,298评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,701评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,078评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,687评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,018评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,410评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,729评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,412评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,124评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,379评论 2 242
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,903评论 1 257
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,268评论 2 251
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,894评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,014评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,770评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,435评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,312评论 2 260

推荐阅读更多精彩内容