ELK数据分析实战：导入nginx日志到ELK进行分析

前言

这里以下面需求为例，描述如何使用ELK做数据分析
示例需求：从线上down下来的nginx日志文件要求分析，并出图表，找到慢且访问量大的接口
前置要去：需要读者基本了解Elasticsearch和Kibana

环境安装

首先需要安装Elasticsearch以及Logstash和Kibana。Elasticsearch相当于数据库，Kibana用于数据视图，Logstash主要作为转换、输入、过滤的一个工具。
软件的安装这里就不过多描述了。这里主要讲一下如何操作去导入nginx日志文件到ELK中分析。

nginx日志文件与Logstash配置

nginx日志文件格式

首先，nginx日志文件的配置如下，nginx日志文件什么格式都可以，以下只是用作示范

log_format main '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for" "$request_time" "$upstream_response_time"';

基本来说，这个nginx日志文件配置只比默认的多request_time和upstream_response_time。那么logstash如何配置呢。

logstash配置的基本结构

logstash的配置文件在config目录下xxx.config，基本格式如下,包含了输入、过滤、输出

input {
  
}
filter {
  
}
output {
 
}

logstash配置input

输入就是数据的来源，这里直接填些文件的路径，输入配置如下,这里的path后面跟的就是文件地址，start_position表示从头读取文件，sincedb_path是logstash用于记录数据的一个偏移量，传输到哪里了，比如传输一个文件，传送完了，就会在sincedb的文件写入位置，下一次再运行就不会重复传数据。这里的sincedb_path我们直接自己新建了一个sincedb文件，然后配置指向责怪文件。

input {
    file {
        # 读取文件的路径, 基于 glob 匹配语法
        path => "/down/nginx-2022-11-14.log"
        # beginning/end 是否从头读取文件, 默认从尾部读取
        start_position => "beginning"
        sincedb_path => "/down/logstash-8.1.0-windows-x86_64/logstash-8.1.0/data/sincedb"
    }
}

logstash配置filter

filter配置用于配置过滤，字段转化功能，是核心配置。这里我们使用自定义转换，使用grok表达式去把nginx的日志格式转化为Elasticsearch的数据。

grok表达式

grok表达式相当于一个正则，用于匹配原始数据的一行的格式，然后按表达式转换成key，value的一个数据。举个例子

//nginx 源日志
"GET /xxx/xxx?s=a HTTP/1.1" 200

//下面是对应的grok表达式
\"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code}

接下来我们来分析上面这个例子，首先nginx源日志"GET /xxx/xxx?s=a HTTP/1.1"这里开头和结尾有个冒号，这里就需要使用\"加个反斜杠来匹配，然后是GET,GET表示请求的method，后面有个空格，所以这个字段使用%{WORD:request_method}来匹配，到时候输入到es里面的就是request_method这个字段对应的数据。GET后面带个空格，所以grop后面也要加个空格，然后后面的字符是/xxx/xxx?s=a，表示一个路径加参数，这里使用%{DATA:uri}\?%{DATA:param}来匹配，中间的？号是需要加\转义的，把url切分成路径和参数。当然有些url是不带参数的，这里需要用%{DATA:uri}来匹配，同理，后面的HTTP/1.1" 200，就用HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code}来匹配了。
而对于上文说到的nginx格式和完整的grok表达式如下:

//nginx日志格式
log_format main '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for" "$request_time" "$upstream_response_time"';
//grok完整表达式
%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\" \"%{NUMBER:response_time:float}\"

一个一个字符去扣，基本就能明白如何使用grok表达式了。

grok表达式debug

grok表达式本身比较复杂，为了效率，debug功能就非常的必要了，可以节省很多排查配置的时间，grok的debug功能在kiabana有。首先在左边栏里点击这个dev tools,


image.png

然后在上边栏可以找到grok debugger,这里Sample Data为原始数据，Grok Pattern为待debug的grok表达式，填写好后，点击simulate，会在Structured Data处生成解析后的结果


image.png

我们以一条nginx数据为例，nginx数据如下

172.11.11.11 - - [08/Nov/2022:00:00:02 +0800] "GET /xxsdada/asdasd?a=123&b=123 HTTP/1.1" 200 1194 "https://xxxx.xxx.com/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36" "2804:30c:1854:d500:5926:3f37:456e:2176" "0.5" "0.5"

提交后如图所示，grok表达式把nginx的日志行数据转换成了结构化数据。这就代表grok表达式没有问题，如果出现错误的情况，直接调整grok表达式后重试


image.png

特殊情况

对于nginx日志，并不是每一行日志都有的，那么如何处理？
比如上面的日志request_time和upstream_response_time，可能在日志里没有，这时候nginx输出的日志是 “-” “-”，nginx这里使用了横杠-来表示空值，对于我们的配置%{NUMBER:response_time:float}，'-'是无法转换为NUMBER类型的，这里就会转换出错。这里就需要用到多个grok表达式了，logstash可以使用多个grok表达式来转换数据，默认是使用第一个，如果第一个过滤失败了，就会默认往后推。那我们只需要去除%{NUMBER:response_time:float}这段后生成第二个grok表达式，就能兼容上述的场景了。

filter配置grok表达式

对于单个表达式，配置方法如下

filter {
    grok {
        match => { 
        "message" => "xxxxxxxxxx//grok表达式"}
    }
    # 通过date插件，把nginx日志中的时间戳用作logstash的event时间戳
   date {
    match => [ "time_local", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

对于多个表达式，配置方法如下

filter {
    grok {
        match => { 
        "message" => ["xxxxxxxxxx//grok表达式1","xxxxxxxxxx//grok表达式2","xxxxxxxxxx//grok表达式3"}
    }
    # 通过date插件，把nginx日志中的时间戳用作logstash的event时间戳
   date {
    match => [ "time_local", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

上述nginx日志对应的filter完整配置

配置如下，仅作示范，也有一些情况可能没有兼容

filter {
    grok {
        match => { 
        "message" => 
        [
        "%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\" \"%{NUMBER:response_time:float}\"",
        "%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\"",
        "%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" ",
        "%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\" \"%{NUMBER:response_time:float}\"",
        "%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\"",
        "%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" ",
        "%{HTTPD_COMBINEDLOG}"
        ]}
    }
    # 通过date插件，把nginx日志中的时间戳用作logstash的event时间戳
  date {
    match => [ "time_local", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

logstash 的output配置

因为这里的数据要存在es中，所以这里直接把output配置es的端口

output {
    # 输出到 ES 中
    elasticsearch {
        hosts => ["127.0.0.1:9200","127.0.0.1:9300","127.0.0.1:9400"]
        index => "nginx-log-test"
    }
}

这里hosts后面就是es或者es集群的ip端口，index为要存入的索引（即数据库表名），这里无需手动创建索引，logstash会自动帮我们创建。

完整配置

至此，logstash的配置就完成了，合在一起如下，存入logstash.conf文件中

input {
    file {
        # 读取文件的路径, 基于 glob 匹配语法
        path => "/down/xxxxxx.log"
        # beginning/end 是否从头读取文件, 默认从尾部读取
        start_position => "beginning"
        sincedb_path => "/down/logstash-8.1.0-windows-x86_64/logstash-8.1.0/data/sincedb"
    }
}

filter {
    grok {
        match => { 
        "message" => 
        [
        "%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\" \"%{NUMBER:response_time:float}\"",
        "%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\"",
        "%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" ",
        "%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\" \"%{NUMBER:response_time:float}\"",
        "%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\"",
        "%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" ",
        "%{HTTPD_COMBINEDLOG}"
        ]}
    }
    # 通过date插件，把nginx日志中的时间戳用作logstash的event时间戳
  date {
    match => [ "time_local", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

output {
    # 输出到 ES 中, 自动按天创建索引
    elasticsearch {
        hosts => ["127.0.0.1:9200","127.0.0.1:9300","127.0.0.1:9400"]
        index => "nginx-local"
    }
}

logstash启动并收集文件到es

这里以我的安装目录为例首先先运行检查程序
\down\logstash-8.1.0-windows-x86_64\logstash-8.1.0\bin\logstash --config.test_and_exit -f \down\logstash-8.1.0-windows-x86_64\logstash-8.1.0\config\logstash.conf
如果配置ok，那么输出会提示配置ok
然后执行下面命令启动logstash，对于导入静态文件这种一次性的数据导入，启动完成导入数据后可以关闭logstash，节约资源。
\down\logstash-8.1.0-windows-x86_64\logstash-8.1.0\bin\logstash -f \down\logstash-8.1.0-windows-x86_64\logstash-8.1.0\config\logstash.conf

使用Kibana分析数据

基础配置

上传完数据后，可以在Management-Data-Index Management上看见刚上传的索引信息。然后在在Management-Kibana-Data Views上Create data view，名字使用刚才配置的索引名nginx-local。配置完成后，在侧边栏的Analytics-Discover就可以看见刚才导入的数据行，可以对数据进行搜索等操作了。


image.png

配置图标分析

侧边栏点击Analytics-Dashboard，然后点击Create dashboard,然后点击Create visualization,


image.png

然后左边数据视图就选刚才创建的nginx-local，时间可以选全部，然后图表类型按需要选择


image.png

水平轴Horizontal axis配置，这用uri作为水平轴Rank by先用默认的。然后点击X自动保存。


image.png

然后点击垂直轴Vertical axis，这里选用responseTime作纵轴，可以看到，这个聚合数据可以选择中位数，最大，最小，计数，和，最新值等聚合方式，我这里选择中位数，比较能体现。然后点X自动保存。


image.png

因为这里数据分析我们还想要知道一个路径具体的请求数是多少，所以我们再在纵轴加一个维度，这里直接统计数量，用count+record，然后轴选则放在右边


image.png

image.png

完成配置如下


image.png

可以看到url太长了没法完全显示，这时候我们可以调整图的类型


image.png

使用横向图并把请求数量的轴调到top，这样图就很直观了，然后找到请求比较多，响应又比较慢的接口就比较容易了。
最后右上角点击

image.png

然后右上角点击
image.png

然后输入名字，保存，下次分析就不用建图了，直接就能看见


image.png
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 160,026评论 4赞 364
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 67,655评论 1赞 296
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 109,726评论 0赞 244
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 44,204评论 0赞 213
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 52,558评论 3赞 287
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 40,731评论 1赞 222
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 31,944评论 2赞 314
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 30,698评论 0赞 203
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 34,438评论 1赞 246
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,633评论 2赞 247
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,125评论 1赞 260
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 28,444评论 3赞 255
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 33,137评论 3赞 238
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,103评论 0赞 8
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,888评论 0赞 197
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 35,772评论 2赞 276
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 35,669评论 2赞 271