es实战-收集Nginx日志可视化监控

需求场景:ES 集群通过 Nginx 做了网关代理,需要把访问 ES 集群的请求进行统计监控。
使用组件:Filebeat 收集,写入 ES 集群,通过 Kibana 的 dashboard 进行展示,即 ELK 的老本行,采用更轻量级的日志收集工具 Filebeat 而没有使用 Logstash。

1. Nginx

对 Nginx 默认的日志格式进行了微调,将默认的$time_local修改为$time_iso8601,日志变化如下所示:

#before
171.0.0.1 - - [11/Nov/2021:00:00:02 +0800] 1.300 0.982 200 731171 "POST /index1/_search?timeout=30s HTTP/1.1" "-" "axios/0.19.2" "-"
#after
171.0.0.1 - - [2021-11-25T11:29:13+08:00] 0.008 0.008 200 137 "GET /index1/_search HTTP/1.1" "-" "python-urllib3/1.26.2" "-"

Nginx 日志每行12个字段含义如下:

字段 含义
remote_addr 客户端IP地址
- 占位符
remote_user 客户端登录用户名没有则置为占位符 -
time 访问时间和时区
request_time 整个请求的总时间
upstream_response_time Nginx向后端请求的时间
status 请求返回的http状态码
body_bytes_sent 发送给客户端的字节数
request 请求的URI和HTTP协议
http_referer 哪个页面链接访问
http_user_agent 客户端访问信息,如浏览器、手机客户端等
http_x_forwarded_for 客户端的真实ip通常web服务器放在反向代理的后面

2. Filebeat

Filebeat 配置比较简单,开箱即用,配置好 Input 为 Log,Output 为 ES 即可,如下所示:

filebeat.inputs:
#=========================== Filebeat inputs =============================
- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/access_whsh.log
#=========================== Filebeat inputs =============================
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
#=========================== Filebeat inputs =============================
setup.template.settings:
  index.number_of_shards: 1
  #index.codec: best_compression
setup.template.name: "es-request-log"
setup.template.pattern: "es-request-log-*"
setup.template.enabled: false
setup.template.overwrite: true
setup.template.fields: "esrequestfields.yml"
setup.ilm.enabled: false
#=========================== Filebeat inputs =============================
output.elasticsearch:
  hosts: ["172.0.0.1:9200","172.0.0.2:9200","172.0.0.3:9200"]
  index: "es-request-log-%{+yyyy.MM.dd}"
  pipeline: "es-request-log"
  # Protocol - either `http` (default) or `https`.
  protocol: "https"
  #api_key: "id:api_key"
  username: "elastic"
  password: "changeme"
  ssl.verification_mode: "none"
#=========================== Filebeat inputs =============================
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

这里修改了 Filebeat 自带的默认日志模板和默认输出到 ES 的索引,并添加了一个 pipeline 用于对 Nginx 日志进行拆分处理(Filebeat默认将每行日志输出到message字段)。
修改默认索引的模板字段fields.yml,并将其导出录入到 ES 集群内作为记录日志索引的 template,具体做法可以参考官网:Load the Elasticsearch index template

3. ES

ES 侧需要配置好存放日志数据索引的模板、ILM策略(非必须)、以及用到的 pipeline,名称和上一步 Filebeat 配置中要对应。

  1. 模板设置:

es实战-收集Nginx日志可视化监控
设置好别名、匹配的索引前缀、一些你想配置的 settings 以及字段结构:包括 Filebeat 自带的一些字段以及主要的日志字段message和我们将通过 pipeline 拆解message字段获取的一些将用于日志分析的字段。

  1. pipeline设置:

es实战-收集Nginx日志可视化监控
pipeline 主要作用是对message字段拆解:

- 通过`grok`正则匹配方式匹配到`message`内部的每个字段,并将其抽出;
- 通过`script`可以加一些对抽出字段的判断,将请求聚类分析。

这里可以任意处理数据,获取自己想要的分析内容,或者也可以引入Logstash对数据进行处理。

4. Kibana

经过以上三步,数据已经进入到 ES 集群内,通过 Kibana 可以对数据分析结果进行可视化展示,忽略一些 Filebeat 自带的字段,数据内容如下所示:
es实战-收集Nginx日志可视化监控
我们可以对时间字段,某些 keyword 类字段进行聚合等统计数一些日志分析结果,并使用 dashboard 进行展示,部分示例如下:

  1. 统计请求的响应状态:

es实战-收集Nginx日志可视化监控

  1. 分类统计时间段的请求数量:

es实战-收集Nginx日志可视化监控

  1. 统计查询耗时的 pct (参考 jmeter 指标):

es实战-收集Nginx日志可视化监控

  1. 展示部分请求的部分字段(data table展示topN耗时等):

es实战-收集Nginx日志可视化监控

上一篇:Phoronix 测试 65 种 GPU 使用开源驱动的性能


下一篇:OpenStack(Kilo版本)基础架构学习笔记