Elasticsearch-Logstash-Kibana（三）配置优化

下面是一段nginx日志,里面有一个字段，bytes 传输的字节

编辑该字段

选择 Bytes，然后 Update Field

验证

在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。

本文采用grok过滤器，使用match正则表达式解析，根据自己的log_format定制。

nginx 日志格式如下：

对应日志如下：

logstash中默认存在一部分正则让我们来使用，可以访问 Grok Debugger 来查看。

基本定义在grok-patterns中，我们可以使用其中的正则，当然并不是所有的都适合nginx字段，这时就需要我们自定义正则，然后通过指定patterns_dir来调用。

同时在写正则的时候可以使用Grok Debugger或者Grok Comstructor工具来帮助我们更快的调试。在不知道如何使用logstash中的正则的时候也可使用Grok Debugger的Descover来自动匹配。

logstash自带的grok正则中有nginx的标准日志格式：

我们可以参考这个正则来自定义自己的日志

其中 UPSTREAM_ADDR 是自定义的正则。

启动logstash，然后就可以查看日志是否写入elasticsearch中。

①将Time对应字段的store设置为false，即不存储（同时可视情况将include_in_all也设置为false）。

②在Kibana的Management/Index Patterns/Source Filters中，将对应的字段过滤掉。

以上方案根据自己的情况任选其一，问题定位分析过程就不分享了，祝好！

Kibana4简单使用

<center>

# ELK日志系统使用说明 #

</center>

k3与k4的对比

![](>

本文安装的ES版本是750，Kibana版本是750，版本号最好对应起来，在命令行输入：

21 解压

22 修改配置文件kibanayml，文件位置在解压后的文件夹下config下

修改内容，主要是 serverport、serverhost、elasticsearchurl、kibanaindex。

23 启动

启动成功后在浏览器输入 >

流量回溯系统捕获和分析数据流程，一般由以下几个步骤组成：

1数据包捕获 -记录网络上的数据包流量。

2协议解析 -解析不同的网络协议和字段。

3搜索和可视化 -详细或汇总浏览数据。

从 Wireshark 300rc1 开始，TShark可以使用 -G elastic-mapping 选项，生成Elasticsearch映射文件，存储在Elasticsearch中并进行浏览，使得TShark解析结果可以在在Kibana中进行搜索和可视化。

下面，我将展示如何使用Wireshark和Elastic Stack来建立流量回溯系统：

Packetbeat 可以配置为捕获实时网络数据包，并使用 -I 选项从捕获文件中读取数据包。它可以识别和解析许多应用程序级协议，例如>

比如现在es的索引中有2个字段，且都为数字类型，现在想在kibana上求一条文档这2个字段之和，发现直接在kibana上使用sum指标是无法求和的。这时可以用脚本的方法，在json input中使用groovy脚本来求和，如下图所示：

eg：

以前导入数据到ES的步骤导致如下:

1 Create index and mapping

2 Bluk批量导入数据

参考文献:  Analyzing Aftershock Data with Elasticsearch and Kibana via CSV Import | Elastic Blog

>

在数据浏览查看索引数据，如下图：

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互 *** 作。可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

在浏览器上输入 >

以上就是关于Elasticsearch-Logstash-Kibana（三）配置优化全部的内容，包括:Elasticsearch-Logstash-Kibana（三）配置优化、在Kibana的Discover面板中Time字段有多个值、如何使用 kibana 分析 mysql 数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！