大略来说，Logstash是一条具备实时数据传输能力的pipeline管道，卖力将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道支持根据自身需求在中间加上滤网，Logstash供应了很多功能强大的滤网以知足的各种运用处景。
搭建Logstash
要搭建可用于采集Nginx日志并输出到MySQL，紧张分为以下几个步骤：
1、Logstash安装
环境哀求JDK1.8以上，需提前配置好JDK
//从Logstash官方下载地址并上传到做事器https://www.elastic.co/cn/downloads/logstash//解压tar -xzvf logstash-7.0.0.tar.gz -C /usr/local///修正名字mv logstash-7.0.0 logstash
2、安装logstash-output-jdbc插件
虽然logstash默认安装了大部分的插件，但是有些插件没有默认安装。logstash原生版本只有input中自带jdbc插件,这意味着只支持jdbc导入而不支持jdbc导出，我们的目的是期望输出到MySQL，以是须要额外安装 logstash-output-jdbc 插件。
2.1 安装Gem与更新及修正镜像源
//安装gemyum install -y gem//检讨并修正镜像源gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org///更新镜像源gem update --system
2.2 修正 logstash的 gem 镜像源
国外的gem源由于网络缘故原由，可能导致海内访问太慢而且不稳定，还常常安装不堪利。以是这里须要修正logstash的 gem 镜像源。
//进入到logstash目录可以看到Gemfile文件cd /usr/local/logstashls//查看Gemfile文件vi Gemfile//修正 logstash的 gem 镜像源,变动默认的 https://rubygems.org 为https://gems.ruby-china.comsource "https://rubygems.org"
2.3 安装logstash-output-jdbc插件
//进入到/usr/local/logstash/bin/ 目录中实行安装命令,输出Installation successful既安装成功./logstash-plugin install logstash-output-jdbc//查看插件列表./logstash-plugin list
3、配置mysql-connector-java.jar
MySQL Connector/J是MySQL官方JDBC驱动程序，JDBC（Java Data Base Connectivity,java数据库连接）是一种用于实行SQL语句的Java API，可以为多种关系数据库供应统一访问，它由一组用Java措辞编写的类和接口组成。
//官网下载的办法比较慢，可选择从mvnrepository下载https://mvnrepository.com/artifact/mysql/mysql-connector-java
以8.0.19为例
//创建jdbc目录用于存放 mysql-connector-java.jarmkdir -p /usr/local/logstash/jdbc//将下载好的jar包上传到做事器 mysql-connector-javarz配置读取Nginx日志并输出到MySQL的 conf文件
步骤：
配置Logstash input 为Nginx根据Nginx日志格式选择对应的过滤插件（Filter plugins）配置Logstash output为MySQL1、配置Logstash input 为Nginx
在 /usr/local/logstash/config/ 创建一个test.conf 文件，并配置input为Nginx
input { file { path => ["此处填写Nginx的日志目录位置"] type => "nginx" }}
2、根据Nginx日志格式选择对应的过滤插件
由于日志格式多种多样，以是须要结合实际情形选择对应的过滤插件。官网供应了丰富的过滤插件可帮助我们进行处理。比较常用的如 grok、json、kv、mutate等。
//官网filter-plugins插件地址https://www.elastic.co/guide/en/logstash/current/filter-plugins.html
下面用一条Nginx日志为例子进行剖析
本文Nginx的日志格式
该日志格式所需提取的参数格式均为类似 foo=bar，Logstash供应的 Kv filter plugin 恰好符合我们的需求。
进一步剖析创造我们所需的参数位于"？" 之后，且每一个 foo=bar 都是用 "&" 进行分隔。
查阅Kv filter plugin 插件文档得知可以通过配置选项 field_split 实现效果
自此便可以配置好 input 和 filter
input { file { path => ["/data/nginx_logs/ods_media_show_log/access.log"] type => "nginx" }}filter { kv { field_split => "&?" } }
3、配置Logstash output为MySQL
紧张是配置一些MySQL连接信息、及编写插入的SQL语句。下面以一个大略的例子，将通过filter提取到的"idfa" 插入到MySQL(ADB) 数据库中。
output { jdbc { driver_jar_path => "/usr/local/logstash/jdbc/mysql-connector-java-8.0.19.jar" driver_class => "com.mysql.jdbc.Driver" #数据库连接 connection_string => "jdbc:mysql://xxxxxxxxx.ads.aliyuncs.com:3306/数据库名?user=xxxxx&password=xxxxxx" #insert语句 statement => [ "insert into v2_ods_media_show_log (`idfa`) value(?)", "idfa"] }}
4、自此完成配置，下面是完全的配置
input { file { path => ["/data/nginx_logs/ods_media_show_log/access.log"] type => "nginx" }}filter { #利用kv插件处理 kv { field_split => "&?" } }output { jdbc { driver_jar_path => "/usr/local/logstash/jdbc/mysql-connector-java-8.0.19.jar" driver_class => "com.mysql.jdbc.Driver" #数据库连接 connection_string => "此处配置jdbcURL" #insert语句 statement => [ "insert into v2_ods_media_show_log (`idfa`,`insert_time`) value(?,default)", "idfa"] }}启动Logstash
//进入到/usr/local/logstash/bin/ 目录中实行， -f 指定我们配置好的文件bin/logstash -f /usr/local/logstash/config/test.conf
启动Logstash查看效果，Logstash实时获取Nginx日志并成功存入MySQL。
监控查看nginx access.log
成功写入mysql
总结本文以一个大略的例子谈论利用Logstash实时采集Nginx日志并存入MySQL的思路。要实现存入MySQL紧张须要安装logstash-output-jdbc插件以及 mysql-connector-java.jar。根据日志的格式和实际业务场景选取组适宜合的过滤插件，并编写过滤规则。末了利用 -f 指定配置文件启动Logstash。
感谢您的阅读，如果喜好本文欢迎关注和转发，本头条号将坚持持续分享IT技能知识。对付文章内容有其他想法或见地建议等，欢迎提出共同谈论共同进步。
