http://xiejava.ishareread.com/tags/elk/Recent content in ELK on XieJava's blogHugozh-CNXieJavaTue, 14 Apr 2020 16:35:26 +0000http://xiejava.ishareread.com/posts/2020-04-14-logstash%E7%AE%80%E6%98%8E%E5%AE%9E%E7%94%A8%E6%95%99%E7%A8%8B/Tue, 14 Apr 2020 16:35:26 +0000http://xiejava.ishareread.com/posts/2020-04-14-logstash%E7%AE%80%E6%98%8E%E5%AE%9E%E7%94%A8%E6%95%99%E7%A8%8B/<h1 id="一logstash是什么">一、logstash是什么</h1> <p>Logstash 是开源的服务器端<strong>数据处理管道</strong>，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。 官方介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。 Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构，从 IP 地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。</p>http://xiejava.ishareread.com/posts/2020-03-16-logstash%E9%9B%86%E6%88%90kafkamysql%E5%AE%9E%E7%8E%B0%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86/Mon, 16 Mar 2020 17:38:37 +0000http://xiejava.ishareread.com/posts/2020-03-16-logstash%E9%9B%86%E6%88%90kafkamysql%E5%AE%9E%E7%8E%B0%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86/<p>logstash是一个非常灵活好用的数据采集框架工具，可以通过简单的配置满足绝大多数数据采集场景的需求。 采集数据一个非常典型的场景就是将数据先放到kafka队列里削峰，然后从kafka队列里读取数据到mysql或其他存储系统中进行保存。 <img alt="从syslog采集日志到kafka然后在从kafka写到mysql数据库中" loading="lazy" src="http://image2.ishareread.com/images/20200316/blogimage/1.png"> 本文通过一个简单的示例来演示从syslog采集日志到kafka然后在从kafka写到mysql数据库中。 默认已经安装好了kafka、mysql、logstash，并已经经过简单的验证。</p>http://xiejava.ishareread.com/posts/2020-03-09-%E9%80%9A%E8%BF%87filebeatlogstashrsyslog%E9%87%87%E9%9B%86nginx%E6%97%A5%E5%BF%97%E7%9A%84%E5%87%A0%E7%A7%8D%E6%96%B9%E5%BC%8F/Mon, 09 Mar 2020 23:13:51 +0000http://xiejava.ishareread.com/posts/2020-03-09-%E9%80%9A%E8%BF%87filebeatlogstashrsyslog%E9%87%87%E9%9B%86nginx%E6%97%A5%E5%BF%97%E7%9A%84%E5%87%A0%E7%A7%8D%E6%96%B9%E5%BC%8F/<p>由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。</p>