ELK Stack搭建和使用中的一些小记录

       ELK Stack是非常很强大的一套东西,同样也意味着比较复杂。去年在搭建这套东西时，
也被折腾的够累的.主要是些小坑，知道了的话其实没什么，非常简单，不知道话，还是有点急人的。
   数据采集用的Beats系列，这玩意是用Go写的,比直接用Logstash,性能要更好,分工也更明确.
      Packetbeat :  用来嗅探和分析网络流量，如HTTP、MySQL、Redis等
      Topbeat: 用来收集系统的监控信息，功能如其名，类似*nix下的top命令.

      Filebeat: 用来收集数据源是文件的数据，比如常见的系统日志、应用日志、网站日志等.

采集完了丢给Logstash,处理完毕后，上传到AWS的Elasticsearch服务(这里有个坑卡了我好久)完事.

       Logstash有很多的功能，比如N多的插件，比如丰富的Grok等等，我很多处理都要靠它，

但可能是我没用对，我发现其实它的一些插件在生产环境有些也不是那么靠谱的。

比如有个插件

​​http_poller​​。

httppoller.conf:

input {
  http_poller {
    urls => {
      test1 => "http://localhost:8090"

      test2  => {
        type => "aa"
        tags => ["aaa","aaaa"]
        method => get
        url => "http://test2.xxx.com/pong"
      }

      test3 => {
        method => get
        url => "http://test3.xxx.com/pong"
        headers => {
          Accept => "application/json"
        }
        auth => {
          user => "xcl"
          password => "pwd"
        }
      }


    }
    request_timeout => 60
    interval => 60
    #codec => "json"
    metadata_target => "http_poller_metadata"
  }
}

filter {
    if [http_poller_metadata] {
      mutate {
        add_field => {
          "host" => "%{http_poller_metadata[name]}"
        }
      }
    }
}

output {
  stdout {
    codec => rubydebug
  }
}

./bin/logstash -f  httppoller.conf

当HTTP服务不能访问时，会返回"_http_request_failure"

      我在本地怎么测试都ok的，部署后简单测试了下，也没发现问题，但不久就发现，当日志服务器很繁忙时，

这个插件其实达不到所要的效果，老是误报.最后只好自己开发了个服务来做这件事。所以用插件时，一定在生

产环境观察或测试一段时间,千万不要简单测试一下就不管了。

      另外，如果logstash的一些插件不以满足，又不想研究JRuby之类，可以考虑直接用exec，将数据传

到外面直接自己处理.

     exec{

              command => " ...... "

          }

      还有一点，在生产环境，如果修改了对应的conf文件，一定要注意先"configtest"一下，毕竟，conf

如果做了很多处理，很复杂的情况下，先确保修改后的conf格式是否正确还是很有必要的.

   ./bin/logstash -f xxx.conf --configtest

       最后还有一个要提醒的东西是调试，logstash的处理正不正确，除了看日志，可以在启动时加"-v v"

能实时看到很多东西，但最好在测试环境用。  

       有很多小坑和小心得，不一一写了，不过ELK Stack确实非常好用,也还有很多东西需要去挖掘，我基于它，

并整合其它服务，用Golang搭起了一套运维告警系统(包含邮件，微信实时通知及数据分析等)的骨架。

现在基本已离不开这套东西了。