如何在CentOS 7上使用Packetbeat和ELK收集基础结构指标

介绍

Packetbeat允许您监视应用级协议(如HTTP和MySQL)以及DNS和其他服务的实时网络流量。 要执行此操作,请在客户端计算机上配置代理,称为“发货人”,它嗅探和解析网络流量并将消息映射到事务。然后,这些发货人为每个操作生成记录,并将其发送到Elasticsearch或Logstash。获得数据后,您可以使用Kibana搜索,分析和可视化数据,以便您能够就基础设施做出明智的决策或排查问题。 在本教程中,您将配置并使用带有ELK堆栈的Packetbeat来收集和可视化基础架构指标。

实验要求

一个具有4GB内存的CentOS 7服务器,配置了如何在CentOS 7上安装Elasticsearch,Logstash和Kibana教程中描述的ELK堆栈设置。按照教程配置ELK堆栈并安装Kibana仪表板,但不要配置任何客户端机器。 一个CentOS 7服务器具有任何数量的RAM,将作为客户端机器。 每个服务器具有sudo权限的标准用户帐户。您可以通过使用CentOS7教程的初始服务器设置来设置标准帐户。

步骤1 - 在Elasticsearch中加载Packetbeat索引模板

计划使用Packetbeat将日志发送到Elasticsearch,我们首先加载Packetbeat索引模板,该模板将Elasticsearch配置为以智能方式分析传入的Packetbeat字段。

  • 首先,登录到您的ELK服务器:
代码语言:javascript
复制
[root@prod-elk src]# cd /usr/local/src/
[root@prod-elk src]# curl -O https://raw.githubusercontent.com/elastic/beats/master/packetbeat/packetbeat.template-es2x.json
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 46323  100 46323    0     0  56622      0 --:--:-- --:--:-- --:--:-- 56698
  • 然后使用此命令加载模板:
代码语言:javascript
复制
curl -XPUT 'http://192.168.1.133:9200/_template/packetbeat' -d@packetbeat.template-es2x.json
  • 如果模板已成功加载,您将看到输出。
代码语言:javascript
复制
{"acknowledged":true}

ELK服务器已准备好接受来自Packetbeat的数据,在客户端服务器上设置发货人(shipper )。

步骤2 - 在客户端服务器上设置Packetbeat

要设置Packetbeat发运器,您需要获取在必要教程中创建的SSL证书到客户端服务器。需要在客户端服务器和ELK服务器之间建立通信。 查找客户端服务器的IP地址。然后,在您的ELK服务器上,使用scp命令将SSL证书复制到客户端服务器:

代码语言:javascript
复制
scp /etc/pki/tls/certs/logstash-forwarder.crt 192.168.1.158:/usr/local/src/
  • 登录到客户端服务器
代码语言:javascript
复制
[root@prod-elk src]# ssh 192.168.1.158
root@192.168.1.158's password: 
Last login: Wed Jan 11 17:02:30 2017 from 192.168.0.110

登录后,将ELK服务器的SSL证书复制到/etc/pki/tls/certs目录中:

代码语言:javascript
复制
[root@linuxprobe ~]# sudo mkdir -p /etc/pki/tls/certs
[root@linuxprobe ~]# sudo cp /usr/local/src/logstash-forwarder.crt /etc/pki/tls/cert

接下来,我们需要安装Packetbeat本身。在客户端服务器上,运行以下命令将Elasticsearch公用GPG密钥导入rpm:

代码语言:javascript
复制
sudo rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch

为Packetbeat创建和编辑新的存储库文件:

代码语言:javascript
复制
echo '[beats]
name=Elastic Beats Repository
baseurl=https://packages.elastic.co/beats/yum/el/$basearch
enabled=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
gpgcheck=1
' | sudo tee /etc/yum.repos.d/elastic-beats.repo
  • 安装Packetbeat软件包
代码语言:javascript
复制
yum makecache && yum install packetbeat -y

Packetbeat现已安装,但需要配置才能使用。

步骤3 - 在客户端上配置Packetbeat

Packetbeat需要知道要记录什么以及发送数据的位置。让我们将其配置为连接到我们的ELK服务器上的Logstash,并定义我们想要观看的流量类型。我们将通过修改Packetbeat附带的默认配置文件来实现。

  • 在客户端服务器上,编辑Packetbeat配置文件:
代码语言:javascript
复制
sudo vi /etc/packetbeat/packetbeat.yml

在文件顶部附近,您将看到输入部分,您可以在其中指定应将哪些指标和统计信息发送到ELK服务器。我们将使用默认的输入设置,但随时更改它以适应您的需要。 选择从中捕获流量的网络接口。在Linux上,Packetbeat支持捕获由安装了Packetbeat的服务器发送或接收的所有消息。为此,使用任何作为设备:

代码语言:javascript
复制
egrep -v "#|^$" /etc/packetbeat/packetbeat.yml 
interfaces:
  device: any
protocols:
  dns:
    ports: [53]
    include_authorities: true
    include_additionals: true
  http:
    ports: [80, 8080, 8000, 5000, 8002]
  memcache:
    ports: [11211]
  mysql:
    ports: [3306]
  pgsql:
    ports: [5432]
  redis:
    ports: [6379]
  thrift:
    ports: [9090]
  mongodb:
    ports: [27017]
output:
  elasticsearch:
    hosts: ["192.168.1.133:9200"]
    worker: 1
    index: "packetbeat"
shipper:
  name: prod-shipper
logging:
  files:
    path: /var/log/beat
    name: beat
    keepfiles: 7
  level: info

现在启动Packetbeat将您的更改放置到位: 注:原本计划把收集的日志通过logstash然后在传给elasticsearch,使用logstash认证时报错,就暂时直接把日志传输到elasticsearch。

步骤4 - 测试Packetbeat安装

此时,客户端服务器上的Packetbeat应将您的网络流量的日志发送到ELK服务器上的Logstash。 Logstash应该将Packetbeat数据加载到Elasticsearch中带有日期戳的索引packetbeat-YYYY。 MM。 DD。让我们通过在客户端机器上创建一个简单的HTTP请求并在ELK服务器上的Elasticsearch中寻找该请求来测试这个工作。

  • curl http://www.elastic.co/ > /dev/null
  • curl http://www.aniu.tv/ > /dev/null

然后,在您的ELK服务器上,通过使用此命令查询Packetbeat索引来验证Elasticsearch确实正在接收数据:

代码语言:javascript
复制
curl -XGET 'http://localhost:9200/packetbeat-*/_search?pretty'

显示如下:

代码语言:javascript
复制
curl -XGET 'http://localhost:9200/packetbeat-*/_search?pretty'
{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 90,
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "packetbeat-2017.01.12",
        "_type" : "dns",
        "_id" : "AVmRubj_g1guHDTwPD6h",
        "_score" : 1.0,
        "_source" : {
          "@timestamp" : "2017-01-12T08:10:01.993Z",
          "beat" : {
            "hostname" : "linuxprobe",
            "name" : "prod-shipper"
          },
          "bytes_in" : 30,
          "bytes_out" : 94,
          "client_ip" : "192.168.1.158",
          "client_port" : 58607,
          "client_proc" : "",
          "client_server" : "",
          "count" : 1,
          "direction" : "out",
          "dns" : {
            "additionals_count" : 0,
            "answers" : [
              {
                "class" : "IN",
                "data" : "173.255.215.209",
                "name" : "pool.ntp.org",
                "ttl" : 99,
                "type" : "A"
              },
              {
                "class" : "IN",
                "data" : "5.79.108.34",
                "name" : "pool.ntp.org",
                "ttl" : 99,
                "type" : "A"
              },
              {
                "class" : "IN",
                "data" : "61.216.153.106",
                "name" : "pool.ntp.org",
                "ttl" : 99,
                "type" : "A"
              },
              {
                "class" : "IN",
                "data" : "138.68.2.126",
                "name" : "pool.ntp.org",
                "ttl" : 99,
                "type" : "A"
              }
            ],
            "answers_count" : 4,
            "authorities_count" : 0,
            "flags" : {
              "authoritative" : false,
              "recursion_allowed" : true,
              "recursion_desired" : true,
              "truncated_response" : false
            },
            "id" : 26528,
            "op_code" : "QUERY",
            "question" : {
              "class" : "IN",
              "name" : "pool.ntp.org",
              "type" : "A"
            },
            "response_code" : "NOERROR"
          },
          "ip" : "114.114.114.114",
          "method" : "QUERY",
          "port" : 53,
          "proc" : "",
          "query" : "class IN, type A, pool.ntp.org",
          "resource" : "pool.ntp.org",
          "responsetime" : 97,
          "server" : "",
          "status" : "OK",
          "transport" : "udp",
          "type" : "dns"
        }
      },

一旦收到预期的输出,您可以继续下一步,并了解如何使用Kibana查看您的网络流量的一些图表和图表

第5步 - 用Kibana可视化数据

当您在要收集系统统计信息的所有服务器上完成Packetbeat设置后,让我们看看Kibana。 在Web浏览器中,转到您的ELK服务器的域名或公共IP地址。输入您的ELK服务器凭据后,您应该会看到您的Kibana Discover页面。

这里写图片描述

然后选择屏幕顶部的“发现”选项卡以查看此数据。您的屏幕上会显示以下内容:

这里写图片描述

从这里,您可以通过过滤可用字段查看您的各种Packetbeat条目。您可以单击这些字段来添加它们,或使用聚合(计数,总和,最小值,最大值,中值等)来可视化它们。 Kibana还提供了广泛的可视化,您可以用它来分析数据。单击屏幕顶部的“可视化”选项卡以列出可视化对象或打开已保存的可视化对象。 Kibana官方文档: https://www.elastic.co/guide/en/kibana/current/index.html