什么是Beats

• Light weight data shippers
  • 以搜索数据为主
  • 支持与Logstash或ES集成
• 全品类 / 轻量级 / 开箱即用 / 可插拔 / 可扩展 / 可视化

beats系列

Metricbeat简介

• 用来定期搜集操作系统，软件的指标数据
  • Metric v.s Logs
    • Metric：可聚合的数据，定期搜集
    • Logs文本数据，随机搜索
• 指标存储在Elasticsearch中，可以通过Kibana进行实时的数据分析

Metricbeat组成

• Module
  • 搜集的指标对象，例如不同的操作系统，不同的数据库，不同的应用系统
• Metricset
  • 一个Module可以有多个metricset
  • 具体的指标集合。以减少调用次数为原则进行划分
    • 不同的metricset可以设置不同的抓取时长

Module

• Metricbeat提供了大量的开箱即用的Module
  • https://www.elastic.co/guide/en/beats/metricbeat/7.1/inde.html
• 通过执行metricbeat module list查看
• 通过执行metricbeat module enable module_name制定

##
# 查看 packetbeat 模块
# 设置 packetbeat 的mysql 模块
# 启动运行
#
./metricbeat modules list
./metricbeat modules enable mysql
./metricbeat setup --dashboards

Metricbeat Event

{
  "@timestamp": "2020-05-01T18:18:44.291Z",
  "agent": {
    "type": "metricbeat"
  },
  "host": {
      "hostname": "host.example.com"
  },
  "event": {
      "dataset": "system.process",
      "module": process
  }
  "type": "metricsets"
}

Packetbeat

• Packetbeat：实时网络数据分析，监控应用服务器之间的网络流量
  • 常见抓包工具：Tcpdump / wrieshark
  • 常见抓包配置：Pcap基于libpcap，跨平台 / Af_packet仅支持Linux，基于内存映射嗅探，高性能
• Packetbeat支持的协议
  • ICMP / DHCP / DNS / HTTP / Cassandra / Mysql / PostgresSql / Redis / MongoDB / Memcache / TLS
• Network flows：抓取记录网络流量数据，不涉及协议解析

Packetbeat Demo

• https://www.elastic.co/guide/en/beats/packetbeat/current/index.html
• 安装配置
• 配置Kibana Dashboard
  • Packetbeat setup --dashboards
• 运行Packetbeat
• 查看Dashboard

# 配置 packetbeat
# 启动
修改 packetbeat，打开 http 5601 9200 和 mysql 3306监控

sudo chown root packetbeat.yml
sudo ./packetbeat setup --dashboards
sudo ./packetbeat