在之前的很多zabbix的文章中并未提起zabbix Actions，Actions动作完成自愈，在我看来需要对zabbix做规划后使用较妥Actions可以在指定的条件下触发操作，这些操作可以是一个脚本也可以是一段信息，并且可以指定机器进行发送通常使用于报警介质和运行其他脚本达到预期的目的 示例 当redis端口挂掉后进行重新启动redis创建一个items如下：这里使用zabbix-agent

以yum安装为例，直接卸载后重新安装即可，如果存在proxy层，也需要更新 停止服务 [root@DS-VM-Node114 ~]# systemctl stop zabbix-server.service [root@DS-VM-Node114 ~]# systemctl stop zabbix-agent.service [root@DS-VM-Node114 ~]# rpm -qa zabb

由于一些原因，我需要在内网搭建elk平台，采取云机器的日志，并且云节点并不是一家的，这就意味着这些云机器内网不通，分布广泛在内网搭建elk环境，并且只想用拉取的模式，也就是说，我内网并没有ip想被外网调用(无NAT)，只要内网能上网就要可以用内网设备资源成本低基于以上三点来配置如下场景：散列的云节点往一台(意淫中的是集群组)redis(kafka密码配置过于复杂)节点接入数据，而后通过内网elk去

在elasticsearch中有30天的试用期，我找到网上大神的一些文章，试用了之后发现可以进行破解使用，整个过程比较简单，特此写下笔记 一，破解x-pack 6.3.2 我也不清楚为什么叫做破解，顾名思义就是打开限制的功能，达到我们所想要的目的。我个人是不赞同用破解(盗版)这个词的。因为对我而言除了登录那个好看一些的画面外，我仍然可以使用nginx或者ip地址限制来做，或者使用grafana也是

在之前的一篇中提到使用redis作为转发思路在前面两篇中写的都是elk的安装，这篇叙述在6.3.2中的一些filebeat收集日志和处理的问题，以nginx为例，后面的可能会有，也可能不会有 filebeat安装和配置 filebeat会将日志发送到reids,在这期间包含几个配置技巧，在配置文件出会有一些说明 下载和安装 [root@linuxea-VM_Node-113 ~]# wget ht

grafana能够更好的提供分析展示的工作，而且他很强大，支持的类型也很多，如：graphite,elasticsearch,influxDB,cloudwatch,prometheus,hosted Metrics等，目前支持45个数据源，更多的面板和仪表板等，它还支持很多的插件，社区非常活跃，完全开源，几乎适用于任何指标，提供报警功能，使用grafana将会是一个不错的选择 按照以往惯例，这里

prometheus诞生2012，许多公司采用，并且该项目目前非常活跃。 具有由度量名称和键/值对标识的时间序列数据的多维数据模型。 查询语言非常灵活，可以定义已有的各种信息组合 不依赖于分布式存储 时间序列通过http拉取模型 可以通过中间网关(pushgateway)完成托送模型 支持服务发现或者静态配置发现， 支持精确的报警，基于查询语言 支持多客户端库并且支持多集成，如grafana，安装

cAdvisor（Container Advisor）为容器用户提供了对其运行容器的资源使用和性能特征的理解。它是一个运行守护程序，用于收集，聚合，处理和导出有关正在运行的容器的信息。具体来说，对于每个容器，它保留资源隔离参数，历史资源使用，完整历史资源使用的直方图和网络统计。此数据按容器和机器范围导出。 cAdvisor原生支持Docker容器，并且应该支持开箱即用的任何其他容器类型，并且力求更

node_exporter用Go编写的一个收集器，主要指标来在*NIX内核公开的硬件和操作系统指标。但是每个操作系统上都有不同的支持。如：linux系统的地址解析arp,bcache,开机时间，链接跟踪，cpu信息，磁盘i/o，文件系统，netstat，stat，sockstat，系统时间，vmstat，以及内核4.4的xfs等。默认情况下会启用所有的指标,在高级用途里面是可以进行过滤的。它的安装

开始配置filebeat，在这之前，你或许需要了解下之前的配置结构[ELK6.3.2安装与配置[跨网络转发思路]](https://www.linuxea.com/1889.html)，我又将配置优化了下。仅仅因为我一个目录下有多个nginx日志。 配置filebeat 之前使用过用一个个日志来做单个的日志过滤，现在使用*.log匹配所有以log结尾的日志在发送到redis中在配置filebeat

zabbix 配置 Zabbix-in-Telegram 加入你在香港或者其他地方，需要使用Telegram完成zabbix监控告警功能，你可以参考本章。如果在国内，推荐使用丁丁，或者微信，以及QQ等通讯工具。 先决条件 1，打开zabbix配置 AlertScriptsPath=/usr/lib/zabbix/alertscripts 2，申请Telegram机器人 申请机器人参考: https

此前做了Telegram的警报发送，发现误报较多，尝试使用slack的方式，发现简洁明了，颇为好用。代码来自github，可参阅本章。 此前的Telegram和slack都没有做警报收敛，在github之上有现成的警报收敛，感兴趣可以看看。 zabbix配置 下载slack.sh脚本，存放在/usr/lib/zabbix/alertscripts下 [root@DT_Node-172_25_250

prometheus自动发现(scrape them)在官网中方式有很多，我这里介绍的是使用consul_sd_config配合registrator来做，registrator作为node节点端，发现容器，且将发现信息注册给consul。拓扑如下： 而prometheus中使用consul_sd_config进行重新标记，可以使用的元标签如下： __meta_consul_address：目标的

我花了一点时间整理了一套zabbix的安装脚本，便于部署和安装。它包括了zabbix-server,zabbix-agent的安装，初始化配置，在4.0之后加入了docker-compose，随后的server端都采用了docker安装。在最新的更新中，引入了elasticsearch:6.1.4。 git地址：https://github.com/marksugar/zabbix-complet

Zabbix发布了4.2版本，带有一系列新功能。在Zabbix自己的网站上有一个很好的概述，但一定要检查文档中的“Zabbix 4.2中的新功能”部分，因为它更完整！ 一个新功能是TimescaleDB的实验支持。一个当前流行的开源时间序列的SQL数据库 ，TimescaleDB打包为PostgreSQL扩展。这套数据库由PostgreSQL构建，提供跨时间和空间的自动分区（分区键），同时保留标准

在实际使用中，通常我们会对一些端口进行监控，比如nginx，mariadb,php等。要完成一个端口监控是简单容易的。 net.tcp.listen[80] 如上，既可对tcp 80获取状态，而后配置Triggeres做告警处理即可 {HOST.NAME} nginx is not running {nginx_80_port:net.tcp.listen[80].last()}<>1

我们遇到的场景是CPUThrottlingHigh 警报被正常触发，而触发的对象的CPU本身并不高，或者空闲。鉴于此，我们开始怀疑这个警报的必然性。 通常在许多情况下，会将此警报修改或者沉默，因为应用程序对延迟不敏感，即使受到限制也可以正常工作，警报基于原因而非症状。因此警报的级别是Info。但是并不能说明此警报是误报。并且沉默只会隐藏背后的真正问题。 目前这个问题仍然在讨论中，特别是在这个讨论的

通常在k8s中，pod是随时可以被替换的，在整个环境里往往我们不太关注某一条鱼，只关注整个鱼群的状态，因此监控数据不会存储太长，因为借鉴意义并不大。但是有时的确想要从 Prometheus 中删除一些指标，如果这些指标不需要，或者只需要释放一些磁盘空间。 Prometheus 中的时间序列只能通过管理 HTTP API 删除（默认禁用）。 --web.enable-admin-api As of

promscale 是一个开源的可观察性后端，用于由 SQL 提供支持的指标和跟踪。 它建立在 PostgreSQL 和 TimescaleDB 的强大和高性能基础之上。它通过 OpenTelemetry Collector 原生支持 Prometheus 指标和 OpenTelemetry 跟踪以及许多其他格式，如 StatsD、Jaeger 和 Zipkin，并且100% 兼容 PromQL。

我们知道，在使用promentheus的过程中，默认的数据量一旦到一个量级后，查询区间的数据会非常缓慢，甚至一个查询就可能导致promentheus的崩溃，尽管我们不需要存储多久的数据，但是集群pod在一定的数量后，短期的数据仍然非常多，对于Promentheus本身的存储引擎来讲，仍是一个不小的问题，而使用外部存储就显得很有必要。早期流行的influxDB，由于社区对Promentheus并不友