简介 上一批文章写了，基于CPU指标的弹性伸缩，资源指标只包含CPU、内存，一般来说也够了。但如果想根据自定义指标:如请求qps/5xx错误数来实现HPA，就需要使用自定义指标了，目前比较成熟的实现是 Prometheus Custom Metrics。自定义指标由Prometheus来提供，再利用
2023-07-16
前言 Flink 提供的Metrics可以在Flink 内部收集一些指标，通过这些指标可以让开发人员更好地理解作业或集群的状态。 但Flink 内置的Metrics更多的是查看任务的实时状态，要是想持久化这些指标，就需要借助于flink-metrics-prometheus，下面将展示一下prome
2023-07-16
问题描述 K8S 集群，新安装了nginx服务器，但是访问80端口出来的服务不对，关闭nginx后，仍然可以访问服务器的80端口，但是本地80端口并没有任何服务监听。因为是K8S节点，所以怀疑是K8S上配置了转发规则导致。 解决办法 1、查看端口转发规则：K8S服务器上可能存在端口转发规则，将80端
2023-07-16
1.简介 之前部署了flink operator，并将spark 作业提交到了k8s之上，但是也仅仅达到了能用的程度，距离生产落地还有一些内容需要调整。 2.Flink 作业日志持久化 当flink运行出错的时候，或者我们要分析flink运行状态的时候，运行日志是我们排查问题的重要依据。flink
2023-07-16
1.简介 大家都知道，Flink 是一个有状态的分布式流式计算引擎，flink 中的每个function或者是operator都可以是有状态的，为了使得状态可以容错，flink引入了checkpoint机制。checkpoint使得flink能够恢复作业的状态和位置，从而为作业提供与无故障执行相同的
2023-07-16
1.简介 无论是我们自己开发的系统，还是各种中间件，高可用部署可以避免单点故障，是生产运行的必备要求。对于flink作业也一样，我们开发好的flink 作业，部署到生产环境，也需要高可用的方式来运行。 Flink的高可用，指的就是job manager的高可用，默认情况下，每个 Flink 集群只有
2023-07-16
1.Flink HistoryServer用途 HistoryServer可以在Flink 作业终止运行（Flink集群关闭）之后，还可以查询已完成作业的统计信息。此外，它对外提供了 REST API，它接受 HTTP 请求并使用 JSON 数据进行响应。Flink 任务停止后，JobManager
2023-07-16
1.简介 我们在实际使用flink的过程中，不仅使用java开发flink作业，同时也会直接使用flink SQL，通过编写SQL的方式，来实现flink作业。本文就基于Flink 官方提供的 Kubernetes Operator，来实现flink sql在k8s上的运行。 2.程序功能示意图 开
2023-07-16
1.简介 每一个微服务在部署以后，我们都需要对其进行监控、追踪、审计、控制等。 Spring Boot就提供了Actuator场景，使得我们的应用快速引用即可获得生产级别的应用监控、审计等功能。 Spring Boot Actuator是一个用于监控和管理Spring Boot应用程序的工具。它提供
2023-07-16
前言： nagios是目前比较流行的一款开源监控软件，主要通过强大的插件来实现各种监控需求，下面介绍一下简单的部署方法。一、服务端安装主程序1、先去下载nagios-cn-3.2.3.tar.bz2[root@book tmp]# wget http://sourceforge.net/proj
2023-07-15
rsyslog： rsyslog: 多线程； 支持UDP, TCP, SSL, TLS, RELP远程日志记录 rsyslog支持将日志记录在MySQL, PGSQL, Oracle等多种关系数据库中 rsyslog支持强大的过滤器，可实现过滤系统信息中的任意部分 自定义输出格式 适用于企业级别日
2023-07-15
前言： 学习zabbix之前，不得不了解的是SNMP协议 SNMP:简单网络管理协议（SimpleNetwork Protocol） Snmp由两部分组成，监控端和被监控端 监控模式： 主动模式：NMS向agent采集数据，监控端到被监控端采集数据
2023-07-15
参考 zabbix概述http://www.linuxea.com/index.php/archives/896.html Zabbix进程描述： Poller:此进程可能会被启动多个，应对更多请求 Httppoller：监控web页面专用poller Di
2023-07-15
一，环境准备1，安装lamp平台#yum -y install mysql-server mysql php php-mysql 2，创建库CREATE DATABASE zabbix CHARACTER SET utf8;3,授权主机GRANT ALL ON zabbix. TO 'zuser'@
2023-07-15
下载字体，本章使用simkai.ttf字体 点击下载1，将字体放置zabbix/fonts下[root@zabbix-server fonts]# pwd/usr/share/zabbix/fonts[root@zabbix-server fonts]# lltotal 4040lrwxrwxrwx
2023-07-15
![zabbix监控mysql启动状态[1]](https://img.mryunwei.com/uploads/2023/07/20230716062736930.png)
zabbbx-agent安装agentyum -y install zabbix-agent zabbix vim /etc/zabbix/zabbix_agentd.conf Server=10.0.0.120 添加UserParameter断vim /etc/zabbix/zabbix_age
2023-07-15
![zabbix通过postfix和163转发邮件报警[2]](https://img.mryunwei.com/uploads/2023/07/20230716062336991.png)
[root@zabbix ~]# /etc/init.d/postfix start [root@zabbix ~]# vim /etc/mail.rc #######set mail set from=usertzc@163.com smtp=smtp.163.com set smtp-auth
2023-07-15
ELK Stack通常情况下：1，开发人员是不能登录线上服务器查看日志信息2，各个系统的日志繁多，日志数据分散难以查找3，日志数据量较大，查询速度慢，数据不够实时性4，一个调用会涉及到多个系统，难以在这些系统中快速定位数据elk stack = elastic search + logstash +
2023-07-15
Es+Head+Logstash在昨天，使用tar.gz安装很多问题，本次使用yum安装。参考权威指南：http://www.learnes.net/1,安装java[root@ELK1 ~]# yum -y install java-1.8.0-openjdk* git [root@ELK1 ~]
2023-07-15
[root@node conf.d]# cat /etc/logstash/conf.d/logstash.conf input { file { path => "/var/log/messages" } } output { file { path =
2023-07-15