自动化运维

对接alertmanager创建钉钉卡片(1)

很多时候,依靠通过alertmanager的标签来进行分组将不同的警报发送到不同的人,亦或者拉起一个群来接收一条关键的警告。在大多数时候,我门希望能够减少告警疲劳。要完成这样的动作…

手把手教你搭建OpenFalcon监控系统

引言 作为一名Linux和Python技术持续学习者,要求我们不仅能够熟练操作Linux系统,还要能够搭建起强大的运维监控系统。本文将为大家详细介绍如何使用OpenFalcon搭建…

无需任何魔法即可使用 Ansible 的神奇变量“hostvars”

首先,一些基本的定义和规则: 在Ansible中,有一组保留变量,称为魔术 变量。由于它们是保留的,因此用户无法设置它们,如果尝试设置,Ansible 将覆盖它们。 本文特别关注一…

openobseve HA本地单集群模式

ha默认就不支持本地存储了,集群模式下openobseve会运行多个节点,每个节点都是无状态的,数据存储在对象存储中,元数据在etcd中,因此理论上openobseve可以随时进行…

基于k8s上loggie/vector/openobserve日志收集

在上次的日志收集组件变化中简单的介绍了新方案,通常要么基于K8s收集容器的标准输出,要么收集文件。我们尝试使用最新的方式进行配置日志收集的组合进行测试,如下:但是,在开始之前,我们…

openobseve单节点和查询语法

OpenObserve声称可以比Elasticsearch 它⼤约可以节省 140 倍的存储成本,同时由Rust开发的可观测性平台(⽇志、指标、追踪),它可以进行日志搜索,基于sq…

2023 年需要学习和掌握的 30 个最佳 DevOps 工具:Git、Docker 等

虽然DevOps是一种文化,但正确的工具堆栈使得成功实施 DevOps 成为可能。DevOps 方法的核心,也许也是最引人注目的概念是软件开发和运营团队之间的协作。同样重要的是,D…

日志收集的悄然变化

日志收集短期发展史日志的查看和告警是日志收集最核心的两个原因之一,通常99%的日志都是无用的,除非这些日志被用来做数据聚合环比数据分析。而传统的ELK,无论是Logstash还是E…

vector与alertmanager的调试日志警报

日志告警一直都是一个无法回避的问题,无论是在什么时候,能够掌握程序日志的报错信息是有利于早期发现并定位问题。而在过去,常用手段可以通过logstash的if判断进行正则匹配,或者通…

企业级日志收集系统——ELKstack

1.ELKstack简介 ELKstack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合而成,形成一款强大的实时日志收集展示系统。 各组件作用…

自己写脚本实现zabbix报警升级

需求: 公司的程序需要在后台跑一些脚本,有shell有php,需要持续不断的运行,如果脚本中断运行,需要自动启动,如果启动失败就发邮件/短信报警。 我们的监控是使用zabbix来做…

pyenv环境配置

操作系统环境: Centos7.1 64位 1.Pyenv介绍 Pyenv用于同时管理多个python版本,它可为每个工作目录设定使用指定的python版本,例如切换到$HOME/…

jmeter实现api自动化测试

1.介绍 文章介绍了通过jmeter事先录制api脚本,然后使用ant进行编译,最后生成html的接口测试报告,并且通过web展示。 这种测试主要应用于持续集成环境中,在运维部署代…

使用shell实现php代码自动发布

前言 在中小企业如果需要实现代码的自动化部署,99%以上公司不会开发什么自动化部署回滚平台的,这个时候就需要运维人员通过shell+开源软件比如jenkins来实现代码的自动化部署…

使用shell脚本实现java灰度发布

前言 在中小企业如果需要实现代码的自动化部署,99%以上公司不会开发什么自动化部署回滚平台的,这个时候就需要运维人员通过shell+开源软件比如jenkins来实现代码的自动化部署…

安卓自动化打包(基于gradle)

1.前言 工作关系,需要做安卓环境的自动打包,领导要求公司产品、测试、开发等小伙伴每天来上班之前,可以在指定位置下载开发,测试,生产环境最新的安卓版本安装包,可以每日验证产品开发进…

IOS自动打包记录

IOS打包踩的坑 搞了一周,终于搞定了IOS自动打包,记录一下。 IOS打包的过程其实非常简单,整个打包过程也就三条命令(清理,编译,打包),但是由于之前有安卓打包的经验,在IOS…

jenkins介绍部署及三种构建方式配置

1.前言 1.1.jenkins介绍 jenkins是基于java开发的一种持续集成工具,用于监控持续重复的工作,功能包括。 1、持续的软件版本发布/测试 2、监控外部调用执行项目…

基于cobbler的自动化安装实践

1.Cobbler介绍 Cobbler可以通过网络快速安装/重装操作系统,如果说pxe+kickstart安装操作系统是大专水平,那么cobbler就是小学生难度。 Cobbler…

每日打包之自动化安装(打通app自动化测试)

1.前言 我们前段时间实现了安卓和ios的自动打包,可以每天把最新的代码制作成安装包,放到下载目录,让产品,测试等人员进行下载,以便每日验证产品开发进度以及及时反馈开发功能的方向是…

关于我的jenkins使用知识点总结(v1.0)

前言: 近期我们上了jenkins实现了代码的自动发布和app的自动打包,而且其中的一些实现也在我的博客总结了文章,各种文章前后顺序比较杂乱,就已文本作为相关持续集成文章的一个汇总…

sonar+Jenkins 进行代码质量分析

1.Sonar 介绍 Sonar 是一个用于管理代码质量的开源工具,可以分析代码中的bug和漏洞以及Code Smells,支持20多种编程语言的检测,如java,c/c++,py…

ansible 管理 windows

前言 因为工作需求,有一批windows服务器需要管理,因为数量较多,所以研究了一下ansible自动化管理windows服务器,在此记录一下。 环境说明 ansible 服务器:…

通过时间戳对es进行时间范围查询

前言 今天对公司对一个报警脚本进行改造,遇到了一个ES查询问题,在此进行记录,已做备忘。 报警脚本逻辑,通过查询es中对访问日志,判断微服务接口的错误信息和微服务接口响应延迟进行报…

zabbix 监控交换机日志

需求 我们需要监控交换机warn以上级别的日志,只要有warn及以上级别的日志输入,就需要发送报警给运维,我们使用的监控平台是zabbix,所以监控就需要使用zabbix来实现,下…

k8s 弹性伸缩,基于CPU指标

k8s弹性伸缩涉及内容 在 Kubernetes 的生态中,在多个维度、多个层次提供了不同的组件来满足不同的伸缩场景。 有三种弹性伸缩 CA(Cluster Autoscaler)…

k8s 弹性伸缩,基于prometheus自定义指标

简介 上一批文章写了,基于CPU指标的弹性伸缩,资源指标只包含CPU、内存,一般来说也够了。但如果想根据自定义指标:如请求qps/5xx错误数来实现HPA,就需要使用自定义指标了,…

prometheus监控flink

前言 Flink 提供的Metrics可以在Flink 内部收集一些指标,通过这些指标可以让开发人员更好地理解作业或集群的状态。 但Flink 内置的Metrics更多的是查看任务…

K8S 的一个网络问题

问题描述 K8S 集群,新安装了nginx服务器,但是访问80端口出来的服务不对,关闭nginx后,仍然可以访问服务器的80端口,但是本地80端口并没有任何服务监听。因为是K8S节…

(2)Flink on k8s 的一些生产配置

1.简介 之前部署了flink operator,并将spark 作业提交到了k8s之上,但是也仅仅达到了能用的程度,距离生产落地还有一些内容需要调整。 2.Flink 作业日志持…

(3)Flink on k8s checkpoint 状态写入pv

1.简介 大家都知道,Flink 是一个有状态的分布式流式计算引擎,flink 中的每个function或者是operator都可以是有状态的,为了使得状态可以容错,flink引入…

(4)Flink on k8s HA 实现

1.简介 无论是我们自己开发的系统,还是各种中间件,高可用部署可以避免单点故障,是生产运行的必备要求。对于flink作业也一样,我们开发好的flink 作业,部署到生产环境,也需要…

(5)Flink on k8s之historyServer

1.Flink HistoryServer用途 HistoryServer可以在Flink 作业终止运行(Flink集群关闭)之后,还可以查询已完成作业的统计信息。此外,它对外提供…

(6)Flink SQL on k8s 实现

1.简介 我们在实际使用flink的过程中,不仅使用java开发flink作业,同时也会直接使用flink SQL,通过编写SQL的方式,来实现flink作业。本文就基于Flink…

springboot Actuator指标监控(基于k8s 和prometheus 实现)

1.简介 每一个微服务在部署以后,我们都需要对其进行监控、追踪、审计、控制等。 Spring Boot就提供了Actuator场景,使得我们的应用快速引用即可获得生产级别的应用监控…

linux安装nagios

前言: nagios是目前比较流行的一款开源监控软件,主要通过强大的插件来实现各种监控需求,下面介绍一下简单的部署方法。一、服务端安装主程序1、先去下载nagios-cn-3.2.…

rsyslog多线程远程日志记录介绍(lamp+rsyslog)

 rsyslog: rsyslog: 多线程; 支持UDP, TCP, SSL, TLS, RELP远程日志记录 rsyslog支持将日志记录在MySQL, PGSQL, Orac…

Zabbix概述(一)

前言: 学习zabbix之前,不得不了解的是SNMP协议 SNMP:简单网络管理协议(SimpleNetwork Protocol) Snmp由两部分组成,监控端和被监控端 监控模…

Zabbix安装与配置(二)

参考 zabbix概述http://www.linuxea.com/index.php/archives/896.html Zabbix进程描述: Poller:此进程可能会被启动…

zabbix监控linux&windows主机(三)

一,环境准备1,安装lamp平台#yum -y install mysql-server mysql php php-mysql 2,创建库CREATE DATABASE zabb…