1.Mysql route介绍 1.1.什么是mysql route MySQL Router是处于应用client和dbserver之间的轻量级代理程序，它能检测，分析和转发查询到后端数据库实例，并把结果返回给client。是mysql-proxy的一个替代品。其架构图和功能如下。 （1）Rou
2023-07-16
1.前言 作为运维，在和开发人员调试mysql数据库故障的时候，你一定碰到过这样的需求，就是输出mysql执行的所有语句，用来分析问题。默认情况下mysql记录语句的执行只是开启了binlog日志，但是binlog不会记录select语句，这个时候就需要打开数据库的general log来记录数据库
2023-07-16
前言 运维工程师在工作中一定会使用到mysql数据库的主从复制，那么肯定会有扩展从库的需求，比如数据库当前吞吐量比较大或者需要单独加一台从库做专门的数据分析。那么生产环境如何添加mysql从库，就是本文要说明的内容。 前提 在添加mysql的从库的时候，从库需要先导入一次主库的全量备份，并且需要知道
2023-07-16
1.前言 mysql作为应用程序的数据存储服务，要实现mysql数据库的高可用。必然要使用的技术就是数据库的复制，如果主节点出现故障可以手动的切换应用到从节点，这点相信运维同学都是知道，并且可以实现的。但是这种情况只是手动的切换，对可用性有要求的业务需要分别实现主库和从库的高可用，保障在数据库出现d
2023-07-16
1.前言 mysql作为互联网公司都会用到的数据库，如果在使用过程中出现性能问题，会采用mysql的横向扩展，使用主从复制来提高读性能，要是解决写入问题，需要进行分库分表。本文不会去介绍mysql的高可用，主要介绍mysql的访问中间件（DAL）的一些实现方案。 2.Atlas 官网：https:/
2023-07-16
前言 在执行elasticsearch查询的时候，有些查询会占用大量的资源导致响应很慢，这个时候就需要ES对慢查询进行监控。找到那些响应很慢的请求。ES的请求主要分为搜索和索引，ES也分别提供了这两种类型请求的慢查询日志。 搜索慢日志 慢搜索日志配置可以记录响应慢的搜索（查询和获取阶段）并将其放到一
2023-07-16
问题 今天添加了一个mysql5.7的 slave数据库，部署完成之后，启动新部署的slave一切正常，但是收到了老slave数据库的主从同步报警。 登陆故障数据库查询到，Mysql主从同步报错如下 Last_IO_Error: Got fatal error 1236 from master wh
2023-07-16
前言 我们公司数据库这段时间由于数据量过大，导致备份的时间过长，一次全量备份的备份时间从凌晨12点到了早上八九点，这个时间段备份还没有结束就会占用服务器大量的网络和磁盘io，导致出现很多慢查询，影响到用户体验。这时我们就上mysql延迟复制技术，来解决mysql备份时间过长的问题。 那么什么是延迟复
2023-07-16
neo 4j 介绍 neo4j 是世界领先的开源图数据库。它完全由java语言编写实现，具有高可用性，可伸缩性，可以轻易扩展到上亿级别的节点和关系，通过遍历工具高速检索数据。 因为阐述图数据库概念需要大量篇幅，所以本文不做过多解释。详细内容可以查询neo4j中文手册：http://neo4j.com
2023-07-16
Codis 介绍 简介 Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有显著区别 (有一些命令不支持), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的
2023-07-16
冷热数据分离的目的 1、ES集群异构，机器硬件资源配置不一，有高性能CPU和SSD存储集群，也有大容量的机械磁盘集群，比如我们的场景就是存放冷数据的集群，服务器都是多年前买的一批满配的4T Dell R70，但是新扩容的热节点机器均为DELL 高性能SSD磁盘和CPU的R740机器。 2、对于时间型
2023-07-16
介绍 Spring Boot 内置了spring-boot-starter-data-redis这个模块用于简化Spring与Redis的 交互过程。 Spring-data-redis是spring大家族的一部分，提供了在spring应用中通过简单的配置访问 redis服务，对reids底层开发包
2023-07-16
1.介绍 自Spring 3.1版本以来，Spring框架支持低侵入的方式向已有Spring应用加入缓存特性。与声明式事务类似，声明式缓存Spring Cache抽象允许一致的API来已支持多种不同的缓存解决方案，同时将对代码的影响减少到最小。 2.准备工作 0、创建一个Spring boot工程，
2023-07-16
为什么不能直接更新缓存 首先要做一个小科普，在日常开发中，无论使用进程内缓存(如：ehcache)，还是进程外的缓存中间件（如：redis），他的本质就是利用内存的高吞吐的特性高效的完成数据的提取工作。因为底层mysql 在进行数据提取操作的时候是随机读写，性能比较慢。我们通常把热点数据放在内存缓存
2023-07-16
1.Redis 主从复制 1.1.用途 1、Redis 主从是构建redis集群最基础的操作 2、读写分离，扩展主节点的读能力，分担主节点读压力 1.2.redis 一主两从搭建 1、Redis 安装（3个节点都要） yum install -y gcc-c++ autoconf automake
2023-07-16
1.Redis集群模式介绍 Cluster模式是Redis3.0开始推出的 Redis Cluster属于AP模型 采用无中心结构，每个节点保存数据和整个集群状态, 每个节点都和其他所有节点连接 官方要求：至少6个节点才可以保证高可用，即3主3从；扩展性强、更好做到高可用 各个节点会互相通信，采用
2023-07-16
1.介绍 本文主要介绍ES分布式的一些原理，了解一个文档的写入、提取、搜索在ES里面做了哪些事情。 2.文档写入流程 我们首先了解在ES集群中，一个单独的文档是如何写入的。 1、客户端发送任何一个请求到任意一个节点，这个节点就成为协调节点 （coordinate node） 2、协调节点对新增d
2023-07-16
1.介绍 在很多场景下，需要去换数据的存储介质，比如需要把mysql的数据换到ES存储，或者是吧Mongodb数据换到 Mysql存储，基本上每个运维都会碰到这种存储迁移的情况。 因为是异构数据库迁移，在生产环境可以申请到维护窗口进行迁移还好，要是不能停业务，需要平滑无缝的迁移应该怎么做呢？ 2.时
2023-07-16
MYSQL 的 LVM 快照备份、恢复 1、划分分区 【标识号：8e】 2、创建 lvm 分区： (1)、建立 pv Pvcreate /dec/sda5 # 查看 pv：pvs (2)、建立 vg(卷组) Vgcreate vgtest /dev/sda5 # 查看 vg：vgs (3)、建立 l
2023-07-15
本站最近老发现打不开的情况，经查看阿里云，有被攻击迹象。随后开启云盾。在云监控里面，添加CNAME。而后查看硬盘，发现硬盘占用量高达%99，/var/lib/mysql占用了16G空间。其中以mysql-bin-00000太过于臃肿。果断删除。PS：bin文件主要用于主从复制。清空mysql bin
2023-07-15