前言 上文《MySQL数据被误删怎么办？》介绍了MySQL在故障或者误删数据后，可以通过备份+binlog的方式进行数据恢复。但是，当备份文件和binlog都丢失了呢？所以单节点是不可靠的，为了避免单节点故障带来的数据丢失以及MySQL服务的可用性，生产环境通常都是采用高可用或者集群模式。而在这背后
2024-01-19
4、Binlog是如何写入的由于MySQL的SQL和引擎层的双日志体系，Binlog写入需要解决多个引擎之间事务执行的一致性问题。此外，由于从日志产生到落盘是数据库写入的关键路径，所以写入的效率也是需要关注的。下面我就从这两个方面来介绍Binlog的写入过程。4.1、分布式事务模型——XAXA源于D
2023-12-29
GTID标识了Binlog事务的全局唯一性，保证事务在集群的每个实例上有且只执行了一次。开启Binlog和GTID后，MySQL会为每个事务绑定一个GTID，该事务执行成功后，对应的GTID会被记录在Binlog中。因此MySQL可以通过GTID的状态来判断状态机状态，在搭建复制时，根据GTID判断
2023-12-29
什么是 binlog（ binary log） binlog 是一个二进制格式的文件，用于记录用户对数据库更新的 SQL 语句信息，例如更改数据库表和更改内容的 SQL 语句都会记录到 binlog 里，但是对库表等内容的查询不会记录。 默认情况下，binlog 日志是二进制格式的，不能使用查看文本
2023-12-27
之前的文章我们提到过，主备数据库是通过binlog实现的数据同步：主库在接到客户端更新请求时，执行内部事务的更新逻辑，同时写binlog。 r1）edo log commit后，才会回复客户端ack； 2）binlog写成功后就可以同步备库，因为binlog写盘成功后，就算后续commit失败，数据
2023-12-12
前言 开发一个自动数据库升级工具，实现一键回滚数据误操作或者升级回滚 基于mysql的binlog日志原理，动手实现了一个数据库升级小工具；可以通过执行binlog文件分析指定时间节点的日志，然后对应生成相应的dml回滚语句，最后执行回滚语句达到数据库快速回滚或者闪回功能。 解析binlog功能是
2023-12-07
环境：主库 Azure云上安装mysql server_id:6120 备库 虚拟机安装mysql server_id:6119 问题现象： 数据差异 发现某系统上的一个表上的一条数据跟云上的数据存在差异，从如下截图可以看到差异的数据 如上图所示，表cf_rm_****
2023-11-29
1、binlog 概念 binlog是以二进制格式追加存储的归档日志，它属于server层，并且是逻辑日志，主要记录数据的变更操作，包括DDL和DML语言，但不包括数据查询（SELECT、SHOW）语句。 主要作用 数据备份、恢复、主从复制 三种格式 在内容存储的时候，有如下表的三种格式，可通过bi
2023-11-29
MySQL是一种常见的关系型数据库，在应用程序中使用广泛。当出现问题时，可以通过查看其日志记录来帮助定位问题。其中之一就是二进制日志（binlog）。以下是如何查看MySQL binlog的步骤：1. 首先进入MySQL控制台 ： mysql -u username -p 2. 输入密码后，使用
2023-11-27
由于业务写入了一条大事务，导致 MySQL 的 binlog 膨胀。在解析大的 binlog 时，经常会遇到这个问题，导致无法解析，没有其他工具的情况下，很难分析问题。 作者：孙绪宗，新浪微博 DBA 团队工程师，主要负责 MySQL、PostgreSQL 等关系型数据库运维。 爱可生开源社区出品，
2023-11-21
二进制日志文件并不是每次写的时候同步到磁盘。因此当数据库所在操作系统发生宕机时，可能会有最后一部分数据没有写入二进制日志文件中，这给恢复和复制带来了问题。参数sync_binlog=[N]表示每写缓冲多次就同步到磁盘。如果将N设为1，即sync_binlog=1表示采用同步写磁盘的方式来写二进制日志
2023-11-20
这是学习笔记的第 2478篇文章 MySQL binlog集市的事情我们做了有一段时间了，最开始的初衷是异常操作的数据恢复，主要的痛点是如果发生了业务误操作，需要紧急恢复数据的时候，通常这些误操作是对于字典配置数据的变更，而要恢复的时候成本则太高了，举个极端的例子，1T数据量的数据库，要恢复的字
2023-10-23
MySQL的二进制日志（Binary Log, Binlog）是MySQL数据库中非常核心的技术之一，它记录了数据库中所有的DDL和DML操作，对于数据的恢复、复制等都起着至关重要的作用。 今天我们将通过实际的binlog日志内容，深入探讨MySQL的binlog复制技术，理解其背后的运作机制
2023-10-23
在MySQL中，二进制日志（Binlog）是一个非常重要的组件，它记录了所有影响数据内容的事件。当我们使用mysqlbinlog工具以--verbose模式查看Binlog内容时，可能会看到一些看似复杂的输出。在本文中，我们将逐步解析这些输出，理解它们的含义。 1. Binlog格式 首先，我们需
2023-10-21
MySQL是一个非常流行的数据库，而binlog则是MySQL中一个非常重要的特性，它能够记录所有数据库的更新操作，这使得我们可以在需要的时候回溯数据库的历史版本，提高了数据库的可靠性。那么，我们如何查看MySQL是否开binlog呢？步骤一：进入MySQL客户端 # mysql -u root
2023-10-19
1 读写分离和主从复制 大型应用服务器在写数据的时候，访问主数据库，主数据库通过主从复制机制将数据更新同步 到从数据库，这样当应用服务器读数据的时候，就可以通过从数据库获得数据。 为了便于应用程序访问读写分离后的数据库，通常在应用服务器端使用专门的数据访问模块，使数据库读写分离对应用透明。 2
2023-10-17
MySQL的binlog（二进制日志）是一种记录MySQL数据库更改操作的文件。它可以帮助数据库管理员和开发人员进行数据备份、恢复、数据同步的操作。那么，如何查看MySQL的binlog路径呢？下面我们就来一起看一看。# 登录MySQL服务器 mysql -u username -p # 查看b
2023-10-17
鸡声茅店月，人迹板桥霜。 1 前言 关于 mysql 的数据同步，一般都是读取 mysql 的 binlog 日志文件，来获取数据的变更进行同步。在开源项目中，监听 mysql binlog 的工具有很多， 比如 mysql-binlog-connector-java、cannal 、flink-
2023-10-17
MySQL 是一个非常流行的关系型数据库，使用广泛。在运行 MySQL 数据库的过程中，有时候会遇到数据丢失、数据库损坏等问题。这时候可以从 binlog（二进制日志）中恢复数据库的数据。使用 binlog 恢复数据库的步骤如下：1. 停止 MySQL 服务 # service mysql sto
2023-10-16
需求：将mysql5.7.27数据库导入到8.0.13 导入前准备 已安装好MySQL8.0.13数据库 --1.增大max_binlog_cache_size值重启库 [root@localhost ys]# grep max_binlog /data/mysql813/my8.cnf max_b
2023-10-15