众所周知，防止断电丢失 Binlog、故障恢复过程丢失数据，MySQL 主库必须设置 sync_binlog=1。那么作为备库可以例外吗？ 作者：胡呈清，爱可生 DBA 团队成员，擅长故障分析、性能优化，个人博客：[简书 | 轻松的鱼]，欢迎讨论。 爱可生开源社区出品，原创内容未经授权不得随意使用，
2024-07-30
有个mysql数据库服务，之前没有打开binlog，业务通过修改mysql配置文件my.cnf,添加配置：log_bin=on重启实例后报错：May 21 15:24:06 iZbp1frzobeoohjrekaca7Z mysqld: 2024-05-21T07:24:06.491333Z 0 [
2024-07-20
独家揭秘丨GreatSQL 没开Binlog时多线程插入数据性能劣化之谜一、问题发现在一次数据迁移中，用到了INSERT INTO t1 SELECT * FROM t2这样的 SQL 用来搬迁大表，为了提高插入效率关闭了Binlog，考虑用多线程来插入提高速度。表的类型信息和插入效率如下所示。测试
2024-07-20
前言MySQL 是全球知名的开源关系型数据库，一直以来因其稳定性、可靠性和易用性而广受欢迎。一个重要的特性，也是 MySQL 受到高度关注的理由，是其较早期推出的二进制日志功能 —— binlog。MySQL binlog，即二进制日志，是 MySQL 中用于记录数据库更改的日志文件。自 MySQL
2024-06-27
概述 MySQL 的用户群体很大，为了能够增强数据的实时性，很多解决方案会利用 binlog 将数据写入到 ClickHouse。为了能够监听 binlog 事件，我们需要用到类似 canal \maxwell\cdc这样的第三方中间件，再导到kafka，这无疑增加了系统的复杂度。ClickHous
2024-06-06
在MySQL数据库中，日志系统扮演着至关重要的角色，它不仅保障了数据的完整性，还提供了数据恢复与事务处理的能力。MySQL中的binlog（二进制日志）、undo log（回滚日志）和redo log（重做日志）各自承担着不同的责任，共同维护着数据库的稳定运行。1. binlog（二进制日志）bin
2024-05-30
工作或者面试中，经常会遇到 MySQL 数据库 binlog、undo log、redo log 相关的知识点，今天我们就来一起深入分析这三种 log。申明：本文基于 MySQL 8.0.30，默认为 InnoDB 引擎;InnoDB 由 Innobase Oy公司所开发，2006年五月时由甲骨
2024-05-28
作者：李锡超，苏商银行DBA，负责数据库和中间件运维和建设。擅长 MySQL、Python、Oracle，爱好骑行、技术研究和分享。爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。本文约 2000 字，预计阅读需要 8 分钟。1概述近期，某系统进行测试时，发现主从同步存在
2024-05-15
之前写过一篇文章MySQL如何获取binlog的开始时间和结束时间,文章里面介绍了如何获取MySQL数据库二进制日志（binlog）的开始时间与结束时间的一些方法。实际应用当中，我们可能还会遇到效率/性能方面的问题。最近对这个问题做了一些研究，这里就介绍一下如何快速获取MySQL二进制日志(binl
2024-05-11
点击上方“IT那活儿”公众号--专注于企业全栈运维技术分享，不管IT什么活儿，干就完了！！！ 前 言binlog日志，即二进制日志（Binary Log），是MySQL数据库中一种用于记录数据库操作的日志文件。它以二进制形式记录了数据库中所有更改数据的操作，包括插入、更新、删除等。1.1 bi
2024-05-09
binlog2sql_go介绍 日常工作中经常遇到需要解析binlog的场景，如： - 通过binlog查找sql执行记录 - 通过binlog回滚某条sql - 主从故障切换后通过binlog修复数据 - 审计、数据追踪、事务统计等等。 binlog2sql_go就是一个golang开发的MySQ
2024-05-08
OceanBase官方最近推出了开源版的binlog service工具，可以将OceanBase自己的clog转换为binlog模式，提供给下游工具消费，例如canal、flink cdc等，今天就简单体验下binlog service的功能，并通过mysqlbinlog工具进行解析，看下是否正确
2024-05-07
1. 名词解释 # 名词 说明 1 PD Server Placement Driver Server 的简称，集群的管理模块。 2 Pump 用于实时记录 TiDB产生的 Binlog，并将 Binlog 按照事务的提交时间进行排序， 再提供给 Drainer 进行消费的服务器。
2024-05-07
之前听很多用户都提出过一个相同的需求，就是希望能提供把 OceanBase 的事务日志 clog 转换成和 MySQL 兼容的 binlog 的能力。最近 OceanBase 就在 OBLogProxy（日志代理服务） 中提供了这个能力，今天就来简单试用一下这个功能，顺便做一个记录。功能介绍OBLo
2024-05-07
背景 在数据库的日常运维中，不可避免会遇到数据误操作，比如未按预期执行了 delete/update 操作，需要将数据回滚回来。如果在OB开启了回收站且设置的undo_retention合适，可以利用闪回查询进行数据恢复，感兴趣的同学可以移步到这
2024-05-07
![[pymysqlbinlog] v0.1 发布 离线 解析/分析 MYSQL BINLOG](https://img.mryunwei.com/uploads/2024/05/20240504214558335.png)
介绍 pymysqlbinlog 是分析/解析binlog的开源工具, 使用GPL-3.0 license 项目地址: https://github.com/ddcw/pymysqlbinlog 功能: 分析binlog, 得到大事务信息, 表使用情况, DML使用情况等. 解析binlog, 解
2024-05-04
![[pymysqlbinlog] ROW_EVENT 从BINLOG中提取数据(SQL) & 从BINLOG中回滚数据(SQL)](https://img.mryunwei.com/uploads/2024/04/20240429173557186.png)
导读 终于到了 row event的解析了. 只要解析了这部分, binlog基本上就算是解析完成了. row event 记录了数据类型, 但是没得符号信息(5.7). 也没得字段信息(binlog_row_metadata=minimal). 所以可能无法拼接为SQL, 但可以转为BINLOG
2024-04-29
![[pymysqlbinlog] binlog中第一个event FORMAT_DESCRIPTION_EVENT](https://img.mryunwei.com/uploads/2024/04/20240422170753389.png)
导读 binlog中的第一个event 用来标识这个binlog的基础信息. 是非常重要的. 使用mysqlbinlog 命令解析binlog的时候 也是要先执行第一个event的, 不然数据库会无法识别. 报错ERROR 1609 (HY000): The BINLOG statement o
2024-04-22
之前在生产做修改数据的时候不小心改错了一行数据，本来以为会被通报批评，但是同事利用binlog日志查看到了之前的旧数据，并且帮我回滚了，学到了，所以写了一篇binlog的文章分享给大家。 MySQL的Binary Log（简称binlog）是一种重要的数据库日志系统，用于记录数据库服务器上所有更改数
2024-04-22
这篇文章，我们来聊聊：事务执行过程中，临时存放到 trx_cache 的那些 binlog，是怎么乾坤大挪移到 binlog 日志文件的。 作者：操盛春，爱可生技术专家，公众号『一树一溪』作者，专注于研究 MySQL 和 OceanBase 源码。 爱可生开源社区出品，原创内容未经授权不得随意使用，
2024-03-21