当我们使用 Mysql数据库到达一定量级以后，性能就会逐步下降，而解决此类问题，常用的手段就是引入数据库中间件进行分库分表处理，比如使用 Mycat、ShadingShpere、tddl，但是这种都是过去式了，现在使用分布式数据库可以避免分库分表为什么不建议分库分表呢？分库分表以后，会面临以下问题分
2024-01-23
文章转载自数据源的技术后花园，作者爱喝自来水的猫 从事数据库相关工作十余年，经历过早期的传统集中式数据库如 Oracle 、 MySQL ，后来的分库分表中间件如 MyCat 、 ShardingSphere ，再到后来的分库分表数据库如 TDSQL 、 GoldenDB ，最后到如今的云原生分布式
2024-01-22
从我个人的观点来看，我认为TDSQL（MySQL分布式版本）是传统MySQL分库分表解决方案的集大成者，其后面也有一些类似产品，比如中国电信的TeleDB、HotDB等。过去一些年，分库分表在互联网公司大行其道，用的非常多，主要是为了解决传统MySQL数据库的一些扩展性问题。这种方案有人觉得相对落后
2024-01-21
写在前面 诚然 Sharding-shpere 是一款非常优秀的技术产品， 下面介绍的自研的技术产品，在生态和完善度上是无法与之相提并论的。 但是笔者自己开发的这个项目： sharding-mybatis，目前已用于生产环境，且承载TPS超过数万的这个项目， 在某些特殊场景或许更好用一些， 如果您感
2024-01-18
分库分表后就不能使用自增 ID 来作为表的主键了，因为数据库自增 ID 只适用于单机环境，但如果是分布式环境，是将数据库进行分库、分表或数据库分片等操作时，那么数据库自增 ID 就会生成重复 ID，从而导致业务查询上的问题。所以此时，可以使用 UUID 或雪花 ID 来作为全局主键 ID。1、UUI
2024-01-17
概述这篇文章没什么太多的干货，纯纯是一篇讨论和思考帖。从业数据库领域三年有余了，从分库分表中间件到数据库团队内核学到了很多东西。也接触了很多项目，包括TiDB、Vitess、Polardb、StarDB等等。国内的项目好像很多都聚焦于分库分表的概念，包括很多的数据库团队都在尝试这个概念的落地和沉溺于
2023-12-27
概述随着数据库中数据量日益增多，不得进行分库分表，在分库后将数据分布到不同的数据库实例（甚至物理机器）上，以达到降低数据量，提供系统的处理能力，但是这种架构也带来其他问题，比如本文要讲解的跨库分页查询。全局查询法test表有数据[1,2,3,4,5,6,7,8]，在单库的时候，查询第2页数据并且显示
2023-12-21
将原本存储于单个数据库上的数据拆分到多个数据库，把原来存储在单张数据表的数据拆分到多张数据表中，实现数据切分，从而提升数据库操作性能。 分库分表的实现可以分为两种方式：垂直切分和水平切分。 水平：将数据分散到多张表，涉及分区键， 分库：每个库结构一样，数据不一样，没有交集。
2023-11-15
通过MySQL开发实现分库分表与水平扩展的项目经验分享引言：随着大数据时代的到来，数据量的爆炸式增长使得传统的单机数据库已经无法满足业务需求。为了解决数据存储和查询的性能问题，分库分表与水平扩展成为了当下非常流行的技术。本文将分享一些通过MySQL开发实现分库分表与水平扩展的项目经验，希望对同样面临
2023-11-02
什么是MySQL分库分表？MySQL分库分表（Sharding）是一种数据库水平扩展技术，用于解决单台数据库无法满足大规模并发和数据存储需求的问题。将原本存储在单个大数据库中的数据拆分成多个小型数据库，以便于分布式管理和查询。分库分表的实现方式分库分表主要有两种实现方式：自己手写和使用分库分表中间件
2023-10-18
如何通过索引优化PHP与MySQL的数据分片和分库查询？在大型web应用中，为了提高性能和可伸缩性，常常需要将数据存储在多个数据库实例中，这就需要进行数据分片和分库查询。然而，随着数据量的增加，分片查询可能会导致查询性能下降的问题。为了解决这个问题，我们可以通过优化索引来改善查询性能。本文将详细介绍
2023-10-15
MySQL分库分表：MyCAT-问题描述 随着数据库存储的内容越来越多，MySQL主从复制也开始无法存储更多的数据，此时就需要切割表，把一张过大的表切割后分别存储在不同的MySQL中，以便存储更多的内容，承载更多的用户。此阶段出现的典型问题如下： （1）随着互联网的发展，数据的量级也呈指数级增长，从
2023-10-13
在实践中，解决分库分表中的分布式事务问题，最简单的方式就是直接禁用跨库事务。正常来说，在分库分表之后，你的业务就应该操作特定的某个数据库中的某个表。最多就是操作某个数据库上的某几张表，跨库本身就是一个不好的实践。 所以可以从公司规范上直接禁用了跨库事务。 我们公司是直接禁止跨库事务。所以在分库分表之
2023-10-09
分布式事务简介 本地事务 大多数场景下，我们应用只需要操作单一数据库，这种情况下的事务称为本地事务，本地事务的ACID特性是数据库直接提供支持，架构如下： 分布式事务 在微服务架构中，完成某一个业务功能可能需要横跨多个服务，操作多个数据库，这就涉及到分布式事务。需要操作的资源位于多个资源服务器上，
2023-10-09
一、概述 分库分表是在面对高并发、海量数量时常见的数据库层面的解决方案。通过把数据分散到不同的数据库中，使得单一数据库的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的。比如：将电商数据库拆分为若干独立的数据库，并且对于大表来说也拆分为若干小表，通过这种数据库拆分的方法来解决数据库
2023-10-06
前言 随着业务的快速发展，数据库已经有了上亿条记录，数据存储达到了上百G,原有的单库单表设计已经无法支持系统的稳定性以及接口的响应速度了，数据库存在大量慢查询，且需要提供对C端这种大访问量场景提供支持。 数据库随时面临着宕机的风险 ，基于此，决定对大表进行治理，下面是对大表改造的一些通用方案实践总
2023-09-29
系列文档参考 MYSQL系列-整体架构介绍 前文已经实践基于Spring动态数据源和基于Sharing-JDBC的分库分表，本文主要讲述基于MYCAT的分库分表，前两篇如下： MYSQL系列-分库分表（二）：Spring动态数据源实现分库分表落地实践-上 MYSQL系列-分库分表（三）：Shard
2023-09-26
系列文档参考 MYSQL系列-整体架构介绍 紧接上文MYSQL系列-分库分表（三）：Sharding-JDBC实现分库分表落地实践-上 详细设计 表模型改动 当前表结构如下 point_shard1point_shard2分库分
2023-09-25
系列文档参考 MYSQL系列-整体架构介绍 紧接上文MYSQL系列-分库分表（三）：Sharding-JDBC实现分库分表落地实践-中 详细设计 关键技术点实现 支持读写分离，并且某些不能有主从延迟的SQL强制走写库查询 sharding-jdbc本身支持读写分离，相关说明可以参考官网 读写分离
2023-09-25
系列文档参考 MYSQL系列-整体架构介绍 前文已经实践基于Spring动态数据源的分库分表，本文主要落地基于Sharding-JDBC MYSQL系列-分库分表（二）：Spring动态数据源实现分库分表落地实践-上 原始需求 原始需求同前文 需要实现功能如下： 业务表point_balance
2023-09-22