引言 上篇《分库分表的正确姿势》中已经将分库分表的方法论全面阐述清楚了，总体看下来用一个字形容，那就是爽！尤其是分库分表技术能够让数据存储层真正成为三高架构，但前面爽是爽了，接着一起来看看分库分表后产生一系列的后患问题，注意我这里的用词，是一系列而不是几个，也就是分库分表虽然好，但你要解决的问题
2024-07-17
数据库分库分表是一种数据库优化策略，用于处理单一数据库或表数据量过大、存储瓶颈、性能瓶颈等问题。它将数据库分为原本存储在一个数据库或表中的数据分散到多个数据库或表中，以提高性能、扩展性和数据性能。每个分库和分表负责存储部分数据，通常根据某种规则或数据特性进行划分，如用户ID、时间戳等。什么是数据库分
2024-06-14
十几年前，互联网产业蓬勃发展，相比传统 IT 企业，互联网应用每天会产生海量的数据。如何存储和分析这些数据成为了当时技术圈的痛点，彼时，分库分表解决方案应运而生。当时最流行的 Java 技术论坛是 javaeye ，有位淘宝的技术人员分享了一篇分库分表的文章 ，这篇文章，我反复看了几十遍，想从中吸取
2024-05-21
分库分表是当今大规模应用系统中常用的数据库架构之一，旨在提高数据库的性能、可扩展性和可用性。然而，在实施了分库分表后，如何有效地查询数据成为了一个关键问题。本文将介绍分库分表后如何进行查询，以及一些常见的查询策略和技术。1. 数据库分库分表概述分库分表是一种将大型数据库划分为多个小型数据库（分库）并
2024-05-07
分库分表是一种数据库架构设计方法，用于解决大规模数据存储和查询的性能瓶颈。随着应用程序的不断发展，数据量的增长和高并发访问对数据库系统提出了更高的要求。什么是分库分表呢？分库分表通过将一个大型数据库拆分成多个较小的数据库（分库），并将数据表按照某种规则拆分成多个小表（分表），从而实现了数据的分散存储
2024-05-07
作者：coredumped，资深数据库从业者，熟悉 MySQL 及分布式架构，为多家大型国有企业提供过技术支持、咨询、架构设计及培训工作。OceanBase开源后，也让更多的人能上手尝试一把，那OB与传统的分库分表方案都有哪些区别呢？OB做了哪些增强的地方呢？本文通过从数据安全、资源投入、业务改造、
2024-05-07
公司介绍：天翼电子商务有限公司（简称“翼支付”）是中国电信集团有限公司的成员企业，是国资委双百改革和发改委第四批混改“双试点”企业，也是“双试点”企业中唯一的金融科技公司。公司以翼支付APP为载体，提供支付方案、会员权益、民生服务、分期借贷、保险理财等服务内容，依托区块链、云计算、大数据、人工智能等
2024-05-07
随着业务的发展，企业的数据量迅猛增长。作为常用的数据处理方案，企业往往会采用 MySQL 分库分表的机制，而在后续很快遇到了痛点。痛点 1：数据一致性难以保证。分库分表会导致数据分布在不同的数据库或数据表中，数据的一致性难以保证。当多个数据表或数据库之间的数据关联较为复杂时，维护数据的一致性会增加复
2024-05-07
从事数据库相关工作十余年，经历过早期的传统集中式数据库如Oracle、MySQL，后来的分库分表中间件如MyCat、ShardingSphere，再到后来的分库分表数据库如TDSQL、GoldenDB，最后到如今的云原生分布式架构TiDB。回忆下来大概可以用一句话来总结：无论数据量和业务量如何增长，
2024-05-07
一款日均超过千万人访问的短视频 App 快手，面对高并发流量如何及时有效地处理用户请求？通过在后端配置多套 MySQL 集群来支撑高流量访问，以解决大数据量存储和性能问题，这种传统的 MySQL 分库分表方案有何问题？快手对分布式数据库展开选型并最终大规模落地 OceanBase 的原因是什么？本文
2024-05-07
分区的定义分区其实就是对表通过一定的规则，拆分成多个物理单位，像MySQL会拆分成多个物理文件，而在 OceanBase 中每个分区就是一个物理副本组，默认每个分区三副本。分区表的优势与劣势在 MySQL 中，如果让我们在分区表和分库分表之间做选择，肯定很多人会毫不犹豫的选择分库分表，因为分区表虽然
2024-05-07
在笔者心中，消息队列，缓存，分库分表是高并发解决方案三剑客。分库分表之所以被广泛使用，因为工程相对简单，但分库分表并不仅仅是分片，还是需要考虑如何扩缩容（全量同步、增量同步、数据校验等）。图片因此，笔者做了一个教学型分库分表示例项目 ，计划将分库分表的技术体系都实际演示一遍。图片https://gi
2024-03-22
关于是否需要进行分库分表，可以根据以下考量因素来决定：数据量和负载：如果数据量巨大且负载压力较大，单一库单一表可能无法满足性能需求，考虑分库分表。数据增长：预估数据增长速度和量级，如果数据增长迅速，分库分表可以帮助分散数据，提高系统性能。查询需求：如果系统中有不同的业务模块，可以通过分库分表来隔离不
2024-03-20
本章主要介绍Sharding分库分表实战，结合实际例子体验分库分表的益处和可能产生的问题。关键词：分库分表、shardingsphere、Sharding-JDBC 官网地址：shardingsphere.apache.org/ 文章导读 背景 上一篇《分库分表设计及常见问题》介绍了分库分表
2024-03-18
背景最近在做的业务中，用户相关的数据不断增长，给系统带来了不小的压力，在 SQL优化实战-千万量级后的慢查 一文中也总结了一些针对慢查的解决方案。但每次活动下来，都会有几百上千万的用户相关数据产生，单纯的sql优化已经无法解决，本文站在前人肩膀上，总结了海量数据情景下的解决方案。分区&分库分
2024-03-09
前言 接触过后端开发的都知道MySQL是很脆弱的，随着业务的增长，当单表的数据量达到千万时，数据库的性能将大幅下降，即使通过添加从库、优化索引等方式也无法完全解决问题。在这种情况下，我们需要考虑对数据库进行切分。切分的主要目的是减轻数据库的负担，降低sql响应时间，从而提高系统的整体性能。 1.什么
2024-03-08
大家好，我是飘渺。随着业务的不断发展，DailyMart每天产生的销售订单已经达到了约100万，并且呈持续增长趋势。按照这样的发展速度，每年的数据量将达到约4亿左右。目前，DailyMart采用的是MySQL单表进行存储，但鉴于业务的快速发展，我们迫切需要对其进行分库分表的改造。今天，我们来探讨如何
2024-03-08
ShardingSphere实现分库分表，如何管理分布在不同数据库实例中的成千上万张分片表？上边的问题是之前有个小伙伴看了我的分库分表的文章，私下咨询我的，看到他的提问我第一感觉就是这老铁没用过ShardingSphere，因为这个问题在ShardingSphere中已经有了很好的解决方案，接下来看
2024-02-26
背景介绍随着互联网技术的发展，数据量呈爆炸性增长。大数据量的业务场景中，数据库成为系统性能瓶颈的一个主要因素。当单个数据库包含了太多数据或过高的访问量时，会出现查询缓慢、响应时间长等问题，严重影响用户体验。为了解决这一问题，分库分表技术应运而生。通过将数据分散到多个数据库或表中，从而有效提升系统的处
2024-02-21
本文来自 InfoQ，作者云盛海宏 ToC 业务团队崔文涛、邓有才。云盛海宏是一家零售业科技公司，以科技的力量为门店和线上客户打造 360 度的优秀体验，目前服务中国 6000 余家的线下门店和千万级别的线上会员。云盛海宏的 To C 系统分为私域商城和会员营销两条业务线，它为 7000 多万注册会
2024-02-06