介绍MySQL大表优化方案

免费学习推荐： mysql数据库 (视频) 背景 阿里云RDS FOR MySQL（MySQL5.7版本）数据库业务表每月新增数据量超过千万,随着数据量持续增加,我们业务出现大表慢查询,在业务高峰期主业务表的

    <img src="https://img.mryunwei.com/uploads/2023/04/20230419103128980.jpg"><blockquote><p>免费学习推荐：mysql数据库(视频)</p></blockquote>

背景

阿里云RDS FOR MySQL（MySQL5.7版本）数据库业务表每月新增数据量超过千万,随着数据量持续增加,我们业务出现大表慢查询,在业务高峰期主业务表的慢查询需要几十秒严重影响业务

方案概述

一、数据库设计及索引优化

MySQL数据库本身高度灵活，造成性能不足，严重依赖开发人员的表设计能力以及索引优化能力,在这里给几点优化建议

PolarDB是阿里云自研的下一代关系型云数据库，100%兼容MySQL存储容量最高可达100 TB，单库最多可扩展到16个节点，适用于企业多样化的数据库应用场景。PolarDB采用存储和计算分离的架构，所有计算节点共享一份数据，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务。

Sysbench性能压测报告：

三、分表历史数据迁移到MySQL8.0 X-Engine存储引擎

分表业务表保留3个月数据(这个根据公司需求来),历史数据按月分表到历史库X-Engine存储引擎表, 为什么要选用X-Engine存储引擎表,它有什么优点?

四、阿里云PloarDB MySQL8.0版本并行查询

分表之后我们的数据量依然很大,并没有完全解决我们的慢查询问题,只是降低了我们业务表的体量,这部分慢查询我们需要用到PolarDB的并行查询优化

PolarDB MySQL 8.0重磅推出并行查询框架，当您的查询数据量到达一定阈值，就会自动启动并行查询框架，从而使查询耗时指数级下降 在存储层将数据分片到不同的线程上，多个线程并行计算，将结果流水线汇总到总线程，最后总线程做些简单归并返回给用户，提高查询效率。 并行查询（Parallel Query）利用多核CPU的并行处理能力，以8核32 GB配置为例，示意图如下所示。

并行查询适用于大部分SELECT语句，例如大表查询、多表连接查询、计算量较大的查询。对于非常短的查询，效果不太显著。

并行查询用法，使用Hint语法可以对单个语句进行控制，例如系统默认关闭并行查询情况下，但需要对某个高频的慢SQL查询进行加速，此时就可以使用Hint对特定SQL进行加速。

SELECT /+PARALLEL(x)/ … FROM …; – x >0

SELECT /*+ SET_VAR(max_parallel_degree=n) */ * FROM … // n > 0

查询测试：数据库配置 16核32G 单表数据量超3千万

没加并行查询之前是4326ms，加了之后是525ms，性能提升8.24倍

五、交互式分析Hologre

大表慢查询我们虽然用并行查询优化提升了效率,但是一些特定的需求实时报表、实时大屏我们还是无法实现，只能依赖大数据去处理。 这里推荐大家阿里云的交互式分析Hologre（ https://help.aliyun.com/product/113622.html）

六、后记

千万级大表优化是根据业务场景，以成本为代价优化的，不是一上来就数据库水平切分扩展，这样会给运维和业务带来巨大挑战，很多时候效果不一定好，我们的数据库设计、索引优化、分表策略是否做到位了，应该根据业务需求选择合适的技术去实现。

更多推荐：mysql教程(视频)

以上就是介绍MySQL大表优化方案的详细内容，更多请关注每日运维其它相关文章！