很多小伙伴在使用tidb时对网络磁盘，本地磁盘不了解闹出了很多乌龙。我就简单明了的讲解一下网络磁盘的原理。 硬件的三级缓存理论 从磁盘-〉内存-〉cpu。原本单机物理磁盘的访问路径为ssd载入到内存 速度2048m/s。 通过网络载入。中间会受到网络波动，网络延时，网络带宽限制。2者架构上的差距是带
2024-07-31
数据迁移是指将数据从一个数据库系统移动到另一个数据库系统的过程。在进行数据迁移时，我们可以采取一些优化措施来提高数据迁移的效率和准确性。以下是一些优化数据库数据迁移学习的方法： 确定数据迁移的目标和范围：在进行数据迁移之前，首先要确定数据迁移的目标和范围，明确需要迁移的数据量和数据类型，以便有针
2024-07-03
使用EXPDP在完成数据导出之前，可以使用ESTIMATE参数评估待导出数据库对象的大小，但是estimate参数有两种选择，一种是block数据块数量的形式估算，一种是通过statistics统计信息中记录的内容估算，但是这两种分别对同一对象做导出数据量预估时是有数据量差异的，以下是oracle
2024-06-24
引言 MYSQL 可以查看一个 SQL 大概性能的命令往往都是使用 expalin , 该命令个人理解中该命令更偏向于给出 sql 在组织数据方面的操作情况, 从中大致可以看出使用什么索引(Index)的什么字段(keys), 大致扫描数据量(rows)和实际返回数据量占扫描数据量比(filter)
2024-06-20
当数据量比较大时，使用常规的方式来判重就不行了。例如，使用 MySQL 数据库判重，或使用 List.contains() 或 Set.contains() 判重就不可行，因为 MySQL 在数据量大时查询就会非常慢，而数据库又是及其珍贵的全局数据库资源。《阿里巴巴Java开发手册》上也说了，如果单
2024-06-03
在很多MySQL使用场景中，随着业务的发展和技术的不断进步，MySQL数据库的数据量从最初的几百GB 增长到TB级别（这主要归因于业务规模的扩大、数据保留需求的增长以及系统设计的考虑）。当数据库数据量增长到TB级别时，从节点的复制问题变得愈发复杂和难以处理。在这种情况下，任何复制中断都可能导致数据不
2024-05-14
oracle 数据库大小取决于数据量、表结构、索引和临时空间。影响因素包括：数据量：影响数据库大小的最大因素。表结构：具有复杂结构的表会更大。索引：索引可以显着增加数据库大小。临时表和临时空间：存储临时数据，也会增加大小。 Oracle 数据库有多大？ Oracle 数据库的大小主要取决于存储在其
2024-05-10
导语：一家运营海外休闲游戏的公司随着其业务的发展，表的数据量大幅增加，原始的单实例MySQL在性能方面已经无法满足业务需求，因此需要寻求新的解决方案。本文主要介绍了选用OceanBase的考量因素、测试情况，分享一些实践经验，给大家提供一些参考。业务痛点及选型背景在游戏业务发展阶段早期，我们考虑到迭
2024-05-07
1.背景 1.1 现状目前转转业财系统接收了上游各个业务系统（例如：订单、oms、支付、售后等系统）的数据，并将其转换为财务数据，最终输出财务相关报表和指标数据，帮助公司有效地进行财务管理和决策。转转业财系统于2021年开始构建，前期为了满足需求短时间内上线，选择了主动接收上游业务系统的数据。然而随
2024-04-18
当数据量比较大时，使用常规的方式来判重就不行了。例如，使用 MySQL 数据库判重，或使用 List.contains() 或 Set.contains() 判重就不可行，因为 MySQL 在数据量大时查询就会非常慢，而数据库又是及其珍贵的全局数据库资源。《阿里巴巴Java开发手册》上也说了，如果单
2024-02-19
前言 之前有看过到mysql大数据量分页情况下性能会很差，但是没有探究过它的原因，今天讲一讲mysql大数据量下偏移量很大，性能很差的问题，并附上解决方式。 原因 将原因前我们先做一个试验，我做试验使用的是mysql5.7.24版本（mysql8上我也试验出来同样的问题），看看mysql是不是在偏移
2024-01-29
查询分页一般要最少要执行两条 SQL 语句:SELECT COUNT(*) FROM tablename WHERE columnName = 'xx'SELECT * FROM tablename WHERE columnName = 'xx' limit 0,100正常情况下没有问题，但是当数据
2024-01-29
上周有个童鞋问我这个问题，系统性说一下。一般来说，并发量大，吞吐量大的互联网分层架构是怎么样的？数据库上层都有一个微服务，服务层记录“业务库”与“数据库实例配置”的映射关系，通过数据库连接池向数据库路由sql语句。如上图所示，服务层配置用户库user对应的数据库实例ip。画外音：其实是一个内网域名。
2024-01-23
评估数据库的实际需求是一个非常重要的过程，它可以帮助我们确定数据库的规模、性能要求和功能需求，从而为项目的数据库设计和部署提供指导。在实际项目中，评估数据库的实际需求通常需要考虑以下几个方面。首先，我们需要了解项目的业务需求。这包括对业务流程、数据量、数据类型和数据访问模式等方面的理解。通过与业务相
2024-01-22
背景 Spark 是字节跳动内部使用广泛的计算引擎，已广泛应用于各种大规模数据处理、机器学习和大数据场景。目前中国区域内每天的任务数已经超过 150 万，每天的 Shuffle 读写数据量超过 500 PB。同时某些单个任务的 Shuffle 数据能够达到数百 TB 级别。 与此同时作业量与 Shu
2023-12-21
标题：利用ECharts和Java接口实现大数据量统计图表的优化摘要：在大数据时代，数据量的快速增长对数据的可视化提出了更高的要求。本文介绍了如何使用ECharts和Java接口来实现大数据量统计图表的优化，通过优化数据的加载和处理过程，提升图表的性能和用户体验。文章将从数据的处理、ECharts的
2023-12-18
如何结合 PHP 接口和 ECharts 实现大数据量统计图的展示导言：随着互联网的快速发展和智能化的推广，数据量的增长呈现出爆炸式增长的趋势。对于大数据量的统计，传统的数据展示方法已经无法满足需求。而 ECharts 是基于 JavaScript 的一个开源可视化库，提供了丰富的图表类型和强大的数
2023-12-17
如何制定备份策略 关于备份策略的制定，我们需要考虑以下几点因素： 备份方案：物理备份还是逻辑备份，这个可以由数据量来决定，比如：小于 100G 使用逻辑备份，大于 100G 使用物理备份。 备份文件保留天数：按需保留 7天、30天、1年等。 备份执行时间：应避免业务高峰期，比如 TP 库
2023-12-16
一个诡异的现象在进行数据结构设计时，我们通常需要考虑到相关业务的数据量等因素。比如非核心业务但数据量大并且频繁写入的表的主键，我们可能会考虑设计为Long类型。刚开始，数据量小，可能并不会发现什么问题。但是当数据量大了，或者Id采用雪花算法生成，这个时候诡异的事情便会发生。后端数据正常返回，post
2023-12-13
前言 今天和大家分享一通过自己团队的能力，不依赖外部技术支持和厂商支持，完成O系数据库集群水平横向扩展的典型案例。望能给各位小伙伴对于存量数据库性能提升带来一点思路。 O系ERP系统是集团公司使用的核心业务系统之一，该系统承载着在核心业务和财务总账等重要任务。随着业务的飞速发展数据量已到达15T，每
2023-12-08