生产上有一张大字段的表，大小300G左右，将其通过expdp命令导出，并通过impdp导入一个测试库后，发现其占用空间竟然比生产库大了很多，导入后的空间的占了700G左右。这是怎么回事，按理说，导入后空间不应该大这么多。由于涉及敏感信息，这里就自己创建一个测试表，复现一下整个过程。 1、导出大字段表
2024-07-25
MongoDB 通过建立在几个核心架构基础之上的开发者数据平台，使您能够满足现代应用程序的需求。它让您能够以最佳方式进行创新，构建事务性、操作性和分析性应用程序。本章将特别强调两个关键元素：复制和分片，来审视 MongoDB 的架构。复制是 MongoDB 分布式架构中的关键组成部分，确保数据的可访
2024-05-20
Oracle 分片是一种基于跨多个 Oracle 数据库的数据水平分区的数据库扩展技术。 应用程序将数据库池视为单个逻辑数据库。OLTP 应用程序分片的主要优势包括线性可扩展性、故障遏制和地理数据分布。分片非常适合在 Oracle 云中部署。 与实现分片的 NoSQL 数据存储不同，Oracle S
2024-05-10
Munich Re HealthTech 首席交付官 Bilal Ramadan 表示：“Oracle Globally Distributed Database 让我们能够以非常经济和透明的方式，将数据自动分发给各个国家和地区的应用用户，同时确保遵守数据驻留法规。”IDC 数据管理软件研究副总裁
2024-03-06
2024年2月29日，甲骨文公司宣布其全球分布式自治数据库全面上市。该产品针对通常因法规而有严格数据主权要求的客户，具有 Oracle 自治数据库的所有功能，并对数据分布放置进行额外控制。 甲骨文表示，组织可以在世界任何地方自动分发和存储数据，物理位置对应用程序是透明的。 自主操作提供自动扩展、自我
2024-03-06
在本文中，我们将研究以下主题：Redis集群的高可用性。Redis集群的自动故障转移。Redis集群中的脑裂问题及其解决方案。问题： Redis-Cluster如何提供高可用性?答案： 高可用性是指集群在面临某些故障时仍能保持操作能力。例如，集群可以检测到主分片失败并在无需外部手动干预的情况下将副本
2024-02-27
什么是分片？ 分片是一种数据库架构模式，涉及将数据库划分为更小、更快、更易于管理的部分，称为分片。每个分片都是一个不同的数据库，这些分片共同构成了整个数据库。分片对于管理大型数据库特别有用，可以显着提高性能、可维护性和可扩展性。 主要特点 数据分布： 分片可以分布在多个服务器上，从而减少任何单个
2024-01-04
在做数据的分库分表时，选择合适分片规则是一件很重要的事情，如果分片规则选择不合理，可能会导致以下两种情况：数据分布不均衡，系统产生单点故障后期数据扩容难因此本文对常用数据分片规则进行优缺点以及适应场景的介绍，希望对读者朋友们有所帮助！时间范围分片时间范围分片要求分片键为时间类型字段，可以支持按年、按
2023-12-25
系列 StackGres, 可私有部署的云原生数据库平台工程 StackGres 数据库平台工程功能介绍与快速上手 StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer) StackGres 1.6 数据库平台工程，集群高可用(Patr
2023-12-06
随着分布式数据库日渐成熟，在推广使用上开始步入深水区。在这一过程中，对企业的架构、运维、开发都带来不小的冲击，如何快速掌握这一新技术，尽快落地成为大家关注的焦点。本文从开发者的视角出发，讨论使用分布式数据库所面临的难点之一：数据分片策略，这也是阻碍很多企业上到分布式数据库的核心问题。1. 数据分片策
2023-11-30
Sharding（分片）是一种将数据和负载分布到多个独立的数据库实例的技术。这种方法通过将原始数据集分割为分片来利用水平可扩展性，然后将这些分片分布到多个数据库实例中。1*yg3PV8O2RO4YegyiYeiItA.png但是，尽管"分布"一词出现在分片的定义中，但分片数据库并不是分布式数据库。分
2023-11-20
Redis（Remote Dictionary Server）是一个开源的高性能键值对存储系统，广泛用于解决大数据量下的高并发读写问题。它支持多种数据结构，如字符串、列表、哈希、集合、有序集合等，并且提供了丰富的命令和功能，使其成为了很多互联网公司和开发者的首选。Redis的高效性主要体现在以下几个
2023-11-07
通过MySQL开发实现数据分片与负载均衡的项目经验分享近年来，随着业务的不断增长和数据量的急剧增加，传统的单机MySQL已经无法满足大规模应用的需求。为了提高系统的可扩展性和性能，更多的企业选择采用数据分片与负载均衡的解决方案。在过去的项目经验中，我参与了一次基于MySQL开发的数据分片与负载均衡的
2023-11-04
如何通过索引优化PHP与MySQL的数据分片和分库查询？在大型web应用中，为了提高性能和可伸缩性，常常需要将数据存储在多个数据库实例中，这就需要进行数据分片和分库查询。然而，随着数据量的增加，分片查询可能会导致查询性能下降的问题。为了解决这个问题，我们可以通过优化索引来改善查询性能。本文将详细介绍
2023-10-15
解决MongoDB技术开发中遇到的数据分片切换问题的方法研究摘要：随着数据规模的不断扩大，MongoDB作为一种常用的数据库技术，继续受到广泛关注和使用。然而，在开发过程中，我们可能会遇到数据分片切换问题，即在数据量超出单个节点承载能力时，需要将数据切分为多个分片进行存储和处理。本文将研究解决这一问
2023-10-11
如何在Java中实现数据分片和数据分离在大数据应用中，数据分片和数据分离是非常常见的需求。数据分片指将大规模的数据集分割成小块，以便更好地进行并行处理和分布式计算。而数据分离则是将不同类型或不同属性的数据分开存储，以提高查询性能、降低存储成本等目的。在Java中，我们可以通过以下方式实现数据分片和数
2023-10-10
利用MongoDB技术开发中遇到的数据分片问题的解决方案探究概述：随着数据存储和处理需求的不断增长，单个MongoDB服务器可能无法满足高性能和高可用性的要求。此时，数据分片（sharding）成为了解决方案之一。本文将针对在使用MongoDB技术开发过程中遇到的数据分片问题进行探究，并提供具体的代
2023-10-08
解决MongoDB技术开发中遇到的分片键设计问题的方法研究摘要：随着数据量的增加，单机部署的MongoDB无法满足高可用性和扩展性的需求，分片技术成为解决方案之一。然而，在分片技术中，分片键的设计是一个重要的决策，并且会直接影响到系统的性能和可靠性。本文对MongoDB分片技术中遇到的分片键设计问题
2023-10-08
在本文中，我们将探讨如何使用NestJS框架来实现大文件分片上传，并且将文件分片数据存储在Redis缓存中，以确保高效的上传和文件管理。这个方案对于需要处理大文件的应用程序，如云存储、媒体管理或数据备份系统，尤其有用。 仓库地址：github.com/ios-lcj/nod… 设计思路 接口设计 我
2023-09-28
引言 在上一章节中，我们详细讨论了IP的分类和无分类原则的原理以及其在网络通信中的应用。IP分片与重组是在数据包传输过程中起到关键作用的机制。当数据包的大小超过网络链路的MTU（最大传输单元）限制时，IP分片将数据包分割为多个较小的分片进行传输。这些分片在网络中独立传输，到达目的地后，通过IP重组机
2023-09-28