![[大厂实践] 无停机迁移大规模关键流量(下)](https://img.mryunwei.com/uploads/2024/01/20240110090309893.webp)
在系统升级、迁移的过程中，如何验证系统逻辑、性能正确无误，是一个很大的挑战。这一系列介绍了Netflix通过重放流量测试解决这一挑战的实践。原文: Migrating Critical Traffic At Scale with No Downtime — Part 2 想象一下，你被心爱的Net
2024-01-10
![[大厂实践] 无停机迁移大规模关键流量 (上)](https://img.mryunwei.com/uploads/2024/01/20240106191506440.webp)
在系统升级、迁移的过程中，如何验证系统逻辑、性能正确无误，是一个很大的挑战。这一系列介绍了Netflix通过重放流量测试解决这一挑战的实践。原文: Migrating Critical Traffic At Scale with No Downtime — Part 1 每天都有数以亿计用户收看N
2024-01-06
原作者 . 迁移工具 对象兼容性评估采用MTK工具完成，MTK工具是云和恩墨自研的跨平台异构数据库迁移工具，可执行异构数据库的对象结构迁移，并能实现自定义函数，存储过程，触发器等部分业务逻辑的自动改写适配。软件下载地址：https://docs.mogdb.io/zh/mtk/v2.0/relea
2024-01-02
随着数据量的不断增长，数据迁移成为了一项必不可少的任务。在Python中，PETL（Python Extract, Transform and Load）库提供了一种简单有效的方法来进行数据迁移。本文将介绍如何使用PETL进行数据迁移，并给出一些实践案例。一、简介PETL是一个基于Python的ET
2024-01-02
企业遇到大规模部署和监督生产中的应用程序的任务。幸运的是，我们可以使用大量技术和工具。然而，从传统的，整体的结构转变为云态一个人提出了自己的障碍。在这里，您会发现将应用程序从整体设置转移到基于微服务的体系结构时要进行的基本初始步骤列表。 无缝过渡的逻辑步骤 Compared to tradition
2023-12-27
2017年，Discord 在技术博客中提到，由于 RAM 中无法再容纳数据和索引，延迟开始变得不可预测，急速增长的数据存储亟待迁移。他们希冀找到一款可扩展、容错且维护成本相对较低的数据库，以实现存储数十亿条消息的目标，最终完成了从 MongoDB 到 Cassandra 的迁移。技术人员都希望，现
2023-12-27
概述异构数据库的迁移（譬如从Oracle迁移到openGauss）工作主要包括三个方面，数据库对象的迁移，包括库、模式、表、索引、视图、触发器、存储过程等等；数据内容的迁移，主要指的是数据表中数据的迁移；数据应用的迁移，主要指的是应用中SQL语句的迁移。目前对于数据库对象以及数据内容的迁移有很多成熟
2023-12-26
你开始构建一个漂亮的单体系统。也许是一个模块化的单体系统。随着时间的推移，系统不断增长，需求也在不断变化。渐渐地，系统开始出现裂痕。这可能是出于组织原因，需要在团队之间分配工作。也可能是由于扩展性问题和性能瓶颈。你开始评估可能的解决方案，以及每种解决方案的优势和权衡。最后，你做出了一个决定。是时候将
2023-12-20
数据库迁移工具是数据库管理员常用的工具之一，同时也在项目中扮演着关键的角色，这项工作可能是在项目初期、系统升级、数据中心迁移等情况下进行，确保数据从一个环境到另一个环境的有效、安全、自动化的转移，以支持项目的顺利进行和业务的连续性。为满足客户数据迁移过程中的多样化需求，Qcubic提供了多个迁移工具
2023-12-15
数据泵迁移单个表空间7T大小-pfdb环境说明基本检查源端配置待迁移表空间read only待迁移表空间用户查询目标端配置创建必要的表空间创建必要的dblink和directory目标端创建用户并赋权表空间导入--TABLESPACES=TBS_OLD_DATA对象比对处理无效对象收集数据库和数据字
2023-12-14
导读平凯数据库（TiDB 企业版）全链路数据迁移平台 TMS 为企业提供了从 Oracle 到 TiDB 的全流程数据迁移解决方案，包括对象结构迁移、数据全量迁移、数据校验等，大幅降低了迁移风险和成本。本文介绍了 TMS 的核心功能，及其在杭州银行的实践应用。通过与杭州银行的共创和打磨，TMS 在功
2023-12-01
PostgreSQL数据库是一款高度可扩展的开源数据库系统，支持复杂的查询、事务完整性和多种数据类型，这使得它成为企业中处理大规模和多样化数据需求的理想选择。在很多企业中，PostgreSQL不仅处理大量的交易数据，还支持复杂的数据分析和报告需求。 由于各种业务需求，企业常常需要将数据在不同的云平台
2023-11-29
文中详细阐述了通过全量 + 增量 Oplog 的迁移方式，完成一套副本集 MongoDB 迁移的全过程。 作者：张然，DBA 数据库技术爱好者~ 爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 本文约 900 字，预计阅读需要 3 分钟。 背景介绍 客户要将生产环境上一
2023-11-28
在上个月，MySQL 5.7 正式结束了生命周期，即EOL（End of Life），意味着Oracle将不再为 MySQL 5.7 提供技术支持，包括Bug修复或安全漏洞，大大增加了使用数据库的风险。在全球关系型数据库市场中，MySQL 市场份额最高，在MySQL各版本使用中，5.7 仍占据大部分
2023-11-28
N 多年前安装的 oracle 数据库，巡检的时候发现磁盘满了，检查发现是数据文件占用了很大的空间，当前存放数据文件的磁盘不能再进行扩容，于是准备把业务数据文件迁移到其他磁盘分区。迁移数据文件主要有两种方法：alter database rename file ··· to ···alter ta
2023-11-27
一、简介MTK全称(Database Migration Toolkit)，可进行Oracle/DB2/MySQL/openGauss/SqlServer/Informix等数据库异构迁移，支持Oracle/MySQL/DB2->openGauss的存储过程，函数，触发器，包迁移。MTK支持多
2023-11-24
工具部署架构图当前openGauss支持对MySQL迁移服务，具体包括：MySQL一键式迁移全量迁移增量迁移反向迁移数据校验
2023-11-23
功能介绍gs_rep_portal是一个用Java编写的，在linux系统上运行的，集成了全量迁移、增量迁移、反向迁移、数据校验的工具。gs_rep_portal支持以上工具的一键式安装上述工具，设定迁移任务，任务根据用户设定的执行计划顺序的调用相应工具完成每个迁移步骤，并能实时展示每个步骤的状态、
2023-11-23
功能介绍全量迁移gs_mysync是一个用Python3编写的将MySQL迁移至openGauss的复制工具，支持初始全量数据的复制功能。gs_mysync通过一次初始化配置，使用只读模式，将MySQL的数据全量拉取到openGauss。支持在同一快照下，表间数据并行迁移。全量迁移支持的功能：支持表
2023-11-23
功能介绍反向迁移是指将openGauss端产生的增量数据迁移至mysql端。原理简介debezium opengauss connector的source端，监控openGauss的xlog日志，并将数据的DML操作以AVRO格式写入到kafka；debezium opengauss connect
2023-11-23