海通证券实践:迁移 MySQL 数据到 OceanBase 集群

作者简介:胡晶玉,数据库工程师。

一、     测试内容

使用 mysqldump 将 mysql 的表结构和数据同步到 OceanBase 的MySQL 租户中

使用 datax 配置至少一个表的 MySQL 到 OceanBase 的 MySQL 租户的离线同步

二、     测试环境

本次练习使用在三台虚拟机中搭建的一个三节点集群。

Mysql 使用一个测试环境的库。

三、     测试过程

1.     使用 mysqldump 迁移数据

Mysql 源使用一个测试库。

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维

 

导出表结构

mysqldump –h 127.0.0.1 –usys_admin –p –d ndtmdb > ndtmdb.sql

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维

 

导出一张表的数据

mysqldump –h 127.0.0.1 –usys_admin –p –t ndtmdb –tables report_info >report_info.sql

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维

 

使用 obclient 连接 OceanBase,创建表结构

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维

 

查看已经创建的表

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维

导入表 report_info 的数据

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维

查看导入数据条数,导入正确。

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维

 

2.     使用 Datax 配置数据迁移

使用 datax 的 rpm 格式安装包

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维

被安装在 /home/admin/datax3 目录下。

修改 json 格式的配置文件。

Json 文件格式在每个 plugin 下面都有例子可以参考。

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维

修改后的 json 文件如下:

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维

 

启动复制任务,   python ./bin/datax.py ./job/ndtmdb.json

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维

 

四、     总结

1.     在开始修改 json 文件的时候,有点困惑,后来发现在每个插件下面都有样例,就比较容易理解了。

2.     Datax 的功能还是很好用的。

OceanBase 社区版入门到实战教程直播正在进行中~

快和小伙伴一起进群交流学习吧~

加入直播群方式一:

钉钉群号 3582 5151

加入直播群方式二:

扫码下方二维码加入

海通证券实践:迁移 MySQL 数据到 OceanBase 集群-每日运维