openEuler22+GreatSQL+dbops玩转MGR

数据运维 2023-08-15 剑圣无痕 手机阅读


芬达，《芬达的数据库学习笔记》公众号作者，开源爱好者，擅长 MySQL、ansible。

背景

openEuler 是什么

openEuler22.03 LTS 是 openEuler 社区于 2022 年 3 月发布的开源操作系统（从系统版本的命名不难发现吧）。openEuler 社区的运营由华为为主导，社区以全球开源贡献者的合作，构建了这个高效、稳定和安全的操作系统。基于 Linux 内核的 openEuler 操作系统，支持 Kunpeng 以及其他处理器，旨在充分发挥计算芯片的潜力。它适用于数据库、大数据、云计算和人工智能等场景。通过社区合作，openEuler 构建了一个创新平台，创建了一个支持多处理器架构的统一开放操作系统，并推动了软件和硬件应用生态系统的繁荣。

openEuler22.03 LTS 带来了一系列关键功能，包括基于 Linux Kernel 5.10 的深度优化、新型媒体文件系统、分层内存扩展、用户模式协议栈、云原生调度增强、QEMU 热补丁、KubeOS、增强的轻量级安全容器、增强的 iSulad、双平面部署、边缘计算支持、嵌入式镜像，以及 secPaver 等。

openEuler22.03 LTS 可以被视为国产操作系统创新项目的首选系统版本之一。

GreatSQL 是什么

GreatSQL，作为 MySQL 分支 Percona 的延伸，立志成为中国广泛受欢迎的开源数据库。其上一版本基于 Percona Server 8.0.25 构建，而这次的新版本则使用 Percona Server 8.0.32 作为基础，引入了许多重要特性。新发布的 GreatSQL 8.0.32-24 版本增加了并行 load data、逻辑和 CLONE 备份加密、MGR 读写节点可动态绑定 VIP、SQL 兼容扩展、审计日志增强等重大特性。

GreatSQL 8.0.32-24 可以被视为国产开源数据库信创项目，并且解决 MySQL5.7 EOL 问题的重要替代方案之一。

关于 MySQL5.7 EOL 问题，可以翻阅我之前写的文章《阴谋论: MySQL 将死，国产数据库的春天？》

dbops 是什么

dbops 是一款提供生产级别 MySQL 部署的 playbook 工具，由芬达个人开发。

地址: https://gitee.com/fanderchan/dbops/

GreatSQL 官方并未提供专门针对 openEuler 的编译安装包，而我发现部署 GreatSQL、GreatSQL MGR、GreatSQL HA 等都有许多细节需要注意。本文主要讲述我如何思考并开发 dbops 的新功能，以在 openEuler22 上成功部署 GreatSQL，并运行其"MGR 读写节点可动态绑定 VIP"功能(以下简称"GreatSQL HA 功能")。

dbops 如何支持 GreatSQL

dbops 本来就支持 MySQL 和 Percona，所以对 GreatSQL 的支持并不需要大规模的改动。以下大部分是一些针对部署 GreatSQL 与 MySQL 或 Percona 的不同之处的调整。

1. 只对 Linux - Generic 包的支持

由于 dbops 的目标是支持大量的国产操作系统，与 MySQL 一样，GreatSQL 提供了针对各种操作系统的预编译二进制包，但有一个是通用的，那就是 Linux - Generic 包。在 dbops 为 MySQL 提供支持以及在实际生产中，都在使用这个包。

同时，为了支持更多的 Linux 系统，我选择了基于 glibc2.17 的包，而非 glibc2.28 的包。前者意味着包是在 glibc 公共库版本为 2.17 的系统下编译出来的，因此，它不会包含大于 2.17 的库函数，兼容性会更强。

我选择支持的是 minimal 包，这个版本剔除了与调试相关的二进制文件和调试符号，体积非常小，仅为常规包的三分之一，我认为非 minimal 包并无优势。

目前，dbops 仅支持 GreatSQL-8.0.32-24-Linux-glibc2.17-x86_64.tar.xz 的部署。

2. dbops 的 mysql_ansible 的配置文件 common_config.yml 的调整

dbops 可以很方便的配置执行 playbook 的变量，变量设置非常集中，一般只需要修改两个文件，一个是全局参数配置文件 common_config.yml，另外一个是当前需要执行的 playbook yaml 文件。

  • 新增了 db_type 参数，用于判断待部署的数据库类型，可选值为 MySQL、Percona、GreatSQL。根据 db_type 的不同，部署流程将有所区别。
  • 将 mysql_base_dir 参数和 mysql_data_dir_base 参数设定为根据 db_type 自动生成，这样可以得到不同的目录路径。我希望避免将 MySQL 和 GreatSQL 放置在同一目录下，以便于区分。
  • 对于 mysql_package 参数，即安装包的名称，如果是 MySQL，会根据 {{ mysql_version }} 自动生成；如果是 GreatSQL，将读取 greatsql_package 的设置。
  • 新增了 fcs_use_greatsql_ha 开关参数，其默认值为 1，即如果部署的是 GreatSQL 并且采用 MGR 架构(执行的 playbook==mgr.yml)，那么默认会部署"MGR 读写节点可动态绑定 VIP"的功能插件。

## DB TYPE,suport mysql,percona,greatsql + db_type: greatsql #Directory of MySQL installation package mysql_packages_dir: ../downloads/ + greatsql_package: GreatSQL-8.0.32-24-Linux-glibc2.17-x86_64-minimal.tar.xz + percona_package: Percona-Server-8.0.29-21-Linux.x86_64.glibc2.17.tar.gz ## do not modify - mysql_package: "{{ 'mysql-' + mysql_version + '-linux-' + ('glibc2.12' if mysql_version.startswith('5.') else 'glibc2.17') + '-x86_64' + ('.tar.gz' if mysql_version.startswith('5.') else '-minimal.tar.xz') }}" + mysql_package: "{% if db_type == 'mysql' %}{{ 'mysql-' + mysql_version + '-linux-' + ('glibc2.12' if mysql_version.startswith('5.') else 'glibc2.17') + '-x86_64' + ('.tar.gz' if mysql_version.startswith('5.') else '-minimal.tar.xz') }}{% elif db_type == 'percona' %}{{ percona_package }}{% elif db_type == 'greatsql' %}{{ greatsql_package }}{% endif %}" ## linux mysql run user name mysql_user: mysql mysql_group: mysql mysql_user_password: Dbops@9999 ## mysql install directory - mysql_base_dir: /database/mysql/base/{{ mysql_version }} + mysql_base_dir: /database/{{ db_type }}/base/{{ mysql_version }} ## mysql_data_dir_base define mysql datadir base, real datadir= mysql_data_dir_base + /port - mysql_data_dir_base: /database/mysql + mysql_data_dir_base: /database/{{ db_type }} + fcs_use_greatsql_ha: 1