GreatSQL 开源数据库 & NVIDIA InfiniBand存算分离池化方案：实现高性能分布式部署 .. ...
NVIDIA InfiniBand是一种被广泛使用的网络互联技术，基于IBTA(InfiniBand Trade Association)而定义的高带宽、低延时、低CPU占用率、大规模易扩展的通信技术，是世界领先的超级计算机的互连首选，为高性能计算、人工智能、云计算、存储等众多数据密集型应用提供了强大的网络性能支撑。通过高速的InfiniBand技术，将业务负载由单机运行转化为基于多机协作的高性能计算集群，并使高性能集群的性能得以进一步释放与优化。
GreatSQL是由万里数据库维护的国内自主MySQL分支版本，专注于提升MGR可靠性及性能，支持InnoDB并行查询特性，适用于金融级应用。
此次通过对比测试基于InfiniBand 的 NVMe SSD池化方案 及本地NVMe SSD的传统方案的性能表现，评估使用基于InfiniBand的存算分离架构对分布式数据库性能的提升程度及扩展性。
经过双方合作，通过大量数据分析，可以看出基于InfiniBand池化方案的存算分离架构的性能更优、稳定性更强，为GreatSQL实现更高性能的分布式部署提供了有力的技术平台支撑。
1、NVIDIA InfiniBand 池化方案介绍
分布式数据库集群由两部分组成：
- 计算节点是无SSD盘的裸金属服务器，运行MySQL数据库服务程序；
- 存储节点提供NVMe SSD资源池，通过软件聚合方式提供高性能Lun实现对于数据库的数据的存储服务；
两部分服务器通过Quantum 平台的InfiniBand网络实现对计算节点和存储节点的无损连接，结合NVMe-oF（NVMe over Fabric）高效的数据存储传输协议，将存储节点的Lun挂载到计算节点，实现结算节点本地高性能的数据存储能力。
- 测试环境
为了可以公平对比两种方案的优劣，两次测试均采用同一台计算服务器进行测试，不同的是，本地方案存储由本地的PCIe4.0 NVMe SSD承载，InfiniBand 池化方案由100Gbps速率的HDR100网卡接入，通过相同型号的NVMe SSD组成的全闪服务器借助NVMe-oF提供高性能虚拟Lun完成数据访问。
2.1 存储设备
本次测试主要采取两种存储方案：
- InfiniBand + NVMe SSD设备
- 本机挂NVMe SSD设备
$ nvme list
Node SN Model Namespace Usage Format FW Rev
--------------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
1. InfiniBand + NVMe SSD设备
/dev/nvme0n1 MNC12 Mellanox BlueField NVMe SNAP Controller 1 1.10 TB / 1.10 TB 512 B + 0 B 1.0
1. 本机挂载的两个NVMe SSD设备
/dev/nvme2n1 S5L9NE0NA00144 SAMSUNG MZWLJ7T6HALA-0007C 1 7.68 TB / 7.68 TB 512 B + 0 B EPK99J5Q
/dev/nvme3n1 S5L9NE0NA00091 SAMSUNG MZWLJ7T6HALA-0007C
