OceanBase v4.3 特性解读：查询性能提升之利器列存储引擎
对于分析类查询，列存可以极大地提升查询性能，也是 OceanBase 做好 HTAP 和 OLAP 的一项不可缺少的特性。本文介绍 OceanBase 列存的实现特色。
OceanBase从诞生起就一直坚持LSM-Tree架构，不断打磨功能支持了各类典型的 TP 类型业务，持续优化性能满足各种极限负载压力，积累了大量工程实践经验，打造出一套纯自主研发且有充分特色的业界领先LSM-tree 存储引擎。常见的 OLAP 场景往往是批量写入，不会有大量随机更新，尽量保证列存组织数据是静态的，这种场景天然适合 LSM-Tree 架构。
在4.3版本，基于原有技术积累，OceanBase 存储引擎继续扩展，实现对列存的支持，实现存储一体化，一套代码一个架构一个OBServer，列存数据和行存数据完美共存，这样真正实现了对TP类和AP类查询的性能的兼顾。
整体架构
OceanBase作为原生分布式数据库，用户数据默认会多副本存储，为了利用多副本的优势，为用户提供数据强校验以及迁移数据重用等进一步的增强体验，自研的LSM-Tree存储引擎也做了较多的针对性设计，首先每个用户数据整体可以分成两个大部分基线数据和增量数据。
- 基线数据。不同于其它主流LSM-Tree数据库，OceanBase利用分布式多副本的基础，提出'每日合并'的概念，租户会定期或者根据用户操作选择一个全局版本号，租户数据的所有副本均以这个版本完成一轮Major Compaction，最后生成这个版本的基线数据，所有副本同一个版本的基线数据物理完全一致。
- 增量数据。相对基线数据而言，用户数据在最新版本的基线数据之后所有写入数据均属于增量数据，具体来说，增量数据可以是用户刚写入Memtable的内存数据，也可以是已经转储为SSTable的磁盘数据。 对于用户数据的所有副本来说，增量数据各个副本独立维护，不保证一致，并且不同于基线数据基于指定版本生成，增量数据包含所有多版本数据。
基于列存应用场景随机更新量可控的背景，OceanBase结合自身基线数据和增量数据的特质，提出了一套对上层透明的列存实现方式：
- 基线数据存储为列存模式，增量数据保持行存，用户所有 DML 操作不受影响，上下游同步无缝接入，列存表数据仍然可以像行存表一样进行所有事务操作。
- 列存模式下每列数据存储为一个独立SSTable，所有列的SSTable组合成为一个虚拟SSTable作为用户的列存基线数据，如下图所示。
- 根据用户建表指定设置，基线数据可以有行存，列存，行存列存冗余三种模式。
我们不仅在存储引擎中实现了列存模式，为了让用户能够更容易从其它 OLAP 数据库迁移过来，以及帮助之前有 OLAP 需求的 OceanBase 老客户升级到列存，从优化器到执行器以及存储其它相关模块，都针对列存进行了适配以及优化，让用户迁移到列存后基本对业务无感，能够像使用行存一样享受到列存带来的性能优势。 也让OceanBase真正实现了TP/AP一体化，实现一套引擎一套代码支持不同类型业务的目标，打造完善的HTAP引擎。
- SQL一体化
- 为列存设计实现了新的代价模型，并增加列存相关统计信息，优化器根据数据表存储模式根据代价自动选择计划。
- 实现新的向量化引擎，完成关键算子的新引擎重构，不同类型计划根据代价自适应选择向量化以及批大小。
- 存储一体化
- 用户数据根据表模式指定，可以根据业务负载类型灵活设置为列存行存或者行列冗余模式，用户查询/备份恢复等操作完全透明。
- 列存表完整支持所有在线及离线DDL操作，完整支持所有数据类型及二级索引创建，保证用户使用方法和行存别无二致。
- 事务一体化
- 增量数据全部为行存，事务内修改、日志内容以及多版本控制等和行存完全共享逻辑。
